Metode Conjugate gradient dengan Pendekatan Quasi Newton

METODE CONJUGATE GRADIENT DENGAN PENDEKATAN QUASI NEWTON
TESIS
Oleh MIZAN 097021001/MT
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2011
Universitas Sumatera Utara

METODE CONJUGATE GRADIENT DENGAN PENDEKATAN QUASI NEWTON
TESIS
Diajukan Sebagai Salah Satu Syarat untuk Memperoleh Gelar Magister Sains dalam
Program Studi Magister Matematika pada Fakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Sumatera Utara Oleh
MIZAN 097021001/MT
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2011
Universitas Sumatera Utara

Judul Tesis
Nama Mahasiswa Nomor Pokok Program Studi

: METODE CONJUGATE GRADIENT DENGAN PENDEKATAN QUASI NEWTON
: Mizan : 097021001 : Matematika

Menyetujui, Komisi Pembimbing

(Prof. Dr. Tulus, M.Si) Ketua

(Dr. Saib Suwilo, M.Sc) Anggota

Ketua Program Studi

Dekan

(Prof. Dr. Herman Mawengkang) (Dr. Sutarman, M.Sc.)

Tanggal lulus: 16 Juni 2011

Universitas Sumatera Utara

Telah diuji pada : 16 Juni 2011
PANITIA PENGUJI TESIS Ketua : Prof. Dr Tulus, M.Si Anggota : 1. Dr. Saib Suwilo, MSc
2. Prof. Dr. Herman Mawengkang 3. Dra. Mardiningsih M.Si
Universitas Sumatera Utara

ABSTRAK Metode Conjugate Gradient merupakan teknik iterasi dalam penyelesaian perihal sistem persamaan linier dengan menggunakan matriks koefisien simetris definite positif. Penyelusuran garis merupakan bahagian terpenting dalam optimisasi untuk menentukan arah p yang dicari. Kekonvergenan Metode Conjugate gradient merupakan teknik iterasi untuk penyelesaian persamaan linier definite positif simetris. Penyelesaian himpunan persamaan linier dengan matriks simetris merupakan ekivalen dengan fungsi kuadratik minimisasi. Nilai fungsi dan gradient dari model ini pada p sama dengan 0. Metode Quasi-Newton dengan menggunakan skema beda hingga merupakan suatu pendekatan untuk menyatakan arah yang dicari tanpa kehilangan kekonvergenan Conjugate gradient. Kata kunci: M¯ etode Conjugate gradient, Metode Quasi-Newton
i Universitas Sumatera Utara

ABSTRACT Conjugate gradient Method is an iteration technique in solving about the linier equation using the positive definite symmetric coefficient matrix. Line tracking is an important part of optimization to determine the direction of p. The convergence of conjugate gradientt method is an iteration method to solve the symmetric positive definite linier equation. The solving of linier equation by symmetric matrix is equivalent to the minimum quadratic function. Function and gradient value of this model on p is equal to 0. Quasi Newton Method using the different scheme as an approach to determine the direction without eliminate the convergence of conjugate gradient. Keyword: C¯onjugate Gradient Method, Quasi-Newton Method
ii Universitas Sumatera Utara

KATA PENGANTAR
Segala Puji bagi Allah yang Maha Pengasih lagi Maha Penyayang atas segala rahmat dan karunia-Nya penulis dapat menyelesaikan tesis ini tepat pada waktunya. Tesis ini berjudul: Metode Conjugate gradient dengan Pendekatan Quasi Newton. Tesis ini merupakan persyaratan tugas akhir pada Program studi Magister Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sumatera Utara.
Dalam menyelesaikan tesis ini penulis banyak mendapat dukungan dari berbagai pihak, oleh karena itu pada kesempatan ini penulis mengucapkan terima kasih dan penghargaan yang setinggi-tingginya serta apresiasi yang sebesarbesarnya kepada: Prof. Dr. dr. Syahril Pasaribu, DTMH, M.Sc (CTM)&, Sp.A(K) selaku Rektor Universitas Sumatera Utara. Dr. Sutarman, M.Sc Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Universistas Sumatera Utara. Prof. Dr. Herman Mawengkang selaku Ketua Program Studi Magister Matematika FMIPA Universitas Sumatera Utara yang telah banyak memberikan bantuan dalam penulisan tesis ini. Dr. Saib Suwilo, M.Sc selaku Sekretaris Program Studi Magister Matematika FMIPA Universitas Sumatera Utara. Prof. Dr. Tulus, M.Si selaku Ketua Komisi Pembimbing yang telah meluangkan waktu beliau memberikan bimbingan dan pengarahan dalam menyusun tesis ini. Dr. Saib Suwilo, M.Sc selaku anggota komisi pembimbing yang telah memberikan bimbingan dan pengarahan dalam menyusun tesis ini. Prof. Dr. Herman Mawengkang selaku anggota penguji yang telah memberikan koreksi, masukan dan motivasi untuk perbaikan dan kesempurnaan tesis ini. Dra. Mardiningsih, M.Si yang telah banyak memberikan koreksi, masukan dan motivasi untuk perbaikan dan kesempurnaan tesis ini. Ir. Nahar MT, Direktur Politeknik Negeri Lhokseumawe, yang telah memberikan tugas belajar kepada penulis.
iii Universitas Sumatera Utara

Fakhrur Rozi, SST. selaku pimpinan pengelola dana IMHERE. Politeknik Negeri Lhokseumawe. Seluruh Staf Pengajar pada Program Studi Magister Matematika FMIPA Universitas Sumatera Utara yang telah banyak memberikan Ilmu yang bermanfaat bagi penulis selama masa perkuliahan dan juga kepada sdri. Misiani, S.Si, staf administrasi Program Studi Magister Matematika yang telah memberikan pelayanan yang baik kepada penulis.
Ucapan yang teristimewa penulis persembahkan kepada kedua orang tua, Bapak Tengku Abdullah Wujudi (alm) dan Ibu Semah dan Bapak Mertua Abdul Halim, Ibu Mertua Nurhayati (alm).
Secara khusus terima kasih diperuntukkan kepada Istri tercinta Sri Nirwana dan anak-anak tersayang Alfinnura Simehate, Mukhlas Naufal dan Ramzi Muayadtullah bin Mizan dan kepada seluruh keluarga.
Semoga tesis ini dapat memberi manfaat bagi pembaca dan pihak-pihak lain yang memerlukannya. Penulis sadar atas segala kekurangan dalam tesis ini.
Medan, 16 Juni 2011 Penulis,
Mizan
iv Universitas Sumatera Utara

RIWAYAT HIDUP Mizan lahir di Toweren Takengon Tahun 1959, anak ke-5 dari tujuh bersaudara ayah Abdullah Wujudi (alm) dan Ibu Semah. Menamatkan Sekolah Ibtidaiyah Negeri (MIN) Toweren tahun 1973, Madrasyah Tasyanawiyah Agama Islam Negeri (MTSAIN) Takengon tahun 1976, Sekolah Menengah Atas (SMA) Negeri 1 Takengon 1980 jurusan IPA. Tahun 1980 kuliah di jurusan matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Riau (UNRI) Pekan Baru, Memperoleh gelar sarjana Matematika tahun 1987. Tahun 1993 menjadi staf pengajar Politeknink Negeri Lhokseumawe hingga sekarang. Menikah dengan Sri Nirwana tahun 1995 dikaruniai seorang putri dan dua putra. Tahun 2009 mengikuti pendidikan Program Studi Magister Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sumatera Utara, Medan.
v Universitas Sumatera Utara

DAFTAR ISI

ABSTRAK ABSTRACT KATA PENGANTAR RIWAYAT HIDUP DAFTAR ISI
BAB 1 PENDAHULUAN
1.1 Latar Belakang 1.2 Perumusan Masalah 1.3 Tujuan Penelitian 1.4 Kontribusi Penelitian 1.5 Metode Penelitian
BAB 2 TINJAUAN PUSTAKA

Halaman i ii
iii v vi
1
1 3 3 3 4
5

BAB 3 LANDASAN TEORI
3.1 Pencarian Garis (Line Searches) 3.2 Metode Conjugate Gradient 3.3 Metode Arah Conjugate untuk Persoalan Quadratik 3.4 Metode Quasi - Newton 3.5 Kesalahan (error) dari Algoritma Conjugate Gradient
BAB 4 PEMBAHASAN
4.1 Algoritma LS-BFGS 4.2 Algoritma dan Implementasinya

4.2.1 Algoritma

7
7 8 8 12 18
20
22 28 28

vi Universitas Sumatera Utara

4.2.2 Implementasi BAB 5 KESIMPULAN DAN SARAN
5.1 Kesimpulan DAFTAR PUSTAKA

30 32 32 33

vii Universitas Sumatera Utara

ABSTRAK Metode Conjugate Gradient merupakan teknik iterasi dalam penyelesaian perihal sistem persamaan linier dengan menggunakan matriks koefisien simetris definite positif. Penyelusuran garis merupakan bahagian terpenting dalam optimisasi untuk menentukan arah p yang dicari. Kekonvergenan Metode Conjugate gradient merupakan teknik iterasi untuk penyelesaian persamaan linier definite positif simetris. Penyelesaian himpunan persamaan linier dengan matriks simetris merupakan ekivalen dengan fungsi kuadratik minimisasi. Nilai fungsi dan gradient dari model ini pada p sama dengan 0. Metode Quasi-Newton dengan menggunakan skema beda hingga merupakan suatu pendekatan untuk menyatakan arah yang dicari tanpa kehilangan kekonvergenan Conjugate gradient. Kata kunci: M¯ etode Conjugate gradient, Metode Quasi-Newton
i Universitas Sumatera Utara

ABSTRACT Conjugate gradient Method is an iteration technique in solving about the linier equation using the positive definite symmetric coefficient matrix. Line tracking is an important part of optimization to determine the direction of p. The convergence of conjugate gradientt method is an iteration method to solve the symmetric positive definite linier equation. The solving of linier equation by symmetric matrix is equivalent to the minimum quadratic function. Function and gradient value of this model on p is equal to 0. Quasi Newton Method using the different scheme as an approach to determine the direction without eliminate the convergence of conjugate gradient. Keyword: C¯onjugate Gradient Method, Quasi-Newton Method

ii Universitas Sumatera Utara

BAB 1 PENDAHULUAN

1.1 Latar Belakang
Metode Conjugate Gradient (CG) dapat dipakai untuk menyelesaikan sistem persamaan linear dengan matriks koefisien definite positif simetris. Penyelesaian Sistem Linier yang dimaksud dapat ditulis sebagai

Ax = b; A ∈ Rn×n; x ∈ Rn; b ∈ Rn

(1.1)

Di sini A merupakan suatu matriks simetris definite positif. Asumsikan bahwa x0 solusi awal dari persamaan (1.1). Metode Conjugate Gradient pada mulanya menghitung sisa awal r0 = b − Ax0 dan membangun solusi pendekatan x1, x2, . . . sedemikian hingga sisa vektor ri = b − Axi; i = 0, 1, . . . dapat ditulis dalam bentuk :
ri = Pi(A)r0

dimana Pi pada ruang polynomial berderajat i yang memenuhi hubungan Pi(0) = 1; (Bouyouli et al, 2008).

Laju konvergen dari Metode Conjugate Gradient didefinisikan pada ruang Hilbert. Hasil sebelumnya pada Rn untuk laju kekonvergenan pada sublinear dan superlinear, diperlukan bermacam-macam kondisi yang tak dapat diperinci dengan luas oleh operator linear.

Operator Differential Elliptic yang menghasilkan penafsiran yang relevan dan saling bertautan dipakai. Penafsiran yang dimaksud mencakup matriks berukuran besar pada masalah nilai batas diskrit (Axelsson dan Karaston, 2001).

Modifikasi formula Conjugate Gradient yang berbentuk βkMLS merupakan dasar dari formula Liu-Storey (LS) pada Metode Conjugate Gradient nonlinear,

dengan pembuktian oleh Wolfe-Powell pada pencarian garis dan penyederhanaan-

nya

menggunakan

parameter σ

∈

(0,

1 2

).

Metode ini merupakan

metode

baru yang

mewarisi sifat Global Convergence (Wei, Kai-Rong, 2010).

Universitas Sumatera U1tara

2
Pengembangan versi yang berbeda dari Metode Conjugate Gradient dengan perhatian khusus dari sifat Global Convergence.
Metode Conjugate Gradient terdiri dari algoritma Optimasi tak berkendala yang mempunyai karakterisasi. Suatu ketentuan yang harus diingat adalah sifat kekonvergenan. Strong Local dan Global Convergence (Harger dan Zhang, 2005).
Persoalan tak terbatas pada arah pencarian bila matriks Hessi tak berhingga atau mendekati Singular. Suatu algoritma baru yang dapat diusulkan pada matriks Hessi Singular secara natural dan teori yang ekuivalen. Keterampilan ini dapat dilakukan oleh matriks eksplisit yang dimodifikasi yang dapat dengan mudah beradaptasi untuk ditiru. Modifikasi implicit yang digunakan oleh metode daerah layak (Trust-Region Method).
Modifikasi algoritma Conjugate Gradient yang melengkapi strategi pada suatu robus merupakan cara yang efisien untuk pembuktian varian baru. Hasil numerik dibuktikan dengan melakukan keefektifan pendekatan ini pada hasil dari suatu Metode Pencarian Garis (Line Search Method). Untuk optimisasi Non Convex tak berkendala berskala besar (Zhou, Griffin dan Akrotirianakis).
Studi tentang sifat Global Convergence dari Class Broyden lebih terbatas daripada Metode Quasi- Newton, bila digunakan fungsi Objective Convex. Di asumsikan memenuhi Pencarian Garis suatu kondisi standar yang sangat kurang dan pendekatan awal Hessi beberapa matriks definite positif.
Dengan memperlihatkan konvergensi super linier global untuk metode DFP. Hal ini menyamaratakan Powell yang sudah dikenal baik untuk metode BFGS. Kemampuan analisa yang diberikan ke dalam sifat dari algoritma ini khusus ditunjukkan DFP yang dipunyai dan yang disukai Self-Correcting yang dimiliki oleh BFGS (Byrd, Nocedal dan Yuan, (1987)).
Pengusulan pada suatu algoritma yang baru terjadi untuk persoalan subjek minimisasi pada nonlinear memeriksa pada Constrain yang sama. Keduanya menjaga pendekatan pada Project dari Hessi dan Langrangian, Onto (Linearisasi) manifold dari Constrain aktif pada setiap iterasi.
Dapat ditunjukkan kedua algoritma yang digunakan dengan beberapa QuasiNewton umum disesuaikan dengan hukum (rule) dan digunakan analisis dari Stoer
Universitas Sumatera Utara

3

(1984), Barisan dari projected pendekatan Hessi yang konvergen (Wright, 1986).
Studi tentang prosedur non-monoton Line-Search, yang merupakan kombinasi dengan keluarga Non-Quasi Newton di bawah keseragaman Convexity asumsi pada fungsi objektif, global dan Super Linear Convergence dari keluarga nonQuasi-Newton dengan pengusulan non-monoton Pencarian Garis adalah pembuktian yang sesuai kondisi (Liu, 2010).
Suatu Metode Hybrid Direct Search-Quasi Newton untuk persoalan Invers nonlinear dari Electrical Impedance Tomography (EIT) pada 2D domain yang dimiliki metode Interior Path. Finite Element Method (FEM) digunakan untuk menyelesaikan problem forward EIT memandang scalar potensial dan memiliki nilai kepadatan yang mutakhir. Pendekatan perubahan adalah penggunaan pada solusi Problem Invers pengetahuan pendahuluan Inhomogenitas pada daerah asal (domain) digunakan (Guliashki Vassil, 2008).
1.2 Perumusan Masalah
Metode Conjugate Gradient merupakan algoritma minimisasi yang efisien dengan turunan kedua, dengan pendekatan Quasi-Newton untuk pencarian arah tanpa kehilangan kekonvergenan. Metode Conjugate Gradient didasari pada algoritma BFGS ( Broyden-Fletcher-Goldfarb-Shanno)
1.3 Tujuan Penelitian
1. Menentukan laju kekonvergenan dari suatu fungsi tak linier
2. Menentukan besar pembulatan kesalahan (round-off errors) dari fungsi tak linier

1.4 Kontribusi Penelitian
1. Pada pengembangan untuk Analisa mekanik 2. Pengembangan Analisa Vektor dan Tensor 3. Pengembangan Optimisasi Numerik

Universitas Sumatera Utara

4
1.5 Metode Penelitian Penelitian ini dilakukan dengan Metode tinjauan pustaka dengan langkah-
langkah sebagai berikut,

1. Analisa Generalisasi Conjugate Gradient dengan menggunakan pendekatan beda hingga dengan rumus berikut ini

Uk

=

1 γ

gkT

(∇f

(xk

+

γk gk )

−

gk )

Selanjutnya menghitung Vk dan Wk dengan menggunakan relasi berikut ini

Hk dk−1

≈

1 tk−1

(gk

− gk−1)

2. Analisis Successive Affine Reduction pada kasus dua dimensi (Zk = {△xk, △gk}) dinilai dengan LS Algoritma.

3. LS-BFGS dinilai dengan membuat algoritma LS.

Universitas Sumatera Utara

BAB 2 TINJAUAN PUSTAKA

Metode Conjugate Gradient dan Metode Quasi-Newton adalah ekivalen untuk suatu fungsi objek kuadratik bila ada garis pencarian yang digunakan. Metode Conjugate Gradient dan Quasi-Newton hanya digunakan pada turunan pertama dan turunan kedua dari suatu fungsi (Fallgren Mikael, 2006). Metode Quasi-Newton adalah Metoda iterasi untuk penyelesaian suatu persoalan minimum yang tidak menggunakan kendala pada persamaan berikut ini

minimisasix∈Rnf (x),

((P))

dimana f suatu fungsi yang sudah disederhanakan, fungsi convex dengan Gradient ∇f(x) yang ada dari persoalan fungsi kuadratik adalah f(x),
f (x) = 1 xT Hx + cT x 2
Dalam hal ini matriks Hessi H mempunyai m nilai karakteristik yang real. Metode Conjugate Gradient akan menentukan penyelesaian pada titik m sebagian besar iterasi dengan m kelompok yang real dan nilai karakteristik. Metode Conjugate Gradient akan mendekati penyelesaian persoalan pada iterasi ke m (Fallgren Mikael, 2006). Metode Conjugate Gradient suatu algoritma minimisasi yang efisien menggunakan informasi turunan kedua tanpa menggunakan penghematan matriks oleh pendekatan beda hingga. Dengan menunjukan skema beda hingga dapat menggunakan pendekatan Metode Quasi-Newton untuk menentukan suatu arah yang dicari tanpa kehilangan kekonvergenan. Metode Conjugate Gradient merupakan dasar pada pendekatan BFGS yang membandingkan dengan Metode yang ada dari clas yang sama (Koko, 1991). Telah diselidiki sifat algoritma LS-BFGS yang awalnya adalah algoritma LS dan algoritma SAR.

Algoritma LS di atas berhubungan dengan waktu CPU secara relatif lebih cepat dan menguntungkan fungsi optimisasi, untuk algoritma SAR mempunyai hasil yang baik, tetapi memerlukan beberapa fungsi/Gradient untuk menghitung tanpa menggunakan bentuk algoritma LS.
Universitas Sumatera U5tara

6 Untuk mengevaluasi fungsi dalam penyelamatan waktu diproleh dengan LSB1 adalah signifikan. Kegagalan LSB1 dan LSB2 pada percobaan numerik berupa kesalahan pembulatan komputasi H pada langkah ke-5 dari algoritma LD-BGFS. Hal ini disebabkan oleh penggunaan Q dan matriks orthogonalisasi Q .Sebelum penghitungan kemungkinan lebih jelas lagi kesalahan pembulatan (round-off errors) dan dapat memperbaiki algoritma LS-BFGS (Koko, 1991).
Universitas Sumatera Utara

BAB 3 LANDASAN TEORI

3.1 Pencarian Garis (Line Searches)
Untuk penentuan s∗ dalam penyelesaian persamaan 3.1 harus dapat suatu global konvergen dari suatu algoritma optimisasi. Sifat ini berhubungan dengan sifat yang paling populer yang dikembangkan oleh kondisi wolfe (wolfe condition).

Definisi 3.1: Suatu pencarian garis yang mana pilih s∗ pada minimisasi φ(s) = F (xk + spk) dikatakan dari perfect (sempurna) atau exact.

Definisi 3.2 : Tidak Kuat (Weak) atau Tidak Tepat (InExact) pencarian garis adalah yang mana satu yang di temui dari beberapa nilai s. Sehingga F (xk + spk) − F (xk) adalah negative dan loncatan jauh dari nol. Pencarian garis bagian yang penting pada Optimisasi jika arah p yang dicari Search Direction dan jika ditulis :

ϕ(s) = F (xk + sp), dengan menggunakan expansi Deret Taylor

(3.1)

ϕ(s)

=

F (xk) +

spT ∇F (xk) +

s2 2

P

T

∇2F

(xk)P

+

O(s3

p 3)

dan

juga

dϕ ds

=

pT ∇F (xk) + spT ∇2F (xk)p + O(s2

p 3).

Tetapi ∇F (xk + sp) = ∇F (xk) + s∇2F (xk)P + O(s2 p 2)

juga

dϕ ds

=

P T ∇F (xk + sp).

Persamaan (3.1) disederhanakan dengan konvergen awal dari xk sepanjang Search

Direction p adalah

dϕ dS

=

pT ∇F (xk).

Universitas Sumatera U7tara

8
3.2 Metode Conjugate Gradient
Metode Conjugate Gradient adalah suatu teknik iterasi untuk menyelesaikan persoalan sistem persamaan Linier Ax = b. dimana A suatu matriks koefesien simetris dan definite positif :
A ∈ Rn×n ∀x ∈ Rn, x = 0 AT = A xT Ax > 0
Pada tahun 1982 Steihang Trout, menyatakan minimisasi tidak terkendala dari suatu fungsi disederhanakan pada variable merupakan salah satu persoalan yang banyak dari suatu persoalan yang sangat penting dalam matematika programming. Karena fungsi mulus Lokal minimal terjadi pada titik stationar yaitu gradient sama dengan nol.
Algoritma effectif digunakan sebagai dasar pada metode- Newton atau beberapa variasi yang disukai Metode -Newton untuk menentukan gradient sama dengan nol. Untuk memperluas daerah konvergen metode membutuhkan modifikasi. Dimana ada dua pokok pendekatan pencapaian global konvergen. Sebagian besar modifikasi dengan menggunakan pendekatan pencarian garis, dimana arah P dihitung. Untuk pencarian suatu pendekatan lokal minimum sepanjang garis yang didefinisikan oleh arah P . Suatu pendekatan yang menarik adalah dasar observasi metode Quasi-Newton. Model fungsi dengan pendekatan kuadratik sekeliling rangkaian iterasi. Keakuratan kuadratik hanya pada suatu tetangga (neighborhood) dari rangkaian iterasi dan iterasi yang baru. Sekarang memilih pendekatan minimum dari kuadratik konstan menjadi suatu daerah yang diyakini pembentukannya.
3.3 Metode Arah Conjugate untuk Persoalan Quadratik
Persoalan solusi suatu himpunan persamaan linier dengan matriks simetrik definite positif adalah ekivalen dengan persoalan minimisasi fungsi kuadratik, dengan mempertimbangkan persoalan penentuan x ∈ Rn yang memenuhi
Ax = b,
Universitas Sumatera Utara

9

dimana A ∈ Rn×n, b ∈ Rn dan A matriks simetrik definite positif. Solusi persoalan ini juga merupakan solusi persoalan optimisasi (P ) dengan rumus berikut ini

lim [f(x)
x∈Rn

=

1 2

xT

Ax

−

bT x].

(3.2)

Dengan mempertimbangkan titik x¯ sedemikian hingga

∇f(x¯) = δ(x¯) = Ax¯ − b = 0.

(3.3)

Persamaan (3.2) membuktikan kondisi optimisasi untuk persoalan (3.1)

Lemma 3.1 Andaikan A matriks simetris definite positif , jika x¯ solusi persamaan (3.1) maka penyelesaian (3.2 ) sebagai pedoman.

Bukti : Andaikan δ(x¯) = r¯ = 0 dan hitung f di titik x¯ − αr¯, dimana α ∈ RT

F (x¯ − αx¯) = 1(x¯ − αx¯)T A(x¯ − αx¯)bT (x¯ − αx¯) 2

1 2

x¯T

Ax¯

−

αx¯T Ar¯ +

1 2

α2r¯T

−

bT x¯

+

αbT r¯

f (x¯)

−

α(Ax¯

−

b)2r¯

+

1 2

α2r¯T

Ar¯

f (x¯)

−

αr¯T r¯ +

1 2

α2r¯T

Ar¯

untuk bilangan kecil dari α diperoleh

f(x¯ − αr¯) < f(x¯),

kontradiksi solusinya x¯ pada persamaan (3.1 ). Solusi x¯ dari metode arah conjugate pada persamaan (3.1) menyarankan pada suatu barisan sederhana persoalan optimisasi.

Andaikan A suatu matriks diagonal dengan elemen diagonal sama dengan

(λ1, λ2, . . . , λn) dimana λ1 ≥ λ2 ≥ . . . λn > 0, maka order pada penentuan nilai

minimum dari f diselesaikan suatu barisan dari persoalan optimisasi dimensi satu

(Pi):

xmi∈iRnn[fi(xi)

=

1 2

λi(xi)2

−

bixi].

Setiap

persoalan

(Pi) mempunyai solusi

xi

=

,bi
λi

i

=

1, 2, . . . , n dan

solusi

ini

kombinasi dari constitute dari solusi (P ).

Algoritma ( 1,1 ) ( metode Arah Conjugate Sederhana )

Universitas Sumatera Utara

10

1. Pilih sembarang xi ∈ Rn, Set k = 1.

2. Set Pk = ek, ek vektor.

3. Tentukan αk > 0, sehingga

f (xi

+

αk pk )

=

lim
α>0

f (xk

+

αpk ).

4. Subsitusi xk + αkpk untuk xi+1, naik k by one. Jika k ≤ n, then the go to step 2, untuk yang lain stop.

Minimisasi pada langkah 3 sangat berperan pada relasi g(xk + αkpk)T pk = O ditulis sebagai
[λi[(xk)i + αk(pk)i] − bi](pk)i = 0

karena

pk

=

ek

diperoleh

αk

=

−(xk)i

+

.bi
λi

jika

(xk+1)

asumsi

nilai

bk λk

dan

karena

pk

=

ek

akan

diperoleh

λk

=

−(xk)i

+

bi λi

.

Jika

(xk+1)k

asumsi

nilai

,bk
λk

tambahan

lagi

;

skala

perhitungan

ke

k

langkah

xk+1

fungsi f minimum pada ruang bagian dibangun oleh vector-vektor e1, e2, . . . , ek

dan melalui titik x1

k
℘k = {x ∈ ℜn; x = xi + γ1ei, γi ∈ ℜ, i = 1, 2, 3, . . . k}.
i=1

(3.4)

Sifat dapat ditunjukkan jika dibuktikan gradient δk+1 memenuhi

gkT+1pi = gkT+1ei = 0, ∀i ≤ k.

(3.5)

Pada bagian akhir akan mempertimbangkan hitungan gradient pada titik x1, x2, . . . , xn diperoleh xk+1 sebagai berikut

 b1/λ1 

b2/λ2

  

...

  

xk+1

=

 

bk/λk

 

(x1)...k+1

  

(x1)n

Universitas Sumatera Utara

11

untuk menentukan δk+1 digunakan rumus berikut ini

0

0

  

...

  

δk+1

=

0

λk+1(x1 


)k...+1

−



bk+1

 





λn(x1)n − bn

dengan demikian rumus (3.5) merupakan pegangan.

Solusi pada problem (p) terletak pada bagian garis tegak lurus pada ruang Pk

dan melalui titik xk+1

n
Pn−k = {x ∈ ℜn : x = xk+1 + ei, γi ∈ ℜ, i = k + 1, . . . , n}.
i

(3.6)

Hal ini disebabkan ℘n−k adalah ruang bagian dari ℜn dan setiap iterasi dari Al-

goritma (1.1) menurunkan dimensi statis pada n iterasi. Solusi pada problem (p)

akan ditentukan.

Jika A merupakan matriks diagonal akan diperoleh

pTi APj = eTi = 0, ∀ = i, i, j = 1, 2, 3, . . . , n.

(3.7)

Bila A bukan matriks diagonal, himpunan vektor {ek}n1 tidak merupakan jaminan konvergen pada bilangan berhingga dari iterasi. Jika kita dapat transformasi matriks A oleh matriks non singular S pada matriks diagonal

nonsingular Aˆ = ST AS,

(3.8)

persoalan optimisasi menjadi

lim [fˆ(xˆ)
xˆ∈Rn

=

1 2

xˆT

S

T

AS

xˆ

−

bT Sxˆ].

Ruang variabel baru x = Sxˆ. Pada ruang variabel xˆ dapat digunakan algoritma (1.1) untuk menentukan minimum dari fˆ pada suatu bilangan berhingga dari Iterasi. Penggunaan pendekatan pada suatu matriks definite positif A sembarang mempunyai suatu kelemahan. Dalam hal ini harus diketahui salah satu matriks S atau vektor {pi}n1 sehingga pi = S−1ei. Hubungan (3.6) dengan Ruang Variabel xˆ menjadi

PiT Apj = 0; ∀i = j; i, j = 1, 2, 3, . . . , n.

(3.9)

Universitas Sumatera Utara

12

3.4 Metode Quasi - Newton

Turunan metode Kuadratik dari fungsi objek pada rangkaian iterasi Xk adalah sebagai berikut:

mk(p)

=

fk

+

∇fkTp

+

1 2

pTBk

p.

(3.10)

Dimana Bk matriks simetrik definite positif yang akan diperbaiki atau disesuaikan setiap iterasi. Nilai fungsi dan gradient dari model ini pada p = 0 menandingi penyajian dari fk dan ∇fk, Minimisasi pk dari model kuadratik convex, yang akan ditulis dalam bentuk explicit

pk = −Bk−1∇fk, dengan menggunakan arah pencarian dan iterasi baru, yaitu

(3.11)

xk+1 = xk + αkpk,

(3.12)

langkah selanjutnya memilih αk yang memenuhi kondisi Wolfe. Sebagai pengganti pada penghitungan Bk yang baru pada setiap iterasi Davidon mengusulkan penyelesaian dengan cara yang sederhana untuk pengukuran kelengkungan yang terjadi selama ini. Andaikan dibangun iterasi baru xk+1dan ingin membuat model kuadratik baru dari bentuk

mk+1(p)

=

fk+1

+

∇fk+1Tp

+

1 2

pT

Bk+1p.

Suatu kebijaksanaan yang perlu gradient dari mk+1 akan menandingi gradient dari fungsi objek f pada dua iterasi yang lambat xk dan xk+1. Karena ∇mk+1(0) adalah persis ∇fk+1, yang kedua kondisi ini otomatis memenuhi. Kondisi pertama ditulis dalam bentuk matematik

∇mk+1(−αkpk) = ∇fk+1 − αkBkk + 1pk = ∇fk. Dengan menyusun, diperoleh

Bk+1αkpk = ∇fk+1 − ∇fk.

(3.13)

Dengan menggunakan definisi vektor

sk = xk+1 − xk = αkpk; yk = ∇fk+1 − ∇fk,

(3.14)

Universitas Sumatera Utara

13

persamaan (3.12) menjadi

Bk+1sk = yk.

(3.15)

Penggantian sk dan perubahan gradient yk, persamaan garis potong memerlukan matriks simetrik definite positif Bk+1 memetakan sk kedalam yk. Hal ini akan mungkin hanya jika sk dan yk membuat kondisi kelengkungan

skT yk > 0,

(3.16)

bila f betul-betul cembung (strongly convex) , persamaan (3.16) akan memenuhi dua titik xk dan xk+1. Berdasarkan kondisi Wolfe pada arah pencarian ini membuktikan bentuk persamaan (3.16) dan kondisi Wolfe

∇fkT sk ≥ C2∇fkT sk dan oleh karena ykT sk ≥ (C2 − 1)αk∇fkT pk.

(3.17)

Karena C2 < 1 dan pk adalah arah yang layak (decent direction) dengan istilah kanan positif dan kondisi kelengkungan pada persamaan (3.16). Penentuan Bk+1 secara tunggal dapat membebani penambahan kondisi di antara semua matriks simetris yang memenuhi persamaan garis potong (secent) , Bk+1 tertutup pada rangkaian matriks Bk.

dengan kendala

min
B

B − Bk

(3.17(a))

B = BT , Bsk = yk

(3.18)

dimana sk dan yk memenuhi persamaan (3.16) dan Bk matriks simetris dan definite positif. Perbedaan matriks norm (norm) diberikan kenaikan pada perbedaan Metode Quasi-Newton. Norm menandakan penyelesaian dari persoalan minimisasi (3.17 ) dan diberikan kenaikan pada sekala invariant optimisasi metode adalah norm bobot Frobenius

A W ≡ W 1/2AW 1/2 F ,

(3.19)

nn

dimana

• F didefinisikan oleh

C

2 F

=

Ci2j .

i=1 j=1

Matriks bobot W dapat dipilih sebagai matriks yang memenuhi hubungan W yk =

Universitas Sumatera Utara

14

sk. Kenyataan, dapat diasumsikan W = Gk−1 dimana G¯k rata-rata Hessi didefinisikan oleh

1
G¯k = [ f (xk + τ αkpk)dτ ].
0

(3.20)

Sifat

yk = G¯kαkpk = G¯ksk.

(3.21)

Norm persamaan (3.19) adalah nondimensional, dimana suatu sifat yang diperlukan, karena tidak menginginkan penyelesaian dari persamaan (3.17 ) tak bebas pada satuan persoalan. Dengan bobot matriks ini dan Norm ini penyelesaian tunggal dari persamaan (3.17) adalah

(DFP)Bk+1 = (I − ρkyksTk )Bk(I − ρkskykT ) + ρkykykT ,

(3.22)

dengan

ρk

=

1 ykT sk

.

(3.23)

Invers Bk di tulis Hk = Bk−1. Sehingga Hk+1 dapat di tulis dalam bentuk

(DFP)

Hk+1

=

Hk

−

HkykykT Hk ykT Hkyk

+

skskT ykT sk

.

(3.24)

Untuk persamaan garis potong (secent) (Bk+1sk = yk) di tulis

Hk+1yk = sk

Analog

Subject

min H − Hk
H

(3.24(a))

H = HT , Hyk = sk.

(3.25)

Matriks bobot W adalah matriks memenuhi W sk = yk sehingga solusi tunggal Hk+1 pada persamaan (3.24(a)) adalah

(BFGS) Hk+1 = (I − ρkskykT )Hk(I − ρykskT ) + ρskskT ,

(3.26)

Universitas Sumatera Utara

15

dimana ρk didefinisikan pada persamaan (3.22) dan menggunakan Shermen - Morrison - Woodbury formula diperoleh

(BFGS)

Bk+1

=

Bk

−

BksksTk Bk sTk Bksk

+

yk ykT ykT sk

.

(3.27)

Algoritma ( BFGS ) Dimulai dengan titik X0 konvergen toleransi ε > 0, pendekatan Invers Hessi H0; k←0 while ∇fk > ε;

dihitung search direction

Pk = −Hk∇fk;

(3.28)

Set Xk+1 = Xk + αkPk dimana dari arah pencarian Prosedur memenuhi kondisi Wolfe. Definisikan sk = xk+1 − xk dan yk = ∇fk+1 − ∇fk; Hitung Hk+1 dengan rata-rata dari penyelesaian (Hk+1); k ← k + 1; end(while).

Metode SR 1 ( Symmetric - rank 1 ) Bentuk umum dari simetris- rank 1 dapat di tulis dalam bentuk

Bk+1 = Bk + σvvT ,
dimana σ pada +1 atau −1 dan σ dan v memilih Bk+1 memenuhi persamaan Secant;

yk = Bk+1sk. Substitusi kedalam persamaan (3.15) sehingga diperoleh yk = Bksk + [σvT sk]vϑ = δ(yk − Bksk) untuk skalar δ. Substitusi bentuk v ke dalam persamaan (3.28)

(3.29)

diperoleh

(yk − Bksk) = σδ2[sTk (yk − Bksk)](yk − Bksk),

(3.30)

Universitas Sumatera Utara

16

dengan memilih parameter δ dan σ sehingga

α = Sign[skT (yk − Bksk)], δ = ±|skT (yk − Bksk)|−1/2.

Ditunjukkan hanya simetris-rank 1 diperbarui formulasi yang memenuhi persamaan secant adalah

(SR-1)

Bk+1

=

Bk

+

(yk

− Bksk)(yk − Bksk)T (yk − Bksk)T sk

.

(3.31)

Dengan menggunakan formula Sherman-Morrison diperoleh formula yang diperbarui untuk Invers Hessi pendekatan Hk yaitu

(SR-1)

Hk+1

=

Hk

+

(sk

− Hkyk)(sk − (yk − Hksk)T

Hk yk

yk

)

.

(3.32)

Algoritma (SR 1 TRUST - REGION METHODE) Dimulai dengan titik x0 Pendekatan Awal Hessi B0, jari-jari trust Region ∆0, konvergen toleransi ε > 0, parameter η ∈ (0, 10−3) dan r ∈ (0, 1); K ← 0; While ∇fk > ε;

Menghitung sk dengan penyelesaian sub soal

min
s

∇fkT

s

+

1 2

sT

Bks

subject

to

s ≤ ∆k;

(3.33)

Hitung Yk = ∇f (xk + Sk) − ∇fk,

Ared = fk − f (Xk + Sk) (actual redoction)

Pred

=

−(∇fkT

Sk

+

1 2

SkT

BkSk

)

(

predicted

reduction

);

if ared/pred > η

xk+1 = xk + Sk; else

xk+1 = xk;

Universitas Sumatera Utara

17

end (if)

if ared/pred > 0,75

if sk ≤ 0, 8∆k

∆k+1 = ∆k; else

∆k+1 = 2∆k; end (if)

else if 0, 1 ≤ ared/pred ≤ 0, 75

∆k+1 = ∆k;

else

∆k+1 = 0, 5∆k; end (if)

if ( 3.32 ) holds

Gunakan persamaan ( 3.31 ) untuk menghitung Bk+1 ( jika kejadian xk+1 = xk )

else

Bk+1 ← Bk; end (if)

k ← k + 1;

end (while).

Andaikan f : Rn → R. adalah fungsi kuadratik Strongly Convex f (x) = bT x +

1 2

xT

Ax

di

mana

A

matriks

simetris

definite

positif.

Maka

untuk

titik

Awal

x0

dan

matriks simetris awal H0, konvergen pada minimisasi pada step ke n.

Buktikan (sk − Hkyk)T yk = 0; ∀k.

Dengan kata lain, jika pada step ke-n dilakukan. Jika Search Direction p bebas

Universitas Sumatera Utara

18
linear maka Hn = A−1 Analisa konvergen dari metode SR-1. Andaikan iterasi xk yang di bangun oleh algoritma. Andaikan memenuhi kondisi .

1. Barisan dari iterasi bukan akhir , tetapi tersisa menutupi Convex set D ( menutupi convex set D ) yang mana fungsi f adalah terdiferensial continue ke dua dan f mempunyai titik tetap tunggal x∗;
2. Hessian ∇2f (x∗) definite positif dan ∇2f (x∗) continue Lipschits pada Neighborhood dari x∗;
3. Barisan dari matriks {Bk} berbatas pada Norm;
4. Kondisi (4.24) diperoleh pada setiap iterasi, dimana r ∈ (0, 1).

Maka

lim
k→∞

xk

=

x∗

dan

diperoleh

lim
k→∞

xk+n+1 − x∗ xk − x∗

= 0.

3.5 Kesalahan (error) dari Algoritma Conjugate Gradient

Pendekatan kreatif diusulkan oleh Hestenes dan Stiefel pada 1952 . Membangun metode Arah Conjugate yang mana menghitung arah pk hanya pada basis sebelum arah dan rangkaian gradient dengan menggunakan persamaan berikut ini

pk = −rk + βkpk−1 = −gk + βpk−1

dimana βk koefesien tak bebas dari rangkaian data iterasi sebelumnya, karena pk dan pk−1 asumsi menjadi conjugate

PkT Apk−1 = −rkT pk−1 + βkpTk−1Apk−1 = 0

βk dapat dihitung dengan formula

βk

=

rkT Apk−1 pTk−1 Apk−1

.

Dengan asumsi P1 = −g1. Algoritma → (algoritma conjugate gradient)

(3.34)

Universitas Sumatera Utara

1. Memilih sembarang x1 ∈ ℜn. Himpunan p1 = −r1 = −g1 dan k = 1.

19

2. Menentukan αk yang mana f minimum pada garis

Lk

=

{x

∈

ℜn

:=

xk

+

αpk, x

∈

ℜ}αk

=

rkT pk pTk Apk

.

3. Substitusi xk + αkpk untuk xk+1, jika γk+1 = 0 maka stop, untuk yang lainnya, hitung βk+1 dengan menggunakan

βk+1

=

rkT+1 Apk pkT+1 Apk

(3.35)

dan Pk+1 menurut Pk+1 = −rk+1 + βk+1Pk dimana rk+1 = Axk+1 − b = gk+1.

4. Membalik k ke nilai 1 dan ke langkah 2.

Alternatif untuk formula βk pertama amati ck ck = rkT pk = rkT (−rk + βkpk−1) = − rk 2 .

gunakan relasi persamaan (3.34) dan

rk 2 = (rk + αkApk)T rkT+1 = rkT+1rk − ckβk+1

untuk βk+1 Sehingga

βk+1 =

rk+1

2 − rkT+1rk rk 2

=

rkT+1(rk+1 − rk 2

rk) .

βk+1 =

rk+1 rk

2

2

.

(3.36)

Teorema 3.2 Andaikan titik xk dibangun oleh algoritma Conjugate Gradient, bukan titik minimum dari f. Maka

Span{r1, r2, . . . , rk+1} = k(r1, k)
Span{p1, p2, . . . , pk+1} = k(r1, k) pkT Api = 0; i = 1, 2, 3, . . . , k − 1 rkT ri = 0; i = 1, 2, 3, . . . , k − 1

(3.37) (3.38) (3.39) (3.40)

Universitas Sumatera Utara

BAB 4 PEMBAHASAN

Untuk pembahasan Bab 4 menggunakan definisi dasar, teorema, dan algoritma yang terdapat dalam Bab 3. Kosentrasi ditujukan pada persoalan minimisasi tak berkendala berbentuk

min f (x), x ∈ Rn

((P))

dengan f merupakan dua kali fungsi yang dapat dideferensialkan secara kontinu. Bila demensi (P) besar, metode Conjugate Gradient secara khusus mempergunakan sifat-sifatnya. Metode klasik Conjugate Gradient bertujuan menyelesaikan (P) dengan menggunakan urutan pencarian garis (line search)

xx+1 = xk + tkdk, k = 1, 2, . . .
dengan tk adalah langkah yang panjang dan arah pencarian dk berasal dari bentuk persamaan berikut ini
dk = −gk + βkdk−1
dengan gk = ∇f (xk). Terdapat banyak formula untuk menghitung koefesien βk; Liu dan Storey mengusulkan suatu metode Conjugate Gradient baru, di mana arah pencarian berasal dari bentuk persamaan berikut ini

dk = −αkgk + βkdk−1, αk > 0,

(4.1)

dengan mempertimbangkan pengaruh pencarian garis yang tidak tepat. Ditulis

pendekatan Newton dari f (xk+1), yaitu :

F

(xk

+

tk dk )

=

f (xk)

+

(gkT

dk )tk

+

1 2

(dTk

Hk dk )t2k ,

k

≥

2,

dimana Hk = ∇2f (xk) adalah Hessi dari f di xk. Jika Hk definite positif, maka

min
tk>0

F

(xk

+

tkdk )

−

f (xk)

≤

F

(xk

+

dk )

−

f (xk).

(4.2)

Akhirnya, untuk membuktikan pencarian garis, Liu dan Storey (1991) mengajukan (αk, βk) pada (4.1) sebagai minimisasi dari ruas kanan persamaan (4.2) yaitu dari fungsi

Φ(

,

β)

=

f (xk

+

dk )

−

f (xk)

=

(gkT

dk )tk

+

1 2

(dTk

Hk dk )tk2 ,

k

≥

2.

Universitas Sumatera U20tara

21

Dengan menghitung langsung koefesien αk dan βk dari pencarian arah akan dike-

tahui dengan

dimana

αk

=

1 Dk

[

gk

2 vk − (gkT dk−1)wk],

βk

=

1 Dk

[

gk

2 wk − (gkT dk−1)uk],

(4.3) (4.4)

uk = gkT Hkgk, vk = dTk−1Hkdk−1, wk = gkT Hkdk−1, dk = ukvk − wk2 > 0.

(4.5) (4.6) (4.7)

Liu dan Storey (1991) telah menunjukan bahwa algoritma Conjugate Gradient

secara global konvergen dalam kondisi pencarian garis

F (xk

+ tkdk) − f (xk)

≤

σ1tk∇f (xk)T dk, 0

<

σ1

<

1 2

|∇f (xk + tkdk)T dk| ≤ −σ2∇f (xk)T dk, 0 < σ1 < σ2 < 1,

(4.8) (4.9)

jika diasumsikan level himpunan L = {x|f(x) ≤ f(x0)} adalah melambung. Kondisi yang paling utama dari teorema kovergensinya adalah

uk > 0, vk > 0,

(4.10)

1−

wk2 ukvk

≥

1 4rk

,

∞

>

rk

>

0,

uk gk 2

vk dk 2

−1
≤ rk, ∞ > rk > 0.

(4.11) (4.12)

Pada tulisan ini dibahas Conjugate Gradient dari Liu dan Storey (1991) sebagai

algoritma LS. Untuk menghindari penghitungan dan penyimpanan dari Hk, Liu

dan Storey menawarkan perhitungan pendekatan uk, vk dan wk dengan menggu-

nakan beberapa bentuk dari pendekatan yang berbeda

uk

=

1 γk

gkT

(∇f

(xk

+

γk gk )

−

gk),

(4.13)

vk

=

1 δk

dTk−1

(∇f

(xk

+

δkdk) − gk),

wk

=

1 δk

dkT

(∇f

(xk

+

δk dk )

−

gk),

(4.14) (4.15)

dimana δk dan γk adalah bilangan positif terkecil yang sesuai. Untuk menghindari

beberapa evaluasi gradient tambahan penghitungan vk dan wk dengan menggu-

nakan relasi

Hkdk−1

≈

1 tk−1

(gk

−

gk−1 ),

(4.16)

Universitas Sumatera Utara

22

diperoleh dari teorema nilai rata-rata. Karena kondisi (4.10) harus dipenuhi, Hk harus definite positip. Telah diketahui hal ini memungkinkan, karena secara umum hanya beberapa neighborhood dari suatu lokal minimum. Sebagai tambahan, jika fungsi evaluasi berharga waktu lebih baik mengevaluasinya sejarang mungkin. Tulisan ini mengusulkan perhitungan uk, vk dan wk dengan menggunakan formula pendekatan BFGS sehingga (4.10) dan menghilangkan evaluasi gradient tambahan. Pada bagian selanjutnya akan diturunkan algoritma LS dengan menggunakan pendekatan BFGS.

4.1 Algoritma LS-BFGS

Karena algoritma LS menggunakan pendekatan BFGS dimana limit memori BFGS algoritma adalah global konvergen jika fungsi k kontinu di deferensial ke-2 dan Hessi berbatas uniform. Dengan memisalkan Zk−1 adalah rentangan dari −gk dan dk−1 dan Qk−1 adalah −gk dan dk−1. Misalnya Zk−1 = rentang{−gk, dk−1} dan Qk−1 = (−gkdk−1). Metoda LS merupakan metoda- Newton yang berdimensi dua, artinya metode ini menggunakan arah baru pada titik xk, dan arah Newton dibatasi dari f ke Zk−1. Sebenarnya Zk−1 merupakan Hessi dari f di titik terbaru aliranya adalah

H˜k = QkT−1, HkQk−1,

(4.17)

dimana Hk = ∇2f (xk); dan gradientnya adalah g˜k = QkT−1gk. Akhirnya arah yang terbaru diberikan oleh

dk = −(Qk1H˜k−1QTk−1gk,

(4.18)

atau dalam bentuk perluasan dk = αkgk + βkdk−1, dimana

αk βk

= −H˜k−1g˜k

(4.19)

Hal yang menarik dari analisis Liu dan Storey adalah analisa ini dapat menggantikan matriks H˜k yang diberikan dengan menggunakan teknik- teknik Quasi-
Newton.

Seluruh kuantitas ( vektor dan matriks ) dalam mengubah ruang Zk akan ditandai
dengan diletakkannya tanda ∼ terhadap rumus yang belum ditransformasikan. Matriks H˜k yang dikemukakan dengan formula (4.17) berasal dari bentuk berikut
ini H˜k = −uwk k −vwk k

Universitas Sumatera Utara

23
dan kondisi (4.11) dapat ditulis berbentuk
0 < ukvk/(4rk) ≤ ukvk − wk2 = det H˜k.
Selanjutnya pada setiap iterasi ke-k pada (4.11) diberikan suatu batas dari bawah untuk ditentukan kondisi (4.10)−(4.11). Dalam hal ini dapat dipastikan H˜k adalah definite positif. Sebelum matriks definite positif meletakkan Hk pada (4.18) perlu mengetahui sesuai tidaknya algoritma konvergensi. Akibat 1. Andaikan level himpunan L dari f dibatasi ( bounded ) dan kondisi pencarian garis (4.8) − (4.9). Misalkan
H˜k = −uwk k −vwk k

adalah matriks 2 × 2 yang memenuhi (4.10)-(4.12) dan Qk−1 = (−gkdk−1). Maka ada type algoritma LS dengan pencarian arah diberikan oleh

dk = −(Qk−1H˜k−1QkT )gk

(4.20)

adalah konvergen.
Bukti. Karena Liu dan Storey (1991) menggunakan besaran kuantitas uk, vk dan
wk tanpa menggantinya dengan (4.5) − (4.7) konsekuensinya menjadi valid. Dicatat juga bahwa, jika H˜k memenuhi (4.11 ) maka wk < √ukvk dan karena itu gkT dk < 0. Akibat 1 dapat juga menggunakan (4.18) atau (4.19) dengan matriks definite poisitif lainnya memenuhi (4.10)-(4.12) bukan H˜k yang dikemukakan pada formula (4.17). Karena Hˆk adalah Hessi yang di reduksi, dapat mengganti pendekatan
Hessi yang di reduksi dengan menggunakan formula BPGS yang diperbaiki.

Misalkan ∆xk = xk+1 − xk dan ∆gk = gk+1 − gk dengan ∆xkT ∆gk > 0. Formula koreksi BFGS yang diperbaiki membangun suatu pendekatan pada matriks Hessi dari f yang didefinisikan oleh

Hk+1 = UBF GS (∆xk, ∆gk, Hk)

(4.21)

yang ekuivalen dengan

Hk+1

=

Hk

+

∆gk∆gkT ∆xTk ∆gk

−

Hk ∆xk∆xkT ∆xkT Hk∆xk

.

(4.22)

Universitas Sumatera Utara

24

Disini akan dipergunakan fungsi perbaikan dengan (4.21), yang diperkenalkan oleh Dennes dan More. Untuk menuliskan (4.22), menggunakan argumen yang sesuai, seperti dalam metode Nazareth‘s. Skema umum untuk memutakhirkan Hˆk pada masing-masing iterasi adalah sebagai berikut:
i. H¯k = QkT HkQk proyeksi dari Hk diatas Zk = span {−gk+1, dk}. ii. ∆x˜k = QkT ∆xk, ∆g˜k = QTk ∆gk. iii. Jika ∆x˜Tk ∆g˜k > 0 maka gunakan formula BFGS yang diperbaiki
Hˆk+1 = UBF GS(∆x˜k, ∆g˜k, H¯k).
iv. Mengembangkan pendekatan terhadap seluruh ruang Rn.

Pada skema ini, titik-titik krusial adalah ( iii ) dan ( iv ). Hubungan ∆x˜k∆g˜k > 0 perlu untuk memastikan bahwa H˜k+1 adalah definite positif. Pencarian garis (4.8)-(4.9) tidak hanya akan menjamin bahwa ∆x˜k∆g˜k > 0. Sehingga pengguna dapat menemukan relasi diantara pencarian garis (4.8)−(4.9) dan hasil kali dalam
∆x˜k∆g˜k. Teorema di bawah ini memberikan hubungan yang dimaksud.

Teorema 4.1 Jika di dalam pencarian garis kondisi diberhentikan pada (4.8) − (4.9), ∆x˜k∆g˜k > 0 jika dan hanya jika

− dk 2 /σ2 < gkT ∆gk < (1 − σ2) dk 2 /σ2.

(4.23)

Bukti .

Dari bentuk Qk = (−gk+1dk) mempunyai

∆x˜k = tk

−dgTkkT

dk dk

dan

∆g˜k =

−dgTkkT

gk gk

.

Maka

∆x˜Tk ∆g˜k = tk[(gkT dk)(gkT ∆gk) + (dTk dk)dTk ∆gk].

(4.24)

Dapat diperhatikan jika ∆xkT ∆gk > 0 menyatakan secara tidak langsung dTk ∆gk > 0. Istilah persoalan dalam formula (4.24) merupakan ruas pertama pada sisi kanan. Akan tetapi dari (4.8) − (4.9) diketahui bahwa

gkT dk ∈ [σ2gkT dk, −σ2gkT dk].

Universitas Sumatera Utara

25

Terpenuhi. Jika gkT+1∆gk > 0 maka

∆x˜Tk ∆g˜k ≥ tk[σ2(gkT dk)(gkT gk) + d2 2 (σ2 − 1)gkT dk].

Dengan menggunakan σ2(gkT dk) sebagai vektor, hal itu akan mengikuti

∆x˜kT ∆g˜k > tkσ2(gkT dk)[gkT ∆gk) + (σ2 − 1) d2 2 /σ2 > 0.

Dengan cara yang sama, dapat ditentukan bahwa jika gkT ∆gk < 0 maka

∆x˜Tk ∆gk > −tkσ2(gkT dk)[gkT ∆gk) + d2 2 /σ2 > 0.

Jika diperoleh ∆x˜Tk ∆g˜k > 0,

(gkT dk)(gkT ∆gk) + (dTk dk)dkT ∆gk > 0.

Jika gkT dk > 0, dapat digunakan rumus

gkT ∆gk > − d2 2 (dTk ∆gk)/(gkT dk).

Karena dTk ∆gk = dkT gk+1 − dkT gk > −gkT dk dan gkT dk ≤ −σ2gkT dk, maka diperoleh

gkT+1∆gk < − d2 2 /σ2.

Jika gkT dk < 0,

gkT ∆gk < − d2 2 (dTk ∆gk)/(gkT dk),

−dkT ∆gk = −dkT gkT+1 + dTk gk < (1 − σ2)gkT dk dan gkT+1dk > σgkT dk,

diperoleh

gkT+1dk < (1 − σ2) dk 2 /σ2.

Pertidaksamaan (4.23) menunjukan bahwa hubungan antara parameter pencarian

garis σ2 dan hasil kali dalam ∆x˜kT ∆g˜k. Semakin besar nilai σ2 akan menurunkan interval yang diketahui dengan formula (4.23) karena ∆x˜Tk ∆g˜k > 0. Jika pencarian garis yang tepat digunakan untuk menentukan panjang langkah tk, ∆xkT ∆gk > 0 mengimplikasikan ∆x˜kT ∆g˜k > 0. Jika ∆x˜Tk ∆g˜k > 0 dengan H¯k = QTk HkQk proyeksi Hessi Hk ke dalam Zk. Di sini akan menghitung H˜k+1 menggunakan formula BFGS yang diperoleh pada
(4.22). Untuk memperluas pendekatan Hessi ini sampai keseluruh ruang Rn, harus menetapkan Q¯k = (pkqk), orthonormalized bentuk dari Qk dengan

pk = −

1 gk

gk+1,

qk =

1 sk

(dk

−

gkT+1 dk gk+1 2

gk+1

),

Universitas Sumatera Utara

26

dimana

sk =

gk

2

−

(gkT dk)2 gk 2

1/2
.

(4.25)

Perlu digarisbawahi bahwa sifat utama Q¯k adalah Q¯kQ¯Tk z = z untuk setiap z ∈ Zk. Sehingga
(In − Q¯kQ¯kT )gk+1 = 0, (In − Q¯kQ¯kT )dk = 0.

Kolom

dari

(In − Q¯kQ¯Tk )T

membangun

Z

1 k

dan

Hk+1 = QkH˜k−1QkT + (In − Q¯kQ¯Tk ),

(4.26)

memberikan perluasan dari invers Hessi Hk−1 keseluruh ruang Rn. Maka arah pencarian baru akan diketahui dengan

dk+1 = −Hk+1gk+1 = −(QkH˜k−1QTk )gk+1.
Formula (4.26) hanya digunakan untuk menghitung proyeksi H¯k dari Hessi Hk kedalam subruang (supspace) atas Zk = rentang{−gk+1, dk}. Dan akan didekati dengan formula

H¯k = (QTk Qk−1)H˜k(QTk Qk−1)T + QTk Qk − (QkT Q¯k−1)(qkT Q¯k−1)T ,

(4.27)

matriks 2×2 digunakan sebagai pendekatan awal untuk Hessi pada formula BFGS yang diperbaikai. H¯k dapat dihitung lebih efesien menggunakan hasil kali vektor
gk+1, dk, gk dan dk−1.

Algoritma LS, BFGS

0. k ← 0, d0 ← −g0. Line search (4.8)-(4.9): x1 = x0 + t0d0 Q0 = (−g1d0); ←˜ I2
1. If gk+1 < ǫ, then STOP otherwise k ← k + 1.
2. If k > n then go to 7.
3. dk = −αkgk + βkdk−1 Line search (8)-(9): xk+1 = xk + tkdk ∆xk = xk+1 − xk; ∆gk = gk+1 − gk.
Universitas Sumatera Utara

27

4. If σ2(gkT ∆dk) ≤ − gk+1 2 or σ2(gkT ∆dk) ≥ −(1 − σ2) gk+1 2 then go to 7.
5. = (−gkT+1dk); ∆x˜k = QkT ∆xk; ∆g˜k = QkT ∆gk; g˜k+1 = QkT gk+1; Vk = QTk Qk−1; Wk = QTk Q¯k−1 and H¯k = VkT H˜kVk + QkT Qk − WkT Wk. BFGS update: H˜k+1 = UBFGS(∆x˜k, ∆g˜)k, H¯k) with formula (4.22).
6. If 1 − wk2+1/(uk+1vk+1) ≥ 1/(4rk+1) and uk+1 dk 2 /(vk+1 gk+1 2 ≤ rk+1,k+1 > 0, Then (αk+1βk+1)T = −H˜k−1g˜k+1 and go to 1.
7. x0 ← xk and go to 0.

Untuk mendapatkan H˜k−1, dapat menggunakan pendekatan invers Hessi yang dire-
duksi dari f, tetapi, untuk ini harus mendapatkan kebalikan kondisi teorema kon-
vergensi dari Liu dan Storey (1991) Akibat 2 Misalkan H˜k = wu¯¯kk wv¯¯kk Adalah matriks 2 × 2 sedemikian hingga

i. H˜k adalah definite positif,

ii.

1−

w¯k2 u¯k v¯k

≥

1 4rk

,

∞

>

rk

>

0,

iii.

v¯k dk−1 2

u¯k gk 2

−1
≤ rk, ∞ > rk > 0.

Menurut kondisi pencarian garis (4.8)−(4.9), untuk setiap algoritma tipe LS yang lain dengan arah pencarian diketahui, akan diberikan oleh

dk = −(Qk−1H˜kQkT )gk,

(4.28)

sehingga konvergen. Formula BFGS yang diperbaiki pada (4.22) akan digantikan dengan

H˜k+1 = H¯k +

1

+

δg˜kT H¯k∆g˜k ∆x˜Tk ∆g˜k

∆x˜k∆g˜kT ∆x˜kT ∆g˜k

−

∆x˜k∆g˜kT H¯k + H¯k∆g˜k∆x˜kT ∆x˜Tk ∆g˜k

yang membangun invers pendekatan Hessi. Untuk menghitung pendekatan baru dari H˜k pada langkah 5 dari algoritma LSBFGS, perlu menghitung 10 Inner products dan 7 Inner products terbaik. Jika
dk−1 2 , gk 2 dan sk (diberikan oleh (4.25)) dihitung dengan iterasi sebelumnya . Algoritma SAR membutuhkan jumlah operasi yang sama banyaknya untuk

Universitas Sumatera Utara

28
menghitung H˜k. Versi yang paling ekonomis untuk menghitung αk dan βk dengan metode LS dengan menggunakan (4.13) dan (4.16) dan untuk menghitung gradient memerlukan perhitungan 6 Inner products. Algoritma LS-BFGS (atau algoritma SAR) lebih menguntungkan jika dihitung ∇f (atau f) dengan menggunakan waktu lebih daripada menghitung 6 Inner products.
4.2 Algoritma dan Implementasinya
Setelah diuji algoritma baru yang dikemukakan pada bagian 2, pada bagian ini akan dibahas algoritma LS yang dikemukakan oleh Hu dan Storey dan algoritma SAR pada Nazareth. Dalam hal ini akan digunakan jenis pencarian yang diberikan oleh Gilbert dan Nocedal dengan langkah awal
t0 = min{2, 2(f (xk) − f ∗)/gKT dk},
dimana f∗ adalah perkiraan nilai fungsi optimal untuk semua pengujian masalah akan ditetapkan f∗ = 0, karena nilai fungsi optimal harus nonnegatif parameter pencarian garis pada (4.8) − (4.9) adalah
σ1 = 0, 0001 dan σ2 = 0, 1
Pada semua kasus, kondisi akan dihentikan bila
gk < 10−5 max(1, xk ).
Barisan {rk} diperlukan untuk menguji keko