Metode Konjugat Gradien Hibrid Baru: Metode Hs-Cd Dan Metode Ls-Dy Untuk Menyelesaikan Masalah Optimasi Tak Berkendala.
METODE KONJUGAT GRADIEN HIBRID BARU: METODE
HS-CD DAN METODE LS-DY UNTUK MENYELESAIKAN
MASALAH OPTIMASI TAK BERKENDALA
T MURDANI SAPUTRA
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA*
Dengan ini saya menyatakan bahwa tesis berjudul Metode Konjugat Gradien
Hibrid Baru: Metode HS-CD dan Metode LS-DY untuk Menyelesaikan Masalah
Optimasi Tak Berkendala adalah benar karya saya dengan arahan dari komisi
pembimbing dan belum diajukan dalam bentuk apapun kepada perguruan tinggi
manapun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan
maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan
dicantumkan dalam Daftar Pustaka di bagian akhir tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, September 2015
T Murdani Saputra
NIM G551130121
RINGKASAN
T MURDANI SAPUTRA. Metode Konjugat Gradien Hibrid Baru: Metode HS-CD
dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala.
Dibimbing oleh BIB PARUHUM SILALAHI dan SUGI GURITMAN.
Dalam kehidupan sehari-hari sering kita menjumpai kegiatan yang
menyangkut masalah optimasi. Optimasi bertujuan untuk mencari penyelesaian
terbaik dari suatu masalah. Masalah optimasi dapat diselesaikan menggunakan
metode analitik dan metode numerik. Untuk masalah optimasi suatu fungsi objektif
tak linear skala besar, lebih efisien digunakan metode numerik. Terdapat beberapa
metode numerik yang dapat digunakan untuk menyelesaikan optimasi fungsi tak
linear skala besar, salah satu metode tersebut adalah metode konjugat gradien.
Metode konjugat gradien diperkenalkan oleh Hestenes dan Stiefel (HS) pada
tahun 1952. Pada awalnya metode ini digunakan untuk menyelesaikan sistem
persamaan linear. Setelah itu pada tahun 1964, Fletcher dan Reeves memperluas
metode tersebut untuk menyelesaikan sistem persamaan tak linear skala besar.
Metode dari Fletcher dan Reeves dikembangkan lagi oleh para peneliti dengan
mengusulkan metode-metode baru. Metode-metode baru tersebut diantara lain yaitu
metode PRP, metode CD, metode LS dan metode DY. Metode-metode yang telah
diusulkan pada penelitian sebelumnya memliki kelebihan dan kekurangan pada
waktu proses komputasi dan sifat-sifat kekonvergenan global. Oleh karena itu para
peneliti mengusulkan metode baru dengan menggabungkan kelebihan-kelebihan
dari metode-metode yang diusulkan sebelumnya.
Penelitian ini mengusulkan metode-metode konjugat gradien hibrid baru
kemudian membuktikan berlakunya sifat-sifat kekonvergenan metode-metode yang
diusulkan. Selanjutnya membandingkan hasil numerik dari metode-metode yang
diusulkan dengan metode-metode pada penelitian sebelumnya yaitu metode NH1,
NH2 dan NH3.
Dalam penelitian ini kami mengusulkan dua metode konjugat gradien hibrid
yang kami beri nama metode NH4 dan NH5. Kedua metode baru yang diusulkan
berdasarkan ide dari metode NH2 dan NH3. Metode-metode baru yang diusulkan
memenuhi sifat-sifat kekonvergenan global menggunakan kondisi Wolfe serta
memenuhi kondisi descent. Hasil numerik menunjukkan bahwa metode baru efisien
dalam menyelesaikan semua fungsi tak linear yang diujikan serta metode baru
kompetitif dengan metode NH1, NH2, dan NH3.
Kata kunci: metode konjugat gradien, kondisi descent, konvergen global
SUMMARY
T MURDANI SAPUTRA. New Hybrid Conjugate Gradient Method: HS-CD
Method and LS-DY Method for Solving Unconstrained Optimization Problems.
Supervised by BIB PARUHUM SILALAHI and SUGI GURITMAN.
In daily life we often encounter activities deal with optimization problem. The
goal of optimization is to find the best solutions of a problem. For large-scale non
linear optimization problems, it will be more efficient by solving the problem using
numerical methods. There are several numerical methods for solving large-scale
non linear optimization problems, one of them is conjugate gradient method.
Conjugate gradient method was proposed by Hestenes and Stiefel (HS) in
1952. At the begining this method is used to solve linear equation systems. After
that in 1964, Fletcher and Reeves extend this method to solve large-scale nonlinear
equation system. Then the method of Fletcher and Reeves is developed by the
researchers to propose new methods. These new methods namely, the PRP method,
the CD method, the LS method and the DY method. The proposed methods have
advantages and disadvantages in computing processing time and global
convergence properties. Therefore, the researchers have been proposing a new
method by combining the advantages of the existing methods.
This research proposes new hybrid conjugate gradient methods then prove
global convergence properties of the proposed methods. Then this research also
compare the numerical results of the proposed methods with the existing methods
namely, NH1, NH2, and NH3 methods.
In this research, we proposed two hybrid conjugate gradient methods, namely
the NH4 method and the NH5 method. Both of these method is based on the idea
of NH2 and NH3 methods. Both methods have proved satisfying global
convergence properties by using Wolfe conditions and satisfying descent condition.
Numerical results show that the new methods are efficient for solving all of tested
nonlinear functions and the new methods are competitive with NH1, NH2 and NH3
methods.
Keywords: conjugate gradien method, descent direction, global convergence
© Hak Cipta Milik IPB, Tahun 2015
Hak Cipta Dilindungi Undang-Undang
Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan atau
menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan,
penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau
tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan IPB
Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini
dalam bentuk apa pun tanpa izin IPB
METODE KONJUGAT GRADIEN HIBRID BARU: METODE
HS-CD DAN METODE LS-DY UNTUK MENYELESAIKAN
MASALAH OPTIMASI TAK BERKENDALA
T MURDANI SAPUTRA
Tesis
sebagai salah satu syarat untuk memperoleh gelar
Magister Sains
pada
Program Studi Matematika Terapan
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
Penguji Luar Komisi pada Ujian Tesis: Dr Toni Bakhtiar, MSc
Judul Tesis : Metode Konjugat Gradien Hibrid Baru: Metode HS-CD dan
Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak
Berkendala
Nama
: T Murdani Saputra
NIM
: G551130121
Disetujui oleh
Komisi Pembimbing
Dr Ir Bib Paruhum Silalahi, MKom
Ketua
Dr Sugi Guritman
Anggota
Diketahui oleh
Ketua Program Studi
Matematika Terapan
Dekan Sekolah Pascasarjana
Dr Jaharuddin, MS
Dr Ir Dahrul Syah, MScAgr
Tanggal Ujian: 16 September 2015
Tanggal Lulus:
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas
segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang
dipilih dalam penelitian yang dilaksanakan sejak bulan Desember 2014 ini ialah
teori optimasi, dengan judul Metode Konjugat Gradien Hibrid Baru: Metode HSCD dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala.
Penulisan tesis ini merupakan salah satu syarat memperoleh gelar Magister
Sains pada program studi Matematika Terapan Sekolah Pascasarjana Institut
Pertanian Bogor. Penulis juga menyampaikan terima kasih kepada:
1. Alm. Bapak Teuku Umar dan Ibu Nuraini selaku orang tua penulis.
2. Dr Ir Bib Paruhum Silalahi, Mkom selaku Ketua Komisi Pembimbing.
3. Dr Sugi Guritman selaku Anggota Komisi Pembimbing.
4. Dr Toni Bakhtiar, MSc selaku Penguji Luar Komisi Pembimbing dan Ketua
Departemen Matematika.
5. Dr Jaharuddin, MS selaku Ketua Program Studi S2 Matematika Terapan.
6. Direktorat Jendral Pendidikan Tinggi (DIKTI) sebagai sponsor Beasiswa
Pendidikan Pascasarjana dalam Negeri (BPP-DN).
7. Seluruh keluarga yang selalu memberi dorongan dan doa untuk keberhasilan
studi penulis.
8. Seluruh mahasiswa Departemen Matematika khususnya teman-teman
angkatan tahun 2013 di Program Studi S2 Matematika Terapan.
9. Sahabat-sahabat yang tidak dapat disebutkan satu persatu yang telah banyak
membantu penulis dalam penyelesaian tesis ini.
Semoga semua bantuan, bimbingan dan motivasi yang telah diberikan kepada
penulis senantiasa mendapatkan balasan dari Allah subhanahu wa ta’ala.
Akhirnya, semoga penulisan tesis ini dapat memperkaya pengalaman belajar
dan wawasan kita semua.
Bogor, September 2015
T Murdani Saputra
DAFTAR ISI
DAFTAR TABEL
vi
DAFTAR GAMBAR
vi
DAFTAR LAMPIRAN
vi
1 PENDAHULUAN
Latar Belakang
Tujuan Penelitian
1
1
2
2 TINJAUAN PUSTAKA
Optimasi Matematik
Himpunan Konveks
Fungsi Konveks
Norm Vektor Euclid
Vektor Gradien
Minimum Global dan Minimum Lokal
Himpunan Terbatas
Kontinuitas Fungsi Lipschitz
Konvergen Global
Limit Inferior
Iterasi dan Running Time
2
2
2
2
3
3
3
3
4
4
4
4
3 METODE PENELITIAN
4
4 HASIL DAN PEMBAHASAN
Metode Konjugat Gradien
Metode Konjugat Gradien Hibrid Zhang dan Zhou
Metode Konjugat Gradien Hibrid Zhou, Zhu, Fan dan Qing
Metode Konjugat Gradien Hibrid Baru
Analisis Kekonvergenan Global Metode Konjugat Gradien Hibrid Baru
Hasil Numerik
5
5
6
7
7
9
17
5 SIMPULAN
21
DAFTAR PUSTAKA
21
RIWAYAT HIDUP
25
DAFTAR TABEL
1
2
Hasil iterasi dari metode konjugat gradien hibrid
Hasil running time dari metode konjugat gradien hibrid
17
18
DAFTAR GAMBAR
1
2
Hasil profil jumlah iterasi metode NH1, NH2, NH3, NH4 dan NH5
Hasil profil jumlah running time metode NH1, NH2, NH3, NH4 dan NH5
20
20
DAFTAR LAMPIRAN
1
Fungsi-fungsi tak linear yang digunakan dalam pengujian algortime metode
konjugat gradien untuk mencari hasil iterasi dan running time
23
1 PENDAHULUAN
Latar Belakang
Optimasi merupakan suatu upaya mencari penyelesaian terbaik dari suatu
masalah. Secara umum masalah optimasi terdiri atas fungsi objektif dan kendala
(tanpa kendala). Optimasi dengan fungsi objektif tak linear skala besar lebih efisien
bila diselesaikan secara numerik. Salah satu metode numerik adalah metode
konjugat gradien. Metode konjugat gradien pertama kali diperkenalkan oleh
Hestenes dan Stiefel pada tahun 1952 untuk menyelesaikan sistem persamaan linear
(Bazaraa et al. 2006). Setelah itu, pada tahun 1964 Fletcher dan Reeves memperluas
bentuk metode konjugat gradien untuk menyelesaikan sistem persamaan tak linear
skala besar dan menggunakannya dalam menyelesaikan bentuk umum dari masalah
optimasi tanpa kendala. Hasil perluasan yang dilakukan oleh Fletcher dan Reeves
memicu banyak penelitian selanjutnya. Penelitian yang dilakukan adalah
modifikasi metode, hasil dari modifikasi yaitu metode HS (Hestenes dan Stiefel
1952), metode FR (Fletcher dan Reever 1964), metode CD (Fletcher 1987), metode
PRP (Polak-Ribiere dan Polyak 1969), metode LS (Liu dan Storey 1991) dan
metode DY (Dai dan Yuan 1999). Metode-metode tersebut memiliki kelebihan dan
kekurangan, baik itu dalam proses kinerja komputasi dan kekonvergenan global.
Metode PRP, HS dan LS merupakan metode yang kinerja komputasinya efisien,
namun sifat konvergensi global tidak terpenuhi. Di sisi lain, metode FR, CD dan
DY memenuhi sifat konvergensi global, tetapi kinerja komputasinya kurang efisien.
Beberapa penelitian mengusulkan metode baru berdasarkan kekurangan dan
kelebihan dari metode-metode sebelumnya, sehingga metode baru yang diusulkan
memperoleh hasil komputasi yang efisien dan memenuhi sifat konvergensi global.
Touati-Ahmed dan Storey (1990) mengusulkan hibrid metode FletcherReeves (FR) dan Polak-Ribiere (PRP) yang dikenal dengan metode H1. Dai dan
Yuan (2001) juga mengusulkan metode hibrid kedua dari metode Hestenes-Stiefel
(HS) dan Dai-Yuan (DY) yang dikenal dengan metode H2. Metode H1 dan H2 ini
menunjukkan hasil yang lebih baik daripada metode PRP pada proses komputasi
(Touati-Ahmed dan Storey 1990; Dai-Yuan 2001). Berdasarkan ide dari metode H1,
metode H2, serta modifikasi dari metode FR dan metode DY, Zhang dan Zhou
(2008) mengusulkan metode hibrid baru yang dikenal dengan metode NH1 dan
metode NH2. Metode NH1 dan NH2 menunjukkan hasil komputasi berjalan sangat
efisien untuk masalah yang diberikan dalam CUTE Library dan algoritme metode
modifikasi memenuhi kekonvergenan global. Berdasarkan ide dari Zhang dan Zhou
(2008), Zhou et al. (2011) mengusulkan bentuk ketiga metode hibrid yang dikenal
NH3. Metode NH3 merupakan hibrid dari metode modifikasi CD dan hibrid LSCD (H3). Metode hibrid ketiga ini juga menunjukkan proses komputasi sangat
efisien pada fungsi tak linear dan algoritme metode tersebut terbukti memenuhi sifat
kekonvergenan global. Berdasarkan penelitian-penelitian yang telah dilakukan,
maka penelitian ini mengusulkan metode hibrid baru, kemudian membuktikan
berlakunya sifat-sifat kekonvergenan global metode hibrid baru dan selanjutnya
membandingkan hasil numerik metode hibrid baru dengan metode NH1, NH2 dan
NH3.
2
Tujuan Penelitian
Berdasarkan uraian latar belakang di atas, tujuan yang akan dicapai pada
penelitian ini adalah sebagai berikut:
1. Mengusulkan metode konjugat gradien hibrid baru.
2. Membuktikan berlakunya sifat-sifat kekonvergenan global metode konjugat
gradien hibrid baru.
3. Membandingkan hasil numerik metode konjugat gradien hibrid baru dengan
metode NH1, NH2 dan NH3.
2 TINJAUAN PUSTAKA
Optimasi Matematik
Definisi 2.1
Optimasi matematik adalah suatu proses formulasi masalah dan penentuan
solusi dari suatu masalah optimasi berkendala dengan bentuk umum:
(2.1)
min
,
= [ , , … , ]� ℝ
dengan kendala
,
= , ,…,
= ,
= , ,…,
ℎ
adalah fungsi dari .
, dan ℎ
dengan
,
Komponen-komponen
dari = [ , , … , ]� dinamakan variabel
menyatakan fungsi kendala
keputusan,
adalah fungsi objektif,
adalah fungsi-fungsi kendala persamaan. Vektor optimum
pertaksamaan, ℎ
yang menjadi solusi dari masalah dinyatakan dengan ∗ dan nilai optimumnya
∗
adalah
. Jika tidak ada kendala maka masalah dinamakan masalah minimasi
tanpa kendala. (Snyman 2005)
Himpunan Konveks
Definisi 2.2
Sebuah himpunan X adalah konveks jika untuk semua ,
� memenuhi
2
1
x x 1 x X untuk semua 0 1 .
(2.2)
Jika kondisi di atas tidak terpenuhi maka himpunan X tidak konveks. (Snyman
2005)
Fungsi Konveks
Definisi 2.3
Misalkan : ℝ → ℝ ,
1. Fungsi f dikatakan konveks pada himpunan konveks C jika
+ −
+ −
,
untuk setiap , di C dan untuk setiap dengan
.
2. Fungsi f dikatakan konveks sempurna pada himpunan konveks C jika
+ −
<
+ −
,
(2.3)
(2.4)
3
untuk setiap ,
(Snyman 2005)
di C dengan
≠
dan untuk setiap
dengan
Norm Vektor Euclid
Definisi 2.4
Untuk vektor
di mana
×
ℝ
×
, norma Euclid dari x didefinisikan sebagai:
⁄
‖ ‖= ∑
=√ � ,
(Luenberger dan Ye 2008).
<
< .
(2.5)
Vektor Gradien
Untuk fungsi
� yang terdapat di setiap titik yang merupakan
vektor dari turunan parsial orde pertama disebut vektor gradien yaitu :
��
=
(Snyman 2005).
��
��
��
��
⋮
(���
(2.6)
)
Minimum Global dan Minimum Lokal
Definisi 2.5
∗
1. Titik ∗ adalah minimum global dari f pada D jika
∀ �� ⊆ℝ
2. Titik ∗ adalah minimum lokal jika terdapat > sehingga
∗
{ |‖ − ∗ ‖ < },
>
untuk setiap
dengan ‖∙‖ menyatakan norma Euclid.
(Snyman 2005)
Himpunan Terbatas
Definisi 2.6
Diberikan himpunan tak kosong S ⊂ ℝ
1. Himpunan S dikatakan terbatas di atas (bounded above) jika terdapat
suatu bilangan u ℝ sedemikian hingga
� untuk semua
�. Setiap
bilangan u seperti ini disebut dengan batas atas (upper bound) dari S.
2. Himpunan S dikatakan terbatas di bawah (bounded below) jika terdapat
suatu bilangan w ℝ sedemikian hingga
untuk semua
�. Setiap
bilangan w seperti ini disebut dengan batas bawah (lower bound) dari S.
3. Suatu himpunan dikatakan terbatas (bounded) jika terbatas di atas dan
terbatas di bawah. Jika tidak, maka dikatakan tidak terbatas (unbounded).
(Bartle 2011)
4
Kontinuitas Fungsi Lipschitz
Definisi 2.7
�: � ⊂ ℝ → ℝ adalah kontinu H ̈ lder pada D jika ada konstanta
, ] sehingga untuk semua ,
�,
F y F x y x .
p
Jika p = 1, maka F disebut kontinu Lipschitz pada D dan
Lipschitz. (Sun dan Yuan 2006).
dan
(2.7)
adalah konstanta
Konvergen Global
Definisi 2.8
Suatu model algoritme dikatakan konvergen, jika akumulasi titik-titik dari
setiap barisan iterasi {x n } dikonstruksi oleh algoritma dalam P yang merupakan
himpunan solusi optimal (Argyros 2008).
Limit Inferior
Definisi 2.9
Limit inferior dari sebuah barisan {x n } yang dinotasikan sebagai berikut
lim inf x n
(2.8)
n
adalah definisi dari supremum semua bilangan dengan mengikuti sifat:
Ada bilangan bulat N sedemikian sehingga x n untuk semua n N .
(Thomson et al. 2007).
Iterasi dan Running Time
Definisi 2.10 (Iterasi)
Iterasi adalah sifat tertentu dari algoritme atau program komputer di mana
satu urutan atau lebih dari langkah algoritme yang dilakukan pada loop program
(Chapman 2008).
Definisi 2.11 (Running Time)
Running time dari suatu algoritme didefinisikan sebagai ukuran operasi
primitife atau tahapan proses yang dieksekusi (Cormen et al. 1990).
3 METODE PENELITIAN
Penelitian ini disusun melalui tiga tahap, pertama dilakukan telaah pustaka
(jurnal terkait) mengenai metode konjugat gradien dan kemudian mengusulkan dua
metode konjugat gradien hibrid baru yaitu metode NH4 dan NH5. Pada tahap kedua
dibuktikan metode konjugat gradien hibrid baru memenuhi sifat kekonvergenan
global dan pada tahap terakhir diujikan fungsi tak linear pada setiap metode
5
menggunakan bahasa pemograman serta dibandingkan hasil numerik metode baru
dengan metode NH1, NH2 dan NH3.
4 HASIL DAN PEMBAHASAN
Metode Konjugat Gradien
Pada pembahasan ini akan dijelaskan cara mendapatkan metode konjugat
gradien hibrid baru. Metode baru dalam penelitian ini diusulkan berdasarkan ide
dari penelitian Zhang dan Zhou (2008) dan Zhou et al (2011). Pada bab
pendahuluan telah dijelaskan bahwa metode konjugat gradien merupakan salah satu
metode numerik untuk menyelesaikan optimasi fungsi tak linear skala besar.
Metode konjugat gradien pertama kali diperkenalkan oleh Hestenes dan Stiefel
pada tahun 1952 untuk menyelesaikan sistem persamaan linear, berikut masalah
optimasi tanpa kendala:
min f (x), x n
(4.1)
dengan : ℝ → ℝ merupakan fungsi turunan kontinu dan g(x) merupakan gradien
pada fungsi f.
Persamaan (4.1) secara iteratif pada metode konjugat gradien dapat
diselesaikan dengan menggunakan bentuk:
(4.2)
x k 1 x k k d k , k 0,1, 2,...
dengan
adalah proses iteratif,
merupakan ukuran langkah dan � merupakan
pencarian arah.
Ukuran langkah
diperoleh menggunakan beberapa bentuk line search
yaitu exact atau inexact line search dan bentuknya sebagai berikut:
f ( x k k d k ) min f ( x k k d k ) ,
(4.3)
0
dan
f ( x k k d k ) f ( x k ) k g Tk d k
g ( x k k d k )T d k g Tk d k
dengan
<
. Jika ∗ adalah
solusi optimal, maka ada parameter ∗
, ) sehingga, untuk semua ∗
, ∗ ),
pencarian arah � didefinisikan oleh persamaan (4.6) memenuhi kondisi descent
(4.7)
g Tk d k 0
(Pillo dan Giannessi 1999).
Metode Konjugat Gradien Hibrid Zhang dan Zhou
Zhang dan Zhou (2008) mengusulkan dua metode konjugat gradien hibrid
baru, yaitu metode NH1 dan NH2. Metode NH1 merupakan metode yang diusulkan
berdasarkan ide dari metode hibrid PRP-FR atau metode H1 (Touati-Ahmed dan
Storey 1990) dan modifikasi dari metode FR atau MFR (Zhang et al. 2006),
sedangkan untuk metode NH2 diusulkan berdasarkan ide dari metode hibrid HSDY atau metode H2 (Dai dan Yuan 2001) dan modifikasi dari metode DY atau
MDY (Zhang 2006). Adapun bentuk metode-metode tersebut sebagai berikut:
max 0, min
,
kH 1 max 0, min kPRP , kFR ,
kH 2
T
MFR: d k g k k d k 1
FR
g k d k 1
g k 1
2
HS
k
g k 1 k
, kDY
FR
g Tk d k 1
g k kFR d k 1 .
2
g k 1
4.8)
(4.9)
(4.10)
7
g Tk d k 1
g k kDY d k 1 .
2
2
g k 1
g k 1
Metode NH1 dan NH2 diperoleh dengan menggantikan parameter
dengan parameter � (4.8) dan parameter �� (4.11) dengan parameter
adapun metode NH1 dan NH2 sebagai berikut:
gT d
NH1: d k 1 kH 1 k k 21 g k kH 1d k 1 .
g k 1
T
MDY: d k g k kDY d k 1
g k d k 1
g k 1 k
DY
(4.11)
��
�
(4.10)
(4.9),
(4.12)
gT d
(4.13)
NH2: d k 1 kH 2 k k 21 g k kH 2d k 1 .
g
k 1
Metode MFR, MDY, NH1 dan NH2 memenuhi � Tk � = −‖� ‖ yang
menunjukkan metode-metode tersebut merupakan metode sufficient descent. Zhang
dan Zhou (2008) menunjukkan bahwa metode NH1 dan NH2 pada proses
komputasi sangat efisien dan memenuhi kekdonvergenan global.
Metode Konjugat Gradien Hibrid Zhou, Zhu, Fan dan Qing
Zhou et al. (2011) mengusulkan bentuk ketiga dari metode konjugat gradien
hibrid yaitu metode NH3 serta mengusulkan dua metode baru yaitu metode hibrid
LS-CD atau metode H3, dan modifikasi dari metode CD atau MCD. Metode NH3
diusulkan berdasarkan ide yang dikemukakan oleh Zhang dan Zhou (2008). Adapun
metode H3, MCD dan NH3 sebagai berikut:
kH 3 max 0, min kLS , kCD .
(4.14)
T
CD g k d k 1
g k 1 k
g k kCD d k 1 , (4.15)
MCD: d k g k d k 1
2
2
g k 1
g k 1
di mana persamaan (4.14) merupakan paramater metode H3 dan persamaan (4.15)
merupakan metode MCD. Metode NH3 diperoleh dengan menggantikan bentuk
CD
H3
parameter k (4.15) dengan parameter k (4.14) sehingga diperoleh:
CD
k
g Tk d k 1
T
H 3 g k d k 1
g k kH 3d k 1 .
NH3: d k 1 k
(4.16)
2
g k 1
Metode MCD dan NH3 yang diusulkan oleh Zhou et al. (2011) memenuhi
sufficient descent yaitu � Tk � = −‖� ‖ dan menunjukkan hasil yang efisien
dalam proses komputasi serta memenuhi sifat kekonvergenan global.
Metode Konjugat Gradien Hibrid Baru
Pada pembahasan metode-metode sebelumnya telah dijelaskan cara untuk
mendapatkan metode konjugat gradien yang dilakukan oleh Zhang dan Zhou (2008)
dan Zhou et al. (2011). Zhang dan Zhou (2008) menggunakan metode H2 (Dai dan
Yuan 2001) dan modifikasi dari metode DY atau MDY (Zhang 2006) untuk
mengusulkan metode NH2 dan sedangkan Zhou et al. (2011) mengusulkan 3
metode baru yaitu metode H3, modifikasi dari metode CD atau MCD dan metode
8
NH3. Berdasarkan ide dari penelitian-penelitian tersebut maka dalam penelitian ini
diusulkan modifikasi metode gradien hibrid baru yaitu metode H4, H5, NH4 dan
NH5. Adapun modifikasi metodenya sebagai berikut:
max 0, min
,
kH 4 max 0, min kHS , kCD ,
(4.17)
kH 5
(4.18)
LS
k
, kDY
di mana metode H4 merupakan metode hibrid HS-CD dan metode H5 merupakan
metode hibrid LS-DY.
Berdasarkan metode MCD (4.15) dan metode MDY (4.11), maka metode
NH4 dan NH5 diperoleh sebagai berikut:
T
H 4 g k d k 1
g k kH 4d k 1 ,
(4.19)
NH4: d k 1 k
2
g k 1
T
H 5 g k d k 1
g k kH 5d k 1 ,
(4.20)
NH5: d k 1 k
2
g k 1
di mana metode NH4 diperoleh dengan menggantikan kCD pada metode MCD
digantikan dengan metode H4 sedangkan metode NH5 menggantikan bentuk DY
pada metode DY dengan metode H5. Adapun algoritme metode NH4 dan metode
NH5 sebagai berikut:
Algoritme 4.1 Metode NH4
Langkah 0: Diberikan titik awal
ℝ , <
, < < dan < � < .
Tetapkan � = −� , ≔ .
Langkah 1: Jika ‖� ‖ < , berhenti; pergi ke Langkah berikutnya.
Langkah 2: Hitung ukuran langkah
menggunakan kondisi Wolfe (4.4).
Langkah 3: Misalkan + =
+ � . Jika ‖� + ‖ < , maka stop.
Langkah 4: Hitung pencarian arah � (4.19).
Langkah 5: Beri nilai = + , dan pergi ke Langkah 2.
Algoritme 4.2 Metode NH5
Langkah 0: Diberikan titik awal
ℝ , <
, < < dan < � < .
Tetapkan � = −� , ≔ .
Langkah 1: Jika ‖� ‖ < , berhenti; pergi ke Langkah berikutnya.
Langkah 2: Hitung ukuran langkah
menggunakan kondisi Wolfe (4.4).
Langkah 3: Misalkan + =
+ � . Jika ‖� + ‖ < , maka stop.
Langkah 4: Hitung pencarian arah � (4.20).
Langkah 5: Beri nilai = + , dan pergi ke Langkah 2.
9
Analisis Kekonvergenan Global Metode Konjugat Gradien Hibrid Baru
Asumsi A
Untuk menganalisis kekonvergenan metode NH4 dan NH5 diperlukan
beberapa asumsi dasar, berikut asumsinya:
1. Fungsi terbatas di bawah level set Ω = {
ℝ :
� } terbatas;
adalah titik awal.
2. Gradien dari fungsi objektif memenuhi kontinu Lipschitz, yaitu terdapat
konstanta � > sedemikian sehingga untuk semua ,
Ω berlaku‖g
−
g ‖ �‖ − ‖.
Berdasarkan asumsi 1 dan 2 pada fungsi , maka asumsi di atas diperlukan untuk
pembuktian lemma berikut ini:
Lemma 4.2 (kondisi Zoutendijk)
Andaikan asumsi A berlaku. Berdasarkan bentuk + =
+ � dan
persamaan (4.6), dimana � merupakan arah descent dan
merupakan ukuran
langkah yang ditentukan dengan menggunakan kondisi Wolfe (4.4), maka:
(g Tk d k ) 2
(4.21)
d 2 .
k 0
k
Bukti
Dari kondisi Wolfe persamaan (4.4)
dTk g k d Tk g ( x k k d k ) ,
dimana g k g (x k ) , maka
dTk g ( x k ) dTk g ( x k k d k )
(4.22)
d g (x k ) d g (x k ) d g x k k d k d g (x k )
T
k
T
k
T
k
T
k
1 d Tk g ( x k ) d kT ( g x k k d k g ( x k ))
g x k k d k g (x k ) d k .
(4.23)
Dengan menggunakan kontinu Lipschitz, maka persamaan (4.23) diperoleh
1 d Tk g ( x k ) L x k k d k x k d k
L k dk dk
L k d k
2
1 d Tk g ( x k ) L k d k
k
(4.24)
2
1 dTk g ( x k )
L dk
2
.
Karena g k g (x k ) , maka
k
1 d Tk g k
L dk
2
.
(4.25)
Dengan menggunakan kondisi Wolfe (4.4)
f x k k d k f x k k g Tk d k
f x k f x k k d k k g Tk d k .
(4.26)
10
Disubstitusi persamaan (4.25) ke persamaan (4.26), diperoleh
1 d Tk g k
f x k f x k k d k
L d 2
k
g Tk d k ,
(4.27)
sehingga dapat disimpulkan
f x k f x k k d k C1
di mana C1
(1 )
untuk k 0
g
dk
T
k
2
(4.28)
2
dk
0 . Sekarang,
L
g
f x 0 f x 0 0 d 0 C1
d0
T
0
2
.
2
d0
Karena x1 x 0 0 d 0
f x 0 f x1 C1
g
d0
T
0
2
.
2
d0
Untuk k 1
f x1 f x 2 C1
g d
T
1
2
1
.
2
d1
Untuk k 2
f x 2 f x 3 C1
g
T
2
d2
2
.
2
d2
Untuk k n 1
f x n 1 f x n C1
g
T
n 1
d n 1
d n 1
2
.
2
Dijumlahkan semua pertidaksamaan di atas dan diperoleh
n 1
f x 0 f x n C1
g
T
k
dk
,
2
dk
k 0
2
(4.29)
karena f terbatas di bawah di mana n maka diperoleh
f x 0 f * C1
k 0
g
T
k
dk
dk
2
2
,
(4.30)
di mana
f * lim f ( x k ) .
k
Jadi diperoleh bahwa
k 0
g
T
k
dk
dk
2
2
. ∎
(4.31)
11
Lemma 4.3 (Kondisi Descent)
Misalkan + =
+ � dihasilkan oleh algoritme 4.1, maka pencarian
arah � (4.19) memenuhi kondisi descent
2
d Tk g k g k ,
k 0
(4.32)
Bukti:
dT g
Misalkan kH 4 k , k (1 k k 1 2k ) dan d 0 g 0
gk
2
g T0 d 0 g T0 g 0 g 0
berlaku untuk k = 0.
Untuk k 1 , diperoleh
(4.33)
d k k g k kd k 1 .
(4.34)
Untuk kH 4 k
d k (1 k
g Tk d k 1
gk
2
)g k kd k 1
kd k 1 (1 k
g Tk d k 1
gk
2
)g k .
(4.35)
Kalikan kedua ruas persamaan (4.35) dengan g Tk , sehingga
g Tk d k kg Tk d k 1 (1 k
g Tk d k kg Tk d k 1 g k
g Tk d k g k
2
2
g Tk d k 1
gk
k
.
2
)g Tk g k
g Tk d k 1
gk
2
gk
2
(4.36)
(4.37)
Dari persamaan (4.37) diperoleh bahwa untuk semua
menurun. ∎
arah pencarian �
Lemma 4.4 (Kondisi Descent)
Misalkan + =
+ � dihasilkan oleh algoritme 4.2, maka pencarian
arah � (4.20) memenuhi kondisi descent
2
d Tk g k g k ,
k 0
(4.38)
Bukti:
dT g
Misalkan kH5 k , k (1 k k 1 2k ) dan d 0 g 0
gk
g T0 d 0 g T0 g 0 g 0
2
(4.39)
berlaku untuk k = 0.
Untuk k 1 , diperoleh
d k k g k kd k 1 .
Untuk kH 5 k
(4.40)
12
d k (1 k
g Tk d k 1
)g k kd k 1
2
gk
k d k 1 (1 k
g Tk d k 1
2
gk
)g k .
(4.41)
Kalikan kedua ruas persamaan (4.41) dengan g Tk , sehingga
g Tk d k kg Tk d k 1 (1 k
kg Tk d k 1 g k
2
g Tk d k g k
g Tk d k 1
gk
g Tk d k 1
k
2
)g Tk g k
2
gk
2
gk
2
(4.42)
.
(4.43)
arah pencarian �
Dari persamaan (4.43) diperoleh bahwa untuk semua
menurun. ∎
Teorema 4.1 (Konvergen Global Metode NH4)
Misalkan asumsi A berlaku dan { }, � dihasilkan dari metode NH4. Jika
ukuran langkah
ditentukan dengan kondisi Wolfe (4.4) maka:
(4.44)
lim inf g k 0.
k
Bukti:
Dengan menggunakan pembuktian kontradiksi. Andaikan (4.44) tidak terpenuhi,
maka ada konstanta 0 yang mana
g k , k 0.
(4.45)
g Tk d k 1
Misalkan hk 1 kH 4
gk
dan
2
kH 4 g Tk d k 1 hk g k
2
2
gk
.
Dengan mengkuadratkan kedua ruas dari bentuk (4.19), sehingga
dk
2
2
kH 4d k 1 hk g k
kH 4 d k 1
2
2
2 hk kH 4 d Tk 1g k hk2 g k
Substitusi bentuk (4.47), diperoleh
kH 4 d k 1
2
2 hk hk g k
kH 4 d k 1
2
2 hk g k
2
2
(4.46)
2
2
2
gk
2
hk2 g k .
2
.
h
2
k
(4.47)
gk
2
(4.48)
Bagi kedua ruas persamaan (4.48) dengan g Tk d k dan substitusi g Tk d k g k ,
2
2
sehingga
dk
g
T
k
2
dk
2
H4
k
2
d k 1
g
T
k
2
dk
2
2 hk
g Tk d k
hk2 g k
2
g
2
T
k
dk
.
(4.49)
13
Karena 0
2
dk
g
T
k
CD
k
CD
k
H4
k
dk
2
dan
g
gk 2
2
g
k 1
dk
2
h
2
g
2
2 hk
g Tk d k
T
k
dk
(4.50)
hk2 g k
2
g
2
T
k
dk
1
gk
2
(4.51)
2
gk
2
d k 1
hk2 g k
1
4
, sehingga
2 hk 1 1
2
2
gk
2
2
k
hk 1
2
d k 1
g k 1
4
g Tk d k
2
T
k
1
gk
2
d k 1
g k 1
g
2 hk
2
d k 1
4
dk
2
2
d k 1
g k 1
T
k
2
g k 1
2
d k 1
2
2
gk
CD
k
gTk 1d k 1
2
1
gk
2
.
(4.52)
Akan diselesaikan persamaan (4.52) sebagai berikut:
Dari persamaan (4.6) untuk k 0 , d 0 g 0 dan digunakan persamaan (4.32),
diperoleh
2
g T0 d 0 g T0 g 0 g 0 .
Untuk k 1
2
d1
g d
T
1
2
1
2
d0
T
0
(g d 0 )
1
g0
k 0
g1
gi
2
1
g1
1
1
2
1
2
2
,
2
2
untuk k 2
d2
g
T
2
2
d2
2
d1
2
T
1
( g d1 )
1
g0
2
k 0
g2
1
2
g1
1
gi
2
1
,
2
2
1
g2
2
(4.53)
14
untuk k n
dn
g
T
n
2
dn
2
2
d n 1
(g
T
n 1
d n 1 )
1
g0
n
k 0
gk
1
2
g1
1
2
gn
1
2
1
2
2
g2
1
gn
2
,
2
sehingga,
2
dn
gTn d n
n
1
2
gk
k 0
2
.
(4.54)
Dari persamaan (4.45), diperoleh
n
k 0
1
gk
n
k 0
1
gk
dn
g
g
g
k 0
g
2
dn
T
n
dn
2
T
n
2
dn
dn
dn
n 1
2
(4.55)
n 1
2
n 1
2
2
n 1
2
2
n
2
dn
k 0
T
n
T
n
2
2
dn
n
2
k 1
k 0
2
1
.
k 0 k 1
2
2
Dari pertidaksamaan terakhir di atas dapat disimpulkan bahwa
i 0
gk
dk
4
2
1
,
k 0 k 1
2
(4.56)
kontradiksi dengan persamaan (4.21). ∎
Teorema 4.2 (Konvergen Global Metode NH5)
Misalkan asumsi A berlaku dan { }, � dihasilkan dari metode NH5. Jika
ukuran langkah
ditentukan dengan kondisi Wolfe (4.4) maka:
(4.57)
lim inf g k 0.
k
Bukti:
Dengan menggunakan pembuktian kontradiksi. Andaikan (4.57) tidak terpenuhi,
maka ada konstanta 0 yang mana:
15
g k , k 0.
g Tk d k 1
Misalkan hk 1 kH 5
dan
2
gk
(4.58)
kH 5 g Tk d k 1 hk g k g k .
Dengan mengkuadratkan kedua ruas dari bentuk (4.20), sehingga
2
dk
2
2
(4.59)
2
kH 5d k 1 hk g k
kH 5 d k 1
2
2 hk kH 5d Tk 1g k hk2 g k
2
2
,
(4.60)
substitusi persamaan (4.59) ke persamaan (4.60), diperoleh
kH 5 d k 1
2
k
H5
2
d k 1
2
2 hk hk g k
2
2 hk g k
2
2
h
2
gk
2
k
2
gk
2
hk2 g k .
(4.61)
Bagi kedua ruas dengan g Tk d k dan substitusi g Tk d k g k , sehingga
2
2
dk
g d
T
k
2
2
gTk d k
2
H5
k
DY
k
g d
T
k
d k 1
d k 1
g k 1
4
g k 1
g
2
k
hk 1
2
4
hk2 g k
g Tk d k
(4.62)
g Tk d k
g Tk 1d k 1
, sehingga
2
g Tk d k
2 hk
.
(4.63)
2
hk2 g k
2
g
2
T
k
dk
1
gk
2
1
gk
2
d k 1
2
dTk 1y k 1
2
k
2 hk 1 1
2
2
2
2
g d
gk
g Tk d k
dk
h
gk
d k 1
T
k 1
2
gk
2
d k 1
1
4
T
k
DY
k
2
hk2 g k
T
k
2 hk
d k 1
g
2
g k 1
2
2
g Tk d k
2
g Tk d k
g Tk d k
T
g k 1d k 1
2 hk
dan
2
2
k
DY
k
d k 1
2
d k 1
2
k
Karena 0
dk
H5
k
2
2
(4.64)
2
1
gk
2
.
(4.65)
Akan diselesaikan persamaan (4.65) sebagai berikut:
Dari persamaan (4.6) untuk k 0 , d 0 g 0 dan persamaan (4.38), diperoleh
2
g T0 d 0 g T0 g 0 g 0 .
Untuk k 1
(4.66)
16
2
d1
g d
T
1
2
1
2
d0
T
0
(g d 0 )
1
1
2
g1
gi
k 0
2
g1
1
1
1
2
g0
2
2
,
2
untuk k 2
2
d2
g
T
2
d2
2
2
d1
T
1
( g d1 )
1
g0
2
k 0
1
g1
1
gi
2
2
g2
2
1
1
2
2
g2
,
untuk k n
dn
g
T
n
2
dn
2
2
d n 1
(g
T
n 1
d n 1 )
1
g0
n
k 0
g1
1
gk
2
gn
1
2
1
2
1
2
2
g2
1
gn
2
,
2
sehingga diperoleh
dn
g
T
n
2
dn
n
2
Dari persamaan (4.58), diperoleh
n
1
k 0
gk
n
k 0
1
gk
dn
g
g
2
k 0
2
2
T
n
dn
2
T
n
dn
2
dn
2
1
gk
n 1
2
n 1
2
n 1
2
2
n 1
2
.
(4.67)
(4.68)
17
n
g
dn
dn
k 0
T
n
g
T
n
2
n
2
dn
dn
k 0
2
k 1
k 0
2
1
.
k 0 k 1
2
2
Dari pertidaksamaan terakhir di atas dapat disimpulkan bahwa
i 0
4
gk
2
dk
1
,
k 0 k 1
2
(4.69)
kontradiksi dengan persamaan (4.21). ∎
Hasil Numerik
Pada pembahasan ini akan dilakukan perbandingan hasil numerik antara
metode konjugat gradien hibrid yaitu metode NH1, NH2, NH3, dengan metode
hibrid baru (NH4 dan NH5). Algoritme NH1, NH2, NH3, dan metode hibrid baru
(NH4 dan NH5) telah dijelaskan pada pembahasan sebelumnya. Perbandingan
metode-metode tersebut akan dilakukan dengan menggunakan fungsi-fungsi tak
linear tak berkendala pada jurnal Andrei (2008). Fungsi yang digunakan merupakan
fungsi artificial. Fungsi artificial merupakan fungsi yang digunakan untuk melihat
perilaku algoritme dalam situasi yang berbeda seperti panjang narroy valleys,
fungsi unimodal, dan fungsi dengan sejumlah besar optimal lokal yang signifikan
(Andrei 2008). Fungsi yang akan diujikan dalam penelitian ini ada 13 fungsi tak
linear (Lampiran 1).
Ada beberapa paramater yang digunakan untuk mencari hasil numerik,
diantaranya yaitu: batas toleransi perhentian , konstanta pada kondisi Wolfe yaitu
konstanta , dan ukuran langkah . Untuk batas toleransi dipakai = − ,
konstanta
= 0.3, = 0.8 dan untuk ukuran langkah
diperoleh dengan
menggunakan kondisi Wolfe. Semua parameter digunakan pada algoritme 4.1, 4.2,
4.3, 4.4 dan 4.5. Algoritme ditulis dalam bahasa program. Hasil iterasi dan running
time disajikan pada Tabel 1 dan 2 berikut:
Tabel 1 Hasil iterasi dari metode konjugat gradien hibrid
Fungsi
Rosenbrock
White & Holst
Quadratic Penalty
(QP1)
SINCOS
Dimensi
10
100
1000
10
50
100
1000
50
100
1000
NH1
195
1006
8526
228
1021
15
8
17
24
22
NH2
249
1016
8695
279
1000
16
12
20
19
15
NH3
179
1043
8548
259
968
15
8
17
24
22
NH4
254
962
8282
261
962
15
8
18
17
18
NH5
184
1010
8771
272
1024
16
8
17
16
15
18
2
5
50
100
1000
50
100
50
100
4
100
4
50
100
1000
50
100
1000
50
1000
Beale
Tridiagonal 1
Hager
Freudenstein &
Roth
Powell
Wood
Tridiagonal 2
Himmelblau
Maratos
25
239
10
9
7
13
16
19
14
22
22
22
7
6
4
14
14
12
190
194
31
159
9
9
7
12
15
14
14
18
22
19
7
6
4
15
14
13
193
182
25
131
10
9
7
13
16
19
14
22
22
22
7
6
4
14
14
12
188
205
38
231
9
9
7
12
15
14
14
18
24
20
7
6
4
15
14
12
160
162
38
231
10
9
7
12
15
14
14
20
23
20
7
6
4
10
14
13
188
178
Tabel 2 Hasil running time dari metode konjugat gradien hibrid
Fungsi
Rosenbrock
White &
Host
Quadratic
Penalty QP1
SINCOS
Beale
Tridiagonal 1
Hager
Dimensi
10
100
1000
10
50
100
1000
50
100
1000
2
5
50
100
1000
50
100
NH1
NH2
NH3
NH4
NH5
0.5059
2.2064
61.8401
0.4784
2.6718
0.2020
1.2456
0.1627
0.3731
6.4374
0.1256
0.7751
0.1064
0.1684
1.8216
0.1382
0.2583
0.4928
2.3523
49.9178
0.5697
2.3866
0.2313
1.7764
0.1843
0.3576
4.7629
0.1881
0.5236
0.0948
0.1680
1.8522
0.1266
0.2479
0.3677
2.3039
48.3147
0.5479
2.4005
0.2173
1.2274
0.1477
0.3968
6.4625
0.1599
0.3867
0.1173
0.1621
1.8415
0.1276
0.2656
0.4846
2.2378
48.1698
0.6003
2.4171
0.1980
1.2235
0.1691
0.3202
5.7778
0.1751
0.7020
0.1017
0.1655
1.8486
0.1287
0.2501
0.4355
2.2159
55.9225
0.6627
2.6939
0.2221
1.2282
0.1675
0.2708
4.7851
0.1895
0.6775
0.1073
0.1643
1.8046
0.1186
0.2460
19
Freudenstein & Roth
Powell
Wood
Tridiagonal 2
Himmelblau
Maratos
50
100
4
100
4
50
100
1000
50
100
1000
50
1000
0.2915
0.5288
0.0836
0.7215
0.1110
0.0692
0.0967
0.7242
0.1290
0.1969
2.1447
1.3843
30.0175
0.2244
0.5172
0.3233
0.7505
0.0812
0.0713
0.1025
0.7448
0.1254
0.2048
2.3184
1.3585
28.9140
0.2994
0.4994
0.3012
0.7590
0.0860
0.0669
0.1011
0.7199
0.1352
0.2099
2.1463
1.3100
31.4673
0.2363
0.5070
0.2878
0.8080
0.0808
0.0747
0.0998
0.7288
0.1345
0.2043
2.1457
1.1502
25.2619
0.2372
0.5253
0.2957
0.8001
0.0842
0.0871
0.0966
0.7350
0.0994
0.2069
2.3253
1.4129
27.4839
Hasil numerik pada Tabel 1 dan 2 merupakan hasil percobaan yang
diselesaikan dengan algoritme NH1, NH2, NH3, dan metode hibrid baru (NH4 dan
NH5). Hasil numerik digabungkan menggunakan hasil profil yang dijelaskan dalam
Dolan dan More (2002). Hasil profil diilustrasikan pada Gambar 1 dan 2. Gambar
1 dan 2 masing-masing merupakan hasil profil iterasi dan running time. Adapun
hasil pada Gambar 1 dan 2 diperoleh dengan cara berikut sebagai berikut:
rp ,s
a p ,s
min a p ,s : s S
,
} dan � = { ,
dengan �, merupakan hasil ratio dimana � = { , , … ,
} serta ��,� merupakan hasil iterasi dan running time. Secara
,
,
,
keseluruhan hasil profil dapat diperoleh dengan cara berikut:
1
s ( ) size p P : log 2 rp ,s
np
dengan �� � adalah peluang untuk metode
� dimana hasil ratio �,� kurang
dari faktor � ℝ dari kemungkinan ratio terbaik dan � adalah banyaknya fungsi.
Fungsi �� � merupakan fungsi distribusi komulatif untuk hasil ratio. Nilai ��
merupakan peluang dimana salah satu metode yang diujikan lebih baik dari metode
yang lain.
20
Gambar 1 Hasil profil jumlah iterasi metode NH1, NH2, NH3, NH4, dan NH5
Gambar 2 Hasil profil jumlah running time metode NH1, NH2, NH3, NH4
dan NH5
Hasil profil iterasi pada Gambar 1 menunjukkan bahwa metode hibrid baru
tidak lebih baik dari metode NH2 dan NH3, akan tetapi metode hibrid baru lebih
baik dibandingkan metode NH1. Pada Gambar 2 hasil profil running time
menunjukkan hasil yang sebaliknya yaitu metode hibrid baru menunjukkan hasil
yang baik dibandingkan dengan metode NH2 dan NH3, namun tidak lebih baik
dengan metode NH1. Meskipun metode hibrid baru tidak lebih baik dari metode
NH1, NH2 dan NH3 akan tetapi metode hibrid baru dapat bersaing dengan metode
NH1, NH2 dan NH3. Berdasarkan hasil profil Gambar 1 dan 2 menunjukkan bahwa
metode-metode yang diujikan dalam penelitian ini effisien dalam menyelesaikan
semua fungsi uji yang diberikan.
21
5 SIMPULAN
Metode konjugat gradien merupakan metode yang bersifat iteratif dan metode
ini dapat digunakan untuk mencari masalah optimasi tanpa kendala pada kasus
skala besar. Dalam penelitian ini diusulkan metode konjugat gradien hibrid baru
yaitu metode HS-CD (NH4) dan metode LS-DY (NH5). Metode-metode baru yang
diusulkan memenuhi sifat-sifat kekonvergenan global dengan menggunakan
kondisi Wolfe serta memenuhi kondisi descent untuk setiap metodenya. Hasil
numerik menunjukkan bahwa metode baru effisien dalam menyelesaikan semua
fungsi tak linear yang diberikan dan metode baru dapat bersaing dengan metode
NH1, NH2 dan NH3.
DAFTAR PUSTAKA
Argyros IK. 2008. Convergence and Applications of Newton-type Iterations. New
York: Springer.
Andrei N. 2008. An Unconstrained Optimization Test Function Collection.
Advanced Modelling and Optimization, 10(1): 147-161.
Bartle RG, Sherbert DR. 2011. Introduction to Real Analysis. USA: Jhon Wiley &
Sons.
Bazara MS, Sherali HD, Shetty CM. 2006. Nonlinear Programming: Theory and
Algorithms. USA: Wiley-Interescience.
Chapman SJ. 2008. Matlab Programming for Engineers. 4th ed. Ontario (CA):
Thomson Learning.
Cormen TH, Leiserson CE, Rivest RL, Stein C. 2009. Introduction to Algorithms:
Third Edition. England: The MIT Press.
Dai YH, Yuan Y. 1999. A Nonlinear Conjugate Gradient Method with a Strong
Global Convergence Property. SIAM Journal on Optimization, 10: 177-182.
Dai YH, Yuan Y. 2001. An Efficient Hybrid Conjugate Gradient Method for
Unconstrained Optimization. Annal of Operation Research, 103: 33-47.
Dolan JED, Morѐ JJ. 2002. Benchmarking Optimization Sofware with Performance
Profil.
Mathematical
Programming.
912(2):
201-213.doi:
10.1007/s101070100263.
Fletcher R. Reeves C. 1964. Function Minimazation by Conjugate Gradient. The
Computer Journal, 7: 149-154.
Fletcher R, 1987. Practical Methods of Optimization, Unconstrained Optimization.
New York: Wiley.
Hestenes MR, Stiefel EL. 1952. Methods of Conjugate Gradients for Solving Linear
System. Journal of Research of the National Bureau of Standards, 49(6): 409432.
Liu YL, Storey CS. 1991. Efficient Generalized Conjugate Gradient Algorithms,
Part 1: Theory. Journal of Optimization Theory and Applications, 69(1): 129137.
Luenberger DG, Ye Y. 2008. Linear and Nonlinear Programming: Third Edition.
New York: Spinger Science + Business Media.
Nocedal J, Wright SJ. 1999. Numerical Optimization. New York: Springer-Verlag.
22
Polak B, Ribiere G. 1969. Note Surla Convergence des Méthodes de Directions
Conjuguées. Francaise Imformat Recherche Opertionelle, 16: 35–43.
Polyak BT. 1969. The Conjugate Gradient Method in Extreme Problems, USSR
Computational Mathematics and Mathematical Physics, 9(4): 94-112.
Snyman JA. 2005. Practical Mathematical Optimization: An Introduction to Basic
Optimization Theory and classical and New Gradient-Based Algorithms.
New York: Spinger Science + Business Media.
Sun W, Yuan YX. 2006. Optimization Theory and Methods: Nonlinear Programing.
New York: Spinger Science + Business Media.
Thomson BS, Bruckner JB, Bruckner AM. 2007. Elementary Real Analysis. USA:
Prentice-Hall, Inc.
Touati-Ahmed D, Storey C. 1990. Efficient Hybrid Conjugate Gradient
Techniques: Journal of Optimization Theory and Applications, 64(2): 379397.
Zhang L. 2006. Nonlinear Conjugate Gradient Methods for Optimization Problems.
[Disertasi]. Changsa (CN): College of Mathematics and Econometrics,
Hunan University.
Zhang L, Zhou W. 2008. Two Descent Hybrid Conjugate Method for Optimization.
Journal of Computational and Applied Mathematics, 216: 251-264.doi:
10.1016/j.cam.2007.04.028.
Zhang L, Zhou W, Li D. 2006. Global convergence of a modified Fletcher-Reeves
conjugate method with Armijo-type line search, Numerische Mathematik,
104: 561–572.doi: 10.1007/s00211-006-0028-z.
Zhou A, Zhu Z, Fan H, Qing Q. 2011. Three New Hybrid Conjugate Gradient
Method for Optimazation. Applied Mathematics, 2: 303-308.doi:
10.4236/am.2011.23035.
23
LAMPIRAN
Lampiran 1
1.
Fungsi-fungsi tak linear yang digunakan dalam pengujian
algoritme metode konjugat gradien hibrid untuk mencari hasil
iterasi dan running time.
Extended Rosenbrock function
n 2
x 0 1.2,1,..., 1.2,1.
f ( x ) c ( x 2 i x 22 i 1 ) 2 (1 x 2 i 1 ) 2 ,
c 100.
i 1
2.
Extended White & Holst function
n 2
f ( x ) c ( x 2 i x 32 i 1 ) 2 (1 x 2 i 1 ) 2 ,
x 0 1.2,1,..., 1.2,1.
c 100.
i 1
3.
Extended quadratic penalty QP1 function
n 1
n
i 1
i 1
x 0 1,1,...,1,1 .
f ( x ) ( x i2 2) 2 ( x i2 0.5) 2 ,
4.
SINCOS function
n 2
f ( x ) ( x 22 i 1 x 22 i x 22 i 1x 22 i ) 2 sin 2 x 2 i 1 cos 2 x 2 i ,
i 1
x 0 3, 0.1,..., 3, 0.1 .
5.
Extended Beale function
n 2
f ( x ) (1.5 x 2 i 1 (1 x 2 i )) 2 (2.25 x 2 i 1 (1 x 22 i )) 2
i 1
(2.625 x 2 i 1 (1 x 32 i )) 2 ,
6.
x 0 1, 0.8,...,1, 0.8 .
Extended Tridiagonal 1 function
n 2
f ( x ) ( x 2 i 1 x 2 i 3) 2 ( x 2 i 1 x 2 i 1) 4 ,
x 0 2, 2,..., 2, 2 .
i 1
7.
Hager function
n
f ( x ) (exp( x i ) i x i ),
x 0 1,1,...,1,1 .
i 1
8.
Extended Freudenstein & Roth function
n 2
f ( x ) ( 13 x 2 i 1 ((5 x 2 i ) x 2 i 2) x 2 i ) 2
i 1
( 29 x 2 i 1 (( x 2 i 1) x 2 i 14) x 2 i ) 2 , x 0 0.5, 2,..., 0.5, 2 .
24
9.
Extended Powell function
n 4
f ( x ) ( x 4 i 3 10 x 4 i 3 ) 2 5 ( x 4 i 1 x 4 i ) 2 ( x 4 i 2 2 x 4 i 1 ) 4
i 1
10( x 4 i 3 x 4 i ) 4 ,
10.
x 0 3, 1, 0,1,..., 3, 1, 0 ,1.
Extended Wood function
n 4
f ( x ) 100( x 42 i 3 x 4 i 2 ) 2 ( x 4 i 3 1) 2 90 ( x 42 i 1 x 4 i ) 2 (1 x 4 i 1 ) 2
i 1
10.1 x 4 i 2 1 x 4 i 1
2
2
19.8 x
4i 2
1 x 4 i 1 ,
x 0 3, 1, 3, 1,..., 3, 1, 3, 1 .
11.
Extended Tridiagonal 2 function
n 1
f ( x ) ( x i x i 1 1) 2 c ( x i 1)( x i 1 1),
x 0 1,1,...,1,1 .
c 0.1.
i 1
12.
Extended Himmelblau function
n 2
f ( x ) ( x 22 i 1 x 2 i 11) 2 ( x 2 i 1 x 22 i 7),
x 0 1,1,...,1,1.
i 1
13.
Extended Maratos function
n 2
f ( x ) x 22 i 1 c x 22 i 1 x 22 i 1 ,
i 1
2
x 0 1,1,...,1,1 .
c 100
25
RIWAYAT HIDUP
Penulis dilahirkan di Kota Ba
HS-CD DAN METODE LS-DY UNTUK MENYELESAIKAN
MASALAH OPTIMASI TAK BERKENDALA
T MURDANI SAPUTRA
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA*
Dengan ini saya menyatakan bahwa tesis berjudul Metode Konjugat Gradien
Hibrid Baru: Metode HS-CD dan Metode LS-DY untuk Menyelesaikan Masalah
Optimasi Tak Berkendala adalah benar karya saya dengan arahan dari komisi
pembimbing dan belum diajukan dalam bentuk apapun kepada perguruan tinggi
manapun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan
maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan
dicantumkan dalam Daftar Pustaka di bagian akhir tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, September 2015
T Murdani Saputra
NIM G551130121
RINGKASAN
T MURDANI SAPUTRA. Metode Konjugat Gradien Hibrid Baru: Metode HS-CD
dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala.
Dibimbing oleh BIB PARUHUM SILALAHI dan SUGI GURITMAN.
Dalam kehidupan sehari-hari sering kita menjumpai kegiatan yang
menyangkut masalah optimasi. Optimasi bertujuan untuk mencari penyelesaian
terbaik dari suatu masalah. Masalah optimasi dapat diselesaikan menggunakan
metode analitik dan metode numerik. Untuk masalah optimasi suatu fungsi objektif
tak linear skala besar, lebih efisien digunakan metode numerik. Terdapat beberapa
metode numerik yang dapat digunakan untuk menyelesaikan optimasi fungsi tak
linear skala besar, salah satu metode tersebut adalah metode konjugat gradien.
Metode konjugat gradien diperkenalkan oleh Hestenes dan Stiefel (HS) pada
tahun 1952. Pada awalnya metode ini digunakan untuk menyelesaikan sistem
persamaan linear. Setelah itu pada tahun 1964, Fletcher dan Reeves memperluas
metode tersebut untuk menyelesaikan sistem persamaan tak linear skala besar.
Metode dari Fletcher dan Reeves dikembangkan lagi oleh para peneliti dengan
mengusulkan metode-metode baru. Metode-metode baru tersebut diantara lain yaitu
metode PRP, metode CD, metode LS dan metode DY. Metode-metode yang telah
diusulkan pada penelitian sebelumnya memliki kelebihan dan kekurangan pada
waktu proses komputasi dan sifat-sifat kekonvergenan global. Oleh karena itu para
peneliti mengusulkan metode baru dengan menggabungkan kelebihan-kelebihan
dari metode-metode yang diusulkan sebelumnya.
Penelitian ini mengusulkan metode-metode konjugat gradien hibrid baru
kemudian membuktikan berlakunya sifat-sifat kekonvergenan metode-metode yang
diusulkan. Selanjutnya membandingkan hasil numerik dari metode-metode yang
diusulkan dengan metode-metode pada penelitian sebelumnya yaitu metode NH1,
NH2 dan NH3.
Dalam penelitian ini kami mengusulkan dua metode konjugat gradien hibrid
yang kami beri nama metode NH4 dan NH5. Kedua metode baru yang diusulkan
berdasarkan ide dari metode NH2 dan NH3. Metode-metode baru yang diusulkan
memenuhi sifat-sifat kekonvergenan global menggunakan kondisi Wolfe serta
memenuhi kondisi descent. Hasil numerik menunjukkan bahwa metode baru efisien
dalam menyelesaikan semua fungsi tak linear yang diujikan serta metode baru
kompetitif dengan metode NH1, NH2, dan NH3.
Kata kunci: metode konjugat gradien, kondisi descent, konvergen global
SUMMARY
T MURDANI SAPUTRA. New Hybrid Conjugate Gradient Method: HS-CD
Method and LS-DY Method for Solving Unconstrained Optimization Problems.
Supervised by BIB PARUHUM SILALAHI and SUGI GURITMAN.
In daily life we often encounter activities deal with optimization problem. The
goal of optimization is to find the best solutions of a problem. For large-scale non
linear optimization problems, it will be more efficient by solving the problem using
numerical methods. There are several numerical methods for solving large-scale
non linear optimization problems, one of them is conjugate gradient method.
Conjugate gradient method was proposed by Hestenes and Stiefel (HS) in
1952. At the begining this method is used to solve linear equation systems. After
that in 1964, Fletcher and Reeves extend this method to solve large-scale nonlinear
equation system. Then the method of Fletcher and Reeves is developed by the
researchers to propose new methods. These new methods namely, the PRP method,
the CD method, the LS method and the DY method. The proposed methods have
advantages and disadvantages in computing processing time and global
convergence properties. Therefore, the researchers have been proposing a new
method by combining the advantages of the existing methods.
This research proposes new hybrid conjugate gradient methods then prove
global convergence properties of the proposed methods. Then this research also
compare the numerical results of the proposed methods with the existing methods
namely, NH1, NH2, and NH3 methods.
In this research, we proposed two hybrid conjugate gradient methods, namely
the NH4 method and the NH5 method. Both of these method is based on the idea
of NH2 and NH3 methods. Both methods have proved satisfying global
convergence properties by using Wolfe conditions and satisfying descent condition.
Numerical results show that the new methods are efficient for solving all of tested
nonlinear functions and the new methods are competitive with NH1, NH2 and NH3
methods.
Keywords: conjugate gradien method, descent direction, global convergence
© Hak Cipta Milik IPB, Tahun 2015
Hak Cipta Dilindungi Undang-Undang
Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan atau
menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan,
penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau
tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan IPB
Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini
dalam bentuk apa pun tanpa izin IPB
METODE KONJUGAT GRADIEN HIBRID BARU: METODE
HS-CD DAN METODE LS-DY UNTUK MENYELESAIKAN
MASALAH OPTIMASI TAK BERKENDALA
T MURDANI SAPUTRA
Tesis
sebagai salah satu syarat untuk memperoleh gelar
Magister Sains
pada
Program Studi Matematika Terapan
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
Penguji Luar Komisi pada Ujian Tesis: Dr Toni Bakhtiar, MSc
Judul Tesis : Metode Konjugat Gradien Hibrid Baru: Metode HS-CD dan
Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak
Berkendala
Nama
: T Murdani Saputra
NIM
: G551130121
Disetujui oleh
Komisi Pembimbing
Dr Ir Bib Paruhum Silalahi, MKom
Ketua
Dr Sugi Guritman
Anggota
Diketahui oleh
Ketua Program Studi
Matematika Terapan
Dekan Sekolah Pascasarjana
Dr Jaharuddin, MS
Dr Ir Dahrul Syah, MScAgr
Tanggal Ujian: 16 September 2015
Tanggal Lulus:
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas
segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang
dipilih dalam penelitian yang dilaksanakan sejak bulan Desember 2014 ini ialah
teori optimasi, dengan judul Metode Konjugat Gradien Hibrid Baru: Metode HSCD dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala.
Penulisan tesis ini merupakan salah satu syarat memperoleh gelar Magister
Sains pada program studi Matematika Terapan Sekolah Pascasarjana Institut
Pertanian Bogor. Penulis juga menyampaikan terima kasih kepada:
1. Alm. Bapak Teuku Umar dan Ibu Nuraini selaku orang tua penulis.
2. Dr Ir Bib Paruhum Silalahi, Mkom selaku Ketua Komisi Pembimbing.
3. Dr Sugi Guritman selaku Anggota Komisi Pembimbing.
4. Dr Toni Bakhtiar, MSc selaku Penguji Luar Komisi Pembimbing dan Ketua
Departemen Matematika.
5. Dr Jaharuddin, MS selaku Ketua Program Studi S2 Matematika Terapan.
6. Direktorat Jendral Pendidikan Tinggi (DIKTI) sebagai sponsor Beasiswa
Pendidikan Pascasarjana dalam Negeri (BPP-DN).
7. Seluruh keluarga yang selalu memberi dorongan dan doa untuk keberhasilan
studi penulis.
8. Seluruh mahasiswa Departemen Matematika khususnya teman-teman
angkatan tahun 2013 di Program Studi S2 Matematika Terapan.
9. Sahabat-sahabat yang tidak dapat disebutkan satu persatu yang telah banyak
membantu penulis dalam penyelesaian tesis ini.
Semoga semua bantuan, bimbingan dan motivasi yang telah diberikan kepada
penulis senantiasa mendapatkan balasan dari Allah subhanahu wa ta’ala.
Akhirnya, semoga penulisan tesis ini dapat memperkaya pengalaman belajar
dan wawasan kita semua.
Bogor, September 2015
T Murdani Saputra
DAFTAR ISI
DAFTAR TABEL
vi
DAFTAR GAMBAR
vi
DAFTAR LAMPIRAN
vi
1 PENDAHULUAN
Latar Belakang
Tujuan Penelitian
1
1
2
2 TINJAUAN PUSTAKA
Optimasi Matematik
Himpunan Konveks
Fungsi Konveks
Norm Vektor Euclid
Vektor Gradien
Minimum Global dan Minimum Lokal
Himpunan Terbatas
Kontinuitas Fungsi Lipschitz
Konvergen Global
Limit Inferior
Iterasi dan Running Time
2
2
2
2
3
3
3
3
4
4
4
4
3 METODE PENELITIAN
4
4 HASIL DAN PEMBAHASAN
Metode Konjugat Gradien
Metode Konjugat Gradien Hibrid Zhang dan Zhou
Metode Konjugat Gradien Hibrid Zhou, Zhu, Fan dan Qing
Metode Konjugat Gradien Hibrid Baru
Analisis Kekonvergenan Global Metode Konjugat Gradien Hibrid Baru
Hasil Numerik
5
5
6
7
7
9
17
5 SIMPULAN
21
DAFTAR PUSTAKA
21
RIWAYAT HIDUP
25
DAFTAR TABEL
1
2
Hasil iterasi dari metode konjugat gradien hibrid
Hasil running time dari metode konjugat gradien hibrid
17
18
DAFTAR GAMBAR
1
2
Hasil profil jumlah iterasi metode NH1, NH2, NH3, NH4 dan NH5
Hasil profil jumlah running time metode NH1, NH2, NH3, NH4 dan NH5
20
20
DAFTAR LAMPIRAN
1
Fungsi-fungsi tak linear yang digunakan dalam pengujian algortime metode
konjugat gradien untuk mencari hasil iterasi dan running time
23
1 PENDAHULUAN
Latar Belakang
Optimasi merupakan suatu upaya mencari penyelesaian terbaik dari suatu
masalah. Secara umum masalah optimasi terdiri atas fungsi objektif dan kendala
(tanpa kendala). Optimasi dengan fungsi objektif tak linear skala besar lebih efisien
bila diselesaikan secara numerik. Salah satu metode numerik adalah metode
konjugat gradien. Metode konjugat gradien pertama kali diperkenalkan oleh
Hestenes dan Stiefel pada tahun 1952 untuk menyelesaikan sistem persamaan linear
(Bazaraa et al. 2006). Setelah itu, pada tahun 1964 Fletcher dan Reeves memperluas
bentuk metode konjugat gradien untuk menyelesaikan sistem persamaan tak linear
skala besar dan menggunakannya dalam menyelesaikan bentuk umum dari masalah
optimasi tanpa kendala. Hasil perluasan yang dilakukan oleh Fletcher dan Reeves
memicu banyak penelitian selanjutnya. Penelitian yang dilakukan adalah
modifikasi metode, hasil dari modifikasi yaitu metode HS (Hestenes dan Stiefel
1952), metode FR (Fletcher dan Reever 1964), metode CD (Fletcher 1987), metode
PRP (Polak-Ribiere dan Polyak 1969), metode LS (Liu dan Storey 1991) dan
metode DY (Dai dan Yuan 1999). Metode-metode tersebut memiliki kelebihan dan
kekurangan, baik itu dalam proses kinerja komputasi dan kekonvergenan global.
Metode PRP, HS dan LS merupakan metode yang kinerja komputasinya efisien,
namun sifat konvergensi global tidak terpenuhi. Di sisi lain, metode FR, CD dan
DY memenuhi sifat konvergensi global, tetapi kinerja komputasinya kurang efisien.
Beberapa penelitian mengusulkan metode baru berdasarkan kekurangan dan
kelebihan dari metode-metode sebelumnya, sehingga metode baru yang diusulkan
memperoleh hasil komputasi yang efisien dan memenuhi sifat konvergensi global.
Touati-Ahmed dan Storey (1990) mengusulkan hibrid metode FletcherReeves (FR) dan Polak-Ribiere (PRP) yang dikenal dengan metode H1. Dai dan
Yuan (2001) juga mengusulkan metode hibrid kedua dari metode Hestenes-Stiefel
(HS) dan Dai-Yuan (DY) yang dikenal dengan metode H2. Metode H1 dan H2 ini
menunjukkan hasil yang lebih baik daripada metode PRP pada proses komputasi
(Touati-Ahmed dan Storey 1990; Dai-Yuan 2001). Berdasarkan ide dari metode H1,
metode H2, serta modifikasi dari metode FR dan metode DY, Zhang dan Zhou
(2008) mengusulkan metode hibrid baru yang dikenal dengan metode NH1 dan
metode NH2. Metode NH1 dan NH2 menunjukkan hasil komputasi berjalan sangat
efisien untuk masalah yang diberikan dalam CUTE Library dan algoritme metode
modifikasi memenuhi kekonvergenan global. Berdasarkan ide dari Zhang dan Zhou
(2008), Zhou et al. (2011) mengusulkan bentuk ketiga metode hibrid yang dikenal
NH3. Metode NH3 merupakan hibrid dari metode modifikasi CD dan hibrid LSCD (H3). Metode hibrid ketiga ini juga menunjukkan proses komputasi sangat
efisien pada fungsi tak linear dan algoritme metode tersebut terbukti memenuhi sifat
kekonvergenan global. Berdasarkan penelitian-penelitian yang telah dilakukan,
maka penelitian ini mengusulkan metode hibrid baru, kemudian membuktikan
berlakunya sifat-sifat kekonvergenan global metode hibrid baru dan selanjutnya
membandingkan hasil numerik metode hibrid baru dengan metode NH1, NH2 dan
NH3.
2
Tujuan Penelitian
Berdasarkan uraian latar belakang di atas, tujuan yang akan dicapai pada
penelitian ini adalah sebagai berikut:
1. Mengusulkan metode konjugat gradien hibrid baru.
2. Membuktikan berlakunya sifat-sifat kekonvergenan global metode konjugat
gradien hibrid baru.
3. Membandingkan hasil numerik metode konjugat gradien hibrid baru dengan
metode NH1, NH2 dan NH3.
2 TINJAUAN PUSTAKA
Optimasi Matematik
Definisi 2.1
Optimasi matematik adalah suatu proses formulasi masalah dan penentuan
solusi dari suatu masalah optimasi berkendala dengan bentuk umum:
(2.1)
min
,
= [ , , … , ]� ℝ
dengan kendala
,
= , ,…,
= ,
= , ,…,
ℎ
adalah fungsi dari .
, dan ℎ
dengan
,
Komponen-komponen
dari = [ , , … , ]� dinamakan variabel
menyatakan fungsi kendala
keputusan,
adalah fungsi objektif,
adalah fungsi-fungsi kendala persamaan. Vektor optimum
pertaksamaan, ℎ
yang menjadi solusi dari masalah dinyatakan dengan ∗ dan nilai optimumnya
∗
adalah
. Jika tidak ada kendala maka masalah dinamakan masalah minimasi
tanpa kendala. (Snyman 2005)
Himpunan Konveks
Definisi 2.2
Sebuah himpunan X adalah konveks jika untuk semua ,
� memenuhi
2
1
x x 1 x X untuk semua 0 1 .
(2.2)
Jika kondisi di atas tidak terpenuhi maka himpunan X tidak konveks. (Snyman
2005)
Fungsi Konveks
Definisi 2.3
Misalkan : ℝ → ℝ ,
1. Fungsi f dikatakan konveks pada himpunan konveks C jika
+ −
+ −
,
untuk setiap , di C dan untuk setiap dengan
.
2. Fungsi f dikatakan konveks sempurna pada himpunan konveks C jika
+ −
<
+ −
,
(2.3)
(2.4)
3
untuk setiap ,
(Snyman 2005)
di C dengan
≠
dan untuk setiap
dengan
Norm Vektor Euclid
Definisi 2.4
Untuk vektor
di mana
×
ℝ
×
, norma Euclid dari x didefinisikan sebagai:
⁄
‖ ‖= ∑
=√ � ,
(Luenberger dan Ye 2008).
<
< .
(2.5)
Vektor Gradien
Untuk fungsi
� yang terdapat di setiap titik yang merupakan
vektor dari turunan parsial orde pertama disebut vektor gradien yaitu :
��
=
(Snyman 2005).
��
��
��
��
⋮
(���
(2.6)
)
Minimum Global dan Minimum Lokal
Definisi 2.5
∗
1. Titik ∗ adalah minimum global dari f pada D jika
∀ �� ⊆ℝ
2. Titik ∗ adalah minimum lokal jika terdapat > sehingga
∗
{ |‖ − ∗ ‖ < },
>
untuk setiap
dengan ‖∙‖ menyatakan norma Euclid.
(Snyman 2005)
Himpunan Terbatas
Definisi 2.6
Diberikan himpunan tak kosong S ⊂ ℝ
1. Himpunan S dikatakan terbatas di atas (bounded above) jika terdapat
suatu bilangan u ℝ sedemikian hingga
� untuk semua
�. Setiap
bilangan u seperti ini disebut dengan batas atas (upper bound) dari S.
2. Himpunan S dikatakan terbatas di bawah (bounded below) jika terdapat
suatu bilangan w ℝ sedemikian hingga
untuk semua
�. Setiap
bilangan w seperti ini disebut dengan batas bawah (lower bound) dari S.
3. Suatu himpunan dikatakan terbatas (bounded) jika terbatas di atas dan
terbatas di bawah. Jika tidak, maka dikatakan tidak terbatas (unbounded).
(Bartle 2011)
4
Kontinuitas Fungsi Lipschitz
Definisi 2.7
�: � ⊂ ℝ → ℝ adalah kontinu H ̈ lder pada D jika ada konstanta
, ] sehingga untuk semua ,
�,
F y F x y x .
p
Jika p = 1, maka F disebut kontinu Lipschitz pada D dan
Lipschitz. (Sun dan Yuan 2006).
dan
(2.7)
adalah konstanta
Konvergen Global
Definisi 2.8
Suatu model algoritme dikatakan konvergen, jika akumulasi titik-titik dari
setiap barisan iterasi {x n } dikonstruksi oleh algoritma dalam P yang merupakan
himpunan solusi optimal (Argyros 2008).
Limit Inferior
Definisi 2.9
Limit inferior dari sebuah barisan {x n } yang dinotasikan sebagai berikut
lim inf x n
(2.8)
n
adalah definisi dari supremum semua bilangan dengan mengikuti sifat:
Ada bilangan bulat N sedemikian sehingga x n untuk semua n N .
(Thomson et al. 2007).
Iterasi dan Running Time
Definisi 2.10 (Iterasi)
Iterasi adalah sifat tertentu dari algoritme atau program komputer di mana
satu urutan atau lebih dari langkah algoritme yang dilakukan pada loop program
(Chapman 2008).
Definisi 2.11 (Running Time)
Running time dari suatu algoritme didefinisikan sebagai ukuran operasi
primitife atau tahapan proses yang dieksekusi (Cormen et al. 1990).
3 METODE PENELITIAN
Penelitian ini disusun melalui tiga tahap, pertama dilakukan telaah pustaka
(jurnal terkait) mengenai metode konjugat gradien dan kemudian mengusulkan dua
metode konjugat gradien hibrid baru yaitu metode NH4 dan NH5. Pada tahap kedua
dibuktikan metode konjugat gradien hibrid baru memenuhi sifat kekonvergenan
global dan pada tahap terakhir diujikan fungsi tak linear pada setiap metode
5
menggunakan bahasa pemograman serta dibandingkan hasil numerik metode baru
dengan metode NH1, NH2 dan NH3.
4 HASIL DAN PEMBAHASAN
Metode Konjugat Gradien
Pada pembahasan ini akan dijelaskan cara mendapatkan metode konjugat
gradien hibrid baru. Metode baru dalam penelitian ini diusulkan berdasarkan ide
dari penelitian Zhang dan Zhou (2008) dan Zhou et al (2011). Pada bab
pendahuluan telah dijelaskan bahwa metode konjugat gradien merupakan salah satu
metode numerik untuk menyelesaikan optimasi fungsi tak linear skala besar.
Metode konjugat gradien pertama kali diperkenalkan oleh Hestenes dan Stiefel
pada tahun 1952 untuk menyelesaikan sistem persamaan linear, berikut masalah
optimasi tanpa kendala:
min f (x), x n
(4.1)
dengan : ℝ → ℝ merupakan fungsi turunan kontinu dan g(x) merupakan gradien
pada fungsi f.
Persamaan (4.1) secara iteratif pada metode konjugat gradien dapat
diselesaikan dengan menggunakan bentuk:
(4.2)
x k 1 x k k d k , k 0,1, 2,...
dengan
adalah proses iteratif,
merupakan ukuran langkah dan � merupakan
pencarian arah.
Ukuran langkah
diperoleh menggunakan beberapa bentuk line search
yaitu exact atau inexact line search dan bentuknya sebagai berikut:
f ( x k k d k ) min f ( x k k d k ) ,
(4.3)
0
dan
f ( x k k d k ) f ( x k ) k g Tk d k
g ( x k k d k )T d k g Tk d k
dengan
<
. Jika ∗ adalah
solusi optimal, maka ada parameter ∗
, ) sehingga, untuk semua ∗
, ∗ ),
pencarian arah � didefinisikan oleh persamaan (4.6) memenuhi kondisi descent
(4.7)
g Tk d k 0
(Pillo dan Giannessi 1999).
Metode Konjugat Gradien Hibrid Zhang dan Zhou
Zhang dan Zhou (2008) mengusulkan dua metode konjugat gradien hibrid
baru, yaitu metode NH1 dan NH2. Metode NH1 merupakan metode yang diusulkan
berdasarkan ide dari metode hibrid PRP-FR atau metode H1 (Touati-Ahmed dan
Storey 1990) dan modifikasi dari metode FR atau MFR (Zhang et al. 2006),
sedangkan untuk metode NH2 diusulkan berdasarkan ide dari metode hibrid HSDY atau metode H2 (Dai dan Yuan 2001) dan modifikasi dari metode DY atau
MDY (Zhang 2006). Adapun bentuk metode-metode tersebut sebagai berikut:
max 0, min
,
kH 1 max 0, min kPRP , kFR ,
kH 2
T
MFR: d k g k k d k 1
FR
g k d k 1
g k 1
2
HS
k
g k 1 k
, kDY
FR
g Tk d k 1
g k kFR d k 1 .
2
g k 1
4.8)
(4.9)
(4.10)
7
g Tk d k 1
g k kDY d k 1 .
2
2
g k 1
g k 1
Metode NH1 dan NH2 diperoleh dengan menggantikan parameter
dengan parameter � (4.8) dan parameter �� (4.11) dengan parameter
adapun metode NH1 dan NH2 sebagai berikut:
gT d
NH1: d k 1 kH 1 k k 21 g k kH 1d k 1 .
g k 1
T
MDY: d k g k kDY d k 1
g k d k 1
g k 1 k
DY
(4.11)
��
�
(4.10)
(4.9),
(4.12)
gT d
(4.13)
NH2: d k 1 kH 2 k k 21 g k kH 2d k 1 .
g
k 1
Metode MFR, MDY, NH1 dan NH2 memenuhi � Tk � = −‖� ‖ yang
menunjukkan metode-metode tersebut merupakan metode sufficient descent. Zhang
dan Zhou (2008) menunjukkan bahwa metode NH1 dan NH2 pada proses
komputasi sangat efisien dan memenuhi kekdonvergenan global.
Metode Konjugat Gradien Hibrid Zhou, Zhu, Fan dan Qing
Zhou et al. (2011) mengusulkan bentuk ketiga dari metode konjugat gradien
hibrid yaitu metode NH3 serta mengusulkan dua metode baru yaitu metode hibrid
LS-CD atau metode H3, dan modifikasi dari metode CD atau MCD. Metode NH3
diusulkan berdasarkan ide yang dikemukakan oleh Zhang dan Zhou (2008). Adapun
metode H3, MCD dan NH3 sebagai berikut:
kH 3 max 0, min kLS , kCD .
(4.14)
T
CD g k d k 1
g k 1 k
g k kCD d k 1 , (4.15)
MCD: d k g k d k 1
2
2
g k 1
g k 1
di mana persamaan (4.14) merupakan paramater metode H3 dan persamaan (4.15)
merupakan metode MCD. Metode NH3 diperoleh dengan menggantikan bentuk
CD
H3
parameter k (4.15) dengan parameter k (4.14) sehingga diperoleh:
CD
k
g Tk d k 1
T
H 3 g k d k 1
g k kH 3d k 1 .
NH3: d k 1 k
(4.16)
2
g k 1
Metode MCD dan NH3 yang diusulkan oleh Zhou et al. (2011) memenuhi
sufficient descent yaitu � Tk � = −‖� ‖ dan menunjukkan hasil yang efisien
dalam proses komputasi serta memenuhi sifat kekonvergenan global.
Metode Konjugat Gradien Hibrid Baru
Pada pembahasan metode-metode sebelumnya telah dijelaskan cara untuk
mendapatkan metode konjugat gradien yang dilakukan oleh Zhang dan Zhou (2008)
dan Zhou et al. (2011). Zhang dan Zhou (2008) menggunakan metode H2 (Dai dan
Yuan 2001) dan modifikasi dari metode DY atau MDY (Zhang 2006) untuk
mengusulkan metode NH2 dan sedangkan Zhou et al. (2011) mengusulkan 3
metode baru yaitu metode H3, modifikasi dari metode CD atau MCD dan metode
8
NH3. Berdasarkan ide dari penelitian-penelitian tersebut maka dalam penelitian ini
diusulkan modifikasi metode gradien hibrid baru yaitu metode H4, H5, NH4 dan
NH5. Adapun modifikasi metodenya sebagai berikut:
max 0, min
,
kH 4 max 0, min kHS , kCD ,
(4.17)
kH 5
(4.18)
LS
k
, kDY
di mana metode H4 merupakan metode hibrid HS-CD dan metode H5 merupakan
metode hibrid LS-DY.
Berdasarkan metode MCD (4.15) dan metode MDY (4.11), maka metode
NH4 dan NH5 diperoleh sebagai berikut:
T
H 4 g k d k 1
g k kH 4d k 1 ,
(4.19)
NH4: d k 1 k
2
g k 1
T
H 5 g k d k 1
g k kH 5d k 1 ,
(4.20)
NH5: d k 1 k
2
g k 1
di mana metode NH4 diperoleh dengan menggantikan kCD pada metode MCD
digantikan dengan metode H4 sedangkan metode NH5 menggantikan bentuk DY
pada metode DY dengan metode H5. Adapun algoritme metode NH4 dan metode
NH5 sebagai berikut:
Algoritme 4.1 Metode NH4
Langkah 0: Diberikan titik awal
ℝ , <
, < < dan < � < .
Tetapkan � = −� , ≔ .
Langkah 1: Jika ‖� ‖ < , berhenti; pergi ke Langkah berikutnya.
Langkah 2: Hitung ukuran langkah
menggunakan kondisi Wolfe (4.4).
Langkah 3: Misalkan + =
+ � . Jika ‖� + ‖ < , maka stop.
Langkah 4: Hitung pencarian arah � (4.19).
Langkah 5: Beri nilai = + , dan pergi ke Langkah 2.
Algoritme 4.2 Metode NH5
Langkah 0: Diberikan titik awal
ℝ , <
, < < dan < � < .
Tetapkan � = −� , ≔ .
Langkah 1: Jika ‖� ‖ < , berhenti; pergi ke Langkah berikutnya.
Langkah 2: Hitung ukuran langkah
menggunakan kondisi Wolfe (4.4).
Langkah 3: Misalkan + =
+ � . Jika ‖� + ‖ < , maka stop.
Langkah 4: Hitung pencarian arah � (4.20).
Langkah 5: Beri nilai = + , dan pergi ke Langkah 2.
9
Analisis Kekonvergenan Global Metode Konjugat Gradien Hibrid Baru
Asumsi A
Untuk menganalisis kekonvergenan metode NH4 dan NH5 diperlukan
beberapa asumsi dasar, berikut asumsinya:
1. Fungsi terbatas di bawah level set Ω = {
ℝ :
� } terbatas;
adalah titik awal.
2. Gradien dari fungsi objektif memenuhi kontinu Lipschitz, yaitu terdapat
konstanta � > sedemikian sehingga untuk semua ,
Ω berlaku‖g
−
g ‖ �‖ − ‖.
Berdasarkan asumsi 1 dan 2 pada fungsi , maka asumsi di atas diperlukan untuk
pembuktian lemma berikut ini:
Lemma 4.2 (kondisi Zoutendijk)
Andaikan asumsi A berlaku. Berdasarkan bentuk + =
+ � dan
persamaan (4.6), dimana � merupakan arah descent dan
merupakan ukuran
langkah yang ditentukan dengan menggunakan kondisi Wolfe (4.4), maka:
(g Tk d k ) 2
(4.21)
d 2 .
k 0
k
Bukti
Dari kondisi Wolfe persamaan (4.4)
dTk g k d Tk g ( x k k d k ) ,
dimana g k g (x k ) , maka
dTk g ( x k ) dTk g ( x k k d k )
(4.22)
d g (x k ) d g (x k ) d g x k k d k d g (x k )
T
k
T
k
T
k
T
k
1 d Tk g ( x k ) d kT ( g x k k d k g ( x k ))
g x k k d k g (x k ) d k .
(4.23)
Dengan menggunakan kontinu Lipschitz, maka persamaan (4.23) diperoleh
1 d Tk g ( x k ) L x k k d k x k d k
L k dk dk
L k d k
2
1 d Tk g ( x k ) L k d k
k
(4.24)
2
1 dTk g ( x k )
L dk
2
.
Karena g k g (x k ) , maka
k
1 d Tk g k
L dk
2
.
(4.25)
Dengan menggunakan kondisi Wolfe (4.4)
f x k k d k f x k k g Tk d k
f x k f x k k d k k g Tk d k .
(4.26)
10
Disubstitusi persamaan (4.25) ke persamaan (4.26), diperoleh
1 d Tk g k
f x k f x k k d k
L d 2
k
g Tk d k ,
(4.27)
sehingga dapat disimpulkan
f x k f x k k d k C1
di mana C1
(1 )
untuk k 0
g
dk
T
k
2
(4.28)
2
dk
0 . Sekarang,
L
g
f x 0 f x 0 0 d 0 C1
d0
T
0
2
.
2
d0
Karena x1 x 0 0 d 0
f x 0 f x1 C1
g
d0
T
0
2
.
2
d0
Untuk k 1
f x1 f x 2 C1
g d
T
1
2
1
.
2
d1
Untuk k 2
f x 2 f x 3 C1
g
T
2
d2
2
.
2
d2
Untuk k n 1
f x n 1 f x n C1
g
T
n 1
d n 1
d n 1
2
.
2
Dijumlahkan semua pertidaksamaan di atas dan diperoleh
n 1
f x 0 f x n C1
g
T
k
dk
,
2
dk
k 0
2
(4.29)
karena f terbatas di bawah di mana n maka diperoleh
f x 0 f * C1
k 0
g
T
k
dk
dk
2
2
,
(4.30)
di mana
f * lim f ( x k ) .
k
Jadi diperoleh bahwa
k 0
g
T
k
dk
dk
2
2
. ∎
(4.31)
11
Lemma 4.3 (Kondisi Descent)
Misalkan + =
+ � dihasilkan oleh algoritme 4.1, maka pencarian
arah � (4.19) memenuhi kondisi descent
2
d Tk g k g k ,
k 0
(4.32)
Bukti:
dT g
Misalkan kH 4 k , k (1 k k 1 2k ) dan d 0 g 0
gk
2
g T0 d 0 g T0 g 0 g 0
berlaku untuk k = 0.
Untuk k 1 , diperoleh
(4.33)
d k k g k kd k 1 .
(4.34)
Untuk kH 4 k
d k (1 k
g Tk d k 1
gk
2
)g k kd k 1
kd k 1 (1 k
g Tk d k 1
gk
2
)g k .
(4.35)
Kalikan kedua ruas persamaan (4.35) dengan g Tk , sehingga
g Tk d k kg Tk d k 1 (1 k
g Tk d k kg Tk d k 1 g k
g Tk d k g k
2
2
g Tk d k 1
gk
k
.
2
)g Tk g k
g Tk d k 1
gk
2
gk
2
(4.36)
(4.37)
Dari persamaan (4.37) diperoleh bahwa untuk semua
menurun. ∎
arah pencarian �
Lemma 4.4 (Kondisi Descent)
Misalkan + =
+ � dihasilkan oleh algoritme 4.2, maka pencarian
arah � (4.20) memenuhi kondisi descent
2
d Tk g k g k ,
k 0
(4.38)
Bukti:
dT g
Misalkan kH5 k , k (1 k k 1 2k ) dan d 0 g 0
gk
g T0 d 0 g T0 g 0 g 0
2
(4.39)
berlaku untuk k = 0.
Untuk k 1 , diperoleh
d k k g k kd k 1 .
Untuk kH 5 k
(4.40)
12
d k (1 k
g Tk d k 1
)g k kd k 1
2
gk
k d k 1 (1 k
g Tk d k 1
2
gk
)g k .
(4.41)
Kalikan kedua ruas persamaan (4.41) dengan g Tk , sehingga
g Tk d k kg Tk d k 1 (1 k
kg Tk d k 1 g k
2
g Tk d k g k
g Tk d k 1
gk
g Tk d k 1
k
2
)g Tk g k
2
gk
2
gk
2
(4.42)
.
(4.43)
arah pencarian �
Dari persamaan (4.43) diperoleh bahwa untuk semua
menurun. ∎
Teorema 4.1 (Konvergen Global Metode NH4)
Misalkan asumsi A berlaku dan { }, � dihasilkan dari metode NH4. Jika
ukuran langkah
ditentukan dengan kondisi Wolfe (4.4) maka:
(4.44)
lim inf g k 0.
k
Bukti:
Dengan menggunakan pembuktian kontradiksi. Andaikan (4.44) tidak terpenuhi,
maka ada konstanta 0 yang mana
g k , k 0.
(4.45)
g Tk d k 1
Misalkan hk 1 kH 4
gk
dan
2
kH 4 g Tk d k 1 hk g k
2
2
gk
.
Dengan mengkuadratkan kedua ruas dari bentuk (4.19), sehingga
dk
2
2
kH 4d k 1 hk g k
kH 4 d k 1
2
2
2 hk kH 4 d Tk 1g k hk2 g k
Substitusi bentuk (4.47), diperoleh
kH 4 d k 1
2
2 hk hk g k
kH 4 d k 1
2
2 hk g k
2
2
(4.46)
2
2
2
gk
2
hk2 g k .
2
.
h
2
k
(4.47)
gk
2
(4.48)
Bagi kedua ruas persamaan (4.48) dengan g Tk d k dan substitusi g Tk d k g k ,
2
2
sehingga
dk
g
T
k
2
dk
2
H4
k
2
d k 1
g
T
k
2
dk
2
2 hk
g Tk d k
hk2 g k
2
g
2
T
k
dk
.
(4.49)
13
Karena 0
2
dk
g
T
k
CD
k
CD
k
H4
k
dk
2
dan
g
gk 2
2
g
k 1
dk
2
h
2
g
2
2 hk
g Tk d k
T
k
dk
(4.50)
hk2 g k
2
g
2
T
k
dk
1
gk
2
(4.51)
2
gk
2
d k 1
hk2 g k
1
4
, sehingga
2 hk 1 1
2
2
gk
2
2
k
hk 1
2
d k 1
g k 1
4
g Tk d k
2
T
k
1
gk
2
d k 1
g k 1
g
2 hk
2
d k 1
4
dk
2
2
d k 1
g k 1
T
k
2
g k 1
2
d k 1
2
2
gk
CD
k
gTk 1d k 1
2
1
gk
2
.
(4.52)
Akan diselesaikan persamaan (4.52) sebagai berikut:
Dari persamaan (4.6) untuk k 0 , d 0 g 0 dan digunakan persamaan (4.32),
diperoleh
2
g T0 d 0 g T0 g 0 g 0 .
Untuk k 1
2
d1
g d
T
1
2
1
2
d0
T
0
(g d 0 )
1
g0
k 0
g1
gi
2
1
g1
1
1
2
1
2
2
,
2
2
untuk k 2
d2
g
T
2
2
d2
2
d1
2
T
1
( g d1 )
1
g0
2
k 0
g2
1
2
g1
1
gi
2
1
,
2
2
1
g2
2
(4.53)
14
untuk k n
dn
g
T
n
2
dn
2
2
d n 1
(g
T
n 1
d n 1 )
1
g0
n
k 0
gk
1
2
g1
1
2
gn
1
2
1
2
2
g2
1
gn
2
,
2
sehingga,
2
dn
gTn d n
n
1
2
gk
k 0
2
.
(4.54)
Dari persamaan (4.45), diperoleh
n
k 0
1
gk
n
k 0
1
gk
dn
g
g
g
k 0
g
2
dn
T
n
dn
2
T
n
2
dn
dn
dn
n 1
2
(4.55)
n 1
2
n 1
2
2
n 1
2
2
n
2
dn
k 0
T
n
T
n
2
2
dn
n
2
k 1
k 0
2
1
.
k 0 k 1
2
2
Dari pertidaksamaan terakhir di atas dapat disimpulkan bahwa
i 0
gk
dk
4
2
1
,
k 0 k 1
2
(4.56)
kontradiksi dengan persamaan (4.21). ∎
Teorema 4.2 (Konvergen Global Metode NH5)
Misalkan asumsi A berlaku dan { }, � dihasilkan dari metode NH5. Jika
ukuran langkah
ditentukan dengan kondisi Wolfe (4.4) maka:
(4.57)
lim inf g k 0.
k
Bukti:
Dengan menggunakan pembuktian kontradiksi. Andaikan (4.57) tidak terpenuhi,
maka ada konstanta 0 yang mana:
15
g k , k 0.
g Tk d k 1
Misalkan hk 1 kH 5
dan
2
gk
(4.58)
kH 5 g Tk d k 1 hk g k g k .
Dengan mengkuadratkan kedua ruas dari bentuk (4.20), sehingga
2
dk
2
2
(4.59)
2
kH 5d k 1 hk g k
kH 5 d k 1
2
2 hk kH 5d Tk 1g k hk2 g k
2
2
,
(4.60)
substitusi persamaan (4.59) ke persamaan (4.60), diperoleh
kH 5 d k 1
2
k
H5
2
d k 1
2
2 hk hk g k
2
2 hk g k
2
2
h
2
gk
2
k
2
gk
2
hk2 g k .
(4.61)
Bagi kedua ruas dengan g Tk d k dan substitusi g Tk d k g k , sehingga
2
2
dk
g d
T
k
2
2
gTk d k
2
H5
k
DY
k
g d
T
k
d k 1
d k 1
g k 1
4
g k 1
g
2
k
hk 1
2
4
hk2 g k
g Tk d k
(4.62)
g Tk d k
g Tk 1d k 1
, sehingga
2
g Tk d k
2 hk
.
(4.63)
2
hk2 g k
2
g
2
T
k
dk
1
gk
2
1
gk
2
d k 1
2
dTk 1y k 1
2
k
2 hk 1 1
2
2
2
2
g d
gk
g Tk d k
dk
h
gk
d k 1
T
k 1
2
gk
2
d k 1
1
4
T
k
DY
k
2
hk2 g k
T
k
2 hk
d k 1
g
2
g k 1
2
2
g Tk d k
2
g Tk d k
g Tk d k
T
g k 1d k 1
2 hk
dan
2
2
k
DY
k
d k 1
2
d k 1
2
k
Karena 0
dk
H5
k
2
2
(4.64)
2
1
gk
2
.
(4.65)
Akan diselesaikan persamaan (4.65) sebagai berikut:
Dari persamaan (4.6) untuk k 0 , d 0 g 0 dan persamaan (4.38), diperoleh
2
g T0 d 0 g T0 g 0 g 0 .
Untuk k 1
(4.66)
16
2
d1
g d
T
1
2
1
2
d0
T
0
(g d 0 )
1
1
2
g1
gi
k 0
2
g1
1
1
1
2
g0
2
2
,
2
untuk k 2
2
d2
g
T
2
d2
2
2
d1
T
1
( g d1 )
1
g0
2
k 0
1
g1
1
gi
2
2
g2
2
1
1
2
2
g2
,
untuk k n
dn
g
T
n
2
dn
2
2
d n 1
(g
T
n 1
d n 1 )
1
g0
n
k 0
g1
1
gk
2
gn
1
2
1
2
1
2
2
g2
1
gn
2
,
2
sehingga diperoleh
dn
g
T
n
2
dn
n
2
Dari persamaan (4.58), diperoleh
n
1
k 0
gk
n
k 0
1
gk
dn
g
g
2
k 0
2
2
T
n
dn
2
T
n
dn
2
dn
2
1
gk
n 1
2
n 1
2
n 1
2
2
n 1
2
.
(4.67)
(4.68)
17
n
g
dn
dn
k 0
T
n
g
T
n
2
n
2
dn
dn
k 0
2
k 1
k 0
2
1
.
k 0 k 1
2
2
Dari pertidaksamaan terakhir di atas dapat disimpulkan bahwa
i 0
4
gk
2
dk
1
,
k 0 k 1
2
(4.69)
kontradiksi dengan persamaan (4.21). ∎
Hasil Numerik
Pada pembahasan ini akan dilakukan perbandingan hasil numerik antara
metode konjugat gradien hibrid yaitu metode NH1, NH2, NH3, dengan metode
hibrid baru (NH4 dan NH5). Algoritme NH1, NH2, NH3, dan metode hibrid baru
(NH4 dan NH5) telah dijelaskan pada pembahasan sebelumnya. Perbandingan
metode-metode tersebut akan dilakukan dengan menggunakan fungsi-fungsi tak
linear tak berkendala pada jurnal Andrei (2008). Fungsi yang digunakan merupakan
fungsi artificial. Fungsi artificial merupakan fungsi yang digunakan untuk melihat
perilaku algoritme dalam situasi yang berbeda seperti panjang narroy valleys,
fungsi unimodal, dan fungsi dengan sejumlah besar optimal lokal yang signifikan
(Andrei 2008). Fungsi yang akan diujikan dalam penelitian ini ada 13 fungsi tak
linear (Lampiran 1).
Ada beberapa paramater yang digunakan untuk mencari hasil numerik,
diantaranya yaitu: batas toleransi perhentian , konstanta pada kondisi Wolfe yaitu
konstanta , dan ukuran langkah . Untuk batas toleransi dipakai = − ,
konstanta
= 0.3, = 0.8 dan untuk ukuran langkah
diperoleh dengan
menggunakan kondisi Wolfe. Semua parameter digunakan pada algoritme 4.1, 4.2,
4.3, 4.4 dan 4.5. Algoritme ditulis dalam bahasa program. Hasil iterasi dan running
time disajikan pada Tabel 1 dan 2 berikut:
Tabel 1 Hasil iterasi dari metode konjugat gradien hibrid
Fungsi
Rosenbrock
White & Holst
Quadratic Penalty
(QP1)
SINCOS
Dimensi
10
100
1000
10
50
100
1000
50
100
1000
NH1
195
1006
8526
228
1021
15
8
17
24
22
NH2
249
1016
8695
279
1000
16
12
20
19
15
NH3
179
1043
8548
259
968
15
8
17
24
22
NH4
254
962
8282
261
962
15
8
18
17
18
NH5
184
1010
8771
272
1024
16
8
17
16
15
18
2
5
50
100
1000
50
100
50
100
4
100
4
50
100
1000
50
100
1000
50
1000
Beale
Tridiagonal 1
Hager
Freudenstein &
Roth
Powell
Wood
Tridiagonal 2
Himmelblau
Maratos
25
239
10
9
7
13
16
19
14
22
22
22
7
6
4
14
14
12
190
194
31
159
9
9
7
12
15
14
14
18
22
19
7
6
4
15
14
13
193
182
25
131
10
9
7
13
16
19
14
22
22
22
7
6
4
14
14
12
188
205
38
231
9
9
7
12
15
14
14
18
24
20
7
6
4
15
14
12
160
162
38
231
10
9
7
12
15
14
14
20
23
20
7
6
4
10
14
13
188
178
Tabel 2 Hasil running time dari metode konjugat gradien hibrid
Fungsi
Rosenbrock
White &
Host
Quadratic
Penalty QP1
SINCOS
Beale
Tridiagonal 1
Hager
Dimensi
10
100
1000
10
50
100
1000
50
100
1000
2
5
50
100
1000
50
100
NH1
NH2
NH3
NH4
NH5
0.5059
2.2064
61.8401
0.4784
2.6718
0.2020
1.2456
0.1627
0.3731
6.4374
0.1256
0.7751
0.1064
0.1684
1.8216
0.1382
0.2583
0.4928
2.3523
49.9178
0.5697
2.3866
0.2313
1.7764
0.1843
0.3576
4.7629
0.1881
0.5236
0.0948
0.1680
1.8522
0.1266
0.2479
0.3677
2.3039
48.3147
0.5479
2.4005
0.2173
1.2274
0.1477
0.3968
6.4625
0.1599
0.3867
0.1173
0.1621
1.8415
0.1276
0.2656
0.4846
2.2378
48.1698
0.6003
2.4171
0.1980
1.2235
0.1691
0.3202
5.7778
0.1751
0.7020
0.1017
0.1655
1.8486
0.1287
0.2501
0.4355
2.2159
55.9225
0.6627
2.6939
0.2221
1.2282
0.1675
0.2708
4.7851
0.1895
0.6775
0.1073
0.1643
1.8046
0.1186
0.2460
19
Freudenstein & Roth
Powell
Wood
Tridiagonal 2
Himmelblau
Maratos
50
100
4
100
4
50
100
1000
50
100
1000
50
1000
0.2915
0.5288
0.0836
0.7215
0.1110
0.0692
0.0967
0.7242
0.1290
0.1969
2.1447
1.3843
30.0175
0.2244
0.5172
0.3233
0.7505
0.0812
0.0713
0.1025
0.7448
0.1254
0.2048
2.3184
1.3585
28.9140
0.2994
0.4994
0.3012
0.7590
0.0860
0.0669
0.1011
0.7199
0.1352
0.2099
2.1463
1.3100
31.4673
0.2363
0.5070
0.2878
0.8080
0.0808
0.0747
0.0998
0.7288
0.1345
0.2043
2.1457
1.1502
25.2619
0.2372
0.5253
0.2957
0.8001
0.0842
0.0871
0.0966
0.7350
0.0994
0.2069
2.3253
1.4129
27.4839
Hasil numerik pada Tabel 1 dan 2 merupakan hasil percobaan yang
diselesaikan dengan algoritme NH1, NH2, NH3, dan metode hibrid baru (NH4 dan
NH5). Hasil numerik digabungkan menggunakan hasil profil yang dijelaskan dalam
Dolan dan More (2002). Hasil profil diilustrasikan pada Gambar 1 dan 2. Gambar
1 dan 2 masing-masing merupakan hasil profil iterasi dan running time. Adapun
hasil pada Gambar 1 dan 2 diperoleh dengan cara berikut sebagai berikut:
rp ,s
a p ,s
min a p ,s : s S
,
} dan � = { ,
dengan �, merupakan hasil ratio dimana � = { , , … ,
} serta ��,� merupakan hasil iterasi dan running time. Secara
,
,
,
keseluruhan hasil profil dapat diperoleh dengan cara berikut:
1
s ( ) size p P : log 2 rp ,s
np
dengan �� � adalah peluang untuk metode
� dimana hasil ratio �,� kurang
dari faktor � ℝ dari kemungkinan ratio terbaik dan � adalah banyaknya fungsi.
Fungsi �� � merupakan fungsi distribusi komulatif untuk hasil ratio. Nilai ��
merupakan peluang dimana salah satu metode yang diujikan lebih baik dari metode
yang lain.
20
Gambar 1 Hasil profil jumlah iterasi metode NH1, NH2, NH3, NH4, dan NH5
Gambar 2 Hasil profil jumlah running time metode NH1, NH2, NH3, NH4
dan NH5
Hasil profil iterasi pada Gambar 1 menunjukkan bahwa metode hibrid baru
tidak lebih baik dari metode NH2 dan NH3, akan tetapi metode hibrid baru lebih
baik dibandingkan metode NH1. Pada Gambar 2 hasil profil running time
menunjukkan hasil yang sebaliknya yaitu metode hibrid baru menunjukkan hasil
yang baik dibandingkan dengan metode NH2 dan NH3, namun tidak lebih baik
dengan metode NH1. Meskipun metode hibrid baru tidak lebih baik dari metode
NH1, NH2 dan NH3 akan tetapi metode hibrid baru dapat bersaing dengan metode
NH1, NH2 dan NH3. Berdasarkan hasil profil Gambar 1 dan 2 menunjukkan bahwa
metode-metode yang diujikan dalam penelitian ini effisien dalam menyelesaikan
semua fungsi uji yang diberikan.
21
5 SIMPULAN
Metode konjugat gradien merupakan metode yang bersifat iteratif dan metode
ini dapat digunakan untuk mencari masalah optimasi tanpa kendala pada kasus
skala besar. Dalam penelitian ini diusulkan metode konjugat gradien hibrid baru
yaitu metode HS-CD (NH4) dan metode LS-DY (NH5). Metode-metode baru yang
diusulkan memenuhi sifat-sifat kekonvergenan global dengan menggunakan
kondisi Wolfe serta memenuhi kondisi descent untuk setiap metodenya. Hasil
numerik menunjukkan bahwa metode baru effisien dalam menyelesaikan semua
fungsi tak linear yang diberikan dan metode baru dapat bersaing dengan metode
NH1, NH2 dan NH3.
DAFTAR PUSTAKA
Argyros IK. 2008. Convergence and Applications of Newton-type Iterations. New
York: Springer.
Andrei N. 2008. An Unconstrained Optimization Test Function Collection.
Advanced Modelling and Optimization, 10(1): 147-161.
Bartle RG, Sherbert DR. 2011. Introduction to Real Analysis. USA: Jhon Wiley &
Sons.
Bazara MS, Sherali HD, Shetty CM. 2006. Nonlinear Programming: Theory and
Algorithms. USA: Wiley-Interescience.
Chapman SJ. 2008. Matlab Programming for Engineers. 4th ed. Ontario (CA):
Thomson Learning.
Cormen TH, Leiserson CE, Rivest RL, Stein C. 2009. Introduction to Algorithms:
Third Edition. England: The MIT Press.
Dai YH, Yuan Y. 1999. A Nonlinear Conjugate Gradient Method with a Strong
Global Convergence Property. SIAM Journal on Optimization, 10: 177-182.
Dai YH, Yuan Y. 2001. An Efficient Hybrid Conjugate Gradient Method for
Unconstrained Optimization. Annal of Operation Research, 103: 33-47.
Dolan JED, Morѐ JJ. 2002. Benchmarking Optimization Sofware with Performance
Profil.
Mathematical
Programming.
912(2):
201-213.doi:
10.1007/s101070100263.
Fletcher R. Reeves C. 1964. Function Minimazation by Conjugate Gradient. The
Computer Journal, 7: 149-154.
Fletcher R, 1987. Practical Methods of Optimization, Unconstrained Optimization.
New York: Wiley.
Hestenes MR, Stiefel EL. 1952. Methods of Conjugate Gradients for Solving Linear
System. Journal of Research of the National Bureau of Standards, 49(6): 409432.
Liu YL, Storey CS. 1991. Efficient Generalized Conjugate Gradient Algorithms,
Part 1: Theory. Journal of Optimization Theory and Applications, 69(1): 129137.
Luenberger DG, Ye Y. 2008. Linear and Nonlinear Programming: Third Edition.
New York: Spinger Science + Business Media.
Nocedal J, Wright SJ. 1999. Numerical Optimization. New York: Springer-Verlag.
22
Polak B, Ribiere G. 1969. Note Surla Convergence des Méthodes de Directions
Conjuguées. Francaise Imformat Recherche Opertionelle, 16: 35–43.
Polyak BT. 1969. The Conjugate Gradient Method in Extreme Problems, USSR
Computational Mathematics and Mathematical Physics, 9(4): 94-112.
Snyman JA. 2005. Practical Mathematical Optimization: An Introduction to Basic
Optimization Theory and classical and New Gradient-Based Algorithms.
New York: Spinger Science + Business Media.
Sun W, Yuan YX. 2006. Optimization Theory and Methods: Nonlinear Programing.
New York: Spinger Science + Business Media.
Thomson BS, Bruckner JB, Bruckner AM. 2007. Elementary Real Analysis. USA:
Prentice-Hall, Inc.
Touati-Ahmed D, Storey C. 1990. Efficient Hybrid Conjugate Gradient
Techniques: Journal of Optimization Theory and Applications, 64(2): 379397.
Zhang L. 2006. Nonlinear Conjugate Gradient Methods for Optimization Problems.
[Disertasi]. Changsa (CN): College of Mathematics and Econometrics,
Hunan University.
Zhang L, Zhou W. 2008. Two Descent Hybrid Conjugate Method for Optimization.
Journal of Computational and Applied Mathematics, 216: 251-264.doi:
10.1016/j.cam.2007.04.028.
Zhang L, Zhou W, Li D. 2006. Global convergence of a modified Fletcher-Reeves
conjugate method with Armijo-type line search, Numerische Mathematik,
104: 561–572.doi: 10.1007/s00211-006-0028-z.
Zhou A, Zhu Z, Fan H, Qing Q. 2011. Three New Hybrid Conjugate Gradient
Method for Optimazation. Applied Mathematics, 2: 303-308.doi:
10.4236/am.2011.23035.
23
LAMPIRAN
Lampiran 1
1.
Fungsi-fungsi tak linear yang digunakan dalam pengujian
algoritme metode konjugat gradien hibrid untuk mencari hasil
iterasi dan running time.
Extended Rosenbrock function
n 2
x 0 1.2,1,..., 1.2,1.
f ( x ) c ( x 2 i x 22 i 1 ) 2 (1 x 2 i 1 ) 2 ,
c 100.
i 1
2.
Extended White & Holst function
n 2
f ( x ) c ( x 2 i x 32 i 1 ) 2 (1 x 2 i 1 ) 2 ,
x 0 1.2,1,..., 1.2,1.
c 100.
i 1
3.
Extended quadratic penalty QP1 function
n 1
n
i 1
i 1
x 0 1,1,...,1,1 .
f ( x ) ( x i2 2) 2 ( x i2 0.5) 2 ,
4.
SINCOS function
n 2
f ( x ) ( x 22 i 1 x 22 i x 22 i 1x 22 i ) 2 sin 2 x 2 i 1 cos 2 x 2 i ,
i 1
x 0 3, 0.1,..., 3, 0.1 .
5.
Extended Beale function
n 2
f ( x ) (1.5 x 2 i 1 (1 x 2 i )) 2 (2.25 x 2 i 1 (1 x 22 i )) 2
i 1
(2.625 x 2 i 1 (1 x 32 i )) 2 ,
6.
x 0 1, 0.8,...,1, 0.8 .
Extended Tridiagonal 1 function
n 2
f ( x ) ( x 2 i 1 x 2 i 3) 2 ( x 2 i 1 x 2 i 1) 4 ,
x 0 2, 2,..., 2, 2 .
i 1
7.
Hager function
n
f ( x ) (exp( x i ) i x i ),
x 0 1,1,...,1,1 .
i 1
8.
Extended Freudenstein & Roth function
n 2
f ( x ) ( 13 x 2 i 1 ((5 x 2 i ) x 2 i 2) x 2 i ) 2
i 1
( 29 x 2 i 1 (( x 2 i 1) x 2 i 14) x 2 i ) 2 , x 0 0.5, 2,..., 0.5, 2 .
24
9.
Extended Powell function
n 4
f ( x ) ( x 4 i 3 10 x 4 i 3 ) 2 5 ( x 4 i 1 x 4 i ) 2 ( x 4 i 2 2 x 4 i 1 ) 4
i 1
10( x 4 i 3 x 4 i ) 4 ,
10.
x 0 3, 1, 0,1,..., 3, 1, 0 ,1.
Extended Wood function
n 4
f ( x ) 100( x 42 i 3 x 4 i 2 ) 2 ( x 4 i 3 1) 2 90 ( x 42 i 1 x 4 i ) 2 (1 x 4 i 1 ) 2
i 1
10.1 x 4 i 2 1 x 4 i 1
2
2
19.8 x
4i 2
1 x 4 i 1 ,
x 0 3, 1, 3, 1,..., 3, 1, 3, 1 .
11.
Extended Tridiagonal 2 function
n 1
f ( x ) ( x i x i 1 1) 2 c ( x i 1)( x i 1 1),
x 0 1,1,...,1,1 .
c 0.1.
i 1
12.
Extended Himmelblau function
n 2
f ( x ) ( x 22 i 1 x 2 i 11) 2 ( x 2 i 1 x 22 i 7),
x 0 1,1,...,1,1.
i 1
13.
Extended Maratos function
n 2
f ( x ) x 22 i 1 c x 22 i 1 x 22 i 1 ,
i 1
2
x 0 1,1,...,1,1 .
c 100
25
RIWAYAT HIDUP
Penulis dilahirkan di Kota Ba