Metode Steepest Descent Dengan Ukuran Langkah Baru Untuk Pengoptimuman Nirkendala.
1
METODE STEEPEST DESCENT DENGAN UKURAN
LANGKAH BARU UNTUK PENGOPTIMUMAN
NIRKENDALA
DJIHAD WUNGGULI
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
2
3
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA*
Dengan ini saya menyatakan bahwa tesis berjudul Metode Steepest Descent
dengan Ukuran Langkah Baru utuk Pengoptimuman Nirkendala adalah benar
karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam
bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang
berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari
penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di
bagian akhir tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, Februari 2015
Djihad Wungguli
NIM G551120031
4
RINGKASAN
DJIHAD WUNGGULI. Metode Steepest Descent dengan Ukuran Langkah Baru
untuk Pengoptimuman Nirkendala. Dibimbing oleh BIB PARUHUM SILALAHI
dan SUGI GURITMAN.
Masalah pengoptimuman dapat dikategorikan dalam dua bagian yaitu
pengoptimuman berkendala dan pengoptimuman nirkendala. Untuk
menyelesaikan permasalahan pengoptimuman nirkendala, khususnya untuk fungsi
nonlinear dapat digunakan metode steepest descent. Metode steepest descent
merupakan prosedur paling mendasar yang diperkenalkan oleh Cauchy pada tahun
1847. Metode ini adalah metode gradien sederhana yang menggunakan vektor
gradien untuk menentukan arah pencarian pada setiap iterasi. Kemudian, dari arah
tersebut akan ditentukan besar ukuran langkahnya. Pada beberapa kasus, metode
steepest descent ini memiliki kekonvergenan yang lambat menuju solusi optimum
karena langkahnya berbentuk zig-zag. Hal ini menunjukkan bahwa masalah
pemilihan ukuran langkah menjadi masalah penting. Penelitian tentang pencarian
ukuran langkah diantaranya adalah metode Barzilai-Borwein, Alternatif
Minimisasi dan metode Yuan.
Penelitian ini memiliki tiga tujuan utama yaitu: (1) merekonstruksi
algoritme steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan
algoritme Yuan; (2) memodifikasi metode steepest descent dengan ukuran
langkah baru; dan (3) membandingkan secara eksperimental output dari
modifikasi algoritme dengan metode steepest descent, Barzilai-Borwein,
Alternatif Minimisasi, dan Yuan untuk kasus fungsi kuadratik ditinjau dari proses
iterasi dan running time. Metode dalam penelitian ini disusun melalui tiga tahap,
(1) melakukan telaah pustaka metode steepest descent klasik, metode BarzilaiBorwein, metode Alternatif Minimisasi dan metode Yuan, (2) memodifikasi
ukuran langkah pada metode steepest descent dengan ukuran langkah yang baru,
(3) mengimplementasikan algoritme tersebut menggunakan perangkat lunak.
Kemudian dilakukan pengujian dan perbandingan untuk kasus fungsi kuadratik
yang dibangkitkan secara acak.
Dalam penelitian ini dihasilkan dua modifikasi ukuran langkah baru disebut
Algoritme (4.5) dan Algoritme (4.6). Kedua modifikasi ini merupakan gabungan
dari metode steepest descent dan metode Yuan. Dari rata-rata hasil perbandingan
masalah fungsi kuadratik untuk semua dimensi metode steepest descent
memberikan kinerja yang buruk dibandingkan dengan metode lainnya.
Selanjutnya pada masalah dengan dimensi yang kecil, metode Yuan mampu
menemukan solusi nilai minimum dengan iterasi dan running time yang terkecil.
Meskipun demikian Algoritme (4.5) dan (4.6) mampu menyeimbangi kecepatan
metode Yuan dan mampu mengungguli hasil dari metode Barzilai-Borwein, serta
metode Alternatif Minimisasi. Untuk kasus fungsi kuadratik dengan dimensi yang
besar, metode Yuan memberikan hasil yang buruk. Sedangkan, Algoritme (4.5)
dan (4.6) menghasilkan iterasi dan running time yang terkecil, hal ini disebabkan
oleh tingkat konvergensi yang lebih cepat pada kedua metode ini.
Kata kunci: fungsi kuadratik, metode gradien, running time, steepest descent,
ukuran langkah baru.
5
SUMMARY
DJIHAD WUNGGULI. Steepest Descent Method with New Step Size for
Unconstrained Optimization. Supervised by BIB PARUHUM SILALAHI and
SUGI GURITMAN.
The problem of optimization could be categorized into constrained and
unconstrained optimization. The unconstrained optimization problem especially
nonlinear function can be solved by steepest descent method. This is a basic
procedure as introduced by Cauchy in 1847. It is a simple gradient method that
uses gradient vector to determine the search direction in its iteration. Furthermore,
from the direction will be determined the size of the step. In many cases, the
steepest descent method has a slow convergence towards the optimum solution
because of a zigzag steps. It involved indicates that the selection of step size
problem is an important issue. There are many studies conducted on searching the
step size in the steepest descent method, such as in Barzilai-Borwein, Alternative
Minimization and Yuan method.
This research has three main objectives: (1) reconstructing the method of
steepest descent, Barzilai-Borwein, Alternative Minimization, and the Yuan
algorithms; (2) modifying the method of steepest descent by using new step sizes;
and (3) comparing experimentally results of modification algorithms steepest
descent, Barzilai-Borwein, Alternative Minimization, and Yuan method for
quadratic function in terms of the iteration and running time process. This
research composed in three stages method, (1) reviewing literatures on the classic
steepest descent, Barzilai-Borwein, Alternative Minimization, and Yuan method,
(2) modifying the step size in the steepest descent method by new step sizes, (3)
computer implementation using software. Furthermore, testing and compared
results was carried out using the quadratic function cases that generated randomly.
This research has two new step size modifications known as Algorithm (4.5)
and (4.6). Both of them are combination of steepest descent and Yuan method.
The average results of comparison quadratic function for all steepest descent
method dimensions give poor performance compared to the other methods. While
for the problem of small dimensions, the Yuan method reached the minimum
value solutions with the iteration number and the running time minimum.
Nevertheless, the Algorithm (4.5) and (4.6) able to compete the speed of Yuan
method and perform better than the Barzilai-Borwein and Alternative
Minimization method. For the quadratic functions case with large dimensions,
Yuan method gives bad results. While Algorithm (4.5) and (4.6) produce the
smallest of iteration and running time than the other methods, it is happen because
this is related with the convergence speed within the Algorithm (4.5) and
Algorithm (4.6).
Keywords: quadratic function, gradient method, running time, steepest descent,
.new step size.
6
© Hak Cipta Milik IPB, Tahun 2015
Hak Cipta Dilindungi Undang-Undang
Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan
atau menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan,
penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau
tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan
IPB
Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini
dalam bentuk apa pun tanpa izin IPB
7
METODE STEEPEST DESCENT DENGAN UKURAN
LANGKAH BARU UNTUK PENGOPTIMUMAN
NIRKENDALA
DJIHAD WUNGGULI
Tesis
sebagai salah satu syarat untuk memperoleh gelar
Magister Sains
pada
Program Studi Matematika Terapan
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
8
Penguji Luar Komisi pada Ujian Tesis: Dr Ir Fahren Bukhari, MSc
9
Judul Tesis : Metode Steepest Descent dengan Ukuran Langkah Baru untuk
Pengoptimuman Nirkendala
Nama
: Djihad Wungguli
NIM
: G551120031
Disetujui oleh
Komisi Pembimbing
Dr Ir Bib Paruhum Silalahi, MKom
Ketua
Dr Sugi Guritman
Anggota
Diketahui oleh
Ketua Program Studi
Matematika Terapan
Dekan Sekolah Pascasarjana
Dr Jaharuddin, MS
Dr Ir Dahrul Syah, MScAgr
Tanggal Ujian: 28 Januari 2015
Tanggal Lulus:
10
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah Subhanahu wa ta’ala atas
segala nikmat dan karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan.
Tema yang dipilih dalam penelitian yang dilaksanakan sejak bulan Februari 2014
ini ialah teori optimasi, dengan judul Metode Steepest Descent dengan Ukuran
Langkah Baru untuk Pengoptimuman Nirkendala. Penulisan tesis ini merupakan
salah satu syarat memperoleh gelar Magister Sains pada program studi
Matematika Terapan Sekolah Pascasarjana Institut Pertanian Bogor.
Dalam proses penulisan tesis ini, penulis menyadari bahwa telah memperoleh
dorongan dan bantuan baik moril maupun materil dari berbagai pihak untuk
melengkapi keterbatasan-keterbatasan yang dimiliki penulis. Untuk itu, melalui
kesempatan ini penulis ingin mengucapkan terima kasih dan rasa hormat yang
sebesar-besarnya kepada:
1. Bapak Dr Ir Bib Paruhum Silalahi, MKom selaku pembimbing I dan Bapak Dr
Sugi Guritman selaku pembimbing II.
2. Dr Jaharuddin, MS selaku Ketua Program Studi Matematika Terapan.
3. Seluruh dosen dan staf pegawai tata usaha Departemen Matematika.
4. Direktorat Jenderal Pendidikan Tinggi (DIKTI) sebagai sponsor Beasiswa
Unggulan.
5. Ayahanda dan Ibunda tercinta, Bapak Usman Wungguli dan Ibu Hadidjah
Luther, Adik Rahmad Wungguli dan Rini Wahyuni Mohamad serta seluruh
keluarga yang selalu memberikan dorongan dan mendoakan untuk keberhasilan
studi bagi penulis.
6. Seluruh mahasiswa Departemen Matematika khususnya teman-teman
angkatan tahun 2012 di program studi S2 Matematika Terapan.
7. Seluruh rekan–rekan mahasiswa Asrama Gorontalo di Bogor.
8. Sahabat-sahabat yang tak dapat disebutkan satu persatu yang telah banyak
membantu penulis dalam penyelesaian tesis ini.
Semoga segala bantuan, bimbingan, dan motivasi yang telah diberikan kepada
penulis senantiasa mendapat balasan dari Allah Subhanahu wa ta’ala.
Akhirnya, semoga penulisan tesis ini dapat memperkaya pengalaman belajar
serta wawasan kita semua.
Bogor, Februari 2015
Djihad Wungguli
11
DAFTAR ISI
DAFTAR GAMBAR
vi
DAFTAR LAMPIRAN
vi
1 PENDAHULUAN
Latar Belakang
Tujuan Penelitian
1
1
2
2 TINJAUAN PUSTAKA
Ruang Vektor
Matriks
Ortogonalitas
Pengoptimuman Matematik
Turunan Parsial
Turunan Berarah
Vektor Gradien dan Matriks Hesse
Minimum Global dan Minimum Lokal
Fungsi Kuadratik di
Kedefinitan Matriks
Kekonveksan Fungsi
Tingkat Konvergensi
Deret Taylor
Ketaksamaan Kantorovich
Iterasi dan Running Time
3
3
4
5
6
6
6
7
8
8
8
9
9
10
10
10
3 METODE PENELITIAN
11
4 HASIL DAN PEMBAHASAN
Metode Steepest Descent
Exact Line Search
Kekonvergenan Metode Steepest Descent
Metode Barzilai dan Borwein
Metode Alternatif Minimisasi
Metode Yuan
Modifikasi Metode Steepest Descent dengan Ukuran Langkah Baru
Hasil Numerik
11
11
14
17
19
20
22
25
26
5 SIMPULAN
31
DAFTAR PUSTAKA
31
LAMPIRAN
32
RIWAYAT HIDUP
42
12
DAFTAR TABEL
1
2
Rata-rata jumlah iterasi dari metode steepest descent
Rata-rata running time dari metode steepest descent
27
28
DAFTAR GAMBAR
1
2
3
4
5
6
7
Pencarian arah d gradien terhadap vektor gradien
Ilustrasi steepest descent dalam plot kontur
Ilustrasi perbandingan metode Alternatif Minimisasi dan
steepest descent
Perbandingan rata-rata iterasi dan running time dari metode
descent untuk λn = 10
Perbandingan rata-rata iterasi dan running time dari metode
descent untuk λn = 100
Perbandingan rata-rata iterasi dan running time dari metode
descent untuk λn = 1000
Kekonvergenan dari metode steepest descent
12
13
metode
21
steepest
29
steepest
29
steepest
29
30
DAFTAR LAMPIRAN
1
2
Sintaks dari setiap metode steepest descent
Hasil pengujian dari setiap metode steepest descent
32
38
1 PENDAHULUAN
Latar Belakang
Dalam aktivitas sehari-hari sering dijumpai kegiatan yang menyangkut
pengoptimuman. Kegiatan pengoptimuman ini bertujuan untuk memaksimumkan
atau meminimumkan. Hal ini biasanya dijumpai dalam bidang industri, teknik,
ekonomi, pertanian dan banyak sektor bidang lainnya. Pengoptimuman dapat
didefinisikan sebagai proses untuk mendapatkan keputusan terbaik yang
memberikan nilai maksimum atau minimum dari suatu fungsi dengan cara
penentuan solusi yang tepat. Dari segi fungsinya pengoptimuman dapat dibedakan
menjadi pengoptimuman linear dan pengoptimuman nonlinear. Sedangkan dari
bentuknya pengoptimuman dikelompokkan menjadi pengoptimuman berkendala
dan pengoptimuman nirkendala. Pengoptimuman berkendala adalah
pengoptimuman suatu fungsi dengan syarat-syarat tertentu yang membatasinya.
Sebaliknya pengoptimuman nirkendala adalah pengoptimuman tanpa adanya
syarat-syarat tertentu yang membatasinya (Griva et al. 2009).
Kegiatan Pengoptimuman selalu identik dengan nilai maksimum atau nilai
minimum yang terbaik. Padahal, pengoptimuman yang baik seharusnya
mempertimbangkan juga metode yang akan digunakan serta pemrograman yang
tepat dalam aspek komputasi. Komputasi dapat diartikan sebagai cara untuk
menemukan pemecahan masalah dari data input dengan menggunakan suatu
algoritme dalam menyelesaikan suatu masalah. Dalam aspek komputasi hal yang
diperhatikan adalah kompleksitas ruang dan kompleksitas waktu. Hal ini dapat
dilihat dari tingkat kerumitan serta waktu yang dibutuhkan dari suatu algoritme
dalam menyelesaikan suatu fungsi. Suatu algoritme dikatakan baik jika tingkat
kerumitannya semakin kecil dan prosesnya membutuhkan waktu yang kecil.
Namun pada kenyataannya banyak metode pengoptimuman yang bentuknya
sederhana akan tetapi membutuhkan waktu yang lama dalam proses
komputasinya. Oleh karenanya sangat diperlukan suatu perbaikan dari motode
pengoptimuman baik dari segi kompleksitas ruang maupun dari segi kompleksitas
waktunya.
Metode pengoptimuman umumnya dapat dilakukan secara analitik maupun
secara numerik. Namun untuk kasus pengoptimuman nirkendala dengan fungsi
nonlinear multivariabel, terdapat persoalan yang tidak bisa diselesaikan dengan
metode analitik. Sehingga diperlukan metode numerik untuk menyelesaikan
permasalahan tersebut. Metode numerik yang digunakan dalam masalah
pengoptimuman biasanya bersifat iteratif. Salah satu metode iteratif yang
digunakan adalah metode line search steepest descent.
Metode steepest descent (SD) merupakan prosedur paling mendasar untuk
meminimumkan fungsi terdiferensialkan beberapa variabel yang diperkenalkan
oleh Cauchy pada tahun 1847 (Bazaraa et al. 2006). Metode ini adalah metode
gradien sederhana yang menggunakan vektor gradien
(turunan parsial orde
pertama dari fungsi f ) untuk menentukan arah pencarian disetiap iterasi dan dari
. Pada beberapa
arah tersebut akan ditentukan besar ukuran langkahnya
kasus, metode SD ini memeliki kekonvergenan yang lambat ketika menuju ke
solusi optimum, hal ini terjadi karena langkahnya yang berbentuk zig-zag. Secara
2
intuitif arah yang digunakan dalam metode SD adalah arah dengan penurunan
yang tercepat, akan tetapi secara umum tidak berarti menuju titik minimum lokal
yang tercepat. Sehingga dalam beberapa tahun terakhir ini menjadi lebih jelas
bahwa pimilihan ukuran langkah menjadi masalah penting dalam metode steepest
descent. Penentuan ukuran langkah ini dapat mempengaruhi cepat atau lambatnya
kekonvergenan ke solusi optimum. Sebuah hasil yang mengejutkan diberikan oleh
Barzilai dan Borwein (1988) yang berusaha menyempurnakan metode ini dengan
memodifikasi algoritme dan hasilnya berjalan cukup baik untuk masalah dengan
dimensi yang besar. Metode ini kemudian dikenal dengan metode BarzilaiBorwein (BB)
Hasil metode BB (1988) telah memicu banyak penelitian pada metode
steepest descent. Penelitian-penelitian yang dilakukan untuk mendapatkan
algoritme pencarian ukuran langkah yang memungkinkan konvergensi cepat dan
monoton. Diantaranya penelitian yang dilakukan oleh Dai dan Yuan (2003) yang
dinamakan Alternatif Minimisasi (AM) dengan ide penggabungan ukuran langkah
yang bergantian antara meminimumkan nilai fungsi dan norm gradien disepanjang
garis steepest descent. Penelitian lainnya dilakukan oleh Yuan (2006), dengan
algoritme ukuran langkah baru pada iterasi genap dan exact line search pada
iterasi ganjil. Metode Yuan ini sangat efisien untuk masalah dengan dimensi kecil.
Berdasarkan penelitian-penelitian yang telah dilakukan, maka dalam
penelitian ini akan dimodifikasi ukuran langkah pada metode SD dengan ukuran
langkah baru untuk memperoleh kekonvergenan yang lebih cepat dari metodemetode yang telah dilakukan sebelumnya. Modifikasi ukuran langkah yang
dilakukan diharapkan dapat memperkecil kompleksitas ruang maupun
kompleksitas waktu yang dibutuhkan dari algoritme.
Tujuan Penelitian
a. Merekonstruksi algoritme steepest descent, Barzilai-Borwein, Alternatif
Minimisasi, dan metode Yuan.
b. Memodifikasi algoritme steepest descent dengan ukuran langkah baru.
c. Membandingkan secara eksperimental hasil output dari modifikasi algoritme
dengan metode steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan
metode Yuan untuk kasus fungsi kuadratik ditinjau dari proses iterasi dan
running time.
3
2 TINJAUAN PUSTAKA
Ruang Vektor
Definisi 2.1 (Ruang Vektor)
Misalkan V adalah himpunan dengan pendefinisian operasi penjumlahan
dan operasi perkalian dengan skalar. Setiap pasangan elemen dan di dalam V
terdapat suatu elemen
yang tunggal juga berada di dalam V serta setiap
elemen di dalam V dan setiap skalar terdapat
yang tunggal juga berada di
dalam V. Himpunan V dengan operasi penjumlahan dan operasi perkalian dengan
skalar ini dinamakan ruang vektor jika memenuhi aksioma berikut.
1.
.
2.
.
3.
sehingga
.
4.
terdapat
sehingga
.
5.
dan skalar .
6.
dengan skalar dan skalar .
7.
dengan skalar dan skalar .
8.
.
Elemen dalam V adalah vektor sedangkan symbol 0 menyatakan vektor nol.
(Leon 1998)
Definisi 2.2 (Ruang Bagian)
Jika S adalah himpunan bagian takkosong dari suatu ruang vektor V dan S
memenuhi syarat-syarat berikut
1.
jika
untuk sembarang skalar
2.
jika
dan
,
maka S disebut ruang bagian dari V.
(Leon 1998)
Definisi 2.3 (Kombinasi Linear)
Misalkan
adalah vektor-vektor dalam suatu ruang vektor V.
Jumlah vektor-vektor yang berbentuk
dengan
skalar-skalar
disebut kombinasi linear dari
.
(Leon 1998)
Definisi 2.4 (Merentang)
Misalkan
adalah vektor-vektor dalam suatu ruang vektor V.
Himpunan vektor
dikatakan merentang suatu vektor V jika setiap
vektor pada V selalu dapat dinyatakan sebagai kombinasi linear dari vektor
.
(Leon 1998)
Definisi 2.5 (Bebas Linear)
Vektor-vektor
dalam ruang vektor V disebut bebas linear
jika
mengakibatkan semua skalar-skalar
harus sama dengan nol.
(Leon 1998)
4
Definisi 2.6 (Bergantung Linear)
Vektor-vektor
linear jika terdapat skalar-skalar
sehingga
Definisi 2.7 (Basis)
Vektor-vektor
dan hanya jika
dalam ruang vektor V disebut bergantung
yang tidak semuanya nol
.
(Leon 1998)
membentuk basis untuk ruang vektor V jika
bebas linear dan merentang V .
(Leon 1998)
Definisi 2.8 (Dimensi)
Misalkan V adalah ruang vektor. Jika V memiliki basis yang terdiri atas n
vektor, maka V dikatakan memiliki dimensi n .
(Leon 1998)
Matriks
Definisi 2.9 (Matriks Identitas)
Matriks identitas adalah matriks
yang berukuran
{
, dengan
(Leon 1998)
Definisi 2.10 (Invers dari Suatu Matriks)
Suatu matriks yang berukuran
dikatakan taksingular jika terdapat
matriks B sehingga
. Matriks B dikatakan invers multiplikatif dari
matriks . Invers multiplikatif dari matriks taksingular secara sederhana disebut
juga sebagai invers dari matriks dan dinotasikan dengan
.
(Leon 1998)
Definisi 2.11 (Traspose dari Suatu Matriks)
adalah
Transpos dari suatu matriks
( ) yang berukuran
yang didefinisikan oleh
untuk
matriks
( ) yang berukuran
setiap dan . Transpos dari dinotasikan oleh .
(Leon 1998)
Definisi 2.12 (Matriks Simetris)
Suatu matriks berukuran
disebut matriks simetris jika
(Leon 1998)
Definisi 2.13 (Matriks Diagonal)
Matriks diagonal adalah matriks berukuran
yang semua unsur selain
diagonal utama ialah nol. Matriks diagonal berukuran
dapat ditulis sebagai
[
]
dengan
disebut unsur diagonal utama. Matriks diagonal D memiliki
invers yang dapat dinyatakan sebagai
5
D 1
1
d1
0
0
0
0
1
d n
1
d2
0
0
Dengan semua unsur diagonal utama adalah taknol sehingga
.
Matriks dapat dikatakan matriks simetris karena
.
(Anton & Rorres 2005)
Ortogonalitas
Definisi 2.14 (Hasil Kali Skalar)
Misalkan
dengan
maka hasil kali skalar dari
adalah
dan
(Leon 1998)
Definisi 2.15 (Norm)
Suatu pemetaan ‖ ‖ disebut norm jika dan hanya jika memenuhi sifat
berikut:
‖ ‖
(i) ‖ ‖
‖
‖
|
|‖
‖
(ii)
‖ ‖ ‖ ‖ ‖
(iii)‖
Untuk
, maka
dari
didefinisikan sebagai:
‖ ‖
Dalam prakteknya, hanya tiga
‖ ‖
∑| | ‖ ‖
(∑| | )
⁄
yang digunakan yaitu:
(∑| | )
⁄
| |
‖ ‖
Norm vektor lainnya yang sering digunakan adalah norm ellipsoid yang
didefinisikan sebagai
⁄
‖ ‖
Misalkan
adalah
, maka norm dari vektor
dengan
‖ ‖
Definisi 2.16 (Ortogonal)
Vektor – vektor dan
√
√
disebut ortogonal jika
di
(Sun dan Yuan 2006)
.
(Leon 1998)
6
Pengoptimuman Matematik
Definisi 2.17
Pengoptimuman matematik adalah suatu proses formulasi masalah dan
penentuan solusi dari suatu masalah pengoptimuman berkendala dengan bentuk
umum:
dengan kendala
(2.16)
adalah fungsi dari x.
dimana
dinamakan variabel
Komponen-komponen
dari
menyatakan fungsi kendala
keputusan,
adalah fungsi objektif,
adalah fungsi-fungsi kendala persamaan. Vektor optimum
pertaksamaan,
yang menjadi solusi dari masalah dinyatakan dengan
dan nilai optimumnya
adalah
. Jika tidak ada kendala maka masalah dinamakan masalah
pengoptimuman nirkendala.
(Snyman 2005)
Turunan Parsial
Definisi 2.18
Andaikan bahwa f adalah suatu fungsi dua variabel x dan y. Jika y di jaga
agar tetap konstan, katakanlah
, maka
adalah fungsi satu variabel
x. Turunannya di x = x0 disebut turunan parsial f terhadap x di
dan
dinyatakan oleh
. Jadi
Dengan cara serupa, turunan parsial f terhadap y di
dan diberikan oleh
dinyatakan oleh
Misalkan f suatu fungsi tiga variabel x, y, dan z. Turunan parsial f terhadap x di
(x,y,z) dinyatakan oleh
dan didefenisikan oleh
Turunan parsial terhadap y dan z didefenisikan secara serupa.
(Varberg et al. 2007)
Turunan Berarah
Definisi 2.19
Untuk tiap vektor u, misalkan
jika limit ini ada, disebut turunan berarah f di p pada arah u
7
Untuk menghitung turunan berarah dari suatu fungsi, biasanya digunakan
teorema berikut:
Teorema 2.1
Misalkan f terdiferensialkan di p, maka f mempunyai turunan berarah di p
dalam arah vektor satuan u = (a, b) dan
yaitu
(Varberg et al. 2007)
Vektor Gradien dan Matriks Hesse
Definisi 2.20 (Vektor Gradien)
Untuk fungsi
yang terdapat di setiap titik yang merupakan
vektor dari turunan parsial orde pertama disebut vektor gradien yaitu:
(
)
Definisi 2.21 (Matriks Hesse)
Jika fungsi f terdiferensialkan secara kontinu dua kali maka di titik
terdapat matriks turunan parsial kedua yang disebut matriks Hesse:
dimana
(
adalah matriks simetrik
.
)
(Snyman 2005)
8
Minimum Global dan Minimum Lokal
Definisi 2.22
Titik adalah minimum global dari f pada D jika
Titik adalah minimum lokal jika terdapat
sehingga
‖
|‖
dengan ‖ ‖ menyatakan norm Euclid.
Syarat perlu dan syarat cukup untuk minimum lokal
teorema berikut:
dinyatakan dalam
Teorema 2.2 (Syarat perlu)
Misalkan
adalah fungsi yang mempunyai turunan parsial
kedua di . Jika
adalah minimum lokal, maka
, (syarat orde
pertama) dan matriks Hesse
semidefinit positif (syarat orde kedua).
Titik
sehingga
dinamakan titik kritis atau titik stasioner
fungsi f.
Teorema 2.3 (Syarat cukup)
Misalkan
adalah fungsi yang mempunyai turunan parsial
kedua di . Jika
dan matriks Hesse
definit positif, maka
adalah minimum lokal dari .
(Snyman 2005)
Fungsi Kuadratik di
Definisi 2.23
Suatu fungsi dinamakan fungsi kuadratik dalam n variabel jika dapat
dituliskan sebagai
Dengan
Jika
, b vektor real berukuran n, dan A matriks real berukuran
maka
.
(2.26)
Sehingga matriks
adalah matriks simetrik.
(Snyman 2005)
Kedefinitan Matriks
Teorema 2.4
Misalkan matriks berukuran
dan misalkan
adalah minor utama
ke-k dari matriks untuk
maka
1. definit positif jika dan hanya jika
, untuk k = 1,2,…,n,
2. definit negatif jika dan hanya jika
, untuk k = 1,2,…,n.
9
Teorema 2.5
Jika suatu matriks simetrik, maka matriks adalah
1. definit positif jika dan hanya jika semua nilai eigen dari adalah positif,
2. definit negatif jika dan hanya jika semua nilai eigen dari adalah negatif,
3. takdefinit jika dan hanya jika
mempunyai paling sedikit satu nilai eigen
positif dan paling sedikit satu nilai eigen negatif.
(Peressini et al. 1988)
Kekonveksan Fungsi
Definisi 2.24 (Ruas Garis)
dan
Misalkan
adalah
dan
dua titik di
, maka ruas garis yang menghubungkan
|
(2.27)
Definisi 2.25 (Himpunan Konveks)
Himpunan
dikatakan himpunan konveks jika dan hanya jika untuk
setiap dan di C, maka ruas garis yang menghubungkan dan juga terletak di
C.
Definisi 2.26 (Fungsi Konveks)
Misalkan
,
1. fungsi f dikatakan konveks pada himpunan konveks C jika
untuk setiap , di C dan untuk setiap dengan
2. fungsi f dikatakan konveks sempurna pada himpunan konveks C jika
untuk setiap , di C dengan
dan untuk setiap dengan
Misalkan
mempunyai turunan parsial kedua yang kontinu pada suatu
himpunan C di
. Jika matriks Hesse
dari f adalah definit positif pada C,
maka
adalah fungsi konveks sempurna pada C.
(Snyman 2005)
Tingkat Konvergensi
Defenisi 2.27
Misalkan diberikan barisan iterasi
yang dihasilkan oleh suatu algoritme
konvergen ke pada sejumlah norm yaitu,
‖
‖
Jika terdapat bilangan real
terhadap iterasi k, sehingga
dan
‖
‖
bilangan konstan positif yang bebas
‖
‖
10
maka dapat dikatakan
memiliki -order tingkat konvergensi yang dapat
dibagi menjadi tiga bagian:
1. jika
dan
maka barisan
konvergen Q-Linear
2. jika
dan
atau,
dan
maka barisan
konvergen Q-Superlinear
3. jika
maka barisan
konvergen Q-Kuadrat
(Sun dan Yuan 2006)
Deret Taylor
Definisi 2.28
Deret Taylor dari fungsi real
yang terturunkan untuk semua
tingkatan disekitar titik
dapat ditulis sebagai berikut:
dimana
adalah gradien
pada
dan
adalah matriks Hessian.
(Varberg et al. 2007)
Ketaksamaan Kantorovich
Teorema 2.6
Diberikan
matriks simetrik
. Maka untuk setiap
(
)(
definit positif dengan nilai eigen
berlaku Ketaksamaan:
)
(Sun dan Yuan 2006)
Iterasi dan Running Time
Definisi 2.29 (Iterasi)
Iterasi adalah sifat tertentu dari algoritme atau program komputer dimana
suatu urutan atau lebih dari langkah algoritmik yang dilakukan pada loop
program. Iterasi merupakan proses yang dilakukan secara berulang dalam
menyelesaikan permasalahan matematik.
(Chapman 2008)
Definisi 2.30 (Running Time)
Running time dari suatu algoritme didefenisikan sebagai ukuran operasi
primitif atau tahapan proses yang dieksekusi.
(Cormen et al. 2001)
3 METODE PENELITIAN
Penelitian ini disusun melalui tiga tahap, pertama dilakukan telaah pustaka
(buku dan jurnal terkait) mengenai metode steepest descent. Pada tahap pertama
ini akan merekonstruksi empat metode gradien steepest descent yaitu metode
steepest descent klasik, metode Barzilai-Borwein, metode Alternatif Minimisasi
dan metode Yuan. Selanjutnya pada tahap kedua, memodifikasi ukuran langkah
pada metode steepest descent dengan ukuran langkah yang baru. Kemudian pada
tahap ketiga, mengimplementasikan metode kedalam bahasa pemrograman
dengan menggunakan perangkat lunak. Setelah itu, dilakukan pengujian untuk
kasus fungsi kuadratik yang dibangkitkan secara acak. Rata-rata dari hasil
pengujian akan dibandingkan untuk melihat metode yang terbaik dalam
menemukan solusi nilai minimum dengan iterasi dan running time yang terkecil.
4 HASIL DAN PEMBAHASAN
Metode Steepest Descent
Seperti yang telah dijelaskan dalam pendahuluan bahwa metode steepest
descent adalah metode gradien sederhana untuk pengoptimuman nirkendala.
Metode ini digunakan untuk meminimumkan fungsi terdiferensialkan beberapa
variabel yang menggunakan vektor gradien
(turunan parsial orde pertama
dari fungsi f ) untuk menentukan arah pencarian disetiap iterasi. Metode ini
diperkenalkan pertama kali oleh Cauchy pada tahun 1847 dengan bentuk
permasalah pengoptimuman:
dimana
adalah fungsi terdiferensialkan secara kontinu di
. Secara umum
dapat berupa fungsi nonlinear.
Metode steepest descent merupakan metode iteratif untuk memperoleh
solusi pendekatan dari problem awal. Dalam pembahasan metode iteratif ini,
vektor
yang diperoleh pada iterasi ke-k dinyatakan dengan
. Misalkan
.
diberikan suatu titik awal
kemudian akan dicari , sehingga
Pergerakan
pada setiap iterasi haruslah memenuhi
(4.2)
Misalkan f adalah fungsi yang terdefinisi di
yang mempunyai turunan
parsial pertama yang kontinu. Arah descent ditentukan dengan menggunakan
turunan berarah di
. Misalkan
dan
. Dengan
menggunakan aturan rantai diperoleh
(4.3)
sehingga
(4.4)
12
menyatakan laju perubahan
turunan berarah dari
di
di
pada arah , yang disebut juga dengan
pada arah
(Gambar 1).
xk
dk
Gambar 1 Pencarian arah d gradien terhadap vektor gradien
Perhatikan bahwa
‖
‖
‖‖ ‖
‖
(4.5)
dengan . Karena
maka
dimana adalah sudut antara
‖
‖
‖
‖ ‖
‖
(4.6)
Di titik
dicari vektor satuan
sehingga turunan berarah mempunyai nilai
terkecil relatif terhadap semua kemungkinan vektor satuan
di . Nilai terkecil
‖ pada saat
, yaitu
dari turunan berarah tersebut adalah ‖
dengan
adalah , yang berarti sudut antara
pada saat sudut antara
dengan
adalah 0. Jadi vektor arah
berimpit dengan vektor
. Ini berarti arah sehingga turunan berarah fungsi di
sekecil mungkin
.
adalah
Secara umum metode steepest descent memiliki bentuk sebagai berikut:
(4.7)
atau
(4.8)
adalah vektor gradien dari
di
dan
dimana
dan
> 0 adalah ukuran langkah. Ukuran langkah
dapat diperoleh dengan
pencarian exact line search yaitu:
(4.9)
Jika ingin menemukan nilai minimum dari
dilakukan dengan mencari
sehingga diperoleh
maka dapat
(4.10)
ini berarti gradien dari titik saat ini dan gradien dari titik selanjutnya saling tegak
lurus (ortogonal). Untuk batas keturunan nilai fungsi untuk setiap iterasi dalam
exact line search diberikan oleh,
‖
‖ ‖‖
. Lebih
menunjukkan sudut antara
dan
dimana
jelasnya teori kekonvergenan exact line search dijelaskan pada subbab
selanjutnya.
13
Metode steepest descent selalu konvergen. Artinya, secara teori metode ini
tidak akan berhenti atau akan terus melakukan iterasi sampai titik stasionernya
ditemukan. Adapun algoritme stespest descent dituliskan dalam tahap-tahap
sebagai berikut:
Algoritme 4.1 Steepest Descent
Step 0. Diberikan titik awal
dan batas toleransi
Tetapkan
.
, berhenti. Jika tidak tentukan
Step 1. Tentukan
. Jika ‖ ‖
.
Step 2. Tentukan
yang meminimumkan
Step 3. Hitung
Step 4. Beri nilai
.
, dan pergi ke Step 1.
Pada algoritme metode steepest descent ini memerlukan sembarang nilai
awal atau titik awal . Pemberian nilai awal ini merupakan kriteria dari suatu
metode iteratif. Selanjutntya dalam metode ini membutuhkan batas toleransi ( )
yang digunakan untuk pemberhentian dari proses iteratif. Batas toleransi ini
digunakan untuk membatasi nilai ‖ ‖. Pembatasan ini dilakukan untuk
menentukan tingkat ketelitian dari solusi. Semakin kecil batas toleransi yang
diberikan maka solusi dari permasalahan akan semakin mendekati ke nilai yang
sebenarnya. Pada dasarnya dalam metode steepest descent terdapat beberapa
kriteria untuk pembatasan proses iterasi atau disebut uji konvergensi diantaranya
yaitu norm dari selisih dua nilai terakhir yang disimbolkan dengan ‖
‖. Selain itu dapat juga menggunakan selisih dari dua nilai fungsi terakhir yaitu
|. Untuk kriteria pembatasan proses iterasi ini dapat digunakan
|
secara bersamaan sehingga proses iterasi akan berhenti ketika salah satu kreteria
terpenuhi.
Selanjutnya langkah terpenting dalam metode steepest descent yaitu
menentukan vektor gradien
dan menentukan ukuran langkah
. Vektor
gradien digunakan untuk menentukan arah dimana suatu kurva
pada titik
mengalami penurunan yang tercuram sedangkan ukuran langkah
digunakan
untuk menentukan seberapa besar ukuran atau langkah pada arah penurunan
tercuram tersebut. Sehingga akan didapatkan titik
yang baru. Proses ini akan
terus berlangsung sampai kriteria pemberhentian terpenuhi.
d1 d3 d5
d2 d4
d6
Gambar 2 Ilustrasi steepest descent dalam plot kontur (Snyman 2005).
14
Meskipun titik optimum lokal ditemukan dengan arah yang tercuram
metode steepest descent sering berkinerja buruk mengikuti jalan zig-zag. Hal ini
menyebabkan konvergensi lambat dan menjadi ekstrim ketika masalah dengan
skala yang besar yaitu ketika bentuk kontur yang sangat panjang. Kinerja yang
buruk ini disebabkan oleh fakta bahwa metode steepest descent memberlakukan
secara berturut arah pencarian yang ortogonal (4.10) seperti yang ditunjukkan
pada Gambar 2. Meskipun dari sudut pandang teoritis metode ini dapat terbukti
menjadi konvergen, tetapi dalam prakteknya metode ini tidak dapat secara efektif
konvergen dalam jumlah langkah terbatas. Hal ini tergantung pada titik awal yang
diberikan, bahkan konvergensi buruk ini juga terjadi ketika menerapkan metode
steepest descent walaupun untuk fungsi kuadratik yang definit positif.
Exact Line Search
Line search adalah pencarian satu dimensi yang mengacu pada prosedur
pengoptimuman untuk fungsi dengan variabel tunggal. Line search ini merupakan
dasar dari pengoptimuman multivariabel (4.8) untuk mencari
Nilai
dapat
dicari dengan meminimumkan fungsi tujuan pada arah
dan dapat dituliskan
sebagai berikut:
atau
(4.12)
Line search biasanya dinamakan exact line search karena berdasarkan (4.12)
dapat ditemukan titik minimum yang tepat dan titik stasioner dari fungsi. Untuk
lebih jelasnya akan dibuktikan kekonvergenan dari exact line search.
Teorema 4.1 (Teori Kekonvergenan untuk Exact Line Search)
Misal diberikan
yang merupakan solusi dari (4.12). Dimisalkan pula
‖
‖
, dimana M adalah bilangan positif, maka
Bukti.
Dari ekspansi deret Taylor diperoleh:
‖
dari asumsi ‖
dimisalkan ̅
⁄
‖
‖
‖
, sehingga
‖
‖
‖
‖
̅
(
‖
sehingga dari (4.15) dan (4.11) diperoleh
̅
‖
‖
)
̅
‖
‖
15
‖
‖
‖
‖
‖
(
‖ ‖
)
‖
Teorema 4.2 (Teori Kekonvergenan untuk Exact Line Search)
Misalkan
adalah fungsi kontinu terdiferensialkan pada himpunan
terbuka
, diasumsikan barisan dari (4.12) memenuhi
dan
. Misalkan ̅
merupakan titik akumulasi dari
dan
merupakan indeks dengan
|
̅ . Diasumsikan juga terdapat
. Jika ̅ adalah titik akumulasi dari
sehingga ‖ ‖
maka
̅
̅
(4.16)
Selanjutnya, jika
terdiferensialkan dua kali pada maka
̅
̅ ̅
(4.17)
Bukti
Misalkan
merupakan indeks dengan ̅
. Jika ̅
maka (4.16) memiliki solusi trivial. Jika tidak maka dipertimbangkan dua kasus
berikut.
̅
(i) Terdapat indeks
sehingga
. Karena
.
merupakan ukuran langkah yang tepat, maka
, maka diambil hasil
Karena ‖ ‖ merupakan terbatas seragam dan
limit
̅
̅
̅
. Misalkan
adalah indeks dari
(ii) Untuk
dengan
̅⁄
. Andaikan bahwa (4.16) tidak benar maka
̅
̅
Jadi terdapat lingkungan
̅ dari ̅ dan indeks
sehingga
̅ dan
,
⁄
Misal ̂ adalah bilangan positif terkecil, sehingga untuk
̂ dan
,
̅ . Pilih
̅ ⁄ ̂ , maka dari exact line search
dan ekspansi Taylor diperoleh
̅
∑
∑
∑
16
∑
∑
( )
dimana
. Kontradiksi di atas menunjukkan bahwa (4.16) juga berlaku
untuk kasus (ii).
Untuk pembuktian (4.17) sama halnya dengan pembuktian (4.16) yaitu
secara kontradiksi hanya berbeda pada ekspansi deret Taylor orde kedua dan
⁄
memisalkan ̅
̅ ̅
.
∑
̅
∑
∑
∑
∑ [
( )]
Hal ini kontradiksi dengan (4.17).
Dalam kasus pengoptimuman dengan fungsi kuadratik (2.25) pencarian
dengan exact line search dapat diubah dalam bentuk sederhana. Misalnya secara
umum akan diminimumkan
dengan arah descent .
Karena masalah pengoptimuman berbentuk fungsi kuadratik (2.25) sehingga
fungsi
menjadi
Jika
diminimumkan maka turunan (4.18) ke nol yaitu
,
(4.19)
dari (4.19) diperoleh
berdasarkan (2.26) dan gradien
maka didapatkan
Jadi untuk proses pencarian ukuran langkah
pada metode steepest
descent untuk kasus fungsi kuadratik dapat digunakan rumus (4.20), dimana
adalah matriks simetrik
dan definit positif.
17
Kekonvergenan Metode Steepest Descent
Teorema 4.3 (Konvergensi Global Metode Steepest Descent)
yang
Misalkan
. Untuk setiap titik akumulasi dari barisan iterasi
dihasilkan dari Algoritme 4.1 dengan exact line search adalah titik stasioner.
Bukti
dan
adalah indeks
Misalkan ̅ merupakan titik akumulasi dari
terbatas sedemikian hingga
̅. Tetapkan
. Karena
‖. Karena
maka barisan
|
terbatas seragam dan ‖ ‖ ‖
ini berarti bahwa
̅
.
asumsi Teorema 4.2 terpenuhi, maka ‖
̅ ‖
Teorema 4.4 (Konvergensi Global Metode Steepest Descent)
‖
Misalkan
terdiferensialkan dua kali pada
dan ‖
untuk konstanta positif. Diberikan nilai awal
dan
. Maka untuk barisan
yang dihasilkan dari Algoritme 4.1 terbatas dibanyak iterasi, atau
atau
Bukti
Perhatikan kasus yang tak terbatas, dari Algoritme 4.1 dan Teorema 4.1
diperoleh
sehingga
Dengan
‖
‖
∑
mengambil limit
‖
‖
.
maka
‖
∑‖
dihasilkan
atau
Teorema 4.5 (Laju Konvergensi Dari Metode Steepest Descent Untuk Kasus
Fungsi Kuadratik)
Perhatikan masalah minimasi nirkendala berikut
dimana adalah matriks simetris
dan definit positif. Misalkan
dan
masing-masing adalah nilai eigen terbesar dan terkecil dari . Misalkan
yang dihasilkan oleh
merupakan solusi dari masalah (4.21), maka barisan
metode steepest descent konvergen ke , dengan tingkat konvergen linear dan
berlaku batas-batas berikut:
‖
‖
dimana
⁄
.
‖
‖
‖
‖
‖
‖
(
√
)
√
(
)
18
Bukti
Diketahui bentuk metode steepest descent (4.7) yaitu
Karena masalah pengoptimuman (4.21) berbentuk kuadratik maka
dituliskan dalam bentuk
dengan
dapat
, sehingga
(
)
(
)
(
(
(
)(
)
(
)
)
)
Dengan menggunakan ketaksamaan Kantorovich (2.33) maka diperoleh
[
[
(
(
)(
)
]
)
(
]
)
terbukti untuk (4.22).
Selanjutnya akan dibuktikan untuk (4.23) dan (4.24). Misalkan
. Perhatikan bahwa merupakan matriks simetrik dan definit positif,
sehingga
(4.26)
jika
maka
‖
‖
(4.27)
dari (4.26) diperoleh
‖
‖
‖
‖
(4.28)
sehingga dari (4.25), (4.27) dan (4.28) diperoleh
‖
‖
‖
‖
‖
‖
‖
‖
(
)
terbukti untuk (4.23) dan (4.24).
Teorema diatas berlaku juga untuk fungsi kuadratik dengan bentuk
dimana
adalah matriks simetris
definit positif dan
.
19
Metode Barzilai dan Borwein
Metode Barzilai dan Borwein atau disebut metode BB merupakan metode
pengembangan dari metode steepest descent dengan mengganti ukuran langkah
. Ide utama dari pendekatan metode BB adalah menggunakan informasi dalam
iterasi sebelumnya untuk menentukan ukuran langkah dalam iterasi selanjutnya.
Ukuran langkah metode BB diturunkan dari dua titik pendekatan ke garis potong
persamaan yang didasari oleh metode Quasi-Newton. Adapun metode QuasiNewton yaitu sebagai berikut:
(4.30)
dimana
dan adalah matriks identitas.
Misalnya diberikan ekspansi deret Taylor (2.32) dari fungsi real
untuk pendekatan kuadratik yang terturunkan untuk semua tingkatan di sekitar
titik
yaitu
dan
dimana
(4.31) diturunkan terhadap maka
. Misalnya
Kemudian dimisalkan
sehingga diperoleh
, jika
dan
(4.32)
atau
(4.33)
Pertama akan dibahas masalah (4.32). Jika masalah (4.32) diselesaikan
dengan menggunakan least-squares (kuadrat terkecil) maka akan diperoleh:
kemudian disederhanakan menjadi
‖
‖
Dari syarat perlu minimum lokal (Teorema 2.2) didapatkan
sehingga
Karena
maka
Jadi telah didapatkan ukuran langkah pertama (4.34) dari metode BB. Untuk
masalah (4.33) akan dicari nilai
‖
‖
dengan cara penyelesaian yang sama pada masalah (4.32) maka diperoleh ukuran
langkah yang kedua
20
Dari penyelesaian (4.32) dan (4.33) telah didapatkan dua ukuran langkah
yang baru yaitu (4.34) dan (4.35). Kedua ukuran langkah ini merupakan ukuran
langkah dari metode Barzilai dan Borwein yang memiliki langkah Q-super linear
konvergensi pada tiga langkah berturut-turut (Dai 2003). Lebih jelasnya algoritme
dari metode Barzilai dan Borwein dituliskan sebagai berikut:
Algoritme 4.2 Barzilai dan Borwein (BB)
Step 0. Diberikan titik awal
dan batas toleransi
.
Tetapkan
.
, berhenti. Jika tidak tentukan
Step 1. Tentukan
. Jika ‖ ‖
.
Step 2. Jika k = 0 maka tentukan
dengan exact line search. Jika tidak
Tentukan
dengan
dimana
Step 3. Hitung
Step 4. Beri nilai
dan
, dan pergi ke Step 1.
Metode Alternatif Minimisasi
Dalam beberapa pengertian, prinsipnya bahwa meminimumkan suatu fungsi
yang kontinu dan terdiferensialkan dua kali (fungsi smooth) adalah setara
‖. Hal ini merupakan ide dasar dari
dengan meminimumkan norm gradien ‖
metode gradien Alternatif Minimisasi (Dai dan Yuan 2003). Metode Alternatif
Minimisasi (AM) adalah modifikasi metode steepest descent dengan ukuran
langkah yang bergantian antara meminimumkan nilai fungsi dan norm gradien
disepanjang garis steepest descent. Lebih tepatnya untuk
dipilih ukuran
langkah sehingga
‖
‖
dan
‖ dan
Dapat dilihat bahwa gradien dari ‖
masing-masing adalah
⁄‖
‖ dan
, sehingga dari (4.36) dan (4.37) diperoleh
(4.38)
dan
(4.39)
Dari hubungan di atas dapat simpulkan bahwa
saling konjugat dengan
,
sedangkan
dan
saling ortogonal. Berdasarkan (4.7) dan
didapatkan
Kemudian dari (4.38) dan (4.39) diperoleh
21
{
Dari ketaksamaan Cauchy dan asumsi bahwa
positif, diperoleh
matriks simetrik definit
Hal ini menunjukkan bahwa ukuran langkah metode AM pada setiap iterasi ganjil
lebih kecil atau sama dengan ukuran langkah dari metode SD, yaitu
(4.41)
Untuk ukuran langkah pada iterasi genap jelas terlihat bahwa
(4.42)
Dari hubungan (4.41) dan (4.42) menunjukkan bahwa metode AM melakukan
langkah SD penuh setelah langkah SD yang diperpendek. Sebagai contoh
diilustrasikan dalam Gambar 3 dengan persamaan
Dari Gambar 3 dapat dilihat
dan
merupakan iterasi yang
dihasilkan oleh metode SD yang dimulai dari titik
, sedangkan
dan
merupakan iterasi dari metode AM. Dapat dilihat bahwa
yang berarti bahwa metode AM adalah monoton. Terlihat
dari Gambar 3 bahwa
tetapi
. Meskipun
tidak selalu berlaku untuk kasus fungsi konveks kuadratik.
��
��
��
��
Gambar 3 Ilustrasi perbandingan metode Alternatif Minimisasi
dan metode steepest descent
22
Algoritme 4.3 Alternatif Minimisasi (AM)
Step 0. Diberikan titik awal
Tetapkan
.
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Jika k ganjil maka tentukan
dan batas toleransi
.
, berhenti.
jika tidak tentukan
Step 3. Hitung
Step 4. Beri nilai
, dan pergi ke Step 1.
Metode Yuan
Metode Yuan (Yuan 2006) menggunakan ukuran langkah yang bergantian
seperti yang dilakukan pada metode AM. Akan tetapi metode Yuan menggunakan
ukuran langkah yang baru. Untuk analisis pada metode Yuan, diasumsikan bahwa
fungsi objektif adalah sebagai berikut:
dimana
dan
simetris dan definit positif. Metode baru yang
digunakan akan memberikan nilai minimum dari
dengan melakukan iterasi.
Dapat dilihat bahwa pencarian exact line harus dilakukan pada iterasi terakhir
sebelum algoritme berhasil menemukan solusinya. Diasumsikan bahwa digunakan
pencarian exact line pada iterasi pertama untuk mendapatkan keberuntungan
apabila ada kasus dimana algoritme dapat menemukan solusi pada iterasi pertama.
Oleh karena itu, dibuatlah algoritme sebagai berikut:
dimana
dan
didapat dari pencarian exact line dan
adalah solusi. Perlu
dicari formula untuk
sehingga
akan menjadi nilai minimum dari fungsi
objektif.
Metode steepest descent adalah invarian dengan transformasi ortogonal.
Untuk mempermudah analisis, dipelajari kasus dimana dan
adalah dua buah
sumbu. Sesuai dengan pencarian exact line pada iterasi pertama, gradien dan
adalah ortogonal. Oleh karena itu untuk semua vektor dapat dituliskan sebagai
kombinasi linear dari dan . Misalkan diberikan fungsi:
‖
‖
‖
‖
(‖ ‖)
⁄‖ ‖
⁄‖ ‖‖ ‖
⁄‖ ‖‖ ‖
⁄‖ ‖
23
Berdasarkan pencarian exact line (4.20) pada iterasi pertama dan kedua, diperoleh
‖ ‖
‖ ‖
‖ ‖
,
dan
sehingga
‖
‖
‖
(
(‖ ‖)
‖
‖
⁄
‖⁄
‖
‖
‖
‖
‖
‖⁄
⁄
‖
‖
)
Dari persamaan di atas, dapat diketahui nilai minimum dari fungsi objektifnya
dengan ⁄
dan ⁄
, sehingga diperoleh masing-masing:
dan
‖
‖
‖
‖
‖
‖
(4.43)
‖
‖‖
‖
(
‖
‖
)
‖
Jika dilakukan eliminasi terhadap (4.43) dan (4.44) diperoleh
‖
Untuk mendapatkan
gradien
‖ ‖‖ ‖
‖ ⁄
‖ ‖ ⁄
‖
Disederhanakan menjadi
‖
‖
‖‖
‖
‖
‖
sejajar terhadap vektor residual
(
dan
(‖
‖)
(
‖
⁄
‖⁄
(4.44)
‖ ‖ ‖ ‖
‖ ⁄
‖ ‖ ⁄
‖
dan
‖
‖
‖
‖
‖
‖
‖
‖
‖
, perlu diketahui bahwa arah
. Untuk itu, diperlukan dua arah
‖)
‖⁄
⁄
‖
‖
)(
‖
‖)
‖
‖
yang merupakan dua arah yang sejajar. Dua arah tersebut masing-masing sejajar
terhadap
‖
dan
‖
Diasumsikan bahwa
‖
‖
‖
‖ ‖
‖
‖
‖
‖ ‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
24
untuk
‖
‖
. Berdasarkan baris pertama persamaan (4.45) didapatkan
. Kemudian nilai λ tersebut disubtitusikan ke baris kedua pada
persamaan (4.45) sehingga diperoleh
‖
Persamaan ini ekuivalen dengan
‖
Karena
‖
‖ ‖
‖
‖ ‖
)
(
definit positif, diketahui bahwa
‖
‖
‖ ‖
Dari persamaan (4.46) diperoleh dua solusi positif untuk
⁄
⁄
√ ⁄
√ ⁄
⁄
‖
yaitu :
⁄
Dari dua solusi tersebut dipilih nilai yang lebih kecil dan dapat dituliskan sebagai
berikut:
⁄
‖ ⁄‖ ‖
⁄
dengan
.
inilah yang disebut ukuran langkah baru dan
kemudian akan diaplikasikan ke dalam metode hasil modifikasi steepest descent.
Untuk fungsi konveks kuadratik di n ( > 2) dimensi, berdasarkan (4.47) dapat
dituliskan
√ ⁄
⁄
Secara umum ukuran langkah
‖
‖ ⁄‖
‖
⁄
⁄
dari metode Yuan adalah
Algoritme 4.4 Yuan
Step 0. Diberikan titik awal
dan batas toleransi
, berhenti. Tetapkan
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Tentukan
. Kemudian hitung
Step 3. Jika ‖ ‖
Step 4. Tentukan
√ ⁄
, berhenti
dan
Hitung
Step 5. Jika ‖
Step 6. Beri nilai
‖
⁄
.
.
. Tentukan
‖
‖ ⁄‖
, berhenti
, dan pergi ke Step 2.
‖
⁄
⁄
25
Modifikasi Metode Steepest Descent dengan Ukuran Langkah Baru
Telah dibahas pada sub-bab sebelumnya bahwa metode gradien Yuan
menggunakan ukuran langkah dengan exact line search pada iterasi ganjil dan
kemudian menggunakan ukuran langkah (4.48) pada iterasi genap yang secara
umum dituliskan seperti pada (4.49). Berdasarkan metode Yuan ini maka akan
dilakukan modifikasi ukuran langkah dengan dua ukuran langkah yang baru.
Untuk ukuran langkah yang pertama akan dibentuk suatu algoritme dengan ide
langkah sebagai berikut:
(4.50)
dimana
dan
merupakan ukuran langkah dengan proses pencarian
menggunakan exact line search, sedangkan untuk
dan
menggunakan
ukuran langkah Yuan (4.48). Algoritme (4.50) ini merupakan bentuk awal dari
proses iterasi, sehingga untuk proses iterasi (4.50) selanjutnya akan terus berlanjut
sampai solusi nilai ditemukan. Secara umum ukuran langkah
dari bentuk
(4.50) dapat dituliskan sebagai berikut:
Algoritme 4.5 Ukuran Langkah Baru (a)
Step 0. Diberikan titik awal
dan batas toleransi
Tetapkan
.
, berhenti.
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Jika mod(k,4) = 0 atau 1 maka tentukan
jika tidak tentukan
Step 3. Hitung
Step 4. Beri nilai
√ ⁄
.
dan
⁄
‖
‖ ⁄‖
, dan pergi ke Step 1.
‖
⁄
⁄
Untuk ukuran langkah baru yang kedua dapat dibuat algoritme dengan ide
langkah sebagai berikut:
(4.52)
dimana
dan
merupakan ukuran langkah dengan proses pencarian
menggunakan exact line search, sedangkan untuk
dan
menggunakan
ukuran langkah Yuan. Sama halnya proses iterasi pada (4.50) proses iterasi pada
26
(4.52) pula akan terus berlanjut sampai solusi nilai ditemukan. Secara umum
ukuran langkah
dari bentuk (4.52) dapat dituliskan sebagai berikut:
Algoritme 4.6 Ukuran Langkah Baru (b)
Step 0. Diberikan titik awal
dan batas toleransi
Tetapkan
.
, berhenti.
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Jika mod(k,4) = 1 atau 2 maka tentukan
dan
Jika tidak tentukan
Step 3. Hitung
Step 4. Beri nilai
√ ⁄
.
⁄
‖
‖ ⁄‖
, dan pergi ke Step 1.
‖
⁄
⁄
Hasil Numerik
Pada sub-bab ini dilakukan perbandingan hasil numerik dari setiap metode
gradien yang telah dijelaskan pada sub-bab sebelumnya, yaitu SD, BB, AM,
Yuan, Algoritme 4.5 dan Algoritme 4.6. Sintaks dari setiap metode dapat dilihat
pada Lampiran 1. Ukuran langkah untuk metode SD menggunakan (4.20) yang
merupakan penyederhanaan dari exact line search. Untuk metode BB dibagi
menjadi dua bagian, yaitu BB1 menggunakan ukuran langkah (4.34) dan BB2
menggunakan ukuran langkah (4.35). Perbandingan dilakukan untuk kasus fungsi
nonlinear dengan bentuk kuadratik. Fungsi kuadratik yang digunakan dalam
penelitian ini dibangkitkan secara acak dalam bentuk
menyatakan dimensi dari fungsi kuadratik dengan
merupakaan bilangan acak integer pada
. vektor
interval
. Selanjutnya
dan
merupakan kondisi dari
matriks Hesse dari fungsi. Kemudian
adalah bilangan acak
. Untuk semua dimensi dan
diberikan titik awal
integer pada interval
vektor nol
dan kriteria penghentian adalah ‖ ‖
. Percobaan
dilakukan sebanyak 5 kali untuk setiap dimensi dan setiap
dari setiap metode.
Sehingga percobaan yang dilakukan untuk satu dimensi sebanyak 105 kali dan
total percobaan untuk semua dimensi sebanyak 1260 kali (Lampiran 2). Rata-rata
jumlah iterasi dan running time dari percobaan disajikan pada tabel.
27
Tabel 1 Rata-rata jumlah iterasi dari metode steepest descent
n
2
3
10
20
30
40
50
60
70
80
90
100
λn
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
SD
15.8
17.6
18.0
58.0
446.0
**
71.2
572.2
**
69.8
611.8
**
74.4
618.0
**
71.0
619.8
**
70.4
568.4
**
73.0
541.8
**
72.0
588.3
**
73.4
597.8
*
METODE STEEPEST DESCENT DENGAN UKURAN
LANGKAH BARU UNTUK PENGOPTIMUMAN
NIRKENDALA
DJIHAD WUNGGULI
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
2
3
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA*
Dengan ini saya menyatakan bahwa tesis berjudul Metode Steepest Descent
dengan Ukuran Langkah Baru utuk Pengoptimuman Nirkendala adalah benar
karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam
bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang
berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari
penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di
bagian akhir tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, Februari 2015
Djihad Wungguli
NIM G551120031
4
RINGKASAN
DJIHAD WUNGGULI. Metode Steepest Descent dengan Ukuran Langkah Baru
untuk Pengoptimuman Nirkendala. Dibimbing oleh BIB PARUHUM SILALAHI
dan SUGI GURITMAN.
Masalah pengoptimuman dapat dikategorikan dalam dua bagian yaitu
pengoptimuman berkendala dan pengoptimuman nirkendala. Untuk
menyelesaikan permasalahan pengoptimuman nirkendala, khususnya untuk fungsi
nonlinear dapat digunakan metode steepest descent. Metode steepest descent
merupakan prosedur paling mendasar yang diperkenalkan oleh Cauchy pada tahun
1847. Metode ini adalah metode gradien sederhana yang menggunakan vektor
gradien untuk menentukan arah pencarian pada setiap iterasi. Kemudian, dari arah
tersebut akan ditentukan besar ukuran langkahnya. Pada beberapa kasus, metode
steepest descent ini memiliki kekonvergenan yang lambat menuju solusi optimum
karena langkahnya berbentuk zig-zag. Hal ini menunjukkan bahwa masalah
pemilihan ukuran langkah menjadi masalah penting. Penelitian tentang pencarian
ukuran langkah diantaranya adalah metode Barzilai-Borwein, Alternatif
Minimisasi dan metode Yuan.
Penelitian ini memiliki tiga tujuan utama yaitu: (1) merekonstruksi
algoritme steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan
algoritme Yuan; (2) memodifikasi metode steepest descent dengan ukuran
langkah baru; dan (3) membandingkan secara eksperimental output dari
modifikasi algoritme dengan metode steepest descent, Barzilai-Borwein,
Alternatif Minimisasi, dan Yuan untuk kasus fungsi kuadratik ditinjau dari proses
iterasi dan running time. Metode dalam penelitian ini disusun melalui tiga tahap,
(1) melakukan telaah pustaka metode steepest descent klasik, metode BarzilaiBorwein, metode Alternatif Minimisasi dan metode Yuan, (2) memodifikasi
ukuran langkah pada metode steepest descent dengan ukuran langkah yang baru,
(3) mengimplementasikan algoritme tersebut menggunakan perangkat lunak.
Kemudian dilakukan pengujian dan perbandingan untuk kasus fungsi kuadratik
yang dibangkitkan secara acak.
Dalam penelitian ini dihasilkan dua modifikasi ukuran langkah baru disebut
Algoritme (4.5) dan Algoritme (4.6). Kedua modifikasi ini merupakan gabungan
dari metode steepest descent dan metode Yuan. Dari rata-rata hasil perbandingan
masalah fungsi kuadratik untuk semua dimensi metode steepest descent
memberikan kinerja yang buruk dibandingkan dengan metode lainnya.
Selanjutnya pada masalah dengan dimensi yang kecil, metode Yuan mampu
menemukan solusi nilai minimum dengan iterasi dan running time yang terkecil.
Meskipun demikian Algoritme (4.5) dan (4.6) mampu menyeimbangi kecepatan
metode Yuan dan mampu mengungguli hasil dari metode Barzilai-Borwein, serta
metode Alternatif Minimisasi. Untuk kasus fungsi kuadratik dengan dimensi yang
besar, metode Yuan memberikan hasil yang buruk. Sedangkan, Algoritme (4.5)
dan (4.6) menghasilkan iterasi dan running time yang terkecil, hal ini disebabkan
oleh tingkat konvergensi yang lebih cepat pada kedua metode ini.
Kata kunci: fungsi kuadratik, metode gradien, running time, steepest descent,
ukuran langkah baru.
5
SUMMARY
DJIHAD WUNGGULI. Steepest Descent Method with New Step Size for
Unconstrained Optimization. Supervised by BIB PARUHUM SILALAHI and
SUGI GURITMAN.
The problem of optimization could be categorized into constrained and
unconstrained optimization. The unconstrained optimization problem especially
nonlinear function can be solved by steepest descent method. This is a basic
procedure as introduced by Cauchy in 1847. It is a simple gradient method that
uses gradient vector to determine the search direction in its iteration. Furthermore,
from the direction will be determined the size of the step. In many cases, the
steepest descent method has a slow convergence towards the optimum solution
because of a zigzag steps. It involved indicates that the selection of step size
problem is an important issue. There are many studies conducted on searching the
step size in the steepest descent method, such as in Barzilai-Borwein, Alternative
Minimization and Yuan method.
This research has three main objectives: (1) reconstructing the method of
steepest descent, Barzilai-Borwein, Alternative Minimization, and the Yuan
algorithms; (2) modifying the method of steepest descent by using new step sizes;
and (3) comparing experimentally results of modification algorithms steepest
descent, Barzilai-Borwein, Alternative Minimization, and Yuan method for
quadratic function in terms of the iteration and running time process. This
research composed in three stages method, (1) reviewing literatures on the classic
steepest descent, Barzilai-Borwein, Alternative Minimization, and Yuan method,
(2) modifying the step size in the steepest descent method by new step sizes, (3)
computer implementation using software. Furthermore, testing and compared
results was carried out using the quadratic function cases that generated randomly.
This research has two new step size modifications known as Algorithm (4.5)
and (4.6). Both of them are combination of steepest descent and Yuan method.
The average results of comparison quadratic function for all steepest descent
method dimensions give poor performance compared to the other methods. While
for the problem of small dimensions, the Yuan method reached the minimum
value solutions with the iteration number and the running time minimum.
Nevertheless, the Algorithm (4.5) and (4.6) able to compete the speed of Yuan
method and perform better than the Barzilai-Borwein and Alternative
Minimization method. For the quadratic functions case with large dimensions,
Yuan method gives bad results. While Algorithm (4.5) and (4.6) produce the
smallest of iteration and running time than the other methods, it is happen because
this is related with the convergence speed within the Algorithm (4.5) and
Algorithm (4.6).
Keywords: quadratic function, gradient method, running time, steepest descent,
.new step size.
6
© Hak Cipta Milik IPB, Tahun 2015
Hak Cipta Dilindungi Undang-Undang
Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan
atau menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan,
penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau
tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan
IPB
Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini
dalam bentuk apa pun tanpa izin IPB
7
METODE STEEPEST DESCENT DENGAN UKURAN
LANGKAH BARU UNTUK PENGOPTIMUMAN
NIRKENDALA
DJIHAD WUNGGULI
Tesis
sebagai salah satu syarat untuk memperoleh gelar
Magister Sains
pada
Program Studi Matematika Terapan
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
8
Penguji Luar Komisi pada Ujian Tesis: Dr Ir Fahren Bukhari, MSc
9
Judul Tesis : Metode Steepest Descent dengan Ukuran Langkah Baru untuk
Pengoptimuman Nirkendala
Nama
: Djihad Wungguli
NIM
: G551120031
Disetujui oleh
Komisi Pembimbing
Dr Ir Bib Paruhum Silalahi, MKom
Ketua
Dr Sugi Guritman
Anggota
Diketahui oleh
Ketua Program Studi
Matematika Terapan
Dekan Sekolah Pascasarjana
Dr Jaharuddin, MS
Dr Ir Dahrul Syah, MScAgr
Tanggal Ujian: 28 Januari 2015
Tanggal Lulus:
10
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah Subhanahu wa ta’ala atas
segala nikmat dan karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan.
Tema yang dipilih dalam penelitian yang dilaksanakan sejak bulan Februari 2014
ini ialah teori optimasi, dengan judul Metode Steepest Descent dengan Ukuran
Langkah Baru untuk Pengoptimuman Nirkendala. Penulisan tesis ini merupakan
salah satu syarat memperoleh gelar Magister Sains pada program studi
Matematika Terapan Sekolah Pascasarjana Institut Pertanian Bogor.
Dalam proses penulisan tesis ini, penulis menyadari bahwa telah memperoleh
dorongan dan bantuan baik moril maupun materil dari berbagai pihak untuk
melengkapi keterbatasan-keterbatasan yang dimiliki penulis. Untuk itu, melalui
kesempatan ini penulis ingin mengucapkan terima kasih dan rasa hormat yang
sebesar-besarnya kepada:
1. Bapak Dr Ir Bib Paruhum Silalahi, MKom selaku pembimbing I dan Bapak Dr
Sugi Guritman selaku pembimbing II.
2. Dr Jaharuddin, MS selaku Ketua Program Studi Matematika Terapan.
3. Seluruh dosen dan staf pegawai tata usaha Departemen Matematika.
4. Direktorat Jenderal Pendidikan Tinggi (DIKTI) sebagai sponsor Beasiswa
Unggulan.
5. Ayahanda dan Ibunda tercinta, Bapak Usman Wungguli dan Ibu Hadidjah
Luther, Adik Rahmad Wungguli dan Rini Wahyuni Mohamad serta seluruh
keluarga yang selalu memberikan dorongan dan mendoakan untuk keberhasilan
studi bagi penulis.
6. Seluruh mahasiswa Departemen Matematika khususnya teman-teman
angkatan tahun 2012 di program studi S2 Matematika Terapan.
7. Seluruh rekan–rekan mahasiswa Asrama Gorontalo di Bogor.
8. Sahabat-sahabat yang tak dapat disebutkan satu persatu yang telah banyak
membantu penulis dalam penyelesaian tesis ini.
Semoga segala bantuan, bimbingan, dan motivasi yang telah diberikan kepada
penulis senantiasa mendapat balasan dari Allah Subhanahu wa ta’ala.
Akhirnya, semoga penulisan tesis ini dapat memperkaya pengalaman belajar
serta wawasan kita semua.
Bogor, Februari 2015
Djihad Wungguli
11
DAFTAR ISI
DAFTAR GAMBAR
vi
DAFTAR LAMPIRAN
vi
1 PENDAHULUAN
Latar Belakang
Tujuan Penelitian
1
1
2
2 TINJAUAN PUSTAKA
Ruang Vektor
Matriks
Ortogonalitas
Pengoptimuman Matematik
Turunan Parsial
Turunan Berarah
Vektor Gradien dan Matriks Hesse
Minimum Global dan Minimum Lokal
Fungsi Kuadratik di
Kedefinitan Matriks
Kekonveksan Fungsi
Tingkat Konvergensi
Deret Taylor
Ketaksamaan Kantorovich
Iterasi dan Running Time
3
3
4
5
6
6
6
7
8
8
8
9
9
10
10
10
3 METODE PENELITIAN
11
4 HASIL DAN PEMBAHASAN
Metode Steepest Descent
Exact Line Search
Kekonvergenan Metode Steepest Descent
Metode Barzilai dan Borwein
Metode Alternatif Minimisasi
Metode Yuan
Modifikasi Metode Steepest Descent dengan Ukuran Langkah Baru
Hasil Numerik
11
11
14
17
19
20
22
25
26
5 SIMPULAN
31
DAFTAR PUSTAKA
31
LAMPIRAN
32
RIWAYAT HIDUP
42
12
DAFTAR TABEL
1
2
Rata-rata jumlah iterasi dari metode steepest descent
Rata-rata running time dari metode steepest descent
27
28
DAFTAR GAMBAR
1
2
3
4
5
6
7
Pencarian arah d gradien terhadap vektor gradien
Ilustrasi steepest descent dalam plot kontur
Ilustrasi perbandingan metode Alternatif Minimisasi dan
steepest descent
Perbandingan rata-rata iterasi dan running time dari metode
descent untuk λn = 10
Perbandingan rata-rata iterasi dan running time dari metode
descent untuk λn = 100
Perbandingan rata-rata iterasi dan running time dari metode
descent untuk λn = 1000
Kekonvergenan dari metode steepest descent
12
13
metode
21
steepest
29
steepest
29
steepest
29
30
DAFTAR LAMPIRAN
1
2
Sintaks dari setiap metode steepest descent
Hasil pengujian dari setiap metode steepest descent
32
38
1 PENDAHULUAN
Latar Belakang
Dalam aktivitas sehari-hari sering dijumpai kegiatan yang menyangkut
pengoptimuman. Kegiatan pengoptimuman ini bertujuan untuk memaksimumkan
atau meminimumkan. Hal ini biasanya dijumpai dalam bidang industri, teknik,
ekonomi, pertanian dan banyak sektor bidang lainnya. Pengoptimuman dapat
didefinisikan sebagai proses untuk mendapatkan keputusan terbaik yang
memberikan nilai maksimum atau minimum dari suatu fungsi dengan cara
penentuan solusi yang tepat. Dari segi fungsinya pengoptimuman dapat dibedakan
menjadi pengoptimuman linear dan pengoptimuman nonlinear. Sedangkan dari
bentuknya pengoptimuman dikelompokkan menjadi pengoptimuman berkendala
dan pengoptimuman nirkendala. Pengoptimuman berkendala adalah
pengoptimuman suatu fungsi dengan syarat-syarat tertentu yang membatasinya.
Sebaliknya pengoptimuman nirkendala adalah pengoptimuman tanpa adanya
syarat-syarat tertentu yang membatasinya (Griva et al. 2009).
Kegiatan Pengoptimuman selalu identik dengan nilai maksimum atau nilai
minimum yang terbaik. Padahal, pengoptimuman yang baik seharusnya
mempertimbangkan juga metode yang akan digunakan serta pemrograman yang
tepat dalam aspek komputasi. Komputasi dapat diartikan sebagai cara untuk
menemukan pemecahan masalah dari data input dengan menggunakan suatu
algoritme dalam menyelesaikan suatu masalah. Dalam aspek komputasi hal yang
diperhatikan adalah kompleksitas ruang dan kompleksitas waktu. Hal ini dapat
dilihat dari tingkat kerumitan serta waktu yang dibutuhkan dari suatu algoritme
dalam menyelesaikan suatu fungsi. Suatu algoritme dikatakan baik jika tingkat
kerumitannya semakin kecil dan prosesnya membutuhkan waktu yang kecil.
Namun pada kenyataannya banyak metode pengoptimuman yang bentuknya
sederhana akan tetapi membutuhkan waktu yang lama dalam proses
komputasinya. Oleh karenanya sangat diperlukan suatu perbaikan dari motode
pengoptimuman baik dari segi kompleksitas ruang maupun dari segi kompleksitas
waktunya.
Metode pengoptimuman umumnya dapat dilakukan secara analitik maupun
secara numerik. Namun untuk kasus pengoptimuman nirkendala dengan fungsi
nonlinear multivariabel, terdapat persoalan yang tidak bisa diselesaikan dengan
metode analitik. Sehingga diperlukan metode numerik untuk menyelesaikan
permasalahan tersebut. Metode numerik yang digunakan dalam masalah
pengoptimuman biasanya bersifat iteratif. Salah satu metode iteratif yang
digunakan adalah metode line search steepest descent.
Metode steepest descent (SD) merupakan prosedur paling mendasar untuk
meminimumkan fungsi terdiferensialkan beberapa variabel yang diperkenalkan
oleh Cauchy pada tahun 1847 (Bazaraa et al. 2006). Metode ini adalah metode
gradien sederhana yang menggunakan vektor gradien
(turunan parsial orde
pertama dari fungsi f ) untuk menentukan arah pencarian disetiap iterasi dan dari
. Pada beberapa
arah tersebut akan ditentukan besar ukuran langkahnya
kasus, metode SD ini memeliki kekonvergenan yang lambat ketika menuju ke
solusi optimum, hal ini terjadi karena langkahnya yang berbentuk zig-zag. Secara
2
intuitif arah yang digunakan dalam metode SD adalah arah dengan penurunan
yang tercepat, akan tetapi secara umum tidak berarti menuju titik minimum lokal
yang tercepat. Sehingga dalam beberapa tahun terakhir ini menjadi lebih jelas
bahwa pimilihan ukuran langkah menjadi masalah penting dalam metode steepest
descent. Penentuan ukuran langkah ini dapat mempengaruhi cepat atau lambatnya
kekonvergenan ke solusi optimum. Sebuah hasil yang mengejutkan diberikan oleh
Barzilai dan Borwein (1988) yang berusaha menyempurnakan metode ini dengan
memodifikasi algoritme dan hasilnya berjalan cukup baik untuk masalah dengan
dimensi yang besar. Metode ini kemudian dikenal dengan metode BarzilaiBorwein (BB)
Hasil metode BB (1988) telah memicu banyak penelitian pada metode
steepest descent. Penelitian-penelitian yang dilakukan untuk mendapatkan
algoritme pencarian ukuran langkah yang memungkinkan konvergensi cepat dan
monoton. Diantaranya penelitian yang dilakukan oleh Dai dan Yuan (2003) yang
dinamakan Alternatif Minimisasi (AM) dengan ide penggabungan ukuran langkah
yang bergantian antara meminimumkan nilai fungsi dan norm gradien disepanjang
garis steepest descent. Penelitian lainnya dilakukan oleh Yuan (2006), dengan
algoritme ukuran langkah baru pada iterasi genap dan exact line search pada
iterasi ganjil. Metode Yuan ini sangat efisien untuk masalah dengan dimensi kecil.
Berdasarkan penelitian-penelitian yang telah dilakukan, maka dalam
penelitian ini akan dimodifikasi ukuran langkah pada metode SD dengan ukuran
langkah baru untuk memperoleh kekonvergenan yang lebih cepat dari metodemetode yang telah dilakukan sebelumnya. Modifikasi ukuran langkah yang
dilakukan diharapkan dapat memperkecil kompleksitas ruang maupun
kompleksitas waktu yang dibutuhkan dari algoritme.
Tujuan Penelitian
a. Merekonstruksi algoritme steepest descent, Barzilai-Borwein, Alternatif
Minimisasi, dan metode Yuan.
b. Memodifikasi algoritme steepest descent dengan ukuran langkah baru.
c. Membandingkan secara eksperimental hasil output dari modifikasi algoritme
dengan metode steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan
metode Yuan untuk kasus fungsi kuadratik ditinjau dari proses iterasi dan
running time.
3
2 TINJAUAN PUSTAKA
Ruang Vektor
Definisi 2.1 (Ruang Vektor)
Misalkan V adalah himpunan dengan pendefinisian operasi penjumlahan
dan operasi perkalian dengan skalar. Setiap pasangan elemen dan di dalam V
terdapat suatu elemen
yang tunggal juga berada di dalam V serta setiap
elemen di dalam V dan setiap skalar terdapat
yang tunggal juga berada di
dalam V. Himpunan V dengan operasi penjumlahan dan operasi perkalian dengan
skalar ini dinamakan ruang vektor jika memenuhi aksioma berikut.
1.
.
2.
.
3.
sehingga
.
4.
terdapat
sehingga
.
5.
dan skalar .
6.
dengan skalar dan skalar .
7.
dengan skalar dan skalar .
8.
.
Elemen dalam V adalah vektor sedangkan symbol 0 menyatakan vektor nol.
(Leon 1998)
Definisi 2.2 (Ruang Bagian)
Jika S adalah himpunan bagian takkosong dari suatu ruang vektor V dan S
memenuhi syarat-syarat berikut
1.
jika
untuk sembarang skalar
2.
jika
dan
,
maka S disebut ruang bagian dari V.
(Leon 1998)
Definisi 2.3 (Kombinasi Linear)
Misalkan
adalah vektor-vektor dalam suatu ruang vektor V.
Jumlah vektor-vektor yang berbentuk
dengan
skalar-skalar
disebut kombinasi linear dari
.
(Leon 1998)
Definisi 2.4 (Merentang)
Misalkan
adalah vektor-vektor dalam suatu ruang vektor V.
Himpunan vektor
dikatakan merentang suatu vektor V jika setiap
vektor pada V selalu dapat dinyatakan sebagai kombinasi linear dari vektor
.
(Leon 1998)
Definisi 2.5 (Bebas Linear)
Vektor-vektor
dalam ruang vektor V disebut bebas linear
jika
mengakibatkan semua skalar-skalar
harus sama dengan nol.
(Leon 1998)
4
Definisi 2.6 (Bergantung Linear)
Vektor-vektor
linear jika terdapat skalar-skalar
sehingga
Definisi 2.7 (Basis)
Vektor-vektor
dan hanya jika
dalam ruang vektor V disebut bergantung
yang tidak semuanya nol
.
(Leon 1998)
membentuk basis untuk ruang vektor V jika
bebas linear dan merentang V .
(Leon 1998)
Definisi 2.8 (Dimensi)
Misalkan V adalah ruang vektor. Jika V memiliki basis yang terdiri atas n
vektor, maka V dikatakan memiliki dimensi n .
(Leon 1998)
Matriks
Definisi 2.9 (Matriks Identitas)
Matriks identitas adalah matriks
yang berukuran
{
, dengan
(Leon 1998)
Definisi 2.10 (Invers dari Suatu Matriks)
Suatu matriks yang berukuran
dikatakan taksingular jika terdapat
matriks B sehingga
. Matriks B dikatakan invers multiplikatif dari
matriks . Invers multiplikatif dari matriks taksingular secara sederhana disebut
juga sebagai invers dari matriks dan dinotasikan dengan
.
(Leon 1998)
Definisi 2.11 (Traspose dari Suatu Matriks)
adalah
Transpos dari suatu matriks
( ) yang berukuran
yang didefinisikan oleh
untuk
matriks
( ) yang berukuran
setiap dan . Transpos dari dinotasikan oleh .
(Leon 1998)
Definisi 2.12 (Matriks Simetris)
Suatu matriks berukuran
disebut matriks simetris jika
(Leon 1998)
Definisi 2.13 (Matriks Diagonal)
Matriks diagonal adalah matriks berukuran
yang semua unsur selain
diagonal utama ialah nol. Matriks diagonal berukuran
dapat ditulis sebagai
[
]
dengan
disebut unsur diagonal utama. Matriks diagonal D memiliki
invers yang dapat dinyatakan sebagai
5
D 1
1
d1
0
0
0
0
1
d n
1
d2
0
0
Dengan semua unsur diagonal utama adalah taknol sehingga
.
Matriks dapat dikatakan matriks simetris karena
.
(Anton & Rorres 2005)
Ortogonalitas
Definisi 2.14 (Hasil Kali Skalar)
Misalkan
dengan
maka hasil kali skalar dari
adalah
dan
(Leon 1998)
Definisi 2.15 (Norm)
Suatu pemetaan ‖ ‖ disebut norm jika dan hanya jika memenuhi sifat
berikut:
‖ ‖
(i) ‖ ‖
‖
‖
|
|‖
‖
(ii)
‖ ‖ ‖ ‖ ‖
(iii)‖
Untuk
, maka
dari
didefinisikan sebagai:
‖ ‖
Dalam prakteknya, hanya tiga
‖ ‖
∑| | ‖ ‖
(∑| | )
⁄
yang digunakan yaitu:
(∑| | )
⁄
| |
‖ ‖
Norm vektor lainnya yang sering digunakan adalah norm ellipsoid yang
didefinisikan sebagai
⁄
‖ ‖
Misalkan
adalah
, maka norm dari vektor
dengan
‖ ‖
Definisi 2.16 (Ortogonal)
Vektor – vektor dan
√
√
disebut ortogonal jika
di
(Sun dan Yuan 2006)
.
(Leon 1998)
6
Pengoptimuman Matematik
Definisi 2.17
Pengoptimuman matematik adalah suatu proses formulasi masalah dan
penentuan solusi dari suatu masalah pengoptimuman berkendala dengan bentuk
umum:
dengan kendala
(2.16)
adalah fungsi dari x.
dimana
dinamakan variabel
Komponen-komponen
dari
menyatakan fungsi kendala
keputusan,
adalah fungsi objektif,
adalah fungsi-fungsi kendala persamaan. Vektor optimum
pertaksamaan,
yang menjadi solusi dari masalah dinyatakan dengan
dan nilai optimumnya
adalah
. Jika tidak ada kendala maka masalah dinamakan masalah
pengoptimuman nirkendala.
(Snyman 2005)
Turunan Parsial
Definisi 2.18
Andaikan bahwa f adalah suatu fungsi dua variabel x dan y. Jika y di jaga
agar tetap konstan, katakanlah
, maka
adalah fungsi satu variabel
x. Turunannya di x = x0 disebut turunan parsial f terhadap x di
dan
dinyatakan oleh
. Jadi
Dengan cara serupa, turunan parsial f terhadap y di
dan diberikan oleh
dinyatakan oleh
Misalkan f suatu fungsi tiga variabel x, y, dan z. Turunan parsial f terhadap x di
(x,y,z) dinyatakan oleh
dan didefenisikan oleh
Turunan parsial terhadap y dan z didefenisikan secara serupa.
(Varberg et al. 2007)
Turunan Berarah
Definisi 2.19
Untuk tiap vektor u, misalkan
jika limit ini ada, disebut turunan berarah f di p pada arah u
7
Untuk menghitung turunan berarah dari suatu fungsi, biasanya digunakan
teorema berikut:
Teorema 2.1
Misalkan f terdiferensialkan di p, maka f mempunyai turunan berarah di p
dalam arah vektor satuan u = (a, b) dan
yaitu
(Varberg et al. 2007)
Vektor Gradien dan Matriks Hesse
Definisi 2.20 (Vektor Gradien)
Untuk fungsi
yang terdapat di setiap titik yang merupakan
vektor dari turunan parsial orde pertama disebut vektor gradien yaitu:
(
)
Definisi 2.21 (Matriks Hesse)
Jika fungsi f terdiferensialkan secara kontinu dua kali maka di titik
terdapat matriks turunan parsial kedua yang disebut matriks Hesse:
dimana
(
adalah matriks simetrik
.
)
(Snyman 2005)
8
Minimum Global dan Minimum Lokal
Definisi 2.22
Titik adalah minimum global dari f pada D jika
Titik adalah minimum lokal jika terdapat
sehingga
‖
|‖
dengan ‖ ‖ menyatakan norm Euclid.
Syarat perlu dan syarat cukup untuk minimum lokal
teorema berikut:
dinyatakan dalam
Teorema 2.2 (Syarat perlu)
Misalkan
adalah fungsi yang mempunyai turunan parsial
kedua di . Jika
adalah minimum lokal, maka
, (syarat orde
pertama) dan matriks Hesse
semidefinit positif (syarat orde kedua).
Titik
sehingga
dinamakan titik kritis atau titik stasioner
fungsi f.
Teorema 2.3 (Syarat cukup)
Misalkan
adalah fungsi yang mempunyai turunan parsial
kedua di . Jika
dan matriks Hesse
definit positif, maka
adalah minimum lokal dari .
(Snyman 2005)
Fungsi Kuadratik di
Definisi 2.23
Suatu fungsi dinamakan fungsi kuadratik dalam n variabel jika dapat
dituliskan sebagai
Dengan
Jika
, b vektor real berukuran n, dan A matriks real berukuran
maka
.
(2.26)
Sehingga matriks
adalah matriks simetrik.
(Snyman 2005)
Kedefinitan Matriks
Teorema 2.4
Misalkan matriks berukuran
dan misalkan
adalah minor utama
ke-k dari matriks untuk
maka
1. definit positif jika dan hanya jika
, untuk k = 1,2,…,n,
2. definit negatif jika dan hanya jika
, untuk k = 1,2,…,n.
9
Teorema 2.5
Jika suatu matriks simetrik, maka matriks adalah
1. definit positif jika dan hanya jika semua nilai eigen dari adalah positif,
2. definit negatif jika dan hanya jika semua nilai eigen dari adalah negatif,
3. takdefinit jika dan hanya jika
mempunyai paling sedikit satu nilai eigen
positif dan paling sedikit satu nilai eigen negatif.
(Peressini et al. 1988)
Kekonveksan Fungsi
Definisi 2.24 (Ruas Garis)
dan
Misalkan
adalah
dan
dua titik di
, maka ruas garis yang menghubungkan
|
(2.27)
Definisi 2.25 (Himpunan Konveks)
Himpunan
dikatakan himpunan konveks jika dan hanya jika untuk
setiap dan di C, maka ruas garis yang menghubungkan dan juga terletak di
C.
Definisi 2.26 (Fungsi Konveks)
Misalkan
,
1. fungsi f dikatakan konveks pada himpunan konveks C jika
untuk setiap , di C dan untuk setiap dengan
2. fungsi f dikatakan konveks sempurna pada himpunan konveks C jika
untuk setiap , di C dengan
dan untuk setiap dengan
Misalkan
mempunyai turunan parsial kedua yang kontinu pada suatu
himpunan C di
. Jika matriks Hesse
dari f adalah definit positif pada C,
maka
adalah fungsi konveks sempurna pada C.
(Snyman 2005)
Tingkat Konvergensi
Defenisi 2.27
Misalkan diberikan barisan iterasi
yang dihasilkan oleh suatu algoritme
konvergen ke pada sejumlah norm yaitu,
‖
‖
Jika terdapat bilangan real
terhadap iterasi k, sehingga
dan
‖
‖
bilangan konstan positif yang bebas
‖
‖
10
maka dapat dikatakan
memiliki -order tingkat konvergensi yang dapat
dibagi menjadi tiga bagian:
1. jika
dan
maka barisan
konvergen Q-Linear
2. jika
dan
atau,
dan
maka barisan
konvergen Q-Superlinear
3. jika
maka barisan
konvergen Q-Kuadrat
(Sun dan Yuan 2006)
Deret Taylor
Definisi 2.28
Deret Taylor dari fungsi real
yang terturunkan untuk semua
tingkatan disekitar titik
dapat ditulis sebagai berikut:
dimana
adalah gradien
pada
dan
adalah matriks Hessian.
(Varberg et al. 2007)
Ketaksamaan Kantorovich
Teorema 2.6
Diberikan
matriks simetrik
. Maka untuk setiap
(
)(
definit positif dengan nilai eigen
berlaku Ketaksamaan:
)
(Sun dan Yuan 2006)
Iterasi dan Running Time
Definisi 2.29 (Iterasi)
Iterasi adalah sifat tertentu dari algoritme atau program komputer dimana
suatu urutan atau lebih dari langkah algoritmik yang dilakukan pada loop
program. Iterasi merupakan proses yang dilakukan secara berulang dalam
menyelesaikan permasalahan matematik.
(Chapman 2008)
Definisi 2.30 (Running Time)
Running time dari suatu algoritme didefenisikan sebagai ukuran operasi
primitif atau tahapan proses yang dieksekusi.
(Cormen et al. 2001)
3 METODE PENELITIAN
Penelitian ini disusun melalui tiga tahap, pertama dilakukan telaah pustaka
(buku dan jurnal terkait) mengenai metode steepest descent. Pada tahap pertama
ini akan merekonstruksi empat metode gradien steepest descent yaitu metode
steepest descent klasik, metode Barzilai-Borwein, metode Alternatif Minimisasi
dan metode Yuan. Selanjutnya pada tahap kedua, memodifikasi ukuran langkah
pada metode steepest descent dengan ukuran langkah yang baru. Kemudian pada
tahap ketiga, mengimplementasikan metode kedalam bahasa pemrograman
dengan menggunakan perangkat lunak. Setelah itu, dilakukan pengujian untuk
kasus fungsi kuadratik yang dibangkitkan secara acak. Rata-rata dari hasil
pengujian akan dibandingkan untuk melihat metode yang terbaik dalam
menemukan solusi nilai minimum dengan iterasi dan running time yang terkecil.
4 HASIL DAN PEMBAHASAN
Metode Steepest Descent
Seperti yang telah dijelaskan dalam pendahuluan bahwa metode steepest
descent adalah metode gradien sederhana untuk pengoptimuman nirkendala.
Metode ini digunakan untuk meminimumkan fungsi terdiferensialkan beberapa
variabel yang menggunakan vektor gradien
(turunan parsial orde pertama
dari fungsi f ) untuk menentukan arah pencarian disetiap iterasi. Metode ini
diperkenalkan pertama kali oleh Cauchy pada tahun 1847 dengan bentuk
permasalah pengoptimuman:
dimana
adalah fungsi terdiferensialkan secara kontinu di
. Secara umum
dapat berupa fungsi nonlinear.
Metode steepest descent merupakan metode iteratif untuk memperoleh
solusi pendekatan dari problem awal. Dalam pembahasan metode iteratif ini,
vektor
yang diperoleh pada iterasi ke-k dinyatakan dengan
. Misalkan
.
diberikan suatu titik awal
kemudian akan dicari , sehingga
Pergerakan
pada setiap iterasi haruslah memenuhi
(4.2)
Misalkan f adalah fungsi yang terdefinisi di
yang mempunyai turunan
parsial pertama yang kontinu. Arah descent ditentukan dengan menggunakan
turunan berarah di
. Misalkan
dan
. Dengan
menggunakan aturan rantai diperoleh
(4.3)
sehingga
(4.4)
12
menyatakan laju perubahan
turunan berarah dari
di
di
pada arah , yang disebut juga dengan
pada arah
(Gambar 1).
xk
dk
Gambar 1 Pencarian arah d gradien terhadap vektor gradien
Perhatikan bahwa
‖
‖
‖‖ ‖
‖
(4.5)
dengan . Karena
maka
dimana adalah sudut antara
‖
‖
‖
‖ ‖
‖
(4.6)
Di titik
dicari vektor satuan
sehingga turunan berarah mempunyai nilai
terkecil relatif terhadap semua kemungkinan vektor satuan
di . Nilai terkecil
‖ pada saat
, yaitu
dari turunan berarah tersebut adalah ‖
dengan
adalah , yang berarti sudut antara
pada saat sudut antara
dengan
adalah 0. Jadi vektor arah
berimpit dengan vektor
. Ini berarti arah sehingga turunan berarah fungsi di
sekecil mungkin
.
adalah
Secara umum metode steepest descent memiliki bentuk sebagai berikut:
(4.7)
atau
(4.8)
adalah vektor gradien dari
di
dan
dimana
dan
> 0 adalah ukuran langkah. Ukuran langkah
dapat diperoleh dengan
pencarian exact line search yaitu:
(4.9)
Jika ingin menemukan nilai minimum dari
dilakukan dengan mencari
sehingga diperoleh
maka dapat
(4.10)
ini berarti gradien dari titik saat ini dan gradien dari titik selanjutnya saling tegak
lurus (ortogonal). Untuk batas keturunan nilai fungsi untuk setiap iterasi dalam
exact line search diberikan oleh,
‖
‖ ‖‖
. Lebih
menunjukkan sudut antara
dan
dimana
jelasnya teori kekonvergenan exact line search dijelaskan pada subbab
selanjutnya.
13
Metode steepest descent selalu konvergen. Artinya, secara teori metode ini
tidak akan berhenti atau akan terus melakukan iterasi sampai titik stasionernya
ditemukan. Adapun algoritme stespest descent dituliskan dalam tahap-tahap
sebagai berikut:
Algoritme 4.1 Steepest Descent
Step 0. Diberikan titik awal
dan batas toleransi
Tetapkan
.
, berhenti. Jika tidak tentukan
Step 1. Tentukan
. Jika ‖ ‖
.
Step 2. Tentukan
yang meminimumkan
Step 3. Hitung
Step 4. Beri nilai
.
, dan pergi ke Step 1.
Pada algoritme metode steepest descent ini memerlukan sembarang nilai
awal atau titik awal . Pemberian nilai awal ini merupakan kriteria dari suatu
metode iteratif. Selanjutntya dalam metode ini membutuhkan batas toleransi ( )
yang digunakan untuk pemberhentian dari proses iteratif. Batas toleransi ini
digunakan untuk membatasi nilai ‖ ‖. Pembatasan ini dilakukan untuk
menentukan tingkat ketelitian dari solusi. Semakin kecil batas toleransi yang
diberikan maka solusi dari permasalahan akan semakin mendekati ke nilai yang
sebenarnya. Pada dasarnya dalam metode steepest descent terdapat beberapa
kriteria untuk pembatasan proses iterasi atau disebut uji konvergensi diantaranya
yaitu norm dari selisih dua nilai terakhir yang disimbolkan dengan ‖
‖. Selain itu dapat juga menggunakan selisih dari dua nilai fungsi terakhir yaitu
|. Untuk kriteria pembatasan proses iterasi ini dapat digunakan
|
secara bersamaan sehingga proses iterasi akan berhenti ketika salah satu kreteria
terpenuhi.
Selanjutnya langkah terpenting dalam metode steepest descent yaitu
menentukan vektor gradien
dan menentukan ukuran langkah
. Vektor
gradien digunakan untuk menentukan arah dimana suatu kurva
pada titik
mengalami penurunan yang tercuram sedangkan ukuran langkah
digunakan
untuk menentukan seberapa besar ukuran atau langkah pada arah penurunan
tercuram tersebut. Sehingga akan didapatkan titik
yang baru. Proses ini akan
terus berlangsung sampai kriteria pemberhentian terpenuhi.
d1 d3 d5
d2 d4
d6
Gambar 2 Ilustrasi steepest descent dalam plot kontur (Snyman 2005).
14
Meskipun titik optimum lokal ditemukan dengan arah yang tercuram
metode steepest descent sering berkinerja buruk mengikuti jalan zig-zag. Hal ini
menyebabkan konvergensi lambat dan menjadi ekstrim ketika masalah dengan
skala yang besar yaitu ketika bentuk kontur yang sangat panjang. Kinerja yang
buruk ini disebabkan oleh fakta bahwa metode steepest descent memberlakukan
secara berturut arah pencarian yang ortogonal (4.10) seperti yang ditunjukkan
pada Gambar 2. Meskipun dari sudut pandang teoritis metode ini dapat terbukti
menjadi konvergen, tetapi dalam prakteknya metode ini tidak dapat secara efektif
konvergen dalam jumlah langkah terbatas. Hal ini tergantung pada titik awal yang
diberikan, bahkan konvergensi buruk ini juga terjadi ketika menerapkan metode
steepest descent walaupun untuk fungsi kuadratik yang definit positif.
Exact Line Search
Line search adalah pencarian satu dimensi yang mengacu pada prosedur
pengoptimuman untuk fungsi dengan variabel tunggal. Line search ini merupakan
dasar dari pengoptimuman multivariabel (4.8) untuk mencari
Nilai
dapat
dicari dengan meminimumkan fungsi tujuan pada arah
dan dapat dituliskan
sebagai berikut:
atau
(4.12)
Line search biasanya dinamakan exact line search karena berdasarkan (4.12)
dapat ditemukan titik minimum yang tepat dan titik stasioner dari fungsi. Untuk
lebih jelasnya akan dibuktikan kekonvergenan dari exact line search.
Teorema 4.1 (Teori Kekonvergenan untuk Exact Line Search)
Misal diberikan
yang merupakan solusi dari (4.12). Dimisalkan pula
‖
‖
, dimana M adalah bilangan positif, maka
Bukti.
Dari ekspansi deret Taylor diperoleh:
‖
dari asumsi ‖
dimisalkan ̅
⁄
‖
‖
‖
, sehingga
‖
‖
‖
‖
̅
(
‖
sehingga dari (4.15) dan (4.11) diperoleh
̅
‖
‖
)
̅
‖
‖
15
‖
‖
‖
‖
‖
(
‖ ‖
)
‖
Teorema 4.2 (Teori Kekonvergenan untuk Exact Line Search)
Misalkan
adalah fungsi kontinu terdiferensialkan pada himpunan
terbuka
, diasumsikan barisan dari (4.12) memenuhi
dan
. Misalkan ̅
merupakan titik akumulasi dari
dan
merupakan indeks dengan
|
̅ . Diasumsikan juga terdapat
. Jika ̅ adalah titik akumulasi dari
sehingga ‖ ‖
maka
̅
̅
(4.16)
Selanjutnya, jika
terdiferensialkan dua kali pada maka
̅
̅ ̅
(4.17)
Bukti
Misalkan
merupakan indeks dengan ̅
. Jika ̅
maka (4.16) memiliki solusi trivial. Jika tidak maka dipertimbangkan dua kasus
berikut.
̅
(i) Terdapat indeks
sehingga
. Karena
.
merupakan ukuran langkah yang tepat, maka
, maka diambil hasil
Karena ‖ ‖ merupakan terbatas seragam dan
limit
̅
̅
̅
. Misalkan
adalah indeks dari
(ii) Untuk
dengan
̅⁄
. Andaikan bahwa (4.16) tidak benar maka
̅
̅
Jadi terdapat lingkungan
̅ dari ̅ dan indeks
sehingga
̅ dan
,
⁄
Misal ̂ adalah bilangan positif terkecil, sehingga untuk
̂ dan
,
̅ . Pilih
̅ ⁄ ̂ , maka dari exact line search
dan ekspansi Taylor diperoleh
̅
∑
∑
∑
16
∑
∑
( )
dimana
. Kontradiksi di atas menunjukkan bahwa (4.16) juga berlaku
untuk kasus (ii).
Untuk pembuktian (4.17) sama halnya dengan pembuktian (4.16) yaitu
secara kontradiksi hanya berbeda pada ekspansi deret Taylor orde kedua dan
⁄
memisalkan ̅
̅ ̅
.
∑
̅
∑
∑
∑
∑ [
( )]
Hal ini kontradiksi dengan (4.17).
Dalam kasus pengoptimuman dengan fungsi kuadratik (2.25) pencarian
dengan exact line search dapat diubah dalam bentuk sederhana. Misalnya secara
umum akan diminimumkan
dengan arah descent .
Karena masalah pengoptimuman berbentuk fungsi kuadratik (2.25) sehingga
fungsi
menjadi
Jika
diminimumkan maka turunan (4.18) ke nol yaitu
,
(4.19)
dari (4.19) diperoleh
berdasarkan (2.26) dan gradien
maka didapatkan
Jadi untuk proses pencarian ukuran langkah
pada metode steepest
descent untuk kasus fungsi kuadratik dapat digunakan rumus (4.20), dimana
adalah matriks simetrik
dan definit positif.
17
Kekonvergenan Metode Steepest Descent
Teorema 4.3 (Konvergensi Global Metode Steepest Descent)
yang
Misalkan
. Untuk setiap titik akumulasi dari barisan iterasi
dihasilkan dari Algoritme 4.1 dengan exact line search adalah titik stasioner.
Bukti
dan
adalah indeks
Misalkan ̅ merupakan titik akumulasi dari
terbatas sedemikian hingga
̅. Tetapkan
. Karena
‖. Karena
maka barisan
|
terbatas seragam dan ‖ ‖ ‖
ini berarti bahwa
̅
.
asumsi Teorema 4.2 terpenuhi, maka ‖
̅ ‖
Teorema 4.4 (Konvergensi Global Metode Steepest Descent)
‖
Misalkan
terdiferensialkan dua kali pada
dan ‖
untuk konstanta positif. Diberikan nilai awal
dan
. Maka untuk barisan
yang dihasilkan dari Algoritme 4.1 terbatas dibanyak iterasi, atau
atau
Bukti
Perhatikan kasus yang tak terbatas, dari Algoritme 4.1 dan Teorema 4.1
diperoleh
sehingga
Dengan
‖
‖
∑
mengambil limit
‖
‖
.
maka
‖
∑‖
dihasilkan
atau
Teorema 4.5 (Laju Konvergensi Dari Metode Steepest Descent Untuk Kasus
Fungsi Kuadratik)
Perhatikan masalah minimasi nirkendala berikut
dimana adalah matriks simetris
dan definit positif. Misalkan
dan
masing-masing adalah nilai eigen terbesar dan terkecil dari . Misalkan
yang dihasilkan oleh
merupakan solusi dari masalah (4.21), maka barisan
metode steepest descent konvergen ke , dengan tingkat konvergen linear dan
berlaku batas-batas berikut:
‖
‖
dimana
⁄
.
‖
‖
‖
‖
‖
‖
(
√
)
√
(
)
18
Bukti
Diketahui bentuk metode steepest descent (4.7) yaitu
Karena masalah pengoptimuman (4.21) berbentuk kuadratik maka
dituliskan dalam bentuk
dengan
dapat
, sehingga
(
)
(
)
(
(
(
)(
)
(
)
)
)
Dengan menggunakan ketaksamaan Kantorovich (2.33) maka diperoleh
[
[
(
(
)(
)
]
)
(
]
)
terbukti untuk (4.22).
Selanjutnya akan dibuktikan untuk (4.23) dan (4.24). Misalkan
. Perhatikan bahwa merupakan matriks simetrik dan definit positif,
sehingga
(4.26)
jika
maka
‖
‖
(4.27)
dari (4.26) diperoleh
‖
‖
‖
‖
(4.28)
sehingga dari (4.25), (4.27) dan (4.28) diperoleh
‖
‖
‖
‖
‖
‖
‖
‖
(
)
terbukti untuk (4.23) dan (4.24).
Teorema diatas berlaku juga untuk fungsi kuadratik dengan bentuk
dimana
adalah matriks simetris
definit positif dan
.
19
Metode Barzilai dan Borwein
Metode Barzilai dan Borwein atau disebut metode BB merupakan metode
pengembangan dari metode steepest descent dengan mengganti ukuran langkah
. Ide utama dari pendekatan metode BB adalah menggunakan informasi dalam
iterasi sebelumnya untuk menentukan ukuran langkah dalam iterasi selanjutnya.
Ukuran langkah metode BB diturunkan dari dua titik pendekatan ke garis potong
persamaan yang didasari oleh metode Quasi-Newton. Adapun metode QuasiNewton yaitu sebagai berikut:
(4.30)
dimana
dan adalah matriks identitas.
Misalnya diberikan ekspansi deret Taylor (2.32) dari fungsi real
untuk pendekatan kuadratik yang terturunkan untuk semua tingkatan di sekitar
titik
yaitu
dan
dimana
(4.31) diturunkan terhadap maka
. Misalnya
Kemudian dimisalkan
sehingga diperoleh
, jika
dan
(4.32)
atau
(4.33)
Pertama akan dibahas masalah (4.32). Jika masalah (4.32) diselesaikan
dengan menggunakan least-squares (kuadrat terkecil) maka akan diperoleh:
kemudian disederhanakan menjadi
‖
‖
Dari syarat perlu minimum lokal (Teorema 2.2) didapatkan
sehingga
Karena
maka
Jadi telah didapatkan ukuran langkah pertama (4.34) dari metode BB. Untuk
masalah (4.33) akan dicari nilai
‖
‖
dengan cara penyelesaian yang sama pada masalah (4.32) maka diperoleh ukuran
langkah yang kedua
20
Dari penyelesaian (4.32) dan (4.33) telah didapatkan dua ukuran langkah
yang baru yaitu (4.34) dan (4.35). Kedua ukuran langkah ini merupakan ukuran
langkah dari metode Barzilai dan Borwein yang memiliki langkah Q-super linear
konvergensi pada tiga langkah berturut-turut (Dai 2003). Lebih jelasnya algoritme
dari metode Barzilai dan Borwein dituliskan sebagai berikut:
Algoritme 4.2 Barzilai dan Borwein (BB)
Step 0. Diberikan titik awal
dan batas toleransi
.
Tetapkan
.
, berhenti. Jika tidak tentukan
Step 1. Tentukan
. Jika ‖ ‖
.
Step 2. Jika k = 0 maka tentukan
dengan exact line search. Jika tidak
Tentukan
dengan
dimana
Step 3. Hitung
Step 4. Beri nilai
dan
, dan pergi ke Step 1.
Metode Alternatif Minimisasi
Dalam beberapa pengertian, prinsipnya bahwa meminimumkan suatu fungsi
yang kontinu dan terdiferensialkan dua kali (fungsi smooth) adalah setara
‖. Hal ini merupakan ide dasar dari
dengan meminimumkan norm gradien ‖
metode gradien Alternatif Minimisasi (Dai dan Yuan 2003). Metode Alternatif
Minimisasi (AM) adalah modifikasi metode steepest descent dengan ukuran
langkah yang bergantian antara meminimumkan nilai fungsi dan norm gradien
disepanjang garis steepest descent. Lebih tepatnya untuk
dipilih ukuran
langkah sehingga
‖
‖
dan
‖ dan
Dapat dilihat bahwa gradien dari ‖
masing-masing adalah
⁄‖
‖ dan
, sehingga dari (4.36) dan (4.37) diperoleh
(4.38)
dan
(4.39)
Dari hubungan di atas dapat simpulkan bahwa
saling konjugat dengan
,
sedangkan
dan
saling ortogonal. Berdasarkan (4.7) dan
didapatkan
Kemudian dari (4.38) dan (4.39) diperoleh
21
{
Dari ketaksamaan Cauchy dan asumsi bahwa
positif, diperoleh
matriks simetrik definit
Hal ini menunjukkan bahwa ukuran langkah metode AM pada setiap iterasi ganjil
lebih kecil atau sama dengan ukuran langkah dari metode SD, yaitu
(4.41)
Untuk ukuran langkah pada iterasi genap jelas terlihat bahwa
(4.42)
Dari hubungan (4.41) dan (4.42) menunjukkan bahwa metode AM melakukan
langkah SD penuh setelah langkah SD yang diperpendek. Sebagai contoh
diilustrasikan dalam Gambar 3 dengan persamaan
Dari Gambar 3 dapat dilihat
dan
merupakan iterasi yang
dihasilkan oleh metode SD yang dimulai dari titik
, sedangkan
dan
merupakan iterasi dari metode AM. Dapat dilihat bahwa
yang berarti bahwa metode AM adalah monoton. Terlihat
dari Gambar 3 bahwa
tetapi
. Meskipun
tidak selalu berlaku untuk kasus fungsi konveks kuadratik.
��
��
��
��
Gambar 3 Ilustrasi perbandingan metode Alternatif Minimisasi
dan metode steepest descent
22
Algoritme 4.3 Alternatif Minimisasi (AM)
Step 0. Diberikan titik awal
Tetapkan
.
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Jika k ganjil maka tentukan
dan batas toleransi
.
, berhenti.
jika tidak tentukan
Step 3. Hitung
Step 4. Beri nilai
, dan pergi ke Step 1.
Metode Yuan
Metode Yuan (Yuan 2006) menggunakan ukuran langkah yang bergantian
seperti yang dilakukan pada metode AM. Akan tetapi metode Yuan menggunakan
ukuran langkah yang baru. Untuk analisis pada metode Yuan, diasumsikan bahwa
fungsi objektif adalah sebagai berikut:
dimana
dan
simetris dan definit positif. Metode baru yang
digunakan akan memberikan nilai minimum dari
dengan melakukan iterasi.
Dapat dilihat bahwa pencarian exact line harus dilakukan pada iterasi terakhir
sebelum algoritme berhasil menemukan solusinya. Diasumsikan bahwa digunakan
pencarian exact line pada iterasi pertama untuk mendapatkan keberuntungan
apabila ada kasus dimana algoritme dapat menemukan solusi pada iterasi pertama.
Oleh karena itu, dibuatlah algoritme sebagai berikut:
dimana
dan
didapat dari pencarian exact line dan
adalah solusi. Perlu
dicari formula untuk
sehingga
akan menjadi nilai minimum dari fungsi
objektif.
Metode steepest descent adalah invarian dengan transformasi ortogonal.
Untuk mempermudah analisis, dipelajari kasus dimana dan
adalah dua buah
sumbu. Sesuai dengan pencarian exact line pada iterasi pertama, gradien dan
adalah ortogonal. Oleh karena itu untuk semua vektor dapat dituliskan sebagai
kombinasi linear dari dan . Misalkan diberikan fungsi:
‖
‖
‖
‖
(‖ ‖)
⁄‖ ‖
⁄‖ ‖‖ ‖
⁄‖ ‖‖ ‖
⁄‖ ‖
23
Berdasarkan pencarian exact line (4.20) pada iterasi pertama dan kedua, diperoleh
‖ ‖
‖ ‖
‖ ‖
,
dan
sehingga
‖
‖
‖
(
(‖ ‖)
‖
‖
⁄
‖⁄
‖
‖
‖
‖
‖
‖⁄
⁄
‖
‖
)
Dari persamaan di atas, dapat diketahui nilai minimum dari fungsi objektifnya
dengan ⁄
dan ⁄
, sehingga diperoleh masing-masing:
dan
‖
‖
‖
‖
‖
‖
(4.43)
‖
‖‖
‖
(
‖
‖
)
‖
Jika dilakukan eliminasi terhadap (4.43) dan (4.44) diperoleh
‖
Untuk mendapatkan
gradien
‖ ‖‖ ‖
‖ ⁄
‖ ‖ ⁄
‖
Disederhanakan menjadi
‖
‖
‖‖
‖
‖
‖
sejajar terhadap vektor residual
(
dan
(‖
‖)
(
‖
⁄
‖⁄
(4.44)
‖ ‖ ‖ ‖
‖ ⁄
‖ ‖ ⁄
‖
dan
‖
‖
‖
‖
‖
‖
‖
‖
‖
, perlu diketahui bahwa arah
. Untuk itu, diperlukan dua arah
‖)
‖⁄
⁄
‖
‖
)(
‖
‖)
‖
‖
yang merupakan dua arah yang sejajar. Dua arah tersebut masing-masing sejajar
terhadap
‖
dan
‖
Diasumsikan bahwa
‖
‖
‖
‖ ‖
‖
‖
‖
‖ ‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
‖
24
untuk
‖
‖
. Berdasarkan baris pertama persamaan (4.45) didapatkan
. Kemudian nilai λ tersebut disubtitusikan ke baris kedua pada
persamaan (4.45) sehingga diperoleh
‖
Persamaan ini ekuivalen dengan
‖
Karena
‖
‖ ‖
‖
‖ ‖
)
(
definit positif, diketahui bahwa
‖
‖
‖ ‖
Dari persamaan (4.46) diperoleh dua solusi positif untuk
⁄
⁄
√ ⁄
√ ⁄
⁄
‖
yaitu :
⁄
Dari dua solusi tersebut dipilih nilai yang lebih kecil dan dapat dituliskan sebagai
berikut:
⁄
‖ ⁄‖ ‖
⁄
dengan
.
inilah yang disebut ukuran langkah baru dan
kemudian akan diaplikasikan ke dalam metode hasil modifikasi steepest descent.
Untuk fungsi konveks kuadratik di n ( > 2) dimensi, berdasarkan (4.47) dapat
dituliskan
√ ⁄
⁄
Secara umum ukuran langkah
‖
‖ ⁄‖
‖
⁄
⁄
dari metode Yuan adalah
Algoritme 4.4 Yuan
Step 0. Diberikan titik awal
dan batas toleransi
, berhenti. Tetapkan
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Tentukan
. Kemudian hitung
Step 3. Jika ‖ ‖
Step 4. Tentukan
√ ⁄
, berhenti
dan
Hitung
Step 5. Jika ‖
Step 6. Beri nilai
‖
⁄
.
.
. Tentukan
‖
‖ ⁄‖
, berhenti
, dan pergi ke Step 2.
‖
⁄
⁄
25
Modifikasi Metode Steepest Descent dengan Ukuran Langkah Baru
Telah dibahas pada sub-bab sebelumnya bahwa metode gradien Yuan
menggunakan ukuran langkah dengan exact line search pada iterasi ganjil dan
kemudian menggunakan ukuran langkah (4.48) pada iterasi genap yang secara
umum dituliskan seperti pada (4.49). Berdasarkan metode Yuan ini maka akan
dilakukan modifikasi ukuran langkah dengan dua ukuran langkah yang baru.
Untuk ukuran langkah yang pertama akan dibentuk suatu algoritme dengan ide
langkah sebagai berikut:
(4.50)
dimana
dan
merupakan ukuran langkah dengan proses pencarian
menggunakan exact line search, sedangkan untuk
dan
menggunakan
ukuran langkah Yuan (4.48). Algoritme (4.50) ini merupakan bentuk awal dari
proses iterasi, sehingga untuk proses iterasi (4.50) selanjutnya akan terus berlanjut
sampai solusi nilai ditemukan. Secara umum ukuran langkah
dari bentuk
(4.50) dapat dituliskan sebagai berikut:
Algoritme 4.5 Ukuran Langkah Baru (a)
Step 0. Diberikan titik awal
dan batas toleransi
Tetapkan
.
, berhenti.
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Jika mod(k,4) = 0 atau 1 maka tentukan
jika tidak tentukan
Step 3. Hitung
Step 4. Beri nilai
√ ⁄
.
dan
⁄
‖
‖ ⁄‖
, dan pergi ke Step 1.
‖
⁄
⁄
Untuk ukuran langkah baru yang kedua dapat dibuat algoritme dengan ide
langkah sebagai berikut:
(4.52)
dimana
dan
merupakan ukuran langkah dengan proses pencarian
menggunakan exact line search, sedangkan untuk
dan
menggunakan
ukuran langkah Yuan. Sama halnya proses iterasi pada (4.50) proses iterasi pada
26
(4.52) pula akan terus berlanjut sampai solusi nilai ditemukan. Secara umum
ukuran langkah
dari bentuk (4.52) dapat dituliskan sebagai berikut:
Algoritme 4.6 Ukuran Langkah Baru (b)
Step 0. Diberikan titik awal
dan batas toleransi
Tetapkan
.
, berhenti.
Step 1. Tentukan
dan . Jika ‖ ‖
Step 2. Jika mod(k,4) = 1 atau 2 maka tentukan
dan
Jika tidak tentukan
Step 3. Hitung
Step 4. Beri nilai
√ ⁄
.
⁄
‖
‖ ⁄‖
, dan pergi ke Step 1.
‖
⁄
⁄
Hasil Numerik
Pada sub-bab ini dilakukan perbandingan hasil numerik dari setiap metode
gradien yang telah dijelaskan pada sub-bab sebelumnya, yaitu SD, BB, AM,
Yuan, Algoritme 4.5 dan Algoritme 4.6. Sintaks dari setiap metode dapat dilihat
pada Lampiran 1. Ukuran langkah untuk metode SD menggunakan (4.20) yang
merupakan penyederhanaan dari exact line search. Untuk metode BB dibagi
menjadi dua bagian, yaitu BB1 menggunakan ukuran langkah (4.34) dan BB2
menggunakan ukuran langkah (4.35). Perbandingan dilakukan untuk kasus fungsi
nonlinear dengan bentuk kuadratik. Fungsi kuadratik yang digunakan dalam
penelitian ini dibangkitkan secara acak dalam bentuk
menyatakan dimensi dari fungsi kuadratik dengan
merupakaan bilangan acak integer pada
. vektor
interval
. Selanjutnya
dan
merupakan kondisi dari
matriks Hesse dari fungsi. Kemudian
adalah bilangan acak
. Untuk semua dimensi dan
diberikan titik awal
integer pada interval
vektor nol
dan kriteria penghentian adalah ‖ ‖
. Percobaan
dilakukan sebanyak 5 kali untuk setiap dimensi dan setiap
dari setiap metode.
Sehingga percobaan yang dilakukan untuk satu dimensi sebanyak 105 kali dan
total percobaan untuk semua dimensi sebanyak 1260 kali (Lampiran 2). Rata-rata
jumlah iterasi dan running time dari percobaan disajikan pada tabel.
27
Tabel 1 Rata-rata jumlah iterasi dari metode steepest descent
n
2
3
10
20
30
40
50
60
70
80
90
100
λn
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
10
100
1000
SD
15.8
17.6
18.0
58.0
446.0
**
71.2
572.2
**
69.8
611.8
**
74.4
618.0
**
71.0
619.8
**
70.4
568.4
**
73.0
541.8
**
72.0
588.3
**
73.4
597.8
*