Pengembangan Pencarian Garis (Line Search) Untuk Metode Subgradien
PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METODE SUBGRADIEN
TESIS
Oleh MEILINDA SIAHAAN
097021076/MT
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2012
Universitas Sumatera Utara
PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METODE SUBGRADIEN
TESIS
Diajukan Sebagai Salah Satu Syarat untuk Memperoleh Gelar Magister Sains dalam
Program Studi Magister Matematika pada Fakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Sumatera Utara
Oleh MEILINDA SIAHAAN
097021076/MT
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2012
Universitas Sumatera Utara
Judul Tesis
Nama Mahasiswa Nomor Pokok Program Studi
: PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METODE SUBGRADIEN
: Meilinda Siahaan : 097021076 : Matematika
Menyetujui, Komisi Pembimbing
(Prof. Dr. Tulus, M.Si) Ketua
Ketua Program Studi
(Dr. Sutarman, M.Sc) Anggota
Dekan Fakultas MIPA
(Prof. Dr. Herman Mawengkang)
(Dr. Sutarman, M.Sc)
Tanggal lulus: 19 Januari 2012
Universitas Sumatera Utara
Telah diuji pada Tanggal 19 Januari 2012
PANITIA PENGUJI TESIS Ketua : Prof. Dr. Tulus, M.Si Anggota : 1. Dr. Sutarman, M.Sc
2. Prof. Dr. Herman Mawengkang 3. Drs. Sawaluddin, M.IT
Universitas Sumatera Utara
ABSTRAK
Optimisasi merupakan masalah memaksimalkan atau meminimalkan suatu fungsi tertentu dengan kendala atau tanpa kendala. Metode subgradien adalah algoritma yang sederhana untuk meminimasi fungsi konveks non-diferensial. Tahapan dalam metode ini adalah menentukan step-size (ukuran langkah) dan steplength (panjang langkah) yaitu pemilihan step-size dan step-length yang tepat akan memberikan solusi yang lebih efisien. Salah satu kekurangan dari metode subgradien adalah proses yang tergolong lambat dalam menentukan urutan steplength untuk memperbaharui iterasi secara berturut-turut. Disini akan dibahas tentang pengembangan algoritma pemrograman nonlinier untuk permasalahanpermasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier.
Kata kunci: Metode subgradien, Relaksasi lagrange, Fungsi tak mulus, Optimisasi non-diferensial
i
Universitas Sumatera Utara
ABSTRACT
Optimization is a problem to maximize or minimize a certain function with constraints or without constraints. The subgradient method is a simple algorithm for minimizing a nondifferentiable convex. Steps in this method are to determine step-size and step-length which the proper selection of step-size and step-length will provide more efficient solutions. One of the main drawbacks of the subgradient method is the process far slower to determine the sequence of step-lengths to update successive iterates. Here will be discussed about the development of algorithms for nonlinear programming problems are classified by the set of constraints linear scalar and rank significantly in the nonlinear objective function. Keyword: Subgradient method, Lagrange relaxation, Nonsmooth function, Non-
differentiable optimization
ii
Universitas Sumatera Utara
KATA PENGANTAR
Dengan segala kerendahan hati dan penuh sukacita, penulis mengucapkan puji syukur ke hadirat Tuhan Yang Maha Kuasa atas segala anugrah dan berkat-Nya yang telah diberikan, sehingga penulis dapat menyelesaikan tesis dengan judul: PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METODE SUBGRADIEN. Tesis ini merupakan salah satu syarat untuk menyelesaikan studi pada Program Studi Magister Matematika Universitas Sumatera Utara.
Pada kesempatan ini, penulis menyampaikan ucapan terima kasih dan penghargaan yang sebesar-besarnya kepada:
Prof. Dr. dr. Syahril Pasaribu, DTM&H, MSc(CTM). Sp.A(K) selaku Rektor Universitas Sumatera Utara.
Dr. Sutarman, M.Sc selaku Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sumatera Utara yang telah memberikan kesempatan kepada penulis untuk mengikuti Program Studi Magister Matematika di Universitas Sumatera Utara serta selaku Pembimbing Kedua yang juga telah banyak memberikan bimbingan kepada penulis dalam penulisan tesis ini.
Prof. Dr. Herman Mawengkang Ketua Program Studi Magister Matematika pada Fakultas Matematika Dan Ilmu Pengetahuan Alam Universitas Sumatera Utara dan juga selaku komisi pembanding tesis ini, yang telah dengan penuh kesabaran memotivasi dan membimbing penulis hingga selesainya tesis ini.
Dr. Saib Suwilo, M.Sc selaku Sekretaris Program Studi Magister Matematika pada Fakultas Matematika Dan Ilmu Pengetahuan Alam Universitas Sumatera Utara yang telah banyak memberikan motivasi belajar selama masa perkuliahan.
Prof. Dr. Tulus, M.Si selaku Pembimbing Utama yang telah banyak memberikan bimbingan dan arahan serta motivasi kepada penulis dalam penulisan tesis ini.
iii
Universitas Sumatera Utara
Drs. Sawaluddin, M.IT selaku anggota komisi pembanding yang telah memberikan masukan dalam perbaikan dan kesempurnaan tesis ini.
Seluruh Staf Pengajar pada Program Studi Magister Matematika Universitas Sumatera Utara yang telah banyak memberikan ilmu pengetahuan selama masa perkuliahan.
Saudari Misiani, S.Si selaku Staf Administrasi Program Studi Magister Matematika Universitas Sumatera Utara yang telah banyak memberikan pelayanan yang baik kepada penulis selama mengikuti perkuliahan.
Seluruh rekan-rekan Mahasiswa angkatan 2009/2010 pada Program Studi Magister Matematika Universitas Sumatera Utara yang telah memberikan bantuan moril dan dorongan kepada penulis.
Secara khusus penulis menyampaikan terimakasih dan sayang yang mendalam kepada orang tua penulis, Ayahanda Agustinus Siahaan dan Ibunda Lus Editha Pardede, serta untuk abang, kakak dan adik-adik tersayang, Johan F. Siahaan, Netty K. Siahaan, Febriandi Siahaan dan Hendra P. Siahaan yang senantiasa memberikan dukungan dan mendoakan keberhasilan penulis dalam menyelesaikan pendidikan ini.
Penulis juga mengucapkan terimakasih kepada Trisnawati Sitompul dan Grup Golden Generation serta seluruh pihak yang tidak dapat penulis sebutkan satu persatu, penulis berterimakasih atas semua doa, semangat, dan bantuan yang diberikan, semoga Tuhan Yang Maha Kuasa membalaskan segala kebaikan yang telah diberikan, Amin. Penulis menyadari tesis ini masih jauh dari sempurna, namun demikian penulis berharapan semoga tesis ini bermanfaat bagi pembaca dan pihak-pihak yang memerlukannya. Sekian dan terimakasih.
Medan, 19 Januari 2012 Penulis,
Meilinda Siahaan
iv
Universitas Sumatera Utara
RIWAYAT HIDUP
Meilinda Siahaan dilahirkan di Pematangsiantar pada tanggal 20 Mei 1987 dari pasangan Bapak Agustinus Siahaan dan Ibu Lus Editha Pardede dan merupakan anak ke tiga dari lima bersaudara. Penulis menamatkan pendidikan Sekolah Dasar (SD) Swasta RK No.4 Pematangsiantar tahun 1999, Sekolah Menengah Pertama (SMP) Swasta Cinta Rakyat 2 Pematangsiantar tahun 2002, Sekolah Menengah Atas (SMA) Negeri 4 Pematangsiantar tahun 2005. Pada tahun 2005 memasuki Perguruan Tinggi Universitas Sumatera Utara, Fakultas Matematika dan Ilmu Pengetahuan Alam, Program Studi Matematika pada Jenjang Strata-1 dan lulus tahun 2009. Kemudian pada tahun 2010 penulis melanjutkan pendidikan pada Program Studi Magister Matematika Universitas Sumatera Utara.
v
Universitas Sumatera Utara
DAFTAR ISI
ABSTRAK ABSTRACT KATA PENGANTAR RIWAYAT HIDUP DAFTAR ISI BAB 1 PENDAHULUAN
1.1 Latar Belakang 1.2 Perumusan Masalah 1.3 Tujuan Penelitian 1.4 Manfaat Penelitian 1.5 Metode Penelitian BAB 2 KAJIAN PUSTAKA
BAB 3 LANDASAN TEORI 3.1 Fungsi Kontinu 3.2 Fungsi Tak Mulus 3.3 Derivatif Fungsi Tak Mulus 3.4 Pengertian Subgradien 3.5 Metode Subgradien 3.5.1 Aturan Dasar 3.5.2 Aturan Step-Size 3.5.3 Hasil Konvergen
vi
Halaman i ii
iii v vi 1 1 2 2 2 2 4
7 7 7 8 9 10 11 11 12
Universitas Sumatera Utara
3.5.4 Algoritma Metode Subgradien
BAB 4 PEMBAHASAN
4.1 Metode Dasar 4.1.1 Solusi Basic; Penyesuaian Bentuk Dasar 4.1.2 Variabel Superbasic 4.1.3 Metode Derivatif
4.2 Rangkuman 4.3 Implementasi
4.3.1 Ringkasan Prosedur 4.3.2 Proses Tiap Interasi
BAB 5 KESIMPULAN
5.1 Kesimpulan DAFTAR PUSTAKA
13
14
15 15 16 18 20 22 22 25
26
26 27
vii
Universitas Sumatera Utara
ABSTRAK
Optimisasi merupakan masalah memaksimalkan atau meminimalkan suatu fungsi tertentu dengan kendala atau tanpa kendala. Metode subgradien adalah algoritma yang sederhana untuk meminimasi fungsi konveks non-diferensial. Tahapan dalam metode ini adalah menentukan step-size (ukuran langkah) dan steplength (panjang langkah) yaitu pemilihan step-size dan step-length yang tepat akan memberikan solusi yang lebih efisien. Salah satu kekurangan dari metode subgradien adalah proses yang tergolong lambat dalam menentukan urutan steplength untuk memperbaharui iterasi secara berturut-turut. Disini akan dibahas tentang pengembangan algoritma pemrograman nonlinier untuk permasalahanpermasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier.
Kata kunci: Metode subgradien, Relaksasi lagrange, Fungsi tak mulus, Optimisasi non-diferensial
i
Universitas Sumatera Utara
ABSTRACT
Optimization is a problem to maximize or minimize a certain function with constraints or without constraints. The subgradient method is a simple algorithm for minimizing a nondifferentiable convex. Steps in this method are to determine step-size and step-length which the proper selection of step-size and step-length will provide more efficient solutions. One of the main drawbacks of the subgradient method is the process far slower to determine the sequence of step-lengths to update successive iterates. Here will be discussed about the development of algorithms for nonlinear programming problems are classified by the set of constraints linear scalar and rank significantly in the nonlinear objective function. Keyword: Subgradient method, Lagrange relaxation, Nonsmooth function, Non-
differentiable optimization
ii
Universitas Sumatera Utara
BAB 1 PENDAHULUAN
1.1 Latar Belakang
Dalam masalah optimisasi, strategi pencarian garis (line search) adalah salah satu pembuktian dasar iteratif untuk menemukan lokal minimum x∗ dari fungsi objektif f : Rn → R. Pembuktian pencarian garis (line search) yaitu menemukan arah dari fungsi objektif f yang akan dikurangi dan menghitung ukuran langkah yang akan menentukan seberapa jauh x harus bergerak dari arah tersebut. Untuk menentukan arah yang dicari, ada beberapa metode yang sudah ditemukan, seperti metode Newton, metode Cutting Plane, metode Interior-Point, metode Gradien dan beberapa metode lainnya. Metode gradien adalah salah satu metode yang mampu menyelesaikan masalah optimisasi nonlinier. Pada perkembangan selanjutnya terdapat metode subgradien yang merupakan pengembangan dari metode gradien itu sendiri. (Luenberger, 1984)
Metode subgradien merupakan metode yang digunakan untuk memecahkan masalah optimisasi fungsi konveks non-diferensial. Metode ini pertama sekali dikembangkan oleh Shor di Uni Soviet pada tahun 1970. Metode ini mirip seperti metode gradien biasa pada fungsi diferensial, tetapi memiliki beberapa pengecualian khusus. Seperti contoh, metode subgradien menggunakan beberapa langkah yang dapat diselesaikan dengan cepat, daripada perhitungan aproksimasi pencarian garis pada metode gradien. (Boyd dan Mutapcic, 2007)
Metode subgradien ini lebih sederhana dan dapat diaplikasikan untuk masalah yang lebih bervariasi dibandingkan dengan metode Newton dan metode interior-point. Metode ini juga mampu mengatasi masalah dengan adanya kendala. Tidak seperti metode gradien, metode subgradien ini bukan merupakan metode descent yang nilai fungsinya dapat bertambah. Memori yang digunakan pada metode subgradien juga lebih kecil daripada metode Newton dan metode interior-
1
Universitas Sumatera Utara
2 point sehingga bisa digunakan untuk menyelesaikan masalah yang lebih rumit lagi. Untuk mengembangkan algoritma terdistribusi yang sederhana dilakukan dengan menggabungkan metode subgradien dengan teknik dekomposisi primal maupun dual. (Beltran dan Heredia, 2005)
1.2 Perumusan Masalah Salah satu kelemahan metode subgradien dasar adalah proses yang dilakukan untuk menentukan urutan step-length (jarak yang dilalui sepanjang waktu) dalam memperbaharui iterasi secara berturut-turut yang tergolong lama. Oleh sebab itu dilakukanlah pengembangan metode ini untuk memperoleh hasil yang lebih baik.
1.3 Tujuan Penelitian Adapun yang menjadi tujuan dari penelitian ini adalah melakukan pengembangan tentang pencarian garis (search line) dengan metode subgradien untuk memperoleh hasil yang lebih baik yang digunakan untuk menyelesaikan masalah optimisasi non-diferensial seperti masalah dual Lagrange.
1.4 Manfaat Penelitian Penelitian ini bermanfaat untuk memperkaya literatur tentang pencarian garis (search line) dengan metode subgradien.
1.5 Metode Penelitian Penelitian ini bersifat literatur dengan mengumpulkan informasi dari beberapa jurnal. Langkah-langkah yang dilakukan adalah sebagai berikut:
Universitas Sumatera Utara
3 1. Menjelaskan dengan singkat pengertian pencarian garis dan metode subgra-
dien. 2. Menganalisa step-length yang efektif untuk metode subgradien. 3. Membuat beberapa contoh untuk membandingkan efisiensi dari metode sub-
gradien dasar dengan metode baru. 4. Kesimpulan.
Universitas Sumatera Utara
BAB 2 KAJIAN PUSTAKA
Optimisasi ialah suatu proses untuk mencapai hasil yang ideal atau optimal (nilai efektif yang dapat dicapai). Dalam disiplin matematika optimisasi merujuk pada studi permasalahan yang mencoba untuk mencari nilai minimal atau maximal dari suatu fungsi riil. Konsep optimisasi pada saat ini sudah menjadi dasar dari prinsip analsis masalah kompleks. (Luenberger, 2005)
Bentuk umum dari masalah pemrograman matematika adalah sebagai berikut:
Minimize f(x)
Kendala
hi(x) = 0 gj(x) ≤ 0
x∈S
i = 1, 2, . . . , m j = 1, 2, . . . , r
dimana x adalah p dimensi vektor yang tidak diketahui, h dan g nilai fungsi dari variabel x, dan S adalah himpunan dari subset ruang dimensi p. Fungsi f merupakan fungsi objektif dari permasalahan dan persamaan maupun pertidaksamaan merupakan kendala yang ada.
Ada banyak permasalahan yang dicakup dalam masalah optimisasi, salah satunya adalah strategi pencarian garis (line search). Dalam menemukan solusi dari pencarian garis (line search), sudah banyak metode yang ditemukan. Beberapa diantaranya adalah metode interior-point, metode Newton, metode cuttingplane, dan metode subgradien.
Selama 25 tahun semenjak di perkenalkan oleh Karmarkars, metode interiorpoint telah sukses dikembangkan dalam skala besar masalah pemrograman linier. Tetapi seiring perkembangan, metode ini tidak baik digunakan karena untuk memecahkan masalah yang sangat besar, metode ini membutuhkan memori
4
Universitas Sumatera Utara
5
yang besar sehingga hasil yang diperoleh membutuhkan waktu yang cukup lama. (Mitchell, 2005)
Metode cutting-plane merupakan metode yang digunakan utuk memecahkan masalah optimisasi konveks. Metode ini diperkenalkan oleh Cheney dan Goldstein (1959) dan Kelley (1959) secara terpisah. Metode ini dibuat untuk menemukan nilai minimum dari fungsi konveks f(x). Tetapi pada pemakaiannya, metode ini juga memberikan hasil yang lambat dan tidak stabil terutama pada kasus optimum.
Metode subgradien merupakan pengembangan dari metode gradien. Metode subgradien adalah metode yang mampu menyelesaikan permasalahan dalam optimisasi non-diferensial seperti masalah dual Lagrange. Dalam perkembangan metode subgradien, Beltran dan Heredia (2004) menggabungkan metode cuttingplane dengan metode subgradien untuk memaksimasi fungsi dual dalam masalah multiplier Langrange yang dinamakan metode subgradien radar. Permasalahan yang akan diselesaikan adalah masalah primal (P) yaitu:
Minimize Kendala
f (x) h(x) = 0
x∈D
dimana f (x) : Rn → R, h(x) : Rn → Rm, dan D merupakan himpunan tak kosong dalam Rn.
Sebagaimana biasanya, permasalahan dual (Lagrange) (D) dari (P) adalah sebagai berikut:
max{min f (x) + λ′h(x)}
λ∈Rm x∈D
Hal ini sama dengan fungsi Lagrange L(x, λ) := f(x) + λ′h(x), sehingga persamaannya menjadi:
max{min L(x, λ)}
λ∈Rm x∈D
Untuk lebih mempermudah, defenisikan fungsi dual sebagai berikut:
q(λ) := min{L(x, λ) : x ∈ D}
Universitas Sumatera Utara
6
Sehingga permasalahan diekspresikan menjadi: max q(λ)
λ∈Rm
Metode cutting-plane tidak seperti metode subgradien, metode ini mengambil keuntungan dari informasi awal yang dikembangkan tiap waktu dalam meminimisasi L(x, λ). Sedangkan metode subgradien mengambil keuntungan dari arah subgradien yang dikembangkan tiap waktu dalam meminimasi L(x, λ). Sehingga perpaduan dari kedua metode itu menghasilkan penyelesaian yang lebih baik. Metode sugradien radar ini menggunakan informasi yang sama pada metode cutting-plane tetapi dari cara yang berbeda. Metode subgradien radar ini membagi permasalahan kedalam tiga kasus yaitu step-length radar, sifat positif dan negatif, dan sifat ketidaknegatifan.
Metode subgradien dengan pendekatan proyeksi gradien dipakai oleh Duchi dkk (2008) untuk menyelesaikan persoalan pembelajaran Gaussian Markov Random Fields berdimensi besar. Mereka memperlihatkan bahwa dengan pendekatan proyeksi gradien ini dapat meningkatkan kinerja metode subgradien untuk persoalan berskala besar.
Nesterov (2012) mengajukan metode subgradien yang didasarkan pada pemutakhiran rekursif dari produk matriks/vektor dan nilai fungsi simetris untuk menyelesaikan persoalan optimisasi berskala besar.
Duchi dkk (2011) mengetengahkan metode subgradien dengan memasukkan pengetahuan geometri tentang data observasi dalam iterasi awal untuk membuat pembelajaran lebih informatif berbasis gradien.
Universitas Sumatera Utara
BAB 3 LANDASAN TEORI
Pada bab ini akan dikemukakan beberapa konsep dan teori yang berhubungan dengan permasalahan optimisasi dalam pencarian garis (line search) dengan metode subgradien. Fungsi-fungsi berikut ini merupakan fungsi yang relevansi dengan konsep dalam pencarian garis yakni:
3.1 Fungsi Kontinu
Definisi 3.1.1 Fungsi Kontinu: Misal f adalah fungsi yang didefinisikan pada himpunan D ⊂ Rn. Fungsi f dikatakan kontinu pada x0 ∈ D jika limx→x0 f (x) ada dan
lim f (x) = f (x0)
x→x0
yang untuk selanjutnya f dikatakan kontinu pada himpunan D jika f kontinu pada setiap titik di D. Jika tidak memenuhi persyaratan fungsi kontinu, maka f disebut fungsi diskontinu.
3.2 Fungsi Tak Mulus Suatu fungsi dikatakan mulus jika dapat didiferensialkan dan derivatifnya kontinu. Atau juga ini dapat dikatakan sebagai kemulusan yang pertama. Kemulusan yang kedua berarti derivatif keduanya ada dan kontinu, begitu seterusnya sampai kemulusan tak tehingga selama derivatifnya kontinu untuk semua orde. Dari perspektif tersebut, fungsi tak mulus merupakan gambaran negatif dari fungsi mulus.
7
Universitas Sumatera Utara
8
Fungsi tak mulus merupakan fungsi dengan diskontinu gradien yang dibangun secara bertahap dalam teori dan aplikasi pemrograman matematika. Sejauh ini teori pemrograman matematika mempertimbangkan kenyataan dasar dari analisis konveks untuk klasifikasi fungsi konveks, termasuk salah satunya adalah fungsi tak mulus dimana kegunaannya telah menjadi hal yang biasa dalam penggunaan gradien. (Shor, 1985)
Misalkan k adalah bilangan integer tak negatif. Fungsi f dikatakan kelas Ck jika derivatif f ′, f ′′, , f (k) ada dan kontinu (kekontinuan otomatis berlaku untuk semua derivatif seandainya tidak ada f (k)). Fungsi f dikatakan kelas C∞, atau mulus jika mempunyai derivatif untuk semua orde. Kelas C0 terdiri atas semua fungsi kontinu. Sedangkan kelas C1 terdiri atas semua fungsi diferensial dimana derivatifnya kontinu atau disebut juga kekontinuan. Jadi, fungsi C1 sebenarnya fungsi yang derivatifnya ada dan merupakan kelas C0.
3.3 Derivatif Fungsi Tak Mulus
Persamaan derivatif memiliki peranan yang semakin bertambah penting dalam beberapa aplikasi yakni dalam optimisasi, variasi kalkulus, persamaan diferensial, mekanik, dan teori kontrol. Oleh sebab itu akan diperkenalkan persamaan derivatif dari fungsi tak mulus f(.) pada interval [a, b]. Dalam hal ini menggunakan interval [0, 1]. (kamyad, 2011)
Lemma 3.3.1 Misalkan h(.) ∈ C[0, 1] dan
1 0
η(x)h(x)dx
=
0
untuk
semua
η(.)
∈
C[0, 1]. Diperoleh h(x) = 0 untuk semua x ∈ C[0, 1].
Teorema 3.3.2 Misalkan f (.), g(.) ∈ C[0, 1] dan 01(v′(x)f (x) + v(x)g(x))dx = 0 untuk sembarang v(.) ∈ C1[0, 1], dimana v(0) = v(1) = 0. Maka diperoleh f(.) ∈
C1[0, 1] dan f ′(.) = g(.).
Teorema 3.3.3 Misalkan f (.), g(.) ∈ C[0, 1] dan 01(v′(x)f (x)+vk(x)g(x))dx = 0 dimana vk(.) ∈ V . Maka diperoleh f (.) ∈ C1[0, 1] dan f ′(.) = g(.).
Universitas Sumatera Utara
9
Teorema 3.3.4 Misalkan ε > 0 bilangan yang cukup kecil, f(.) ∈ C1[0, 1] dan
m ∈ N.
Maka
ada
∂
>
0
sedemikian
hingga
untuk
semua
si
∈
(
i−1 m
,
i m
),
i
=
1, 2, . . . , m.
Teorema 3.3.5 Misalkan f (.) ∈ C1[0, 1] dan g∗(.) ∈ C[0, 1] merupakan solusi
optimal dari permasalahan fungsional optimisasi:
Minimize Kendala
J (g(.)) =
n k=1
|
1 0
vk
(x)g(x)dx
−
λk
|
si +δ si−δ
|f
(x)
−
f
(si)
−
(x
−
si)g(si)|dx
≤
εδ
g(.)
∈
C [0,
1],
si
∈
(
i−1 m
,
i m
)
i = 1, 2, . . . , m
Maka f (.) = g∗(.)
Sehingga fungsi tak mulus dapat didefinisikan sebagai berikut.
Definisi 3.3.1 Misalkan f(.) fungsi tak mulus kontinu dari interval [0, 1] dan g∗(.) solusi optimal dari masalah fungsional optimisasi:
Minimize Kendala
J (g(.)) =
n k=1
|
1 0
vk
(x)g(x)dx
−
λk
|
si +δ si−δ
|f
(x)
−
f
(si)
−
(x
−
si)g(si)|dx
≤
εδ
g(.)
∈
C [0,
1],
si
∈
(
i−1 m
,
i m
)
i = 1, 2, . . . , m
dimana vk(.) ∈ V untuk semua k = 1, 2, 3, . . .. Maka derivatif tak mulus f(.) dinyatakan sebagai GFdf (.) dan dituliskan GFdf (.) = g∗(.).
3.4 Pengertian Subgradien Definisi 3.4.1 Subdiferensial dari fungsi konveks f : Rn → R pada x ∈ Rn adalah himpunan ∂cf (x) dari vektor ξ ∈ Rn sehingga
∂cf (x) = {ξ ∈ Rn|f (y) ≥ f (x) + ξT (y − x), ∀y ∈ Rn} Tiap vektor ξ ∈ ∂cf(x) dinamakan subgradien dari f pada x.
Universitas Sumatera Utara
10
Andaikan f : X → R adalah fungsi konveks dimana X ⊆ Rn adalah himpunan konveks. Untuk kasus diferensiabel, f gradien ∇f (x′) ∈ Rn pada x′ ∈ X dimana yang menentukan perkiraan global f adalah f (x) ≥ f (x′) + ∇f (x′)T (x − x′), ∀x ∈ X. Sedangkan untuk kasus non-diferensiabel, f masih dapat membangun perkiraan global f yaitu vektor g ∈ Rn yang merupakan subgradien dari f pada x′ ∈ X jika f (x) ≥ f (x′) + gT (x − x′), ∀x ∈ X.
3.5 Metode Subgradien Metode subgradien adalah sebuah algoritma yang iteratif untuk memecahkan masalah optimisasi fungsi konveks non-diferensial. metode ini pertama sekali diperkenalkan oleh Shor, dkk pada tahun 1960 dan 1970. Metode ini lebih lamban dibandingkan metode Newton pada saat meminimasi dua kali secara kontinu fungsi konveks diferensial. tetapi fungsi Newton gagal dalam menghadapi masalah non-diferensial yang rumit.
Dalam beberapa tahun, metode interior-point disarankan untuk meminimasi masalah konveks. Tetapi untuk meminimasi masalah konveks dengan dimensi yang cukup besar, metode subgradien lebih cocok digunakan karena metode ini membutuhkan penyimpanan yang sedikit.
Metode ini mirip dengan metode gradien biasa untuk fungsi diferensial, tetapi memiliki beberapa pengecualian yaitu:
1. Metode subgradien berlaku untuk non-diferensial f. 2. Step-length tidak dipilih berdasarkan pencarian garis (line search) seperti
pada subgradien biasa. Pada beberapa kasus, step-length dapat lebih cepat diproses. 3. Tidak seperti metode gradien biasa, metode subgradien bukanlah metode descent yaitu nilai fungsinya dapat bertambah.
Universitas Sumatera Utara
11
3.5.1 Aturan Dasar Andaikan f : Rn → R adalah konveks. Untuk meminimasi f, metode subgradien menggunakan iterasi berikut:
x(k+1) = xk − αkg(k) dimana xk adalah iterasi ke k, g(k) adalah subgradien f pada xk, dan ak > 0 adalah step-size ke k. Jadi pada setiap iterasi metode subgradien, akan diambil langkah berdasarkan subgradien negatif.
Diketahui bahwa subgradien f pada x adalah vektor sembarang g yang memenuhi pertidaksamaan f(y) ≥ f(x) + gT (y − x) untuk semua y. Karena f dapat didiferensialkan, pilihan yang mungkin untuk g(k) adalah ∇f (x(k)), dan metode subgradien kemudian direduksi ke metode gradien.
Karena metode subgradien bukan metode descent, sehingga memungkinkan memantau nilai terbaik yang ditemukan sejauh ini yaitu fungsi nilai terkecil. Pada tiap langkah, ditetapkan
fbkest = min{fbke−st1, f (x(k))} dan himpunan i(bkes)t = k jika f (x(k)) = fb(eks)t yaitu jika x(k) adalah nilai terbaik yang ditemukan sejauh ini. Kemudian ada
fb(eks)t = min{f (x(1)), . . . , f (x(k))} dimana fb(eks)t adalah nilai objektif terbaik yang ditemukan pada iterasi k.
3.5.2 Aturan Step-Size Ada banyak aturan step-size yang digunakan metode subgradien. Beberapa diantaranya yaitu:
Universitas Sumatera Utara
12
1. Step-size konstan. αk = α adalah konstan yang positif, independen dari k.
2. Step-length konstan. αk = γ/ g(k) 2 dimana γ > 0. Ini berarti bahwa x(k+1) − x(k) 2 = γ.
3. Square summable but not summmable, yaitu untuk sembarang step-size me-
menuhi
ak ≥ 0,
∞
α2k < ∞,
k=1
∞
αk = ∞
k=1
4. Nonsummable diminishing, yaitu untuk sembarang step-size memenuhi
αk = 0,
lim αk = 0,
k→∞
∞
αk = ∞
k=1
5. Nonsummable diminishing step-lengths, yaitu αk = γk/ g(k) 2 dimana
γk ≥ 0,
lim
k→∞
γk
=
0,
∞
γk = ∞
k=1
3.5.3 Hasil Konvergen
Ada banyak hasil dari konvergen metode subgradien. Untuk step-size konstan
dan step-length konstan, algoritma subgradien dijamin konvergen dalam beberapa
kisaran optimal yaitu
lim
k→0
fb(eks)t
−
f∗
<
ǫ
dimana f ∗ menunjukkan nilai optimal permasalahan, yaitu f ∗ = infx f (x). Bi-
langan ǫ adalah fungsi dari parameter step-size h.
Untuk step-size yang berkurang dan aturan step-length, algoritma dijamin konvergen pada nilai optimal, yaitu f (x(k)) = f ∗. Hal ini luar biasa untuk sebuah algoritma yang sederhana seperti ini yang dapat meminimalkan sembarang fungsi konveks yaitu dapat menghitung subgradien pada setiap titik. Dalam kasus ini, metode subgradien dengan step-size konstan memberikan nilai optimal konvergen asalkan parameter α cukup kecil.
Universitas Sumatera Utara
3.5.4 Algoritma Metode Subgradien
Langkah 1 : Berikan inisial vektor x1. Langkah 2 : Hitung f (xn), dan didapat vektor gn ∈ ∂f (xn). Langkah 3 : Pilih step-size αn > 0. Langkah 4 : Tentukan xn+1 = xn − αngn.
k = k + 1 dan kembali ke langkah 1.
13
Universitas Sumatera Utara
BAB 4 PEMBAHASAN
Tesis ini menjabarkan tentang pengembangan algoritma pemrograman nonlinier untuk permasalahan-permasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier. Telah menjadi pengalaman bahwa banyak permasalahan pemrograman linier yang lebih luas karena diusahakan untuk memperkirakan sejumlah linearisasi, yang mana ini merupakan dasar dari program nonlinier. Hal ini juga tampak bahwa kebanyakan masalah di kehidupan nyata hanya sebagian kecil yang fungsi tujuannya memiliki variabel nonlinier. Karena itu permasalahan ini akan dibuat dalam bentuk umum berikut:
Minimize f (x) = f (xN ) + cT x
(1)
Kendala
Ax = b,
(2)
l≤x≤u
(3)
dimana matriks A berukuran m × n, m ≤ n. x dibagi kedalam bagian linier xL
dan bagian nonlinier xN :
x=
xN xL
Komponen-komponen xN akan disebut Variabel Nonlinier. Selanjutnya A
dan c berlaku untuk semua variabel x. Dalam beberapa kasus, bagian dari cT x
melibatkan xN mungkin termasuk dalam f (xN ); dalam kasus lain, c mungkin nol.
Diasumsikan bahwa fungsi f(xN ) dapat diturunkan secara kontinu dalam wilayah
layak, dengan gradien
∇f (xN ) = g(xN ),
dan diasumsikan bahwa kedua f dan g dapat dihitung dalam batas layak xN .
14
Universitas Sumatera Utara
15
Penelitian ini dilakukan atas dorongan dari beberapa kekurangan dalam algoritma Murtagh dan Sargent (1969, 1973) serta Goldfarb (1969), khususnya ketika diaplikasikan dalam sistem berskala besar. Algoritma yang dihasilkan terkait metode reduced-gradient oleh Wolfe (1962) dan metode variable-reduction oleh McCormick (1970). Hal ini juga menarik banyak metode optimisasi tak berkendala dan yang berkendala linier oleh Gill and Murray (1972, 1974).
Pada dasarnya algoritma merupakan perpanjangan dari metode simpleks (Dantzig, 1963). Untuk menggunakan beberapa terminologi terkait, dapat digambarkan sebagai perluasan yang memungkinkan lebih dari m variabel menjadi basic. Karena berhubungan dekat dengan pemrograman linier (LP), sehingga hal ini dapat dimasukkan dalam banyak implementasi dari LP terbaru. Hasilnya adalah sebuah program komputer yang memiliki banyak kemampuan kode LP yang efisien dan juga mampu menangani istilah nonlinier dengan prosedur quasi-Newton.
Istilah x dan F (x) dalam permasalahan linear dan nonlinear merupakan hal yang penting, sehingga untuk mempermudah, notasi F (x) dan ∇F (x) diubah dalam bentuk sederhana yaitu f(x) dan g(x). Dengan sedikit pengecualian, dapat digunakan huruf besar untuk matriks, huruf kecil untuk vektor dan huruf Yunani untuk skalar. Kuantitas ε > 0 menunjukkan ketelitian floating-point dalam aritmatik.
4.1 Metode Dasar
4.1.1 Solusi Basic; Penyesuaian Bentuk Dasar
Sebelum menuju ke permasalahan nonlinier, perlu diperkenalkan beberapa latar belakang program linier. Terutama persamaan (1)-(3) dengan f(xN ) = 0 merupakan bentuk umum untuk memulai dan menyelesaikan program linier dalam implementasi metode simpleks. A solusi basic yang ditandai dengan memiliki paling banyak m variabel basic yang terletak antara batasan-batasannya, sedangkan n − m variabel nonbasic adalah sama dengan satu batas atau batas lainnya. Sebuah matriks dasar bujur sangkar terhubung B diambil dari kolom matriks
Universitas Sumatera Utara
16
kendala A, dan hasil dari metode simpleks yaitu kolom B akan diganti satu per satu.
Selanjutnya ini diasumsikan dalam bentuk umum A dan x mengandung matriks identitas lengkap dan masing-masing merupakan himpunan slack variabel lengkap. (Persamaan umum dan pertidaksamaan kendala diakomodasi dengan meletakkan batas atas dan batas bawah yang sesuai pada slack.) Ada banyak alasan praktis untuk mempertahankan bentuk umum disini. Secara lengkap akan dibutuhkan banyak penjelasan dalam implementasi, tapi dengan sangat ringkas, faktorisasi segitiga yang jarang dari B dapat dijelaskan dengan lebih mudah jika kolom (bukan baris) dari B diubah. Selanjutnya, sangat mudah untuk mengambil keuntungan dari satuan vektor-vektor yang terkait dengan slack, setiap kali B terfaktorisasi ulang.
4.1.2 Variabel Superbasic
Salah satu kebaikan dari konsep solusi basic adalah penekanan yang diberikan sedemikian pada batas atas dan bawah l ≤ x ≤ u. Hal ini menyesatkan bila menganggap ini sebagai kendala yang jarang, lebih penting lagi jika diperlakukan secara langsung untuk mengeliminasi sebagian besar variabel. Bagaimanapun metode simpleks bebas memusatkan perhatian pada transformasi (faktorisasi) hanya pada B, daripada untuk seluruh A. (Jika B besar dan jarang, ini cukup bermasalah.)
Dengan permasalahan nonlinier, tidak dapat diharapkan titik optimal sebagai solusi basic. Bagaimanapun, jika jumlah variabel nonlinier sedikit, kelihatannya beralasan untuk menduga bahwa solusi optimal akan mendekati basic. Sehingga, sebagai generalisasi sederhana akan diperkenalkan konsep variabel superbasic dan pembagian himpunan kendala dasar pada persamaan (2) sebagai berikut:
Universitas Sumatera Utara
17
Matriks B adalah bujur sangkar dan nonsingular seperti dalam metode simpleks, S adalah matriks m × s dengan 0 ≤ s ≤ n − m, dan N adalah kolom tersisa matriks A. Variabel-variabel terhubung xB, xS, xN berturut-turut disebut basic, superbasic dan nonbasic. Basic dan superbasic merupakan bebas dan bervariasi antara batas-batasnya. Nama ini dipilih untuk memperlihatkan peran superbasic sebagai penggerak, sehingga dapat bergerak kearah manapun (sebaiknya mengubah nilai tujuan), dan basic diharuskan berubah dengan pasti untuk mempertahankan kelayakan sehubungan dengan kendala Ax = b. Sehingga proses ini diharapkan menghasilkan solusi yang lebih mendekati basic yang dikonfirmasi dengan teorema berikut:
Teorema 4.1.1 Andaikan sebuah program nonlinier memiliki t variabel yang terjadi secara nonlinier (baik tujuan maupun kendala). Solusi optimal ada dimana jumlah variabel superbasic s memenuhi s ≤ t.
Pembuktian (berdasarkan Jain, 1976). Andaikan variabel nonlinier tetap pada nilai optimalnya. Permasalahannya sekarang adalah program linier untuk solusi basic ada (s = 0). Hasilnya menimbulkan pertanyaan apakah variabel-variabel nonlinier sekarang dianggap sebagai superbasic dalam masalah sebenarnya. (awalnya s = t, tapi jika salah satu variabel yang secara nyata dalam suatu batasan dapat ditetapkan sebagai nonbasic, maka kemudian s < t.)
Universitas Sumatera Utara
18
4.1.3 Metode Derivatif
Diasumsikan bahwa f(x) dapat dijabarkan dalam deret Taylor dengan aturan sisa kedua:
f (x
+
∆x)
=
f (x)
+
g(x)T ∆x
+
1 2
∆xT
G(x
+
γ∆x)∆x
(5)
dimana 0 ≤ γ ≤ 1, dan G(x + γ∆x) adalah matriks Hessian dari turunan parsial kedua yang dievaluasi pada beberapa titik antara x dan x + ∆x. Selanjutnya G adalah matriks konstan jika f(x) fungsi kuadrat.
Diandaikan ∆x and g(x) sesuai dengan pembagian dari A. Jika f(x) benarbenar fungsi kuadrat, maka didapatkan titik stasioner pada x + ∆x dengan membutuhkan dua sifat dari langkah ∆x:
Sifat 1
BSN 00I
∆xB ∆xS ∆xN
=0
(6)
yaitu sisa langkah pada permukaan diberikan dengan mempertemukan kendalakendala aktif.
Sifat 2
gggNBS
∆xB + G ∆xS
∆xN
=
BT 0 ST 0 NT I
µ λ
(7)
yaitu gradien pada x + ∆x (diberikan pada sisi kiri persamaan (7)) adalah ortogonal ke permukaan dari kendala-kendala aktif dan oleh karena itu dapat ditunjukkan sebagai sebuah kombinasi dari kendala aktif normal.
Untuk fungsi yang lebih luas f(x), langkah ∆x tidak dapat membawa langsung ke titik stasioner, tetapi kita akan menggunakan sifat 1 dan 2 untuk menentukan arah tujuan yang layak.
Universitas Sumatera Utara
19
Dari persamaan (6) diperoleh
∆xN = 0
(8)
dan
dimana
∆xB = −W ∆xS
(9)
W = B−1s.
(10)
Sehingga,
−W ∆x = I ∆xS
0
Persamaan (7) lebih sederhana jika dikali dengan matriks
I 00 −W T I 0
0 0I
(11)
Awalnya persamaan diatas memberi persamaan perkiraan pengali Lagrange dalam kendala umum, yaitu:
−W
BT µ = gB + [ I 0 0 ] G
I 0
∆xS
(12)
Selanjutnya, jika ∆xS = 0(dimana berarti x stasioner) didapat
BT µ = gB
(13)
dalam kasus µ sejalan dengan menilai vektor π dalam metode simpleks. (Mulai kini solusi persamaan (13) dinotasikan dengan π.) Selanjutnya dari persamaan (7) didapat
−W
λ = gN − N T µ + [ 0 0 I ] G
I 0
∆xS
(14)
dan ketika ∆xS = 0, persamaan ini diturunkan menjadi
λ = gN − N T π
(15)
Universitas Sumatera Utara
20
dimana sejalan dengan vektor pengurangan biaya pada pemrograman linier.
Hasil ketiga dari persamaan (7), mengikuti perkalian matriks sebelumnya pada persamaan (11), yang menunjukkan langkah tepat berikut:
−W [ −W T I 0 ] G I ∆xS = −h
0
(16)
dimana
h = [ −W T I 0 ] g = gS − W T gB = gS − ST π
(17)
Persamaan (16) menyatakan bahwa
−W [ −W T I 0 ] G I
0
(18)
dapat dianggap sebagai turunan Hessian dan h = [ −W T I 0 ] g adalah gradien turunan, dari persamaan (16) memberikan sebuah langkah Newton dalam variabel-variabel ∆xS. Selanjutnya h = 0 menjadi kondisi penting untuk titik stasioner pada himpunan kendala aktif, dimana jika turunan Hessian nonsingular, ini menunjukkan bahwa ∆xS = 0.
4.2 Rangkuman
Gill dan Murray (1974) telah menemukan kelas algoritma dimana arah pencariannya sepanjang permukaan kendala aktif yang ditandai sebagai jangkauan matriks Z yang ortogonal terhadap matriks kendala normal. Sehingga, jika Aˆx = ˆb merupakan himpunan dari n − s kendala aktif, Z merupakan matriks n × s sedemikian hingga
AˆZ = 0
(19)
Karakterisasi ini dapat digunakan untuk menggambarkan beberapa algoritma yang dibahas dan dibandingkan oleh Gill dan Murray (1974) serta dalam penelitian Fletcher (1972) dan Sargent (1976).
Universitas Sumatera Utara
21
Dalam notasi Gill dan Murray (1974), langkah-langkah utama yang harus dilakukan pada setiap iterasi adalah sebagai berikut. (Akan dihasilkan turunan layak arah p.)
a) Hitung pengurangan gradien gA = ZT g. b) Bentuk beberapa pendekatan pada pengurangan Hessian, yaitu
GA = XT g. c) Didapatkan solusi perkiraan dari sistem persamaan
ZT GZpA = −ZT g. Dengan menyelesaikan sistem
GApA = −gA. d) Hitung arah pencarian p = ZpA. e) Lakukan pencarian untuk memperoleh pendekatan a∗, dimana
f (x + α∗p) = min f (x + αp)
α, x+αp f easible
(20)
Selain memiliki pangkat kolom penuh, persamaan (19) adalah (secara aljabar) kendala satu-satunya Z sehingga Z dapat memenuhi beberapa kondisi. Z khusus yang sesuai dengan prosedur ditunjukkan dalam formula berikut
−W −b−1S Z= I = I
00
}m }s }n − m − s
(21)
Ini merupakan representasi mudah yang akan mengacu pada penjelasan tujuan bahasan berikutnya, tetapi disini ditekankan bahwa secara komputasi ini bekerja hanya pada S dan faktorisasi (LU) segitiga B. Matriks Z itu sendiri tidak pernah dihitung.
Untuk banyak alasan, Gill dan Murray (1974) menganjurkan Z dengan kolom-kolomnya orthonormal (ZT Z = I). Keuntungan utamanya adalah transformasi Z tidak diperkenankan dalam kondisi masalah turunan (lihat langkah (a)
Universitas Sumatera Utara
22
sampai (d) diatas, dalam persamaan (20)). Pendekatan ini telah diimplementasikan dalam program yang dipaparkan Gill, Murray dan Picken (1976), dimana Z eksplisit dalam matriks penuh. Ekstensi besar kendala linier jarang akan mungkin melalui faktorisasi LDV (Gill, Murray dan Saunders, 1975) dari matriks [ B S ]:
[ B S ] = [ L 0 ] DV dimana L matriks segitiga, D diagonal dan D1/2V adalah orthonormal, dengan L dan V disimpan dalam bentuk produk. Bagaimanapun jika S memiliki lebih dari 1 atau 2 kolom, faktorisasinya akan selalu lebih padat daripada faktorisasi LU dari B. Jadi atas dasar efisiensi, akan dilanjutkan Z dalam persamaan (21). Pada saat bersamaan, (dari hasil yang tak diharapkan B−1) disadari bahwa B harus dalam kondisi yang memungkinkan.
4.3 Implementasi 4.3.1 Ringkasan Prosedur Garis besar algoritma optimisasi diberikan disini, beberapa hal-hal penting dari implementasi akan dibahas selanjutnya.
Diasumsikan sebagai berikut:
(a) Vektor layak x memenuhi [ B S N ] x = b, l ≤ x ≤ u. (b) Nilai fungsi memenuhi f (x) dan gradien vektor g(x) = [ gB gS gN ]T . (c) Jumlah variabel superbasic, s (0 ≤ s ≤ n − m). (d) Faktorisasi LU, dari m × m matriks dasar B. (e) Faktorisasi RT R, dari pendekatan quasi-Newton untuk s × s matriks ZT GZ.
(Perhatikan bahwa G, Z dan ZT GZ tidak pernah benar-benar dihitung.) (f) Vektor π memenuhi BT π = gB. (g) Turunan gradien vektor h = gS − ST π.
Universitas Sumatera Utara
23
(h) Konvergensi positif terkecil memenuhi toleransi TOLRG dan TOLDJ.
Langkah 1. (Uji konvergensi dalam subruang saat ini). Jika h > TOLRG lanjut ke langkah 3.
Langkah 2. (”PRICE”, yaitu estimasi perkalian Lagrange, tambah satu superbasic). (a) Hitung λ = gN − N T π. (b) Pilih λq1 < −TOLDJ(λq2 > +TOLDJ), elemen terbesar dari λ yang sesuai dengan variabel batas terendah (tertinggi). Jika tidak, STOP; kondisi Kuhn-Tucker memenuhi solusi optimal. (c) Selain itu, (i) Pilih q = q1 atau q = q2 yang sesuai |λq| = max(|λq1|, |λq2|) (ii) Tambah αq sebagai kolom baru dari S; (iii) Tambah λq sebagai elemen baru dari h; (iv) Tambah kolom baru yang sesuai R. (d) Kurangi s dengan 1.
Langkah 3. (Hitung arah dari pencarian, p = Zps). (a) Selesaikan RT R ps = −h. (b) Selesaikan LU pB = −Sps. (c) Set p = ppBS . 0
Langkah 4. (Uji rasio ”CHUZR”). (a) Cari αmax = 0, step-length, nilai terbesar dari x + αp adalah layak. (b) Jika αmax = 0 lanjut ke langkah 7.
Langkah 5 (Pencarian garis untuk step-length).
Universitas Sumatera Utara
24
(a) Cari α, yang beraproksimasi pada λ∗, dimana
F (x + α∗p) = min f (x + θp)
0
TESIS
Oleh MEILINDA SIAHAAN
097021076/MT
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2012
Universitas Sumatera Utara
PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METODE SUBGRADIEN
TESIS
Diajukan Sebagai Salah Satu Syarat untuk Memperoleh Gelar Magister Sains dalam
Program Studi Magister Matematika pada Fakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Sumatera Utara
Oleh MEILINDA SIAHAAN
097021076/MT
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2012
Universitas Sumatera Utara
Judul Tesis
Nama Mahasiswa Nomor Pokok Program Studi
: PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METODE SUBGRADIEN
: Meilinda Siahaan : 097021076 : Matematika
Menyetujui, Komisi Pembimbing
(Prof. Dr. Tulus, M.Si) Ketua
Ketua Program Studi
(Dr. Sutarman, M.Sc) Anggota
Dekan Fakultas MIPA
(Prof. Dr. Herman Mawengkang)
(Dr. Sutarman, M.Sc)
Tanggal lulus: 19 Januari 2012
Universitas Sumatera Utara
Telah diuji pada Tanggal 19 Januari 2012
PANITIA PENGUJI TESIS Ketua : Prof. Dr. Tulus, M.Si Anggota : 1. Dr. Sutarman, M.Sc
2. Prof. Dr. Herman Mawengkang 3. Drs. Sawaluddin, M.IT
Universitas Sumatera Utara
ABSTRAK
Optimisasi merupakan masalah memaksimalkan atau meminimalkan suatu fungsi tertentu dengan kendala atau tanpa kendala. Metode subgradien adalah algoritma yang sederhana untuk meminimasi fungsi konveks non-diferensial. Tahapan dalam metode ini adalah menentukan step-size (ukuran langkah) dan steplength (panjang langkah) yaitu pemilihan step-size dan step-length yang tepat akan memberikan solusi yang lebih efisien. Salah satu kekurangan dari metode subgradien adalah proses yang tergolong lambat dalam menentukan urutan steplength untuk memperbaharui iterasi secara berturut-turut. Disini akan dibahas tentang pengembangan algoritma pemrograman nonlinier untuk permasalahanpermasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier.
Kata kunci: Metode subgradien, Relaksasi lagrange, Fungsi tak mulus, Optimisasi non-diferensial
i
Universitas Sumatera Utara
ABSTRACT
Optimization is a problem to maximize or minimize a certain function with constraints or without constraints. The subgradient method is a simple algorithm for minimizing a nondifferentiable convex. Steps in this method are to determine step-size and step-length which the proper selection of step-size and step-length will provide more efficient solutions. One of the main drawbacks of the subgradient method is the process far slower to determine the sequence of step-lengths to update successive iterates. Here will be discussed about the development of algorithms for nonlinear programming problems are classified by the set of constraints linear scalar and rank significantly in the nonlinear objective function. Keyword: Subgradient method, Lagrange relaxation, Nonsmooth function, Non-
differentiable optimization
ii
Universitas Sumatera Utara
KATA PENGANTAR
Dengan segala kerendahan hati dan penuh sukacita, penulis mengucapkan puji syukur ke hadirat Tuhan Yang Maha Kuasa atas segala anugrah dan berkat-Nya yang telah diberikan, sehingga penulis dapat menyelesaikan tesis dengan judul: PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METODE SUBGRADIEN. Tesis ini merupakan salah satu syarat untuk menyelesaikan studi pada Program Studi Magister Matematika Universitas Sumatera Utara.
Pada kesempatan ini, penulis menyampaikan ucapan terima kasih dan penghargaan yang sebesar-besarnya kepada:
Prof. Dr. dr. Syahril Pasaribu, DTM&H, MSc(CTM). Sp.A(K) selaku Rektor Universitas Sumatera Utara.
Dr. Sutarman, M.Sc selaku Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sumatera Utara yang telah memberikan kesempatan kepada penulis untuk mengikuti Program Studi Magister Matematika di Universitas Sumatera Utara serta selaku Pembimbing Kedua yang juga telah banyak memberikan bimbingan kepada penulis dalam penulisan tesis ini.
Prof. Dr. Herman Mawengkang Ketua Program Studi Magister Matematika pada Fakultas Matematika Dan Ilmu Pengetahuan Alam Universitas Sumatera Utara dan juga selaku komisi pembanding tesis ini, yang telah dengan penuh kesabaran memotivasi dan membimbing penulis hingga selesainya tesis ini.
Dr. Saib Suwilo, M.Sc selaku Sekretaris Program Studi Magister Matematika pada Fakultas Matematika Dan Ilmu Pengetahuan Alam Universitas Sumatera Utara yang telah banyak memberikan motivasi belajar selama masa perkuliahan.
Prof. Dr. Tulus, M.Si selaku Pembimbing Utama yang telah banyak memberikan bimbingan dan arahan serta motivasi kepada penulis dalam penulisan tesis ini.
iii
Universitas Sumatera Utara
Drs. Sawaluddin, M.IT selaku anggota komisi pembanding yang telah memberikan masukan dalam perbaikan dan kesempurnaan tesis ini.
Seluruh Staf Pengajar pada Program Studi Magister Matematika Universitas Sumatera Utara yang telah banyak memberikan ilmu pengetahuan selama masa perkuliahan.
Saudari Misiani, S.Si selaku Staf Administrasi Program Studi Magister Matematika Universitas Sumatera Utara yang telah banyak memberikan pelayanan yang baik kepada penulis selama mengikuti perkuliahan.
Seluruh rekan-rekan Mahasiswa angkatan 2009/2010 pada Program Studi Magister Matematika Universitas Sumatera Utara yang telah memberikan bantuan moril dan dorongan kepada penulis.
Secara khusus penulis menyampaikan terimakasih dan sayang yang mendalam kepada orang tua penulis, Ayahanda Agustinus Siahaan dan Ibunda Lus Editha Pardede, serta untuk abang, kakak dan adik-adik tersayang, Johan F. Siahaan, Netty K. Siahaan, Febriandi Siahaan dan Hendra P. Siahaan yang senantiasa memberikan dukungan dan mendoakan keberhasilan penulis dalam menyelesaikan pendidikan ini.
Penulis juga mengucapkan terimakasih kepada Trisnawati Sitompul dan Grup Golden Generation serta seluruh pihak yang tidak dapat penulis sebutkan satu persatu, penulis berterimakasih atas semua doa, semangat, dan bantuan yang diberikan, semoga Tuhan Yang Maha Kuasa membalaskan segala kebaikan yang telah diberikan, Amin. Penulis menyadari tesis ini masih jauh dari sempurna, namun demikian penulis berharapan semoga tesis ini bermanfaat bagi pembaca dan pihak-pihak yang memerlukannya. Sekian dan terimakasih.
Medan, 19 Januari 2012 Penulis,
Meilinda Siahaan
iv
Universitas Sumatera Utara
RIWAYAT HIDUP
Meilinda Siahaan dilahirkan di Pematangsiantar pada tanggal 20 Mei 1987 dari pasangan Bapak Agustinus Siahaan dan Ibu Lus Editha Pardede dan merupakan anak ke tiga dari lima bersaudara. Penulis menamatkan pendidikan Sekolah Dasar (SD) Swasta RK No.4 Pematangsiantar tahun 1999, Sekolah Menengah Pertama (SMP) Swasta Cinta Rakyat 2 Pematangsiantar tahun 2002, Sekolah Menengah Atas (SMA) Negeri 4 Pematangsiantar tahun 2005. Pada tahun 2005 memasuki Perguruan Tinggi Universitas Sumatera Utara, Fakultas Matematika dan Ilmu Pengetahuan Alam, Program Studi Matematika pada Jenjang Strata-1 dan lulus tahun 2009. Kemudian pada tahun 2010 penulis melanjutkan pendidikan pada Program Studi Magister Matematika Universitas Sumatera Utara.
v
Universitas Sumatera Utara
DAFTAR ISI
ABSTRAK ABSTRACT KATA PENGANTAR RIWAYAT HIDUP DAFTAR ISI BAB 1 PENDAHULUAN
1.1 Latar Belakang 1.2 Perumusan Masalah 1.3 Tujuan Penelitian 1.4 Manfaat Penelitian 1.5 Metode Penelitian BAB 2 KAJIAN PUSTAKA
BAB 3 LANDASAN TEORI 3.1 Fungsi Kontinu 3.2 Fungsi Tak Mulus 3.3 Derivatif Fungsi Tak Mulus 3.4 Pengertian Subgradien 3.5 Metode Subgradien 3.5.1 Aturan Dasar 3.5.2 Aturan Step-Size 3.5.3 Hasil Konvergen
vi
Halaman i ii
iii v vi 1 1 2 2 2 2 4
7 7 7 8 9 10 11 11 12
Universitas Sumatera Utara
3.5.4 Algoritma Metode Subgradien
BAB 4 PEMBAHASAN
4.1 Metode Dasar 4.1.1 Solusi Basic; Penyesuaian Bentuk Dasar 4.1.2 Variabel Superbasic 4.1.3 Metode Derivatif
4.2 Rangkuman 4.3 Implementasi
4.3.1 Ringkasan Prosedur 4.3.2 Proses Tiap Interasi
BAB 5 KESIMPULAN
5.1 Kesimpulan DAFTAR PUSTAKA
13
14
15 15 16 18 20 22 22 25
26
26 27
vii
Universitas Sumatera Utara
ABSTRAK
Optimisasi merupakan masalah memaksimalkan atau meminimalkan suatu fungsi tertentu dengan kendala atau tanpa kendala. Metode subgradien adalah algoritma yang sederhana untuk meminimasi fungsi konveks non-diferensial. Tahapan dalam metode ini adalah menentukan step-size (ukuran langkah) dan steplength (panjang langkah) yaitu pemilihan step-size dan step-length yang tepat akan memberikan solusi yang lebih efisien. Salah satu kekurangan dari metode subgradien adalah proses yang tergolong lambat dalam menentukan urutan steplength untuk memperbaharui iterasi secara berturut-turut. Disini akan dibahas tentang pengembangan algoritma pemrograman nonlinier untuk permasalahanpermasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier.
Kata kunci: Metode subgradien, Relaksasi lagrange, Fungsi tak mulus, Optimisasi non-diferensial
i
Universitas Sumatera Utara
ABSTRACT
Optimization is a problem to maximize or minimize a certain function with constraints or without constraints. The subgradient method is a simple algorithm for minimizing a nondifferentiable convex. Steps in this method are to determine step-size and step-length which the proper selection of step-size and step-length will provide more efficient solutions. One of the main drawbacks of the subgradient method is the process far slower to determine the sequence of step-lengths to update successive iterates. Here will be discussed about the development of algorithms for nonlinear programming problems are classified by the set of constraints linear scalar and rank significantly in the nonlinear objective function. Keyword: Subgradient method, Lagrange relaxation, Nonsmooth function, Non-
differentiable optimization
ii
Universitas Sumatera Utara
BAB 1 PENDAHULUAN
1.1 Latar Belakang
Dalam masalah optimisasi, strategi pencarian garis (line search) adalah salah satu pembuktian dasar iteratif untuk menemukan lokal minimum x∗ dari fungsi objektif f : Rn → R. Pembuktian pencarian garis (line search) yaitu menemukan arah dari fungsi objektif f yang akan dikurangi dan menghitung ukuran langkah yang akan menentukan seberapa jauh x harus bergerak dari arah tersebut. Untuk menentukan arah yang dicari, ada beberapa metode yang sudah ditemukan, seperti metode Newton, metode Cutting Plane, metode Interior-Point, metode Gradien dan beberapa metode lainnya. Metode gradien adalah salah satu metode yang mampu menyelesaikan masalah optimisasi nonlinier. Pada perkembangan selanjutnya terdapat metode subgradien yang merupakan pengembangan dari metode gradien itu sendiri. (Luenberger, 1984)
Metode subgradien merupakan metode yang digunakan untuk memecahkan masalah optimisasi fungsi konveks non-diferensial. Metode ini pertama sekali dikembangkan oleh Shor di Uni Soviet pada tahun 1970. Metode ini mirip seperti metode gradien biasa pada fungsi diferensial, tetapi memiliki beberapa pengecualian khusus. Seperti contoh, metode subgradien menggunakan beberapa langkah yang dapat diselesaikan dengan cepat, daripada perhitungan aproksimasi pencarian garis pada metode gradien. (Boyd dan Mutapcic, 2007)
Metode subgradien ini lebih sederhana dan dapat diaplikasikan untuk masalah yang lebih bervariasi dibandingkan dengan metode Newton dan metode interior-point. Metode ini juga mampu mengatasi masalah dengan adanya kendala. Tidak seperti metode gradien, metode subgradien ini bukan merupakan metode descent yang nilai fungsinya dapat bertambah. Memori yang digunakan pada metode subgradien juga lebih kecil daripada metode Newton dan metode interior-
1
Universitas Sumatera Utara
2 point sehingga bisa digunakan untuk menyelesaikan masalah yang lebih rumit lagi. Untuk mengembangkan algoritma terdistribusi yang sederhana dilakukan dengan menggabungkan metode subgradien dengan teknik dekomposisi primal maupun dual. (Beltran dan Heredia, 2005)
1.2 Perumusan Masalah Salah satu kelemahan metode subgradien dasar adalah proses yang dilakukan untuk menentukan urutan step-length (jarak yang dilalui sepanjang waktu) dalam memperbaharui iterasi secara berturut-turut yang tergolong lama. Oleh sebab itu dilakukanlah pengembangan metode ini untuk memperoleh hasil yang lebih baik.
1.3 Tujuan Penelitian Adapun yang menjadi tujuan dari penelitian ini adalah melakukan pengembangan tentang pencarian garis (search line) dengan metode subgradien untuk memperoleh hasil yang lebih baik yang digunakan untuk menyelesaikan masalah optimisasi non-diferensial seperti masalah dual Lagrange.
1.4 Manfaat Penelitian Penelitian ini bermanfaat untuk memperkaya literatur tentang pencarian garis (search line) dengan metode subgradien.
1.5 Metode Penelitian Penelitian ini bersifat literatur dengan mengumpulkan informasi dari beberapa jurnal. Langkah-langkah yang dilakukan adalah sebagai berikut:
Universitas Sumatera Utara
3 1. Menjelaskan dengan singkat pengertian pencarian garis dan metode subgra-
dien. 2. Menganalisa step-length yang efektif untuk metode subgradien. 3. Membuat beberapa contoh untuk membandingkan efisiensi dari metode sub-
gradien dasar dengan metode baru. 4. Kesimpulan.
Universitas Sumatera Utara
BAB 2 KAJIAN PUSTAKA
Optimisasi ialah suatu proses untuk mencapai hasil yang ideal atau optimal (nilai efektif yang dapat dicapai). Dalam disiplin matematika optimisasi merujuk pada studi permasalahan yang mencoba untuk mencari nilai minimal atau maximal dari suatu fungsi riil. Konsep optimisasi pada saat ini sudah menjadi dasar dari prinsip analsis masalah kompleks. (Luenberger, 2005)
Bentuk umum dari masalah pemrograman matematika adalah sebagai berikut:
Minimize f(x)
Kendala
hi(x) = 0 gj(x) ≤ 0
x∈S
i = 1, 2, . . . , m j = 1, 2, . . . , r
dimana x adalah p dimensi vektor yang tidak diketahui, h dan g nilai fungsi dari variabel x, dan S adalah himpunan dari subset ruang dimensi p. Fungsi f merupakan fungsi objektif dari permasalahan dan persamaan maupun pertidaksamaan merupakan kendala yang ada.
Ada banyak permasalahan yang dicakup dalam masalah optimisasi, salah satunya adalah strategi pencarian garis (line search). Dalam menemukan solusi dari pencarian garis (line search), sudah banyak metode yang ditemukan. Beberapa diantaranya adalah metode interior-point, metode Newton, metode cuttingplane, dan metode subgradien.
Selama 25 tahun semenjak di perkenalkan oleh Karmarkars, metode interiorpoint telah sukses dikembangkan dalam skala besar masalah pemrograman linier. Tetapi seiring perkembangan, metode ini tidak baik digunakan karena untuk memecahkan masalah yang sangat besar, metode ini membutuhkan memori
4
Universitas Sumatera Utara
5
yang besar sehingga hasil yang diperoleh membutuhkan waktu yang cukup lama. (Mitchell, 2005)
Metode cutting-plane merupakan metode yang digunakan utuk memecahkan masalah optimisasi konveks. Metode ini diperkenalkan oleh Cheney dan Goldstein (1959) dan Kelley (1959) secara terpisah. Metode ini dibuat untuk menemukan nilai minimum dari fungsi konveks f(x). Tetapi pada pemakaiannya, metode ini juga memberikan hasil yang lambat dan tidak stabil terutama pada kasus optimum.
Metode subgradien merupakan pengembangan dari metode gradien. Metode subgradien adalah metode yang mampu menyelesaikan permasalahan dalam optimisasi non-diferensial seperti masalah dual Lagrange. Dalam perkembangan metode subgradien, Beltran dan Heredia (2004) menggabungkan metode cuttingplane dengan metode subgradien untuk memaksimasi fungsi dual dalam masalah multiplier Langrange yang dinamakan metode subgradien radar. Permasalahan yang akan diselesaikan adalah masalah primal (P) yaitu:
Minimize Kendala
f (x) h(x) = 0
x∈D
dimana f (x) : Rn → R, h(x) : Rn → Rm, dan D merupakan himpunan tak kosong dalam Rn.
Sebagaimana biasanya, permasalahan dual (Lagrange) (D) dari (P) adalah sebagai berikut:
max{min f (x) + λ′h(x)}
λ∈Rm x∈D
Hal ini sama dengan fungsi Lagrange L(x, λ) := f(x) + λ′h(x), sehingga persamaannya menjadi:
max{min L(x, λ)}
λ∈Rm x∈D
Untuk lebih mempermudah, defenisikan fungsi dual sebagai berikut:
q(λ) := min{L(x, λ) : x ∈ D}
Universitas Sumatera Utara
6
Sehingga permasalahan diekspresikan menjadi: max q(λ)
λ∈Rm
Metode cutting-plane tidak seperti metode subgradien, metode ini mengambil keuntungan dari informasi awal yang dikembangkan tiap waktu dalam meminimisasi L(x, λ). Sedangkan metode subgradien mengambil keuntungan dari arah subgradien yang dikembangkan tiap waktu dalam meminimasi L(x, λ). Sehingga perpaduan dari kedua metode itu menghasilkan penyelesaian yang lebih baik. Metode sugradien radar ini menggunakan informasi yang sama pada metode cutting-plane tetapi dari cara yang berbeda. Metode subgradien radar ini membagi permasalahan kedalam tiga kasus yaitu step-length radar, sifat positif dan negatif, dan sifat ketidaknegatifan.
Metode subgradien dengan pendekatan proyeksi gradien dipakai oleh Duchi dkk (2008) untuk menyelesaikan persoalan pembelajaran Gaussian Markov Random Fields berdimensi besar. Mereka memperlihatkan bahwa dengan pendekatan proyeksi gradien ini dapat meningkatkan kinerja metode subgradien untuk persoalan berskala besar.
Nesterov (2012) mengajukan metode subgradien yang didasarkan pada pemutakhiran rekursif dari produk matriks/vektor dan nilai fungsi simetris untuk menyelesaikan persoalan optimisasi berskala besar.
Duchi dkk (2011) mengetengahkan metode subgradien dengan memasukkan pengetahuan geometri tentang data observasi dalam iterasi awal untuk membuat pembelajaran lebih informatif berbasis gradien.
Universitas Sumatera Utara
BAB 3 LANDASAN TEORI
Pada bab ini akan dikemukakan beberapa konsep dan teori yang berhubungan dengan permasalahan optimisasi dalam pencarian garis (line search) dengan metode subgradien. Fungsi-fungsi berikut ini merupakan fungsi yang relevansi dengan konsep dalam pencarian garis yakni:
3.1 Fungsi Kontinu
Definisi 3.1.1 Fungsi Kontinu: Misal f adalah fungsi yang didefinisikan pada himpunan D ⊂ Rn. Fungsi f dikatakan kontinu pada x0 ∈ D jika limx→x0 f (x) ada dan
lim f (x) = f (x0)
x→x0
yang untuk selanjutnya f dikatakan kontinu pada himpunan D jika f kontinu pada setiap titik di D. Jika tidak memenuhi persyaratan fungsi kontinu, maka f disebut fungsi diskontinu.
3.2 Fungsi Tak Mulus Suatu fungsi dikatakan mulus jika dapat didiferensialkan dan derivatifnya kontinu. Atau juga ini dapat dikatakan sebagai kemulusan yang pertama. Kemulusan yang kedua berarti derivatif keduanya ada dan kontinu, begitu seterusnya sampai kemulusan tak tehingga selama derivatifnya kontinu untuk semua orde. Dari perspektif tersebut, fungsi tak mulus merupakan gambaran negatif dari fungsi mulus.
7
Universitas Sumatera Utara
8
Fungsi tak mulus merupakan fungsi dengan diskontinu gradien yang dibangun secara bertahap dalam teori dan aplikasi pemrograman matematika. Sejauh ini teori pemrograman matematika mempertimbangkan kenyataan dasar dari analisis konveks untuk klasifikasi fungsi konveks, termasuk salah satunya adalah fungsi tak mulus dimana kegunaannya telah menjadi hal yang biasa dalam penggunaan gradien. (Shor, 1985)
Misalkan k adalah bilangan integer tak negatif. Fungsi f dikatakan kelas Ck jika derivatif f ′, f ′′, , f (k) ada dan kontinu (kekontinuan otomatis berlaku untuk semua derivatif seandainya tidak ada f (k)). Fungsi f dikatakan kelas C∞, atau mulus jika mempunyai derivatif untuk semua orde. Kelas C0 terdiri atas semua fungsi kontinu. Sedangkan kelas C1 terdiri atas semua fungsi diferensial dimana derivatifnya kontinu atau disebut juga kekontinuan. Jadi, fungsi C1 sebenarnya fungsi yang derivatifnya ada dan merupakan kelas C0.
3.3 Derivatif Fungsi Tak Mulus
Persamaan derivatif memiliki peranan yang semakin bertambah penting dalam beberapa aplikasi yakni dalam optimisasi, variasi kalkulus, persamaan diferensial, mekanik, dan teori kontrol. Oleh sebab itu akan diperkenalkan persamaan derivatif dari fungsi tak mulus f(.) pada interval [a, b]. Dalam hal ini menggunakan interval [0, 1]. (kamyad, 2011)
Lemma 3.3.1 Misalkan h(.) ∈ C[0, 1] dan
1 0
η(x)h(x)dx
=
0
untuk
semua
η(.)
∈
C[0, 1]. Diperoleh h(x) = 0 untuk semua x ∈ C[0, 1].
Teorema 3.3.2 Misalkan f (.), g(.) ∈ C[0, 1] dan 01(v′(x)f (x) + v(x)g(x))dx = 0 untuk sembarang v(.) ∈ C1[0, 1], dimana v(0) = v(1) = 0. Maka diperoleh f(.) ∈
C1[0, 1] dan f ′(.) = g(.).
Teorema 3.3.3 Misalkan f (.), g(.) ∈ C[0, 1] dan 01(v′(x)f (x)+vk(x)g(x))dx = 0 dimana vk(.) ∈ V . Maka diperoleh f (.) ∈ C1[0, 1] dan f ′(.) = g(.).
Universitas Sumatera Utara
9
Teorema 3.3.4 Misalkan ε > 0 bilangan yang cukup kecil, f(.) ∈ C1[0, 1] dan
m ∈ N.
Maka
ada
∂
>
0
sedemikian
hingga
untuk
semua
si
∈
(
i−1 m
,
i m
),
i
=
1, 2, . . . , m.
Teorema 3.3.5 Misalkan f (.) ∈ C1[0, 1] dan g∗(.) ∈ C[0, 1] merupakan solusi
optimal dari permasalahan fungsional optimisasi:
Minimize Kendala
J (g(.)) =
n k=1
|
1 0
vk
(x)g(x)dx
−
λk
|
si +δ si−δ
|f
(x)
−
f
(si)
−
(x
−
si)g(si)|dx
≤
εδ
g(.)
∈
C [0,
1],
si
∈
(
i−1 m
,
i m
)
i = 1, 2, . . . , m
Maka f (.) = g∗(.)
Sehingga fungsi tak mulus dapat didefinisikan sebagai berikut.
Definisi 3.3.1 Misalkan f(.) fungsi tak mulus kontinu dari interval [0, 1] dan g∗(.) solusi optimal dari masalah fungsional optimisasi:
Minimize Kendala
J (g(.)) =
n k=1
|
1 0
vk
(x)g(x)dx
−
λk
|
si +δ si−δ
|f
(x)
−
f
(si)
−
(x
−
si)g(si)|dx
≤
εδ
g(.)
∈
C [0,
1],
si
∈
(
i−1 m
,
i m
)
i = 1, 2, . . . , m
dimana vk(.) ∈ V untuk semua k = 1, 2, 3, . . .. Maka derivatif tak mulus f(.) dinyatakan sebagai GFdf (.) dan dituliskan GFdf (.) = g∗(.).
3.4 Pengertian Subgradien Definisi 3.4.1 Subdiferensial dari fungsi konveks f : Rn → R pada x ∈ Rn adalah himpunan ∂cf (x) dari vektor ξ ∈ Rn sehingga
∂cf (x) = {ξ ∈ Rn|f (y) ≥ f (x) + ξT (y − x), ∀y ∈ Rn} Tiap vektor ξ ∈ ∂cf(x) dinamakan subgradien dari f pada x.
Universitas Sumatera Utara
10
Andaikan f : X → R adalah fungsi konveks dimana X ⊆ Rn adalah himpunan konveks. Untuk kasus diferensiabel, f gradien ∇f (x′) ∈ Rn pada x′ ∈ X dimana yang menentukan perkiraan global f adalah f (x) ≥ f (x′) + ∇f (x′)T (x − x′), ∀x ∈ X. Sedangkan untuk kasus non-diferensiabel, f masih dapat membangun perkiraan global f yaitu vektor g ∈ Rn yang merupakan subgradien dari f pada x′ ∈ X jika f (x) ≥ f (x′) + gT (x − x′), ∀x ∈ X.
3.5 Metode Subgradien Metode subgradien adalah sebuah algoritma yang iteratif untuk memecahkan masalah optimisasi fungsi konveks non-diferensial. metode ini pertama sekali diperkenalkan oleh Shor, dkk pada tahun 1960 dan 1970. Metode ini lebih lamban dibandingkan metode Newton pada saat meminimasi dua kali secara kontinu fungsi konveks diferensial. tetapi fungsi Newton gagal dalam menghadapi masalah non-diferensial yang rumit.
Dalam beberapa tahun, metode interior-point disarankan untuk meminimasi masalah konveks. Tetapi untuk meminimasi masalah konveks dengan dimensi yang cukup besar, metode subgradien lebih cocok digunakan karena metode ini membutuhkan penyimpanan yang sedikit.
Metode ini mirip dengan metode gradien biasa untuk fungsi diferensial, tetapi memiliki beberapa pengecualian yaitu:
1. Metode subgradien berlaku untuk non-diferensial f. 2. Step-length tidak dipilih berdasarkan pencarian garis (line search) seperti
pada subgradien biasa. Pada beberapa kasus, step-length dapat lebih cepat diproses. 3. Tidak seperti metode gradien biasa, metode subgradien bukanlah metode descent yaitu nilai fungsinya dapat bertambah.
Universitas Sumatera Utara
11
3.5.1 Aturan Dasar Andaikan f : Rn → R adalah konveks. Untuk meminimasi f, metode subgradien menggunakan iterasi berikut:
x(k+1) = xk − αkg(k) dimana xk adalah iterasi ke k, g(k) adalah subgradien f pada xk, dan ak > 0 adalah step-size ke k. Jadi pada setiap iterasi metode subgradien, akan diambil langkah berdasarkan subgradien negatif.
Diketahui bahwa subgradien f pada x adalah vektor sembarang g yang memenuhi pertidaksamaan f(y) ≥ f(x) + gT (y − x) untuk semua y. Karena f dapat didiferensialkan, pilihan yang mungkin untuk g(k) adalah ∇f (x(k)), dan metode subgradien kemudian direduksi ke metode gradien.
Karena metode subgradien bukan metode descent, sehingga memungkinkan memantau nilai terbaik yang ditemukan sejauh ini yaitu fungsi nilai terkecil. Pada tiap langkah, ditetapkan
fbkest = min{fbke−st1, f (x(k))} dan himpunan i(bkes)t = k jika f (x(k)) = fb(eks)t yaitu jika x(k) adalah nilai terbaik yang ditemukan sejauh ini. Kemudian ada
fb(eks)t = min{f (x(1)), . . . , f (x(k))} dimana fb(eks)t adalah nilai objektif terbaik yang ditemukan pada iterasi k.
3.5.2 Aturan Step-Size Ada banyak aturan step-size yang digunakan metode subgradien. Beberapa diantaranya yaitu:
Universitas Sumatera Utara
12
1. Step-size konstan. αk = α adalah konstan yang positif, independen dari k.
2. Step-length konstan. αk = γ/ g(k) 2 dimana γ > 0. Ini berarti bahwa x(k+1) − x(k) 2 = γ.
3. Square summable but not summmable, yaitu untuk sembarang step-size me-
menuhi
ak ≥ 0,
∞
α2k < ∞,
k=1
∞
αk = ∞
k=1
4. Nonsummable diminishing, yaitu untuk sembarang step-size memenuhi
αk = 0,
lim αk = 0,
k→∞
∞
αk = ∞
k=1
5. Nonsummable diminishing step-lengths, yaitu αk = γk/ g(k) 2 dimana
γk ≥ 0,
lim
k→∞
γk
=
0,
∞
γk = ∞
k=1
3.5.3 Hasil Konvergen
Ada banyak hasil dari konvergen metode subgradien. Untuk step-size konstan
dan step-length konstan, algoritma subgradien dijamin konvergen dalam beberapa
kisaran optimal yaitu
lim
k→0
fb(eks)t
−
f∗
<
ǫ
dimana f ∗ menunjukkan nilai optimal permasalahan, yaitu f ∗ = infx f (x). Bi-
langan ǫ adalah fungsi dari parameter step-size h.
Untuk step-size yang berkurang dan aturan step-length, algoritma dijamin konvergen pada nilai optimal, yaitu f (x(k)) = f ∗. Hal ini luar biasa untuk sebuah algoritma yang sederhana seperti ini yang dapat meminimalkan sembarang fungsi konveks yaitu dapat menghitung subgradien pada setiap titik. Dalam kasus ini, metode subgradien dengan step-size konstan memberikan nilai optimal konvergen asalkan parameter α cukup kecil.
Universitas Sumatera Utara
3.5.4 Algoritma Metode Subgradien
Langkah 1 : Berikan inisial vektor x1. Langkah 2 : Hitung f (xn), dan didapat vektor gn ∈ ∂f (xn). Langkah 3 : Pilih step-size αn > 0. Langkah 4 : Tentukan xn+1 = xn − αngn.
k = k + 1 dan kembali ke langkah 1.
13
Universitas Sumatera Utara
BAB 4 PEMBAHASAN
Tesis ini menjabarkan tentang pengembangan algoritma pemrograman nonlinier untuk permasalahan-permasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier. Telah menjadi pengalaman bahwa banyak permasalahan pemrograman linier yang lebih luas karena diusahakan untuk memperkirakan sejumlah linearisasi, yang mana ini merupakan dasar dari program nonlinier. Hal ini juga tampak bahwa kebanyakan masalah di kehidupan nyata hanya sebagian kecil yang fungsi tujuannya memiliki variabel nonlinier. Karena itu permasalahan ini akan dibuat dalam bentuk umum berikut:
Minimize f (x) = f (xN ) + cT x
(1)
Kendala
Ax = b,
(2)
l≤x≤u
(3)
dimana matriks A berukuran m × n, m ≤ n. x dibagi kedalam bagian linier xL
dan bagian nonlinier xN :
x=
xN xL
Komponen-komponen xN akan disebut Variabel Nonlinier. Selanjutnya A
dan c berlaku untuk semua variabel x. Dalam beberapa kasus, bagian dari cT x
melibatkan xN mungkin termasuk dalam f (xN ); dalam kasus lain, c mungkin nol.
Diasumsikan bahwa fungsi f(xN ) dapat diturunkan secara kontinu dalam wilayah
layak, dengan gradien
∇f (xN ) = g(xN ),
dan diasumsikan bahwa kedua f dan g dapat dihitung dalam batas layak xN .
14
Universitas Sumatera Utara
15
Penelitian ini dilakukan atas dorongan dari beberapa kekurangan dalam algoritma Murtagh dan Sargent (1969, 1973) serta Goldfarb (1969), khususnya ketika diaplikasikan dalam sistem berskala besar. Algoritma yang dihasilkan terkait metode reduced-gradient oleh Wolfe (1962) dan metode variable-reduction oleh McCormick (1970). Hal ini juga menarik banyak metode optimisasi tak berkendala dan yang berkendala linier oleh Gill and Murray (1972, 1974).
Pada dasarnya algoritma merupakan perpanjangan dari metode simpleks (Dantzig, 1963). Untuk menggunakan beberapa terminologi terkait, dapat digambarkan sebagai perluasan yang memungkinkan lebih dari m variabel menjadi basic. Karena berhubungan dekat dengan pemrograman linier (LP), sehingga hal ini dapat dimasukkan dalam banyak implementasi dari LP terbaru. Hasilnya adalah sebuah program komputer yang memiliki banyak kemampuan kode LP yang efisien dan juga mampu menangani istilah nonlinier dengan prosedur quasi-Newton.
Istilah x dan F (x) dalam permasalahan linear dan nonlinear merupakan hal yang penting, sehingga untuk mempermudah, notasi F (x) dan ∇F (x) diubah dalam bentuk sederhana yaitu f(x) dan g(x). Dengan sedikit pengecualian, dapat digunakan huruf besar untuk matriks, huruf kecil untuk vektor dan huruf Yunani untuk skalar. Kuantitas ε > 0 menunjukkan ketelitian floating-point dalam aritmatik.
4.1 Metode Dasar
4.1.1 Solusi Basic; Penyesuaian Bentuk Dasar
Sebelum menuju ke permasalahan nonlinier, perlu diperkenalkan beberapa latar belakang program linier. Terutama persamaan (1)-(3) dengan f(xN ) = 0 merupakan bentuk umum untuk memulai dan menyelesaikan program linier dalam implementasi metode simpleks. A solusi basic yang ditandai dengan memiliki paling banyak m variabel basic yang terletak antara batasan-batasannya, sedangkan n − m variabel nonbasic adalah sama dengan satu batas atau batas lainnya. Sebuah matriks dasar bujur sangkar terhubung B diambil dari kolom matriks
Universitas Sumatera Utara
16
kendala A, dan hasil dari metode simpleks yaitu kolom B akan diganti satu per satu.
Selanjutnya ini diasumsikan dalam bentuk umum A dan x mengandung matriks identitas lengkap dan masing-masing merupakan himpunan slack variabel lengkap. (Persamaan umum dan pertidaksamaan kendala diakomodasi dengan meletakkan batas atas dan batas bawah yang sesuai pada slack.) Ada banyak alasan praktis untuk mempertahankan bentuk umum disini. Secara lengkap akan dibutuhkan banyak penjelasan dalam implementasi, tapi dengan sangat ringkas, faktorisasi segitiga yang jarang dari B dapat dijelaskan dengan lebih mudah jika kolom (bukan baris) dari B diubah. Selanjutnya, sangat mudah untuk mengambil keuntungan dari satuan vektor-vektor yang terkait dengan slack, setiap kali B terfaktorisasi ulang.
4.1.2 Variabel Superbasic
Salah satu kebaikan dari konsep solusi basic adalah penekanan yang diberikan sedemikian pada batas atas dan bawah l ≤ x ≤ u. Hal ini menyesatkan bila menganggap ini sebagai kendala yang jarang, lebih penting lagi jika diperlakukan secara langsung untuk mengeliminasi sebagian besar variabel. Bagaimanapun metode simpleks bebas memusatkan perhatian pada transformasi (faktorisasi) hanya pada B, daripada untuk seluruh A. (Jika B besar dan jarang, ini cukup bermasalah.)
Dengan permasalahan nonlinier, tidak dapat diharapkan titik optimal sebagai solusi basic. Bagaimanapun, jika jumlah variabel nonlinier sedikit, kelihatannya beralasan untuk menduga bahwa solusi optimal akan mendekati basic. Sehingga, sebagai generalisasi sederhana akan diperkenalkan konsep variabel superbasic dan pembagian himpunan kendala dasar pada persamaan (2) sebagai berikut:
Universitas Sumatera Utara
17
Matriks B adalah bujur sangkar dan nonsingular seperti dalam metode simpleks, S adalah matriks m × s dengan 0 ≤ s ≤ n − m, dan N adalah kolom tersisa matriks A. Variabel-variabel terhubung xB, xS, xN berturut-turut disebut basic, superbasic dan nonbasic. Basic dan superbasic merupakan bebas dan bervariasi antara batas-batasnya. Nama ini dipilih untuk memperlihatkan peran superbasic sebagai penggerak, sehingga dapat bergerak kearah manapun (sebaiknya mengubah nilai tujuan), dan basic diharuskan berubah dengan pasti untuk mempertahankan kelayakan sehubungan dengan kendala Ax = b. Sehingga proses ini diharapkan menghasilkan solusi yang lebih mendekati basic yang dikonfirmasi dengan teorema berikut:
Teorema 4.1.1 Andaikan sebuah program nonlinier memiliki t variabel yang terjadi secara nonlinier (baik tujuan maupun kendala). Solusi optimal ada dimana jumlah variabel superbasic s memenuhi s ≤ t.
Pembuktian (berdasarkan Jain, 1976). Andaikan variabel nonlinier tetap pada nilai optimalnya. Permasalahannya sekarang adalah program linier untuk solusi basic ada (s = 0). Hasilnya menimbulkan pertanyaan apakah variabel-variabel nonlinier sekarang dianggap sebagai superbasic dalam masalah sebenarnya. (awalnya s = t, tapi jika salah satu variabel yang secara nyata dalam suatu batasan dapat ditetapkan sebagai nonbasic, maka kemudian s < t.)
Universitas Sumatera Utara
18
4.1.3 Metode Derivatif
Diasumsikan bahwa f(x) dapat dijabarkan dalam deret Taylor dengan aturan sisa kedua:
f (x
+
∆x)
=
f (x)
+
g(x)T ∆x
+
1 2
∆xT
G(x
+
γ∆x)∆x
(5)
dimana 0 ≤ γ ≤ 1, dan G(x + γ∆x) adalah matriks Hessian dari turunan parsial kedua yang dievaluasi pada beberapa titik antara x dan x + ∆x. Selanjutnya G adalah matriks konstan jika f(x) fungsi kuadrat.
Diandaikan ∆x and g(x) sesuai dengan pembagian dari A. Jika f(x) benarbenar fungsi kuadrat, maka didapatkan titik stasioner pada x + ∆x dengan membutuhkan dua sifat dari langkah ∆x:
Sifat 1
BSN 00I
∆xB ∆xS ∆xN
=0
(6)
yaitu sisa langkah pada permukaan diberikan dengan mempertemukan kendalakendala aktif.
Sifat 2
gggNBS
∆xB + G ∆xS
∆xN
=
BT 0 ST 0 NT I
µ λ
(7)
yaitu gradien pada x + ∆x (diberikan pada sisi kiri persamaan (7)) adalah ortogonal ke permukaan dari kendala-kendala aktif dan oleh karena itu dapat ditunjukkan sebagai sebuah kombinasi dari kendala aktif normal.
Untuk fungsi yang lebih luas f(x), langkah ∆x tidak dapat membawa langsung ke titik stasioner, tetapi kita akan menggunakan sifat 1 dan 2 untuk menentukan arah tujuan yang layak.
Universitas Sumatera Utara
19
Dari persamaan (6) diperoleh
∆xN = 0
(8)
dan
dimana
∆xB = −W ∆xS
(9)
W = B−1s.
(10)
Sehingga,
−W ∆x = I ∆xS
0
Persamaan (7) lebih sederhana jika dikali dengan matriks
I 00 −W T I 0
0 0I
(11)
Awalnya persamaan diatas memberi persamaan perkiraan pengali Lagrange dalam kendala umum, yaitu:
−W
BT µ = gB + [ I 0 0 ] G
I 0
∆xS
(12)
Selanjutnya, jika ∆xS = 0(dimana berarti x stasioner) didapat
BT µ = gB
(13)
dalam kasus µ sejalan dengan menilai vektor π dalam metode simpleks. (Mulai kini solusi persamaan (13) dinotasikan dengan π.) Selanjutnya dari persamaan (7) didapat
−W
λ = gN − N T µ + [ 0 0 I ] G
I 0
∆xS
(14)
dan ketika ∆xS = 0, persamaan ini diturunkan menjadi
λ = gN − N T π
(15)
Universitas Sumatera Utara
20
dimana sejalan dengan vektor pengurangan biaya pada pemrograman linier.
Hasil ketiga dari persamaan (7), mengikuti perkalian matriks sebelumnya pada persamaan (11), yang menunjukkan langkah tepat berikut:
−W [ −W T I 0 ] G I ∆xS = −h
0
(16)
dimana
h = [ −W T I 0 ] g = gS − W T gB = gS − ST π
(17)
Persamaan (16) menyatakan bahwa
−W [ −W T I 0 ] G I
0
(18)
dapat dianggap sebagai turunan Hessian dan h = [ −W T I 0 ] g adalah gradien turunan, dari persamaan (16) memberikan sebuah langkah Newton dalam variabel-variabel ∆xS. Selanjutnya h = 0 menjadi kondisi penting untuk titik stasioner pada himpunan kendala aktif, dimana jika turunan Hessian nonsingular, ini menunjukkan bahwa ∆xS = 0.
4.2 Rangkuman
Gill dan Murray (1974) telah menemukan kelas algoritma dimana arah pencariannya sepanjang permukaan kendala aktif yang ditandai sebagai jangkauan matriks Z yang ortogonal terhadap matriks kendala normal. Sehingga, jika Aˆx = ˆb merupakan himpunan dari n − s kendala aktif, Z merupakan matriks n × s sedemikian hingga
AˆZ = 0
(19)
Karakterisasi ini dapat digunakan untuk menggambarkan beberapa algoritma yang dibahas dan dibandingkan oleh Gill dan Murray (1974) serta dalam penelitian Fletcher (1972) dan Sargent (1976).
Universitas Sumatera Utara
21
Dalam notasi Gill dan Murray (1974), langkah-langkah utama yang harus dilakukan pada setiap iterasi adalah sebagai berikut. (Akan dihasilkan turunan layak arah p.)
a) Hitung pengurangan gradien gA = ZT g. b) Bentuk beberapa pendekatan pada pengurangan Hessian, yaitu
GA = XT g. c) Didapatkan solusi perkiraan dari sistem persamaan
ZT GZpA = −ZT g. Dengan menyelesaikan sistem
GApA = −gA. d) Hitung arah pencarian p = ZpA. e) Lakukan pencarian untuk memperoleh pendekatan a∗, dimana
f (x + α∗p) = min f (x + αp)
α, x+αp f easible
(20)
Selain memiliki pangkat kolom penuh, persamaan (19) adalah (secara aljabar) kendala satu-satunya Z sehingga Z dapat memenuhi beberapa kondisi. Z khusus yang sesuai dengan prosedur ditunjukkan dalam formula berikut
−W −b−1S Z= I = I
00
}m }s }n − m − s
(21)
Ini merupakan representasi mudah yang akan mengacu pada penjelasan tujuan bahasan berikutnya, tetapi disini ditekankan bahwa secara komputasi ini bekerja hanya pada S dan faktorisasi (LU) segitiga B. Matriks Z itu sendiri tidak pernah dihitung.
Untuk banyak alasan, Gill dan Murray (1974) menganjurkan Z dengan kolom-kolomnya orthonormal (ZT Z = I). Keuntungan utamanya adalah transformasi Z tidak diperkenankan dalam kondisi masalah turunan (lihat langkah (a)
Universitas Sumatera Utara
22
sampai (d) diatas, dalam persamaan (20)). Pendekatan ini telah diimplementasikan dalam program yang dipaparkan Gill, Murray dan Picken (1976), dimana Z eksplisit dalam matriks penuh. Ekstensi besar kendala linier jarang akan mungkin melalui faktorisasi LDV (Gill, Murray dan Saunders, 1975) dari matriks [ B S ]:
[ B S ] = [ L 0 ] DV dimana L matriks segitiga, D diagonal dan D1/2V adalah orthonormal, dengan L dan V disimpan dalam bentuk produk. Bagaimanapun jika S memiliki lebih dari 1 atau 2 kolom, faktorisasinya akan selalu lebih padat daripada faktorisasi LU dari B. Jadi atas dasar efisiensi, akan dilanjutkan Z dalam persamaan (21). Pada saat bersamaan, (dari hasil yang tak diharapkan B−1) disadari bahwa B harus dalam kondisi yang memungkinkan.
4.3 Implementasi 4.3.1 Ringkasan Prosedur Garis besar algoritma optimisasi diberikan disini, beberapa hal-hal penting dari implementasi akan dibahas selanjutnya.
Diasumsikan sebagai berikut:
(a) Vektor layak x memenuhi [ B S N ] x = b, l ≤ x ≤ u. (b) Nilai fungsi memenuhi f (x) dan gradien vektor g(x) = [ gB gS gN ]T . (c) Jumlah variabel superbasic, s (0 ≤ s ≤ n − m). (d) Faktorisasi LU, dari m × m matriks dasar B. (e) Faktorisasi RT R, dari pendekatan quasi-Newton untuk s × s matriks ZT GZ.
(Perhatikan bahwa G, Z dan ZT GZ tidak pernah benar-benar dihitung.) (f) Vektor π memenuhi BT π = gB. (g) Turunan gradien vektor h = gS − ST π.
Universitas Sumatera Utara
23
(h) Konvergensi positif terkecil memenuhi toleransi TOLRG dan TOLDJ.
Langkah 1. (Uji konvergensi dalam subruang saat ini). Jika h > TOLRG lanjut ke langkah 3.
Langkah 2. (”PRICE”, yaitu estimasi perkalian Lagrange, tambah satu superbasic). (a) Hitung λ = gN − N T π. (b) Pilih λq1 < −TOLDJ(λq2 > +TOLDJ), elemen terbesar dari λ yang sesuai dengan variabel batas terendah (tertinggi). Jika tidak, STOP; kondisi Kuhn-Tucker memenuhi solusi optimal. (c) Selain itu, (i) Pilih q = q1 atau q = q2 yang sesuai |λq| = max(|λq1|, |λq2|) (ii) Tambah αq sebagai kolom baru dari S; (iii) Tambah λq sebagai elemen baru dari h; (iv) Tambah kolom baru yang sesuai R. (d) Kurangi s dengan 1.
Langkah 3. (Hitung arah dari pencarian, p = Zps). (a) Selesaikan RT R ps = −h. (b) Selesaikan LU pB = −Sps. (c) Set p = ppBS . 0
Langkah 4. (Uji rasio ”CHUZR”). (a) Cari αmax = 0, step-length, nilai terbesar dari x + αp adalah layak. (b) Jika αmax = 0 lanjut ke langkah 7.
Langkah 5 (Pencarian garis untuk step-length).
Universitas Sumatera Utara
24
(a) Cari α, yang beraproksimasi pada λ∗, dimana
F (x + α∗p) = min f (x + θp)
0