dengan menggunakan pertidaksamaan gradien maka diperoleh
Bagi pertidaksamaan ini dengan dan ambil
, maka diperoleh
Maka Hx adalah positif semidefinit untuk setiap .
Teorema 2.4:
Misalkan konveks dan dapat diturunkan di X. Jika
minimum global maka
Bukti:
Karena adalah minimum global maka
x
adalah minimum lokal, dengan demikian jelas bahwa
. Sebaliknya jika , maka berlaku
Maka jelas bahwa adalah titik minimum global.
2.4 Metode Newton
Persoalan nonlinear tidak berkendala mempunyai bentuk umum:
dimana dan
X
adalah himpunan terbuka. Jika maka
x
dikatakan solusi fisibel. Jika dan meminimumkan
maka
x
dikatakan solusi optimal.
Perhatikan bahwa semua titik minimum lokal dari suatu fungsi yang
diferensiabel dan kontinu
f
memenuhi syarat perlu
Persamaan ini merepresentasikan sebuah himpunan dari
n
buah persamaan nonlinear yang harus diselesaikan sehingga diperoleh
.
Universitas Sumatera Utara
Salah satu pendekatan untuk masalah minimisasi
fx
adalah mencari solusi untuk himpunan untuk persamaan
dengan memasukkan suatu cara untuk menjamin bahwa solusi yang diperoleh tentunya merupakan sebuah minimum lokal.
Metode tertua untuk menyelesaikan suatu himpunan persamaan nonlinear adalah metode Newton.
Perhatikan masalah optimisasi tanpa kendala berikut
Pada titik ,
fx
dapat dihampiri dengan
dimana hampiran ini dikenal sebagai ekspansi Taylor Kuadratik pada , dimana
dan
Hx
adalah vektor gradien dan Hessian dari fungsi
f
.
Perhatikan bahwa
hx
adalah sebuah fungsi yang kuadratik yang dapat diminimisasi dengan menyelesaikan
. Karena gradient dari
hx
adalah
Maka untuk memperoleh solusi cukup diselesaikan
Sehingga diperoleh
Perhatikan bahwa arah disebut sebagai arah Newton di
Algoritma metode Newton: Step 1 :
Diberikan x , set k=0
Step 2 : Set
. Jika maka STOP
Step 3 : Set step size
Step 4 : Set
. Kembali ke step 1
Jika
fx
merupakan fungsi nonkuadratik, metode Newton dapat memberikan solusi yang divergen dan mungkin saja konvergen menuju titik saddle dan titik
maksimum yang relatif. Bila hal tersebut terjadi maka metode Newton dapat diimprovisasi dengan mengubah formulasi untuk titik baru
Universitas Sumatera Utara
dimana adalah panjangnya langkah tahapan yang minimum pada arah
.
Jika kemiringan berubah-ubah pada setiap iterasi sehingga
Gambar 1.3 Metode Newton maka prosedur turunan kedua bisa didapatkan. Dari persamaan di atas kita
mendapatkan
Sehingga Jadi, hasil prosedur iterasi sekarang adalah
dengan dan
ada, karena
2.5 Kekonvergenan
