Materi Teknik Optimasi

GRADIENT DESCENT (ASCENT)
By Eni Sumarminingsih, SSi, MM

 Gradient descent (ascent) adalah algoritma 

optimasi orde pertama. 
 Untuk menemukan minimum lokal dari fungsi 
menggunakan gradien descent, diambil  langkah 
sebanding dengan negatif dari gradien (atau 
perkiraan gradien) dari fungsi pada titik sekarang.
 Jika diambil langkah sebanding dengan gradien 
positif, maka akan didapatkan maksimum lokal 
fungsi tersebut; prosedur ini kemudian dikenal 
sebagai gradient ascent
 Gradient descent juga dikenal sebagai steepest 
descent, sedangkan gradient ascent dikenal dengan 
steepest ascent.

ALGORITMA (MAKSIMISASI)


Mulai dari titik awal v0



Bergerak dari v0 ke v1 dengan arah f(v0) :
v1 = v0 + t0 f(v0) 
dengan t0 adalah solusi dari masalah optimisasi 
berikut:
max f(v0 + t0 f(v0) )
s.t t0 ≥ 0



Langkah – langkah tersebut diulangi sampai 
didapat nilai vi  dan vi+1 yang cukup dekat

ALGORITMA (MINIMISASI)


Mulai dari titik awal v0



Bergerak dari v0 ke v1 dengan arah f(v0) :
v1 = v0 ­ t0 f(v0) 
dengan t0 adalah solusi dari masalah optimisasi 
berikut:
min f(v0 ­ t0 f(v0) )
s.t t0 ≥ 0



Langkah – langkah tersebut diulangi sampai 
didapat nilai vi  dan vi+1 yang cukup dekat

ILUSTRASI

CONTOH SOAL

Gunakan metode steepest ascent untuk 

 

aproksimasi solusi dari

        s.t 
Dengan titik awal v0 = (1,1)
Jawab: f(x1, x2) = (– 2(x1 – 3), – 2(x2 – 2))
  f(v0) = f(1,1) = (4,2)
Pilih t0 yang memaksimumkan 
f(v0 + t0 f(v0) )  max f[(1,1)+t0(4,2)]
      max f[1+4t0 , 1+2t0]
    



 

f ‘(t0)=0  ­ 2(­2+4t0)4 ­2(­1+2t0)2 = 0
20 – 40 t0 = 0
t0  =  0.5

v1 = [(1,1)+0.5(4,2)] = (3,2)
Karena f(3, 2) = (0,0) maka iterasi dihentikan
Karena f(x1, x2) adalah fungsi konkaf, maka (3,2) 
adalah solusi yang dicari 

SOAL ­SOAL

1.

  Gunakan metode gradient ascent untuk 
menduga solusi optimal dari 

mulai dari titik awal (2.5, 1.5)
2. Gunakan metode gradient descent untuk 
menduga solusi optimal dari