Pertemuan 12 ARTIFICIAL NEURAL NETWORKS (ANN) - JARINGAN SYARAF TIRUAN -

  Pertemuan 12 ARTIFICIAL NEURAL

• JARINGAN SYARAF TIRUAN -

  Betha Nurina Sari, M.Kom

JARINGAN SYARAF TIRUAN (JST)

  Defiisi JST Defiisi JST Istilah dalam JST Istilah dalam JST Kompoiei JST Kompoiei JST Arsitektur Jariigai Arsitektur Jariigai Fuigsi Aktivasi Fuigsi Aktivasi Proses Pembelajarai Proses Pembelajarai Macam-macam JST Macam-macam JST

  Jaringan Syaraf Tiruan

• • Salah satu represeitasi buatai

  dari otak maiusia yaig selalu

  meicoba uituk meisimulasikai proses pembelajarai pada otak maiusia tersebut.

  

Jaringan Syaraf

Tiruan

  INTRODUCTION

Istilah dalam JST

• Neuron: sel syaraf tiruai yaig merupakai

  elemei peigolah JST

• Jaringan: beituk arsitektur JST, kumpulai

  ieuroi yaig saliig berhubuigai dai membeituk lapisai

• • Input: sebuah iilai iiput yaig akai diproses

  meijadi iilai output

• Output: solusi dari iilai iiput

• • Hidden layer: lapisai yaig tidak terkoieksi

  

secara laigsuig deigai lapisai iiput atau

output, memperluas kemampuai JST

Istilah dalam JST

• Bobot: iilai matematis dari sebuah koieksi aitar

  ieuroi

• Fungsi aktivasi: fuigsi yaig diguiakai uituk

  meigupdate iilai-iilai bobot per-iterasi dari semua iilai iiput.

• Fungsi aktivasi sederhana adalah meigalikai

  iiput deigai bobotiya dai kemudiai meijumlahkaiiya (disebut peijumlahai sigma)

• Berbeituk liiier atau tidak liiier, dai sigmoid

• • Paradigma pembelajaran: beituk pembelajarai,

  supervised learning atau unsupervised learning

KOMPONEN JARINGAN SYARAF

• Neuroi/sel syaraf yaig akai meitraisformasikai iiformasi yaig diterima melalui sambuigai keluariya meiuju ieuroi-ieuroi yaig laii.
• Pada jariigai syaraf, hubuigai aitar ieuroi-ieuroi dikeial deigai iama bobot.

KOMPONEN JARINGAN SYARAF

• Pada jariigai syaraf, ieuroi- ieuroi akai dikumpulkai dalam lapisai-lapisai (layer) yaig

  disebut deigai lapisai ieuroi

  (ieuroi layers)
• Faktor terpeitiig uituk meieitukai kelakuai suatu

  ieuroi adalah fungsi aktivasi

• Iiformasi yaig diberikai pada jariigai syaraf akai dirambatkai lapisai ke lapisai, mulai dari iiput sampai ke lapisai output melalui lapisai yaig laiiiya, yaig dikeial deigai lapisai tersembuiyi (hiddei layer), tergaituig pada algoritma pembelajaraiiya, bisa jadi iiformasi tersebut akai dirambatkai secara muidur pada

  IMPLEMENTATION

ARSITEKTUR JARINGAN

  Jariigai deigai lapisai tuiggal Jariigai deigai lapisai tuiggal (single layer net) (single layer net) Jariigai deigai baiyak lapisai Jariigai deigai baiyak lapisai (multilayer net) (multilayer net) Jariigai deigai lapisai kompetitif Jariigai deigai lapisai kompetitif (compotitive layer net) (compotitive layer net)

Jaringan dengan lapisan tunggal (single layer net)

• – Haiya memiliki satu lapisai deigai bobot- bobot terhubuig
• – Jariigai iii haiya meierima iiput kemudiai secara laigsuig akai meigolahiya meijadi output taipa harus melalui lapisai tersembuiyi.

Jaringan dengan banyak lapisan (multilayer net)

• Memiliki 1 atau lebih lapisai yaig terletak diaitara lapisai iiput dai lapisai output
• Ada lapisai yaig berbobot yaig terletak aitara 2 lapisai yaig bersebelahai

  Jaringan dengan lapisan kompetitif (compotitive layer net)

• Hubuigai aitar ieuroi pada lapisai kompetitif tidak diperlihatkai pada diagram arsitektur
• Fuigsi aktivasi merupakai fuigsi yaig diguiakai pada jariigai syaraf uituk meigaktifkai atau tidak meigaktifkai

  ieuroi. Seperti terlihat pad gambar sebuah

  ieuroi akai meigolah N iiput (x1, x2, ..,xN) yaig masiig-masiig memiliki bobot w1, w2, w3, ..,wN) dai bobot bias b.

Fungsi Aktivasi

• Fungsi Undak Biner (Hard Limit)
• Jariigai deigai lapisai tuiggal seriig meigguiakai fuigsi uidak uituk meikoiversi iiput dari suatu variabel yaig beriilai koitiiu ke suatu output biier.
• Fuigsi hard limit dirumuskai

Fungsi Aktivasi

• Fungsi Undak Biner (Threshold)
• Fuigsi uidak biier deigai meigguiakai iilai ambaig seriig disebut fuigsi iilai ambaig atau fuigsi Heaviside.
• Dirumuskai:

  Fungsi Aktivasi

• Fungsi Bipolar • Hampir sama deigai fuigsi uidak biier, haiya saja output yaig dihasilkai berupa1, 0 atau-1

Fungsi Aktivasi

• Fungsi Bipolar (dengan Threshold)
• Fuigsi yaig meighasilkai output berupa 1, 0 atau -1

Fungsi Aktivasi

• Fungsi Linear (identitas)
• Fuigsi liiear memiliki iilai output yaig sama deigai iilai iiput
• Dirumuskai: y= x

  Fungsi Aktivasi

• Fungsi Sturating Linear • Fuigsi iii akai beriilai 0 jika iiputiya kuraig dari -½, dai akai beriilai 1 jika iiputiya lebih dari ½. Sedaigkai jika iilai iiput terletak aitara-½ dai ½, maka outputiya akai beriilai sama deigai iilai iiput ditambah ½.

  Fungsi Aktivasi

• Fungsi Symetric Saturating Linear • Fuigsi iii akai beriilai -1 jika iiputiya kuraig dari-1. Sedaigkai jika iilai iiput terletak aitara -1 dai 1, maka outputiya akai beriilai sama deigai iilai iiputiya.

  Fungsi Aktivasi

• Fungsi Sigmoid Biner • Diguiakai uituk jariigai syaraf yaig dilatih deigai meigguiakai metode backpropagatioi. Memiliki iilai pada raige 0 sampai 1

Fungsi Aktivasi

• Fungsi Sigmoid Bipolar • Output dari fuigsi iii memiliki raige aitara 1 sampai -1
• Fuigsiiya dirumuskai:

  IMPLEMENTATION Neural Network usiig MATLAB – _{Haidwrittei Character Recogiitioi}

Proses Pembelajaran

• • Belajar adalah suatu proses dimaia parameter-

  parameter bebas JST diadaptasikai melalui suatu proses peraigsaigai berkelaijutai oleh liigkuigai di maia jariigai berada.

  Metode belajar, yaitu:

• Supervised learning (belajar dengan

  pengawasan)

• Unsupervised learning (belajar tanpa

  pengawasan)

• Hibrida learning (Gabungan Supervised

  dan Unsupervised)

  

Proses Pembelajaran

Pembelajaran Terawasi (

  Metode Pembelajaran Tak Terawasi(

  Pada

  

PEMBELAJARAN TERAWASI

(SUPERVISED LEARNING)

Hebb Rule

  Metode pembelajarai yaig paliig sederhaia, pembelajarai dilakukai

deigai cara memperbaiki

iilai bobot sedemikiai rupa sehiigga jika ada 2 ieuroi yaig terhubuig dai keduaiya dalam koidisi “oi” pada saat yaig sama, maka bobot aitara keduaiya diiaikkai

PERCEPTION

• Biasaiya diguiakai uituk meigklasifkasikai suatu tipe pola terteitu yaig seriig dikeial deigai pemisahai secara liiear.
• Algoritma yaig diguiakaiakai meigatur parameter- parameter bebasiya melalui proses pembelajarai

  Delta Rule

• Meigubah bobot yaig meighubuigkai aitara jariigai iiput ke uiit output deigai iilai target.

  Backpropagation

• Algoritma iii biasaiya diguiakai oleh perceptioi deigai baiyak lapisai uituk meigubah bobot-bobot yaig terhubuig deigai ieuroi-ieuroi yaig ada pada lapisai tersembuiyi

  Hetro associative Memory

• Jariigai yaig bobot-bobotiya diteitukai sedemikiai rupa sehiigga jariigai tersebut dapat meiyimpai kumpulai pola.

Bidirectional Associative Memory

• Model jariigai syaraf yaig memiliki 2 lapisai dai terhubuig peiuh dari satu lapisai ke lapisai laiiiya.
• Pada jariigai iii dimuigkiikai adaiya hubuigai timbal balik aitara lapisai iiput dai lapisai output.

Learning vector Quantization

• Suatu metode uituk melakukai pembelajarai

  pada lapisai kompetitif

  yaig terawasi.
• Suatu lapisai kompetitif akai secara otomatis belajar uituk meigklasifkasikai vektor-

  vektor iiput. Kelas-kelas

  yaig didapatkai sebagai

  hasil haiya tergaituig

  pada jarak aitara vektor-

  LEARNING)

Pembelajaran Tak Terawasi (Jaringan Kohonen)

• • Jariigai kohoiei pertama kali diperkeialkai

  oleh Prf. Teuvo Kohoiei tahui1982.
• Pada jariigai iii, suatu lapisai yaig berisi ieuroi-ieuroi akai meiyusui diriiya seidiri berdasarkai iiput iilai terteitu

  dalam suatu kelompok yaig dikeial deigai

  istilah cluster.

• • Selama proses peiyusuiai diri, cluster yaig

  memiliki vektor bobot paliig cocok deigai

  pola iiput akai terpilih sebagai pemeiaig.

• - HEBB RULE -

Hebb Net

• Hebb meigusulkai pembelajarai deigai memodifkasi bobot sedemikiai shg dua hubuigai ieuroi “oi” dalam waktu yaig bersamaai, kemudiai bobot diaitara kedua ieuroi tersebut bertambah.

  keteraigai : W : bobot data iiput ke-i _i x : iiput data ke-i _i y : output data

  Algoritma Hebb Net

Hebb Net

• Coitoh peigeialai pola deigai algoritma Hebb • Diketahui dua buah pola seperti huruf

  “T” dai “U” seperti gambar . Guiakai jariigai Hebb uituk meigeiali pola tersebut :

  

Inisialisasi Pola 1 dan

  2

Algoritma pelatihan Hebb

• Iiisialisasi bobot dai bias : w1 = w2 =w3=w4=w5=w5=w6=w7=w8=w9= 0 dai bias b= 0
• Pola ke 1 : Perubahai bobot dai bias uituk pola ke 1 w1(baru) = w1(lama) + x1*y = 0+1*1 = 1
• w2(baru) = w2(lama) + x2*y = 0+1*1 = 1
• w3(baru) = w3(lama) + x3*y = 0+1*1 = 1
• w4(baru) = w4(lama) + x4*y = 0+(-1)*1 = -1
• w5(baru) = w5(lama) + x5*y = 0+1*1 = 1
• w6(baru) = w6(lama) + x6*y = 0+(-1)*1 = -1
• w7(baru) = w7(lama) + x7*y = 0+(-1)*1 = -1
• w8(baru) = w8(lama) + x8*y = 0+1*1 = 1

Algoritma pelatihan Hebb

• • Pola ke- 2 Perubahai bobot dai bias uituk pola ke 2

• w1(baru) = w1(lama) + x1*y = 1+1*(-1) = 0
• w2(baru) = w2(lama) + x2*y = 1+(-1)*(-1) = 2
• w3(baru) = w3(lama) + x3*y = 1+1*1 = 1
• w4(baru) = w4(lama) + x4*y = (-1)+1*(-1) = -2
• w5(baru) = w5(lama) + x5*y = 1+(-1)*(-1) = 2
• w6(baru) = w6(lama) + x6*y = (-1)+1*(-1) = -2
• w7(baru) = w7(lama) + x7*y = (-1)+ 1*(-1) = -2
• w8(baru) = w8(lama) + x8*y = 1+1*(-1) = 0
• w9(baru) = w9(lama) + x9*y = (-1)+1 * (-1) = -2
• b(baru) = b(lama) + y = 1+ (-1)=0

Algoritma pelatihan Hebb

• Diperoleh iilai Pola 1
• w1 =1 w2 =1 w3=1 w4=-1 w5=1 w6=- 1 w7=-1 w8=1 w9= -1 dai bias b= 1
• diperoleh iilai Pola 2:
• w1 =0 w2 = 2 w3= 1 w4= -2 w5= 2 w6= -2 w7= -2 w8=0 w9= -2 dai bias b= 0

  Pengenalan Pola

Pengenalan Pola

•   • Pola 1
• 1 = 10 Y= f(iet) = f(10) = 1 Y = 1 (sesuai target): meigeiali pola

Pengenalan Pola

•   • Pola 2
• = -11 Y= f(iet) = f(-11) = -1 Y = -1 (sesuai target): meigeiali pola

  LATIHAN

• Buatlah maiual atau implemeitasi dari peigeialai kedua pola berikut:

Hebb Net

• Uituk merepreseitasikai kasus tersebut dalam jariigai Hebb, tiap karakter pola diaiggap sebagai sebuah uiit masukai.

  Misalkai

• karakter “#” dalam pola beriilai = 1, dai
• karakter “.” dalam pola beiilai = 0

  NEXT

ALGORITMA

GENETIKA