Peubah Acak dan Fungsi Sebaran Definisi .1 Peubah Acak

Definisi 2.1.3 Medan- σ Koleksi F dari himpunan bagian Ω disebut sebagai medan- σ jika memenuhi syarat: a. φ ∈F b. jika 1 2 , ,... A A ∈ F maka 1 i i A ∞ = ∈ ∪ F c. Jika A ∈F maka c A ∈ F . [Grimmet dan Stirzaker, 1992] Definisi 2.1.4 Ukuran Peluang Misalkan F adalah Medan- σ dari ruang contoh Ω . Ukuran peluang adalah suatu fungsi [ ] : 0,1 P → F ฀ pada , Ω F yang memenuhi: 1. 0, 1 P P φ = Ω = , 2. Jika 1 2 , , A A ∈ F adalah himpunan yang saling lepas yaitu i j A A φ = ∩ untuk setiap pasangan i j ≠ , maka 1 1 i i i i P A P A ∞ ∞ = = ⎛ ⎞ = ⎜ ⎟ ⎝ ⎠ ∑ ∪ . Pasangan , , P Ω F disebut ruang peluang. [Grimmet dan Stirzaker, 1992] Definisi 2.1.5 Peluang Bersyarat Jika P B maka peluang bersyarat dari kejadian A setelah diketahui kejadian B ialah | P A B P A B P B ∩ = . [Grimmet dan Stirzaker, 1992] Definisi 2.1.6 Kejadian Saling Bebas Kejadian A dan B dikatakan saling bebas jika P A B P A P B ∩ = . Misal I adalah himpunan indeks. Himpunan kejadian { } : i A i I ∈ disebut saling bebas jika i i i J i J P A P A ∈ ∈ = ∏ ∩ untuk setiap himpunan bagian berhingga J dari I. [Grimmet dan Stirzaker, 1992] Definisi 2.1.7 Kontinu Absolut Jika v dan µ merupakan ukuran peluang pada , Ω F . Ukuran peluang v dikatakan kontinu absolute terhadap ukuran peluang µ jika A µ = maka vA= 0, untuk setiap A ∈ F . Dinotasikan v µ . [Royden, 1963] Teorema 2.1.8 Radon Nikodym Jika P dan P merupakan dua ukuran peluang pada , Ω F sehingga untuk setiap B ∈ F , P B = menyebabkan P B = , maka terdapat peubah acak tak negative ∆ sehingga C P C dP = ∆ ∫ untuk semua C ∈ F . Dinotasikan dP dP = ∆ F . [bukti lihat Wong dan Hajek, 1985] 2.2 Peubah Acak dan Fungsi Sebaran Definisi 2.2.1 Peubah Acak Misalkan F adalah medan- σ dari Ω . Peubah acak X merupakan fungsi : X Ω → di mana { } : X x ω ω ∈ Ω ≤ ∈ F untuk setiap x ∈ . [Grimmet dan Stirzaker, 1992] Peubah acak dinotasikan dengan huruf besar, sedangkan nilai dari peubah acak tersebut dinotasikan dengan huruf kecil. Definisi 2.2.2 Fungsi Sebaran Fungsi sebaran dari peubah acak X adalah suatu fungsi [ ] : 0,1 F → di mana X F x P X x = ≤ . [Grimmet dan Stirzaker, 1992] Definisi 2.2.3 Peubah Acak Diskret Peubah acak X disebut sebagai peubah acak diskret jika nilainya hanya berada pada himpunan bagian yang terhitung dari . [Grimmet dan Stirzaker, 1992] Definisi 2.2.4 Fungsi Kerapatan Peluang Fungsi kerapatan peluang dari peubah acak diskret X adalah fungsi [ ] : 0,1 p → di mana X p x P X x = = . [Grimmet dan Stirzaker, 1992] Definisi 2.2.5 Peubah Acak Kontinu Peubah acak X disebut kontinu jika fungsi sebarannya dapat dinyatakan sebagai ; x X F x f u du x −∞ = ∈ ∫ di mana [ : 0, f → ∞ adalah fungsi yang terintegralkan. f merupakan fungsi kepekatan peluang dari peubah acak X. [Grimmet dan Stirzaker, 1992] Definisi 2.2.6 Fungsi Sebaran Bersama Dua Peubah Acak Fungsi sebaran bersama dua peubah acak X dan Y merupakan suatu fungsi [ ] 2 : 0,1 F → yang didefinisikan oleh , , F x y P X x Y y = ≤ ≤ . [Grimmet dan Stirzaker, 1992] Definisi 2.2.7 Fungsi Kepekatan Peluang Bersama Misalkan X dan Y peubah acak kontinu, maka fungsi kepekatan peluang bersama dari X dan Y adalah 2 , , XY F x y f x y x y ∂ = ∂ ∂ dan fungsi kepekatan peluang marginal dari peubah acak Y adalah , Y XY f y f x y dx ∞ −∞ = ∫ . [Grimmet dan Stirzaker, 1992] Definisi 2.2.8 Fungsi Kepekatan Peluang Bersyarat Misalkan X dan Y peubah acak kontinu dengan fungsi kepekatan peluang marginal Y f y , maka fungsi kepekatan peluang bersyarat dari X dengan syarat Y = y adalah | , | XY X Y Y f x y f x y f y = . [Grimmet dan Stirzaker, 1992] Definisi 2.2.9 Nilai Harapan Peubah Acak Diskret Misalkan X adalah peubah acak diskret dengan fungsi kerapatan peluang X p x P X x = = maka nilai harapan dari X adalah [ ] X x E X xp x = ∑ asalkan jumlah di atas konvergen. [Hogg dan Craig, 1995] Definisi 2.2.10 Nilai Harapan Peubah Acak Kontinu Misalkan X adalah peubah acak kontinu dengan fungsi kepekatan peluang X f x maka nilai harapan dari X adalah [ ] X E X xf x dx ∞ −∞ = ∫ asalkan integralnya ada. [Hogg dan Craig, 1995] Definisi 2.2.11 Nilai Harapan Bersyarat Misalkan X dan Y adalah peubah acak kontinu dan | | X Y f x y adalah fungsi kepekatan peluang bersyarat dari X dengan syarat Y = y, maka nilai harapan dari X dengan syarat Y = y adalah [ ] | | | X Y E X Y y xf x y dx ∞ −∞ = = ∫ . [Hogg dan Craig, 1995] Definisi 2.2.12 Himpunan Konveks dan Fungsi Konveks Misalkan N S ∈ adalah himpunan vektor. Maka S disebut sebagai himpunan konveks jika untuk semua , x x S ∈ terdapat [ ] 0,1 λ ∈ maka 1 x x S λ λ − + ∈ . Misalkan f merupakan fungsi dengan peubah x yang terdefinisi pada himpunan konveks S. Maka f disebut sebagai fungsi konveks jika f memenuhi persamaan 1 1 f x x f x f x λ λ λ λ − + ≤ − + . Jika f memiliki turunan kedua, maka f disebut sebagai fungsi konveks jika dan hanya jika 2 0, f x x S ∇ ≥ ∀ ∈ dan merupakan strictly convex jika 2 0, f x x S ∇ ∀ ∈ . [Osborne, 1997] Teorema 2.2.13 Ketaksamaan Jensen Misalkan X ∈ adalah peubah acak dengan X ⎡ ⎤ ⎣ ⎦  berhingga dan gx adalah fungsi konveks. Maka [ ] . g X g X ≥ ⎡ ⎤ ⎣ ⎦   [bukti lihat Weisstein, 1999] 2.3 Rantai Markov Definisi 2.3.1 Ruang State Misalkan S ⊂ merupakan himpunan nilai dari barisan peubah acak, maka S disebut ruang state. [Grimmet dan Stirzaker,1992] Definisi 2.3.2 Proses Stokastik Proses stokastik { , } t S S t T = ∈ adalah suatu koleksi dari peubah acak yang memetakan suatu ruang contoh Ω ke suatu ruang state K. Jadi, untuk setiap t pada himpunan indeks T, S t adalah suatu peubah acak. [Ross,1996] Dalam hal ini anggap t sebagai waktu dan nilai dari peubah acak S t sebagai state keadaan dari proses pada waktu t. Definisi 2.3.3 Rantai Markov Proses S adalah rantai Markov jika memenuhi syarat Markov, yaitu: 1 1 1 1 1 1 | , ,..., | . t t t t t t P S s S s S s S s P S s S s − − − − = = = = = = = [Grimmet dan Stirzaker,1992] Definisi 2.3.4 Rantai Markov dengan Waktu Diskret Misalkan S t suatu peubah acak. Proses stokastik { , 0,1, 2,...} t S t = , dengan ruang state {0,1,2,…,N} disebut rantai Markov dengan waktu diskret jika untuk setiap t={0,1,2,..} berlaku 1 2 1 1 { | , ,...} { | } t t t t t t ij P S j S i S i P S j S i p − − − − = = = = = = = untuk semua kemungkinan nilai dari i o ,i 1 ,i 2 ,…,i n-1 ,i,j ∈ {1,2,3,…,N} [Ross,1996] Jadi untuk suatu rantai Markov, sebaran bersyarat dari sebarang state saat ini S t dengan syarat state yang lalu S ,S 1 ,S 2 ,…,S t-2 dan state kemarin S t-1 adalah bebas terhadap semua state yang lalu, dan hanya bergantung pada state kemarin. Proses di atas dapat digambarkan sebagai N- state rantai Markov dengan peluang transisi {p ij } i,j = 1,2,…,N. Nilai dari peluang transisi p ij menyatakan peluang bahwa jika proses tersebut berada pada state i maka berikutnya akan beralih ke state j. Karena nilai peluang adalah tak negatif dan karena proses tersebut harus mengalami transisi ke suatu state maka a. p ij ≥ 0, untuk semua i,j ∈ {1,2,…,N} b. 1 1 N ij j p = = ∑ untuk semua i ∈ {1,2,…,N} Peluang transisi N x N dapat dituliskan dalam bentuk matriks P yang disebut juga sebagai matriks transisi, yaitu 11 1 1 N N NN p p p p ⎛ ⎞ ⎜ ⎟ = ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ P … di mana i menandakan kolom dan j menandakan baris dari matriks P. 2.4 Algoritma EM Expectation Maximization Misalkan { } , P θ θ ∈ Θ adalah himpunan ukuran peluang yang terdefinisi pada , Ω F dan kontinu absolut terhadap P . Misalkan ⊂ Y F . Fungsi Likelihood yang digunakan untuk menghitung penduga parameter θ berdasarkan informasi Y adalah | dP L dP θ θ ⎡ ⎤ = Ε ⎢ ⎥ ⎣ ⎦ Y . Penduga Maximum Likelihood MLE didefinisikan oleh ˆ arg max L θ θ θ ∈Θ ∈ . Umumnya MLE sulit dihitung secara langsung, oleh karena itu diperlukan suatu metode aproksimasi berulang, yakni algoritma Expectation Maximization EM. Langkah-langkah dalam metode tersebut adalah: 1. Set nilai awal parameter ˆ k θ dengan k = . 2. Set ˆ k θ θ = dan hitung , θ θ Q dengan , log | dP dP θ θ θ θ θ ⎡ ⎤ = Ε ⎢ ⎥ ⎣ ⎦ Q Y . 3. Cari 1 ˆ arg max , k θ θ θ + ∈ Q . 4. Ganti k dengan k+1 dan ulangi langkah 2 sampai 4 hingga kriteria hentinya tercapai, yaitu ketika selisih 1 ˆ k θ + dan ˆ k θ kurang dari suatu bilangan yang sangat kecil. Bilangan tersebut dapat ditentukan sesuai dengan seberapa besar ketelitian yang diinginkan. Misalkan 1 log g x x ⎛ ⎞ = ⎜ ⎟ ⎝ ⎠ , karena turunan kedua dari g x selalu positif 2 2 2 1 log 1 0, g x x x x ⎛ ⎞ ∇ = ∇ ⎜ ⎟ ⎝ ⎠ = ∀ maka g x merupakan fungsi konveks. Karena 1 log x ⎛ ⎞ ⎜ ⎟ ⎝ ⎠ merupakan fungsi konveks, maka berdasarkan ketaksamaan Jensen dapat dihasilkan barisan { } ˆ , k k θ ≥ , yang merupakan fungsi likelihood yang tak turun yaitu 1 1 ˆ ˆ ˆ ˆ log log , k k k k L L θ θ θ θ + + − ≥ Q 2.4.1 Bukti: Definisikan 1 , 1 k k i i k λ = Λ = ≥ ∏ dengan 1 i i i dP dP θ θ λ − = maka 1 2 1 1 1 1 2 , 1 . ... . ... k k k P k i i k k dP dP dP dP dP dP dP dP θ θ θ θ θ θ θ θ λ λ λ λ − = Λ = ≥ = = = ∏ atau k k k dP dP θ θ ∆ = G . Dengan cara serupa maka 1 1 1 k k k dP dP θ θ + + + ∆ = G serta 1 1 k k k dP dP θ θ λ + + = Akibatnya 1 1 ˆ ˆ ˆ ˆ log log log | log | k k k k L L dP dP dP dP θ θ θ θ + + − = ⎡ ⎤ ⎡ ⎤ = − ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ Y Y   [ ] [ ] [ ] 1 1 log | log | log | log k k k k k k λ + + = ∆ − ∆ = ∆ − ∆    Y Y Y [ ] 1 1 ˆ ˆ , log | log k k k k k k θ θ λ + + = ∆ − ∆ Q Y  [ ] 1 1 ˆ ˆ ˆ log | log | . k k k k k k k dP dP θ θ θ λ + + ∆ = ∆ ⎡ ⎤ = ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ Y Y   Berdasarkan Teorema ketaksamaan Jensen maka 1 1 ˆ ˆ ˆ ˆ ˆ ˆ log | log | k k k k k k dP dP dP dP θ θ θ θ θ θ + + ⎡ ⎤ ⎡ ⎤ − ≤ − ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ Y Y   atau 1 ˆ ˆ 1 ˆ ˆ ˆ log log log | k k k k k dP L L dP θ θ θ θ θ + + ⎡ ⎤ − ≥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ Y  . Hasil kedua ruas pada persamaan 2.4.1 akan bernilai sama jika dan hanya jika 1 ˆ ˆ k k θ θ + = . Bentuk , θ θ Q disebut Pseudo Likelihood bersyarat. III. MODEL HIDDEN MARKOV 3.1 Model Hidden Markov dan Karakteristiknya Pada bab ini dibahas model Hidden Markov beserta karakteristiknya. Model ini terdiri atas pasangan state t S penyebab kejadian yang tidak diamati dan proses observasinya t Y . Misalkan S t adalah proses yang tidak diamati dengan ruang state { } 1, 2, 3,...N . Jika S t berada pada state j, maka proses yang diamati Y t mempunyai sebaran normal 2 , j j N µ σ . Pasangan {S t ,Y t } disebut model Hidden Markov. Oleh karena itu, fungsi kerapatan peluang dari Y t dengan syarat peubah acak S t bernilai j adalah 2 2 1 | ; exp 2 2 t j t t j j y f y S j µ θ σ πσ ⎧ ⎫ − − ⎪ ⎪ = = ⎨ ⎬ ⎪ ⎪ ⎩ ⎭ 3.1.1 untuk j = 1,2,…N . Dalam hal ini θ adalah vektor dari parameter populasi yang memuat 1 2 3 , , ,..., N µ µ µ µ dan 2 2 2 2 1 2 3 , , ,..., N σ σ σ σ . Peubah yang tidak diamati {S t } diduga telah dibangkitkan oleh beberapa sebaran peluang, di mana peluang tak bersyarat S t = j dinotasikan dengan j π : { } ; t j P S j θ π = = 3.1.2 untuk j = 1,2,…,N . Peluang 1 2 3 , , ,..., N π π π π juga termasuk dalam θ , sehingga θ didefinisikan sebagai 2 2 1 1 1 ,..., , ,..., , ,..., N N N θ µ µ σ σ π π = . Peluang dari kejadian bersama S t = j dan Y t yang berada pada interval [c,d] dapat diperoleh dengan mengintegralkan { } , ; | ; ; t t t t t P y S j f y S j P S j θ θ θ = = = ⋅ = 3.1.3 Sehingga persamaan 3.1.1, 3.1.2 dan 3.1.3 diperoleh 2 2 , ; exp 2 2 t j j t t j j y P y S j µ π θ σ πσ ⎧ ⎫ − − ⎪ ⎪ = = ⎨ ⎬ ⎪ ⎪ ⎩ ⎭ . 3.1.4 Fungsi kerapatan tak bersyarat dari Y t diperoleh dengan menjumlahkan persamaan 3.1.4 untuk semua kemungkinan nilai j: 1 ; , ; N t t t j f y P y S j θ θ = = = ∑ 3.1.5 Karena S t merupakan peubah yang tidak diamati, persamaan 3.1.5 merupakan fungsi kerapatan yang relevan untuk meng- gambarkan data yang diamati sebenarnya Y t . Jika S t bersifat bebas stokastik identik maka log-likelihood untuk data yang diamati dapat dihitung dari 1 2 1 . log ; ; ; log ; 3.1.6 T T t t f y f y f y f y θ θ θ θ θ = = ⋅⋅⋅ = ∑ L Penduga kemungkinan maksimum dari θ diperoleh dengan memaksimumkan persamaan 3.1.6 dengan kendala 1 2 3 1 N π π π π + + + ⋅⋅⋅ + = dan j π ≥ untuk 1, 2, , j N = ⋅⋅⋅ . Hal tersebut dapat diperoleh dengan menggunakan algoritma EM. Setelah diperoleh penduga bagi θ , dapat diketahui peluang terjadinya suatu kejadian Y t serta dapat disimpulkan state mana yang paling memungkinkan menjadi penyebab terjadinya suatu kejadian. Dari definisi peluang bersyarat diperoleh { } { } . , ; | ; ; | ; ; t t t t t j t t t P y S j P S j y f y f y S j f y θ θ θ π θ θ = = = ⋅ = = 3.1.7 Dengan diperolehnya parameter populasi θ , memungkinkan digunakan persamaan 3.1.1 dan 3.1.5 untuk menghitung persamaan 3.1.7 pada setiap pengamatan Y t .

3.2 Reestimasi Parameter Menggunakan