Penskalaan Komputasi Likelihood Scaling the Likelihood Computation Estimasi Algoritma EM Expectation Maximisation Algorithm pada HMM

22 dengan = � untuk kasus rantai Markov stasioner. Elemen dari � biasanya dikenal dengan peluang forward dimana akan dijelaskan pada sub bab berikutnya[5].

2.6 Penskalaan Komputasi Likelihood Scaling the Likelihood Computation

Pada kasus distribusi state-dependent diskrit, hasil peluang elemen � akan semakin kecil nilainya saat � meningkat, dan pada akhirnya dibulatkan menjadi 0, atau biasa disebut underflow. Salah satu cara dalam mengatasi masalah underflow digunakan penskalaan likelihood, yaitu menghitung nilai log dari likelihood, atau bisa disebut dengan penskalaan vektor peluang forward � . Didefinisikan sebuah vektor, untuk � = 0,1, … , � adalah[5]: � � = � � dimana � = � � � = � �′. Pertama kita perhatikan akibat langsung dari definisi � � dan � : = � ′ = �� ′ = 1; � � = �; � � � = �−1 � �−1 � ; 2.33 � � = � � ′ = � � � � ′ = � dimana kita definisikan � adalah sebuah matriks dengan � = �� � � . Karena � � = � = � �−1 � �=1 , berdasarkan Persamaan 2.33 diperoleh: � = �−1 � �−1 � �′ dan sehingga 23 log � � = log � �−1 = log � �−1 � � ′ � �=1 � �=1 2.34

2.7 Estimasi Algoritma EM Expectation Maximisation Algorithm pada HMM

Salah satu metode umum yang digunakan untuk mengestimasi parameter- parameter pada HMMs adalah dengan menggunakan metode Algoritma EM Estimation Maximization Algorithm. Dalam konteks HMMs, algoritma EM dikenal sebagai algoritma Baum-Welch, dimana rantai Markov pada HMM adalah homogen dan tidak diharuskan stasioner. Parameter HMM yang diestimasi dengan Algoritma EM adalah distribusi keadaan bergantung � � , matriks peluang transisi �, dan distribusi inisial �. Dalam penerapannya, Algoritma EM membutuhkan perangakat yaitu peluang forward dan peluang backward, dimana kedua peluang tersebut dapat digunakan untuk prediksi state[5]. 1. Peluang Forward Peluang forward � untuk � = 1, 2, … , � didefinisikan sebagai vektor baris[5]: � = �� � 1 �� � 2 … �� � � = �� � 1 ��� � =2 2.35 dengan � adalah distribusi inisial rantai Markov. Berdasarkan definisi peluang forward di atas, untuk � = 1, 2, … , � −1, dapat ditulis �+1 = � �� � �+1 , atau dalam bentuk skalar: �+1 = � � � �=1 � � � �+1 , 24 Artinya, � dimana adalah komponen adalah peluang bersama Pr � 1 = � 1 , � 2 = � 2 , … , � � = � � , � = Dalil Peluang Forward[5]: Untuk � = 1, 2, … , � dan = 1, 2, … , , � = Pr � � = � � , � = 2. Peluang Backward Peluang backward � untuk � = 1, 2, … , � didefinisikan sebagai vektor baris[5]: ′ � = �� � �+1 �� � �+2 … �� � � �′ = �� � � = �+1 �′ 2.36 dimana untuk � = �, � = 1. Berdasarkan definisi peluang backward di atas, untuk � = 1, 2, … , � −1, dapat ditulis ′ � = �� � �+1 ′ �+1 . Dalil Peluang Backward[5]: Untuk � = 1, 2, … , � − 1 dan � = 1, 2, … , , � � = Pr � �+1 = � �+1 , � �+2 = � �+2 , … , � � = � � , � = � , dengan ketentuan bahwa Pr � = � 0. Dalam notasi lebih sederhana dapat ditulis: � � = Pr � �+1 � = � �+1 � � = � , dimana � merupakan vektor � , � +1 , … , � . Dalil di atas mengidentifikasi � � sebagai peluang bersyarat, yaitu peluang obeservasi � �+1 , … , � � dimana diberikan rantai Markov berada pada keadaan � pada waktu �. 25 3. Peluang Forward dan Peluang Backward Gabungan antara peluang forward dan peluang backward � dan � dapat diterapkan untuk menghitung peluang Pr � � = � � , � = � , dimana gabungan peluang tersebut dibutuhkan dalam pengaplikasian algoritma EM pada HMMs. Dalil Peluang Forward dan Peluang Backward[5]: Untuk � = 1, 2, … , � dan � = 1, 2, … , , � � � � = Pr � � = � � , � = � , dan akibatnya ′ = Pr � � = � � = � � , untuk setiap �. Dan dalam pengaplikasian algoritma EM pada HMMs juga dibutuhkan dua sifat berikut[5]: Dalil Peluang Forward dan Peluang Backward[5]: Petama, untuk � = 1, 2, … , �, Pr � = � � = � � = � � � � ; 2.37 dan yang kedua, untuk � = 2, … , � Pr �−1 = , � = � � = � � = �−1 � � � � � � 2.38 Pada HMM, yaitu dimana barisan keadaan rantai Markov tidak teramati, dimungkinkan terdapat data hilang missing value pada barisan tersebut, yang berakibat data tidak lengkap incomplete data. Algoritma EM merupakan sebuah metode iteratif yang juga berfungsi untuk menghitung estimasi maksimum likelihood maximum likelihood estimation untuk data tidak lengkap, sehingga diperoleh data 26 lengkap log-likelihood[5]. Dalam setiap iterasi Algoritma EM terdapat 2 tahap, yaitu tahap Ekspektasi atau tahap E E-step dan tahap Maksimisasi atau tahap M M-step. Pada kasus HMM, barisan keadaan � 1 , � 2 , … , � � rantai Markov dengan variabel acak nol-satu didefinisikan sebagai[5]: � = 1 jika dan hanya jika � � = , � = 1, 2, … , � dan � = 1 jika dan hanya jika � �−1 = dan � � = � = 2, 3, … , �. Data lengkap log-likelihood CDLL HMM, yaitu dimana terdapat barisan observasi � 1 , � 2 , … , � � serta data hilang � 1 , � 2 , … , � � , adalah[5]: log Pr⁡� � , � � = 1 =1 log � + � � �=2 =1 log =1 + � � �=1 log � � � =1 2.39 = Bentuk 1 + Bentuk 2 + Bentuk 3 dimana � adalah distribusi inisial rantai Markov distribusi 1 yang tidak diharuskan stasioner. Proses atau 2 tahapan Algoritma EM pada HMM adalah sebagai berikut: 1. Tahap E E-step Mengganti semua nilai dan � dengan ekpektasi bersyaratnya jika diberikan observasi � � [5]: � = Pr � = | � � = � � � � ; 2.40 dan � = Pr �−1 = , � = | � � = �−1 � � � � � � . 2.41 27 Sebagai catatan bahwa dalam perhitungan pada E-step, diperlukan peluang forward dan peluang backward pada HMM Persamaan 2.37 dan Persamaan 2.38, dimana untuk peluang forward tidak mengasumsikan rantai Markov{ � } stasioner. Akan tetapi pada peluang backward tidak terpengaruh dengan stasioneritas rantai Markov{ � }[5]. 2. Tahap M M-step Setelah mengganti nilai dan � dengan � dan � , langkah berikutnya adalah memaksimalkan CDLL Persamaan 2.39, yang berkenaan dengan tiga set parameter, yaitu distribusi inisial �, matriks peluang transisi �, dan parameter distribusi state-dependen dalam kasus Poisson-HMM adalah � 1 , � 2 , … , � 3 [5]. Kedua langkah algoritma EM di atas diulang hingga mencapai kekonvergenan pada masing-masing parameter.

2.8 Pemilihan Model berdasarkan AIC Akaike