Algoritme Expectation Maximization Model Hidden Markov
Proses di atas dapat digambarkan sebagai - state rantai Markov dengan peluang transisi
dengan . Nilai dari
peluang transisi menyatakan peluang
bahwa jika proses tersebut berada pada state maka berikutnya akan beralih ke state .
Karena nilai peluang adalah tak negatif dan karena proses tersebut harus mengalami
transisi ke suatu state maka, a.
, untuk semua .
b. untuk semua
. Peluang transisi
dapat dituliskan dalam bentuk matriks
yang disebut juga sebagai matriks peluang transisi, yaitu
Definisi 2.3.4 Matriks Transisi
Misalkan adalah rantai
Markov dengan ruang state .
Matriks transisi adalah matriks
dari peluang transisi
untuk .
Grimmet dan Stirzaker 2001
Definisi 2.3.5 Rantai Markov Homogen
Misalkan adalah rantai
Markov dengan ruang state , dikatakan
homogen jika
untuk .
Grimmet dan Stirzaker 2001
Definisi 2.3.6 Peluang Transisi n- step
Peluang transisi n-step dari rantai
Markov adalah peluang proses
berpindah dari state ke state dengan langkah yang didefinisikan sebagai berikut:
Ross 1996 Definisi 2.3.6
Terakses
Peluang bahwa pada waktu ke- , proses berada pada state dengan syarat state awal
adalah dinotasikan dengan . Suatu state
disebut terakses dari state notasi: jika
minimal ada sebuah bilangan bulat sehingga
dimana adalah peluang
bahwa pada waktu ke- proses berada pada state dengan syarat state awal adalah .
Ross 2007
Definisi 2.3.7 Berkomunikasi
Dua state dan dikatakan berkomunikasi notasi:
jika state dapat diakses dari state dan state dapat diakses dari state .
Ross 2007
Definisi 2.3.8 Kelas State
Suatu kelas dari state adalah suatu himpunan tak kosong sehingga semua pasangan state
yang merupakan
anggota dari
berkomunikasi satu dengan yang lainnya, serta tidak ada yang merupakan anggota
yang berkomunikasi dengan suatu state yang bukan anggota dari .
Ross 2007
Definisi 2.3.9 Tak Tereduksi
Rantai Markov disebut tak tereduksi jika hanya terdapat satu kelas state, yaitu jika
semua state berkomunikasi satu dengan yang lainnya.
Ross 2007
Definisi 2.3.10 Recurrent dan Transient
State adalah recurrent jika dan transient jika
. Ross 2007