Kemudian karena matriks V mempunyai invers, persamaan di atas dapat dikalikan dengan
1 −
V dari kanan sehingga diperoleh :
1 1
− −
= VDV MVV
1 −
= VDV MI
1 −
= VDV M
Selanjutnya, dapat dicari :
1 −
= V
VD M
n n
2.2
2.4 Rantai Markov
Rantai Markov sebenarnya merupakan bentuk khusus dari model probabilitas yang lebih umum dan dikenal sebagai proses Stokastik.
2.4.1 Definisi rantai Markov
Rantai Markov merupakan proses Stokastik dari variabel-variabel acak
{ }
... 3
, 2
, 1
, ;
= n
X
n
yang membentuk suatu deret yang memenuhi sifat Markov.
2.4.2 Sifat Markov
Dalam sifat Markov, jika diberikan kejadian - kejadian yang telah berlalu past states
1 2
1
,..., ,
,
− n
X X
X X
dan kejadian yang sedang berlangsung present state
n
X , maka kejadian yang akan datang future state
1 +
n
X bersifat bebas independen dari
kejadian-kejadian yang telah berlalu past state
1 2
1
,..., ,
,
− n
X X
X X
. Artinya
Universitas Sumatera Utara
kejadian yang akan datang future state
1 +
n
X hanya bergantung pada kejadian yang
sedang berlangsung present state
n
X .
Untuk suatu pengamatan yang prosesnya sampai untuk waktu ke n, maka distribusi nilai proses dari waktu ke
1 +
n
hanya bergantung pada nilai dari proses pada waktu n.
Secara umum dapat dituliskan:
Pr ,
,..., ,
Pr
1 1
1 1
1 1
j X
i X
j X
j X
j X
j X
i X
n n
n n
n n
n
= =
= =
= =
= =
+ −
− +
.
2.4.3 Asumsi – asumsi dasar rantai Markov
Penggunaan rantai Markov terhadap suatu masalah memerlukan pemahaman tentang tiga keadaan yaitu keadaan awal, keadaan transisi dan keadaan setimbangnya. Dari
tiga keadaan di atas, keadaan transisi merupakan yang terpenting. Oleh karena itulah asumsi – asumsi dalam rantai Markov hanya berhubungan dengan keadaan transisi.
Asumsi – asumsi dalam rantai Markov adalah sebagai berikut : a.
Jumlah probabilitas transisi keadaan adalah 1 b.
Probabilitas transisi tidak berubah selamanya. c.
Probabilitas transisi hanya tergantung pada status sekarang, bukan pada periode sebelumnya.
2.4.4 Keadan awal rantai Markov
Keadaan pada rantai Markov ditulis dalam bentuk vektor yang dinamakan vektor keadaan. Vektor keadaan untuk suatu pengamatan rantai Markov dengan i keadaan
adalah vektor kolom X dimana komponennya yang ke i yakninya
i
x adalah
Universitas Sumatera Utara
probabilitas bahwa sistemnya berada dalam keadaan ke i pada waktu itu. Dapat dituliskan :
=
n
x x
x X
2 1
Untuk keadaan awal, vektor pada rantai Markov adalah keadaan ataupun probabilitas yang terjadi pada waktu yang sedang berlangsung. Vektor keadaan awal
dinotasikan dengan X ..
2.4.5 Keadaan transisi dan probabilitasnya
