17
Definisi 2.7.2: Jika probabilitas transisi satu langkah independen terhadap
variabel waktu n, maka rantai Markov tersebut memiliki probabilitas transisi stasioner.
Maka
, 1
n n ij
P
=
ij
P
independen terhadap n dan
ij
P
adalah probabilitas bersyarat bahwa nilai state melalui sebuah transisi dari i ke j dalam 1 langkah.
Dan biasanya disusun ke dalam bentuk matriks
00 01
02 10
11 12
1 2
i i
i
p p
p p
p p
p p
p
P
Dan
ij
P p
adalah matriks Markov atau matriks transisi probabilitas dari proses. Dan
ij
P
harus memenuhi kondisi sebagai berikut : 2.22
2.23
2. 7. 1 Matrik probabilitas transisi dari rantai Markov
Rantai Markov didefinisikan secara sempurna oleh matriks transisi probabilitas satu langkahnya dan syarat dari distribusi probabilitas pada state dari
proses pada saat 0. Inti dari perhitungan ini adalah matriks transisi probabilitas n- step
n n
ij
P p
.
n ij
P
disini melambangkan probabilitas dimana proses terjadi dari state
i
ke state
j
setelah melalui n langkah transisi.
Pr |
n ij
m n m
P X
j X i
2.24
1, untuk semua i
ij j
P
0 , untuk semua i dan j
ij
P
18
Teorema 2.7.1 : Probabilitas transisi n-step dari Markov chain memenuhi
1 n
n ij
ik kj
k
P P P
2.25 dengan
1 n
if i j ij
if i j
P
Dari teori matriks, hubungan 2.19 sebagai formula dari perkalian matriks, sehingga
1 n
n
P P P
. Dengan iterasi formula ini, kita peroleh
n n
n kali
P P P P
P P
2. 26
Dengan kata lain, probabilitas transisi n-step
n ij
P
adalah anggota matrik
n
P
, pangkat n dari matriks P.
2. 7.2 Matriks transisi probabilitas Regular
Misalkan matriks transisi probabilitas
ij
P p
dengan jumlah state yang finite yaitu 0, 1, . . ., N, mempunyai sifat bahwa, ketika dipangkatkan dengan k,
matriks
k
P
, elemen-elemennya semuanya bernilai positif. Sehingga matriks transisi probabilitas disebut Regular. Hal penting yang perlu diperhatikan bahwa
Rantai Markov regular adalah adanya probabilitas steady state
1
, ,...,
N
dimana
1
untuk
0,1,..., j
N
dan
1
j j
, dan distribusi ini independent dari state awal. Pada matriks transisi probabilitas regular
ij
P p
2.27
lim untuk
0 ,1,...,
n ij
j n
P j
N
19 atau, dalam bentuk Rantai Markov
n
X
lim Pr |
untuk 0,1,...,
n j
n
X j X
i j
N
Ini berarti bahwa untuk jangka panjang n , probabilitas untuk
menemukan Rantai Markov di state
j
adalah kurang lebih
j
dimana pun rantai itu mulai pada saat 0.
Setiap matriks transisi probabilitas pada state 0,1,…, N dikatakan regular
jika memenuhi 2 keadaan dibawah ini: 1. Setiap pasang state i, j ada lintasan
1
, ,
r
k k
dimana
1 1 2
ik k k
kj
p p
p
2. Setidaknya ada satu state i dimana
ii
p
Teorema 2.7.2 : Misalkan P adalah matriks transisi probabilitas probabilitas pada
state 0, 1, …, N, dan probabilitas steady state
1
, ,
,
N
adalah
persamaan dari solusi unik yang tidak negatif.
0,1, ,
N j
k kj
k
p j
N
2.28
1
N k
k
2.29
20
BAB III PERMAINAN MONOPOLI
