Jurusan Matematika, FMIPA, Universitas Udayana Halaman 57
Contoh 3.
P
→ →
→ →
→ →
→ →
→ →
→ →
→ →
→ →
X X
X X
X atau
X X
X X
X atau
X X
X X
X atau
X X
X X
X
3 1
2 1
4 3
1 2
1 4
3 1
2 1
4 3
1 2
1 4
PX
4
, X
2
P
X2
T
X3
=3 = P
→ →
→ →
→ →
→ →
→ →
→ →
→ →
→ →
X X
X X
X atau
X X
X X
X atau
X X
X X
X atau
X X
X X
X
3 2
2 2
4 3
1 2
2 4
3 1
1 2
4 3
2 1
2 4
Jadi P
X4
T
X3
=4 = PX
4
, X
1
P
X1
T
X3
=3 + PX
4
, X
2
P
X2
T
X3
=3
3.6 SIFAT-SIFAT STATE DARI SUATU RANTAI MARKOV
State dalam rantai Markov mempunyai sifat berlainan, beberapa sifat state yang akan dipelajari diantaranya :
i State Absorbing
State ini mempunyai sifat Pa,a=1 ii
State Transien Suatu state y∈S disebut Transien jika ρ
yy
=P
y
T
y
∞ 1 Ini berarti bahwa rantai Markov yang bermula dari y belum tentu
belum pasti kembali ke-y. Ada kemungkinan tidak kembali ke-y dan Pdari y tidak kembali ke-y =1-Pdari y kembali ke-y
=1-ρ
yy
Seandainya S = {X
1
,X
2
,X
3
,X
4
}, tentukan nilai P
X4
T
X3
= 4
= PX
4
, X
1
P
X1
T
X3
=3
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 58
iii State Rekuren
Suatu state y∈S disebut rekuren, jika ρ
yy
=P
y
T
y
∞=1 Ini berarti bahwa rantai Markov yang bermula dari y pasti akan
kembali ke-y pada suatu waktu yang berhingga. Ingat bahwa : ρ
xy
=P
x
T
y
∞ mempunyai arti bahwa probabilitas rantai Markov bermula dari x
akan mencapai y pada waktu berhingga
• Jika y state absorbing, maka y merupakan state rekuren. Ini dapat diperlihatkan berdasarkan kenyataan bahwa y state absorbing maka
Py,y=P
y
T
y
=1=1 Ini berarti bahwa ρ
yy
=1, akibatnya y merupakan state rekuren • Namun belum tentu berlaku kebalikannya
Dibentuk suatu fungsi indikator untuk himpunan {y} demikian : I
y
z =
≠ =
y z
y z
; ;
1
Sedangkan Ny menyatakan banyak kali rantai Markov berada pada state y. Karena I
y
X
n
=1 bila rantai pada state y atau X
n
=y, dan I
y
X
n
=0 bila X
n
≠y maka terdapat hubungan:
Ny=
∑
∞ =1
I
n n
y
X
Kejadian {Ny≥1} menyatakan banyak kali rantai Markov pada state y tidak kurang dari sekali, ini berarti sama dengan {T
y
∝}, jadi:
P
x
Ny≥1=P
x
T
y
≤∝=ρ
xy
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 59
Seandainya m dan n bilangan bulat positif, maka probabilitas rantai Markov mulai dai x berkunjung pertama ke-y setelah m langkah= P
x
T
y
=m, dan kunjungan berikutnya ke-y setelah n langkah berikutnya memiliki
probabilitas = P
y
T
y
=n, sehingga probabilitas rantai Markov mulai dari x berkunjung pertama ke-y setelah m langkah dan kunjungan berikutnya ke-y
setelah n langkah berikutnya =
P
x
T
y
=m. P
y
T
y
=n Jadi :
i P
x
Ny ≥ 2=
∑∑
∞ =
∞ =
= =
1 1
y x
n Ty
P m.
Ty P
m n
=
=
=
∑ ∑
∞ =
∞ =
1 y
1 x
n Ty
P m
Ty P
n m
=ρ
xy
ρ
yy
ii P
x
Ny ≥ m=
1 yy
− m
xy
ρ ρ
, m ≥1 iii
P
x
Ny = m= P
x
Ny ≥ m - P
x
Ny ≥ m+1 =
1 yy
− m
xy
ρ ρ
-
m xy
yy
ρ ρ
=
1 yy
− m
xy
ρ ρ
1 - ρ
yy
, m ≥1 iv
P
x
Ny = 0=1 - P
x
Ny ≥ 1 =1 -
ρ
xy
Dari iii P
x
Ny = m : probabilitas rantai mulai dari x mengunjungi y sebanyak m kali sama dengan probabilitas rantai mulai x mengunjungi y pertama kali
kemudian kembali ke-y sebanyak m-1 kali kemudian tak kembali lagi ke-y =
1 yy
− m
xy
ρ ρ
1 - ρ
yy
. Akan digunakan notasi E
x
untuk menyatakan harga harapan expectation suatu variabel acak terdefinisikan dalam rantai Markov
mulai dari x. Berdasarkan contoh di atas : i
E
x
I
y
X
n
= 0. P
x
I
y
X
n
=0 + 1. P
x
I
y
X
n
=1 = 0. P
x
X
n
≠ y + 1. P
x
X
n
= y
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 60
= P
x
X
n
= y = P
n
x,y ii
E
x
Ny =
∑
∞ =1
n n
y x
X I
E
=
∑ ∑
∞ =
∞ =
=
1 n
n 1
n n
y x
y x,
P X
I E
Didefinisikan Gx,y= E
x
Ny=
∑
∞ =1
n n
y x,
P
Gx,y menyatakan harga harapan banyaknya kunjungan ke-y bila rantai Markov mulai dari x.
Teorema I i
Jika y state transien maka P
x
Ny ∞=1 dan Gx,y =
yy xy
ρ ρ
− 1
, x∈S Gx,y berhingga untuk semua x∈S
ii Jika y suatu state rekuren, maka P
y
Ny=∞=1 dan Gx,y= ∞ P
x
Ny=∞= P
x
Ty ∞= ρ
xy
, x∈S
Jika ρ
xy
=0 maka Gx,y=0, sedangkan jika ρ
xy
0 maka Gx,y=∞. Teorema I merupakan dasar untuk membedakan state transien dan rekuren. Jika y state
transien, maka tidak pandang dari mana rantai Markov itu mulai, maka banyaknya kunjungan ke-y adalah berhingga. Bila y state rekuren, maka bila
rantai Markov mulai dari y maka akan kembali ke-y tak terhingga kali. Bila rantai mulai dari x, x ≠ y, ada kemungkinan tak pernah singgah ke-y, tetapi bila
sekali dapat singgah ke-y maka akan tak terhingga kali singgah ke-y. Bukti :
i Untuk y state transien, karena 0 ≤ ρ
yy
1 maka: P
x
Ny=∞= m
Ny P
x
limit
≥
∞ →
m
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 61
=
1
limit
− ∞
→ m
yy xy
m
ρ ρ
=
xy m
yy m
ρ ρ
− ∞
→ 1
limit
=0. ρ
xy
=0 Note :
P
x
Ny≥∞=
∑∑
∞ =
∞ =
= =
1 1
y y
y x
n T
P m
T P
m n
=
∑ ∑
∞ =
∞ =
= =
1 y
y 1
y x
n T
P m
T P
n m
= ρ
xy
ρ
yy
Akibat P
x
Ny ∞= 1- P
x
Ny=∞=1-0=1 Pada sisi lain diperoleh :
Gx,y=E
x
Ny =
∑
∞ =
=
1 x
m Ny
P m
m
=
{ }
∑
∞ =
+ ≥
≥
1 x
x
1 m
Ny P
- m
Ny P
m
m
=
{ }
∑
∞ =
− 1
yy xy
1 yy
xy
- m
m m
m
ρ ρ
ρ ρ
=
{ }
∑
∞ =
− 1
yy 1
yy xy
- 1
m
m m
ρ ρ
ρ
=
{ }
∑
∞ =
− 1
1 yy
yy xy
m -
1
m m
ρ ρ
ρ =
{ }
−
2 yy
yy xy
1 1
- 1
ρ ρ
ρ =
yy xy
1
ρ ρ
−
Tugas I No. 1 Buktikan
2 1
1 yy
1 1
m
yy m
m
ρ ρ
− =
∑
∞ =
−
ii Untuk y rekuren, maka ρ
yy
=1 P
x
Ny=∞= m
Ny P
x
limit
≥
∞ →
m
=
1
limit
− ∞
→ m
yy xy
m
ρ ρ
=
xy m
yy m
ρ ρ
− ∞
→ 1
limit
=1. ρ
xy
=ρ
xy
Keadaan khusus x=y maka P
y
Ny=∞= ρ
yy
=1. Akibatnya
Gx,y=E
x
Ny= ∞ Bila y state transien,
∞ =
∑
∞ =
y Gx,
y x,
P
1 n
n
, untuk x∈S maka ,
x P
n
limit
=
∞ →
y
n
Definisi
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 62
Suatu rantai Markov disebut rantai Transien jika semua state adalah transien. Suatu rantai Markov disebut rantai Rekuren jika semua state adalah rekuren.
Rantai Markov dengan ruang state berhingga mempunyai paling sedikit satu state rekuren. Dengan demikian rantai Markov dengan state berhingga tidak
mungkin merupakan rantai Transien. Bukti :
S : state berhingga. Andaikan semua state transien, maka: ,
x P
n
limit
=
∞ →
y
n
Dengan demikian diperoleh hubungan : 0 =
∑
∈ ∞
→ S
y n
y ,
x P
n
limit
=
∑
∈ ∞
→ S
y n
y ,
x P
n
limit
= S
P
x
limit
∈
∞ →
n n
X =
1
limit
∞ →
n
0 =1 Terjadi kontradiksi Pengandaian harus diingkar, jadi jika S state berhingga, maka tidak mungkin
merupakan rantai Transien.
3.7 DEKOMPOSISI RUANG STATE
