Jurusan Matematika, FMIPA, Universitas Udayana Halaman 62
Suatu rantai Markov disebut rantai Transien jika semua state adalah transien. Suatu rantai Markov disebut rantai Rekuren jika semua state adalah rekuren.
Rantai Markov dengan ruang state berhingga mempunyai paling sedikit satu state rekuren. Dengan demikian rantai Markov dengan state berhingga tidak
mungkin merupakan rantai Transien. Bukti :
S : state berhingga. Andaikan semua state transien, maka: ,
x P
n
limit
=
∞ →
y
n
Dengan demikian diperoleh hubungan : 0 =
∑
∈ ∞
→ S
y n
y ,
x P
n
limit
=
∑
∈ ∞
→ S
y n
y ,
x P
n
limit
= S
P
x
limit
∈
∞ →
n n
X =
1
limit
∞ →
n
0 =1 Terjadi kontradiksi Pengandaian harus diingkar, jadi jika S state berhingga, maka tidak mungkin
merupakan rantai Transien.
3.7 DEKOMPOSISI RUANG STATE
Definisi
Misal x,y∈S dan y tidak harus berbeda, x dikatakan menuju y jika ρ
xy
Lemma Misalkan x dan y state dalam S, x menuju y jika dan hanya jika P
n
x,y0 untuk semua bilangan bulat positif n.
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 63
Bukti : Jika x menuju y maka ρ
xy
= P
x
T
y
∞ 0, jadi terdapat n sehingga P
x
T
y
=n 0. Ini berarti P
n
x,y0. Sebaliknya jika P
n
x,y0 maka P
x
T
y
∞0 atau ρ
xy
0. Ini berarti x menuju y.
Teorema II
Jika x state rekuren dan menuju y, maka y rekuren dan ρ
xy
= ρ
yx
= 1.
Definisi-definisi irreducible :
i Suatu himpunan C yang tidak kosong dikatakan tertutup, jika tidak
ada state dalam C menuju sembarang state di luar C, atau ρ
xy
= 0, x∈S dan y∉S ii
Himpunan C yang tidak kosong dikatakan tertutup, jika jika P
n
x,y=0, x∈C, y∉C, n ≥1
Atau dapat pula didefinisikan yang lebih lemah : Himpunan C yang tidak kosong dikatakan tertutup, jika Px,y=0, x∈C, y∉C.
Disini apabila C tertutup, maka rantai Markov bermula dari C akan selalu tinggal di C dengan probabilitas 1. Apabila a state absorbing,
maka {a} adalah tertutup. iii
Himpunan tertutup C dikatakan irreducible jika untuk semua x dan y ∈ C, x menuju y.
Akibat dari Teorema II , bila himpunan C tertutup irreducible maka setiap state dalam C adalah rekuren atau setiap state dalam C adalah transien
Corollary Seandainya C suatu himpunan tertutup irreducible yang anggotanya rekuren,
maka : i
ρ
xy
= 1
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 64
ii P
x
Ny = ∞= 1 iii
Gx,y = ∞
Definisi
Suatu rantai Markov irreducible ialah suatu rantai dengan ruang state S yang irreducible
, artinya rantai dengan setiap state menuju state yang lain
Rantai Markov seperti ini adalah transien atau rekuren. Dari collorary di atas dapat disimpulkan bahwa rantai Markov Rekuren Irreducible mencapai setiap
state tak terhingga kali dengan probabilitas 1.
Teorema III
Diberikan C himpunan berhingga tertutup irreducible, maka tiap anggota C adalah rekuren.
Pandang suatu rantai Markov dengan banyaknya anggota state berhingga, Teorema III mengatakan bahwa rantai irreducible mesti rekuren. Bila rantai tidak
irreducible dapat ditentukan state mana yang rekuren dan mana yang transien
berdasarkan Teorema II dan Teorema III
Contoh
Pandang rantai Markov dengan matriks transisi sebagai berikut : y
0 1 2 3 4 5 1
2 3
4 5
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 65
4 1
2 1
4 1
2 1
2 1
2 1
3 1
6 1
5 1
5 1
5 2
5 1
4 1
2 1
4 1
1
Tentukan state mana yang rekuren dan mana yang transien?
Langkah permulaan dicari state mana yang menuju state lain dalam rantai Markov ini. Dibuat suatu matriks dengan elemen + atau 0 tergantung state x
apakah menuju y atau tidak, apakah ρ
xy
0 atau ρ
xy
=0. Bila Px,y 0 maka ρ
xy
tetapi sebaliknya tidak benar, seandainya bila P2,0 = 0 tetapi P
2
2,0 = P2,1. P1,0 =
5 1
.
4 1
=
20 1
0 maka ρ
20
0, terdapatlah matriks :
0 1 2 3 4 5
+ +
+ +
+ +
+ +
+ +
+ +
+ +
+ +
+ +
+ +
+ +
5 4
3 2
1
State 0 adalah absorbing, maka state 0 adalah rekuren. Dari matriks “+, 0” itu kelihatan bahwa state {3, 4, 5} adalah tertutup irreducible, maka menurut Teorema
III state {3, 4, 5} adalah state rekuren. State 1 dan 2 kedua-duanya menuju 0, tetapi kedua-duanya tidak dapat dicapai dari state 0. Berdasarkan Teorema II
x
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 66
maka state {1, 2} adalah state transien. Maka dapat disimpulkan bahwa state 0, 3, 4, 5 adalah rekuren dan state 1, 2 adalah transien.
Bila S
T
menyatakan himpunan semua state transien dan S
R
menyatakan himpunan semua state rekuren, maka dari contoh di atas S
T
= {1, 2} dan S
R
={0, 3, 4, 5}. S
R
dapat dipecah menjadi himpunan-himpunan yang saling asing dan masing-masing tertutup irreducible, yaitu C
1
={0} dan C
2
={3, 4, 5}.
Teorema IV
Seandainya himpunan S
R
tidak kosong, maka S
R
=
n i
i
C
1 =
. n berhingga atau tak terhingga countable, sedang C
i
himpunan tertutup irreducible dan C
i
∩ C
j
= ∅, i≠j.
Bukti: Pilih x∈S
R
dan seandainya C himpunan state y∈S
R
sedemikian hingga x menuju y. Karen x rekuren maka ρ
xx
=1, sehingga x∈C. Akan dibuktikan bahwa x tertutup irreducible. Seandainya y∈C dan y menuju z, karena y rekuren maka z
juga rekuren. Karena x menuju y dan y menuju z maka x menuju z, jadi z∈C, ini berarti C tertutup.
Bila y dan z ∈C, karena x rekuren dan menuju y, maka y menuju x. Karena y menuju x dan x menuju z, maka y menuju z, ini membuktikan bahwa C
irreducible. Bila C dan D dua himpunan tertutup irreducible ⊂ S
R
, maka C dan D saling asing atau identik. Seandainya C dan D tidak saling asing, ada x∈C ∩ D. Misal
y∈C, x menuju y, karena x∈C dan C irreducible. Karena D tertutup, x∈D dan x menuju y, maka y∈D. Maka setiap y∈C → y∈D, juga sebaliknya dapat
dibuktikan setiap z∈D → z∈C, sehingga dapat disimpulkan C identik dengan D. Bukti Lengkap
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 67
Dekomposisi ruang state S suatu rantai Markov dapat digunakan untuk mempelajari sifat sistem itu. Jika rantai Markov mulai dari salah satu himpunan
tertutup irreducible C
i
yang anggota-anggotanya rekuren, maka rantai tak pernah keluar dari C
i
dengan probabilitas 1, dan mengunjungi setiap state dalam C
i
tak terhingga kali.
Jika rantai Markov mulai dari state transien S
T
, maka rantai akan tetap di dalam S
T
atau suatu ketika masuk dalam C
i
dan tinggal di sana seterusnya dan mengunjungi setiap anggota C
i
tak terhingga kali.
Probabilitas Absorbsi
Seandainya C salah satu himpunan tertutup irreducible dengan anggota state rekuren, dan ρ
c
x=P
x
T
C
∞ yaitu probabilitas bahwa rantai Markov mulai dari x dan mungkin mencapai C, karena rantai akan tetap tinggal di C setelah rantai
sekali mencapai C. ρ
c
x disebut probabilias rantai mulai dari x diserap absorbed oleh himpunan C. Jelasnya ρ
c
x=1, x∈C dan ρ
c
x =0, jika x state rekuren di luar C x∉C. Bila x∈S
T
, x state transien, maka untuk menghitung ρ
c
x agak sulit. Bila S
T
berhinga, dan khususnya S sendiri berhingga, maka mungkin untuk mencari ρ
c
x, x∈S
T
, dengan menyelesaikan sistem persamaan linear dengan banyaknya persamaan sama dengan banyaknya variabel yang
tidak diketahui. Misal x∈S
T
, rantai mulai dari x masuk ke-C pada langkah pertama atau tetap tinggal di S
T
pada langkah pertama dan masuk ke C pada langkah kemudian. Probabilitas keadaan pertama, yaitu probabilitas rantai
mulai dari x masuk ke-C pada langkah pertama =
∑
∈C y
y Px,
. Sedangkan probabilitas keadaan kedua =
∑
∈
T
S y
c
y y
Px, ρ
Jadi terdapat
∑ ∑
∈ ∈
+ =
T
S y
c C
y c
y y
Px, y
Px, x
ρ ρ
, x∈S
T
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 68
Pada persamaan ini, bila S
T
tak berhingga, agak susah mencari penyelesaian persamaannya.
Teorema V
Seandainya S
T
himpunan state transien dan berhingga dan C himpunan tertutup irreducible yang anggotanya state rekuren. Maka sistem persamaan
: fx=
∑ ∑
∈ ∈
+
T
S y
C y
f y y
Px, y
Px, , x∈S
T
mempunyai penyelesaian tunggal fx=ρ
c
x; x∈S
T
Bukti : Bila sistem persamaan fx=
∑ ∑
∈ ∈
+
T
S y
C y
f y y
Px, y
Px, , x∈S
T
berlaku Maka:
fy= fz
z Py,
z Py,
∑ ∑
∈ ∈
+
T
S z
C z
, z∈S
T
fx=
∑ ∑
∑ ∑
∈ ∈
∈ ∈
+ +
T T
S y
S z
C z
C y
fz z
Py, z
Py, y
Px, y
Px,
=
∑ ∑ ∑
∑ ∑
∈ ∈
∈ ∈
∈
+ +
T T
T
S y
S y
S z
C z
C y
fz z
Py, y
Px, z
yPy, Px,
y Px,
fx= P
x
T
C
≤ 2 +
∑
∈
T
S z
z x
fz ,
P
2
Dengan menggunakan induksi akan terdapat : fx= P
x
T
C
≤ n +
∑
∈
T
S z
z x
fz ,
P
n
; x ∈S
T
P
x
T
C
≤ 2
∑
∈
T
S z
z x
fz ,
P
2
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 69
Karena setiap y∈S
T
adalah transient, maka ,
P
n
limit
=
∞ →
y x
n
untuk x∈S dan y∈S
T
. Sesuai dengan anggapan bahwa S
T
berhingga, maka untuk x∈S
T
terdapatlah
teorema V terbukti
Contoh Pada contoh di atas, rantai Markov mempunyai matriks transisi :
0 1 2 3 4 5
4 1
2 1
4 1
2 1
2 1
2 1
3 1
6 1
5 1
5 1
5 2
5 1
4 1
2 1
4 1
1
1. Tentukan nilai dari ρ
10
= P
1
T ∞ = ρ
{0}
1
Penyelesaian: Dari persamaan
∑ ∑
∈ ∈
+ =
T
S y
c C
y c
y y
Px, y
Px, x
ρ ρ
, x∈S
T
dan telah ditemukan bahwa S
T
={1, 2}; S
R
={0,3, 4, 5}; C
1
={0} dan C
2
={3, 4, 5}
ρ
10
=ρ
{0}
1=
∑ ∑
∈ ∈
+
} 2
, 1
{ }
{ }
{
y y
Px, y
Px,
y y
ρ ; x∈{1, 2}
1 2
3 4
5 P =
fx = n
T P
C x
limit
≤
∞ →
n
= P
x
T
C
∞ = ρ
c
x
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 70
ρ
{0}
1=P1,0 + P1,1 ρ
{0}
1 + P1,2 ρ
{0}
2 ρ
{0}
1 = ¼ + ½ ρ
{0}
1 + ¼ ρ
{0}
2 atau ½ ρ
{0}
1 – ¼ ρ
{0}
2 = ¼ ≡ 2 ρ
10
- ρ
20
= 1 ρ
{0}
2 = P2,0 + P2,1 ρ
{0}
1 + P2,2 ρ
{0}
2 ρ
{0}
2 = 0 +
5 1
ρ
{0}
1 +
5 2
ρ
{0}
2 atau
5 1
ρ
{0}
1 -
5 3
ρ
{0}
2 = 0 ≡ ρ
10
- 3ρ
20
= 0 Dari sistem persamaan :
2ρ
10
- ρ
20
= 1 ρ
10
- 3ρ
20
= 0 Maka diperoleh :
=
−
− −
=
−
− =
−
5 1
5 3
1 2
1 1
3 5
1 1
3 1
1 2
1 20
10
ρ ρ
∴
Jadi nilai ρ
10
=
5 3
dan ρ
20
=
5 1
2. Dari contoh di atas, tentukan nilai : a. ρ
{3,4,5}
1 b. ρ
{3,4,5}
2 Penyelesaian :
a. ρ
{3,4,5}
1=
∑ ∑
∈ ∈
+
} 2
, 1
{ }
5 ,
4 ,
3 {
} 5
, 4
, 3
{
y y
P1, y
P1,
y y
ρ ρ
{3,4,5}
1=P1,3+P1,4+P1,5+P1,1 ρ
{3,4,5}
1+P1,2 ρ
{3,4,5}
2 ρ
{3,4,5}
1=0+0+0+ ½ ρ
{3,4,5}
1+ ¼ ρ
{3,4,5}
2 ½ ρ
{3,4,5}
1 – ¼ ρ
{3,4,5}
2 =0 ⇔ ρ
{3,4,5}
2 = 2 ρ
{3,4,5}
1 …. b.
ρ
{3,4,5}
2=
∑ ∑
∈ ∈
+
} 2
, 1
{ }
5 ,
4 ,
3 {
} 5
, 4
, 3
{
y y
P2, y
P2,
y y
ρ ρ
{3,4,5}
2=P2,3+P2,4+P2,5+P2,1 ρ
{3,4,5}
1+P2,2 ρ
{3,4,5}
2 ρ
{3,4,5}
2=
5 1
+0+
5 1
+
5 1
ρ
{3,4,5}
1+
5 2
ρ
{3,4,5}
2
=
− −
1 3
1 1
2
20 10
ρ ρ
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 71
5 3
ρ
{3,4,5}
2 -
5 1
ρ
{3,4,5}
1=
5 2
…………… Substitusi ke
5 3
.2 ρ
{3,4,5}
1 -
5 1
ρ
{3,4,5}
1=
5 2
⇔ ρ
{3,4,5}
1=
5 2
dan ρ
{3,4,5}
2=
5 4
Jadi ρ
{3,4,5}
1=
5 2
dan ρ
{3,4,5}
2=
5 4
Latihan Tugas 2.
1. Diketahui rantai Markov dengan S = {0,1,2,3,4,5} dan matriks transisi P berikut :
0 1 2 3 4 5
5 2
5 1
5 1
5 1
2 1
2 1
4 1
4 1
4 1
4 1
8 7
8 1
3 2
3 1
2 1
2 1
Tentukan : b.
State yang transien c.
Hitunglah ρ
{0,1}
3 Sekali rantai Markov mulai pada x∈S
T
dan masuk pada C himpunan tertutup irreducible yang anggotanya state rekuren, maka rantai itu
akan mengunjungi setiap state dalam C, jadi : ρ
xy
= ρ
c
x , x∈S
T
dan y∈C Maka dari contoh di atas ρ
23
= ρ
{3,4,5}
2 =
5 4
1 2
3 4
5 P =
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 72
2. Pandang suatu rantai Markov dengan ruang state S={0,1,2,...} dan diketahui
P
x
x+1=p, 0 p 1; P
x
0=1-p. Hitunglah P T
=n, n ≥1
3. Suatu rantai Markov mempunyai ruang ruang state S={0,1,2,,3,…,2d} dan fungsi
transisi : Px,y =
y d
y
d x
d x
y d
−
−
2
2 1
2 2
Tentukan ρ
{0}
x, untuk 0x2d
4. Pandang rantai Markov dengan ruang state S={0,1,…} dan fungsi transisi :
Px,y=
− =
+ +
= +
+
1 x
y untuk
, 1
2 1
x y
untuk ,
1 2
2
x x
x x
Tentukan S
T
…..
5. Xn
,
n ≥ 0 suatu rantai Markov dengan S={0,1,2,3}dan matriks transisi
1 2 3
P =
20 1
20 3
5 4
5 1
5 4
5 3
5 2
1
Hitung Px
5
=2,x
6
=0,x
7
=2,x
8
=2|x
9
=1
3.8 HITTING TIME
