Jurusan Matematika, FMIPA, Universitas Udayana Halaman 49
Suatu state a∈S dari rantai Markov dinamakan State Absorbing jika : Pa,a=1 atau Pa,y=0 untuk y≠a.
Pada contoh 2, Rantai Penjudi di atas, 0 adalah rantai absorbing, karena P0,0=1, sebab setelah modal habis, seterusnya modalnya habis, P0,0=1.
Pada rantai Markov ini ruang statenya, S={0,1,2,3, ...} modal penjudi bisa tak berhingga.
3.4 FUNGSI TRANSISI m LANGKAH
Pada pembahasan sebelumnya kita telah mempelajari fungsi transisi satu langkah Px,y, selanjutnya dipelajari fungsi transisi m langkah dari suatu rantai
Markov.
Definisi
Fungsi transisi m langkah dari suatu rantai Markov, diberikan oleh P
m
x,y yang menyatakan probabilitas dari suatu state x ke state y dalam m langkah,
yaitu :
P
m
x,y = PX
n+m
=y |X
n
=x , m ≥ 2 =
∑ ∑ ∑
∈ ∈
∈ −
S y
S y
S y
1 m
2 1
1
1 2
m
y ,
y P
... y
, y
P y
, x
P ...
Untuk m=1, diperoleh : P
1
x,y = PX
n+1
=y |X
n
=x = Px,y
Untuk m=0, diperoleh : P
x,y = PX
n
=y |X
n
=x =
= lainnya
untuk x ,
y untuk x
, 1
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 50
Teorema
Fungsi m langkah P
m
x,y dari suatu rantai Markov mempunyai sifat : P
m
x,y =
∑
− z
y z,
P z
Px,
1 m
Sebagai suatu catatan, fungsi transisi m langkah P
m
dapat dinyatakan sebagai pangkat m dari fungsi transisi satu langkah P
Bukti :
P
m
x,y = PX
n+m
=y |X
n
=x = PX
m
=y|X =x
= x
X |
z X
y, PX
1 m
∑
= =
=
z
=
∑
= =
= =
z
x PX
x X
z, X
y, PX
1 m
=
∑
= =
= =
= =
z
x PX
x X
z, xPX
X z,
X |
y PX
1 1
m
=
∑
= =
= =
= =
=
z
x PX
x PX
x X
| z
xPX X
z, X
| y
PX
1 1
m
= x
X |
z X
P x
X z,
X |
y PX
1 1
m
= =
= =
=
∑
z
= x
X z,
X |
y PX
x X
| z
X P
1 m
1
∑
= =
= =
=
z
=
∑
− z
y z,
P z
Px,
1 m
Terbukti P
m
x,y =
∑
− z
y z,
P z
Px,
1 m
Sifat umum dari fungsi transisi m langkah disajikan teorema berikut.
Teorema
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 51
Jika P
m+n
x,y, P
m
x,z, dan P
n
z,y menyatakan fungsi-fungsi transisi m+n, m, dan n langkah dari suatu rantai Markov, maka :
∑
=
+ z
m m
n
y z,
P z
x, P
y x,
P
n
Bukti :
P
n+m
x,y = PX
n+m
=y|X =x
= x
X |
z X
y, PX
n m
n
∑
= =
=
+ z
=
∑
= =
= =
+ z
x PX
x X
z, X
y, PX
n m
n
=
∑
= =
= =
= =
+ z
x PX
x X
z, xPX
X z,
X |
y PX
n n
m n
=
∑
= =
= =
= =
=
+ z
x PX
x PX
x X
| z
PX x
X z,
|X y
PX
n n
m n
= x
X |
z X
P x
X z,
X |
y PX
n n
m n
= =
= =
=
∑
+ z
= x
X z,
X |
y PX
x X
| z
X P
n n
m n
∑
= =
= =
=
+ z
=
∑
z
y z,
P z
x, P
m n
Terbukti P
n+m
x,y =
∑
z m
y z,
P z
x, P
n
Dengan diberikan fungsi transisi n langkah dari suatu rantai Markov, diharapkan dapat menggunakan fungsi ini untuk menentukan distribusi X
n
yang berkaitan dengan distribusi awal π
.
i Jika π
distribusi awal dari rantai Markov, maka :
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 52
PX
n
=y =
y X
x, PX
n
∑
= =
x
=
x PX
x X
| y
PX
n
= =
=
∑
x
=
∑
x n
x y
π x,
P
ii PX
n+1
=y=
y X
x, PX
1 n
n
∑
= =
+ x
=
x PX
x X
| y
PX
n n
1 n
= =
=
∑
+ x
=
∑
=
x n
x yPX
Px,
Perhatikan bahwa, jika kita mengetahui distribusi dari X , kita dapat
menggunakan persamaan ii untuk mencari distribusi dari X
1
. Dengan diketahuinya distribusi X
1
, dapat digunakan untuk mencari distribusi dari X
2
, dan seterusnya. Dengan cara serupa, kita dapat menggunakan persamaan ii untuk mencari distribusi X
n
.
iii PX
n+1
=x
n+1
, ...,X
n+m
=x
n+m
|X =x
,...,X
n
=x
n
=
X ,...,
PX X
,... X
, X
,..., PX
n m
n 1
1 n
n n
m n
n n
x x
x x
x x
= =
= =
= =
+ +
+ +
=
, ...
, ,
... ,
, ...
,
1 1
1 1
1 1
n n
m n
m n
n n
n n
x x
P x
x P
x x
x P
x x
P x
x P
x x
P x
− +
− +
+ −
π π
=
, ...
, ,
1 2
1 1
m n
m n
n n
n n
x x
P x
x P
x x
P
+ −
+ +
+ +
Atau persamaan iii dapat dinyatakan sebagai :
PX
n+1
=y
1
, ...,X
n+m
=y
m
|X =x
,...,X
n
=x
n
= Px,y
1
Py
1
,y
2
... Py
m-1
,y
m
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 53
3.5 MATRIKS TRANSISI
