Jurusan Matematika, FMIPA, Universitas Udayana Halaman 38
ii Sistem harus stasioner atau homogen, artinya perilaku sistem selalu
sama sepanjang waktu atau peluang transisi sistem dari satu kondisi ke kondisi lainnya akan selalu sama sepanjang waktu. Dengan
demikian maka pendekatan Markov hanya dapat diaplikasikan untuk sistem dengan laju kegagalan yang konstan.
iii State is identifiable. Kondisi yang dimungkinkan terjadi pada sistem
harus dapat diidentifikasi dengan jelas. Apakah sistem memiliki dua kondisi beroperasi – gagal, tiga kondisi 100 sukses, 50 sukses,
100 gagal dan lain sebagainya.
Pada bab ini, dibahas Rantai Markov Diskret. Misalkan S menyatakan himpunan state, n = 0, 1, 2, ... dan Xn menyatakan state sistem pada waktu n dan
merupakan variabel random yang didefinisikan pada suatu ruang probabilitas. Suatu sistem dikatakan mempunyai sifat Markov atau Rantai Markov jika
memenuhi syarat :
Probabilitas bersyarat PXn
+1
= x
n+1
|Xn=x
n
disebut Probabilias transisi untuk
rantai Markov ini.
3.2. Probabilitas Transisi
Probabilitas transisi suatu proses markov dinyatakan sebagai :
PX
n+1
=x
n+1
|Xo=x0, X
1
=x
1
, …, X
n
=x
n
= PXn+1 = xn+1|Xn=xn PXn
+1
=x
n+1
|Xo=x , X
1
=x
1
, …, Xn=x
n
= PXn
+1
= x
n+1
|Xn=x
n
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 39
Ini berarti bahwa kondisi Xo=x , X
1
=x
1
, …, X
n-1
=x
n-1
tidak mempunyai pengaruh terhadap keadaan tersebut, yang mempengaruhi probabilitas X
n+1
hanya X
n
=x
n
. Jadi keadaan state sebelumnya tidak berpengaruh terhadap keadaan besok X
n+1
, yang mempengaruhi hanya keadaan sekarangX
n
=x
n
.
Secara formula ditulis : P
ij
=P[X
n+1
=j|X
n
=i], ∀ i,j dengan P
ij
≥ 0 dan ∑ �
�� �
= 1, ∀�
Catatan : JikaP[X
n+1
=j|X
n
=i]=P[X
1
=j|X =i], ∀ n=0,1,2,… maka probabilitas transisinya
bersifat stasioner.
3.3. FUNGSI TRANSISI dan DISTRIBUSI AWAL
Misalkan Xn, n≥0 suatu rantai Markov dengan state space S Disini S adalah umum, banyak anggota S belum tentu 2 seperti contoh di atas.
Fungsi Px, y, x∈S dan y∈S yang didefinisikan sebagai :
dinamakan Fungsi Transisi Transition Function untuk rantai tersebut.
Berdasarkan definisi di atas diperoleh sifat : i
Px,y ≥ 0, x,y∈S Karena PX
1
=y|X =x merupakan suatu probabilitas untuk x,y∈S
ii
∑
∈
=
S y
y x
P 1
,
untuk setiap x∈S Px,y
=PX
1
=y|X =x, x,y∈S
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 40
∑ ∑
∈ ∈
= =
=
S y
S y
x X
y X
P y
x P
| ,
1
= 1
,
1
= =
= =
∑
∈S y
x X
P x
X y
X P
Karena rantai Markov mempunyai probabilitas stationer, yaitu: PX
n+1
=y|X
n
=x tidak tergantung pada nilai n, maka : PX
n+1
=y|X
n
=x= PX
1
=y|X =x=Px,y, untuk n≥0.
Dari sifat Markov, diperoleh :
Dengan kata lain: Suatu rantai Markov state X pada waktu ke-n, maka probabilitas pada waktu ke-
n+1 waktu berikutnya di state y sama dengan Px,y, tidak tergantung pada bagaimana rantai itu sampai di X.
Px,y disebut probabilitas transisi satu langkah One Step Transition Probability dari rantai Markov tersebut.
Fungsi π x, x∈S didefinisikan sebagai :
disebut Distribusi Awal Initial Distribution untuk rantai tersebut. Dari definisi di atas diperoleh :
i π
x≥0, x∈S ii
1 =
∑
∈S x
x π
PXn
+1
=y|Xo=x , X
1
=x
1
, …, Xn=x
n
=Px,y
π x=PX
=x, x∈S
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 41
Distribusi bersama X , X
1
,...,X
n
dapat diperoleh dengan fungsi transisi dan distribusi awal.
Contoh : 1.
PX =x
, X
1
=x
1
=PX
1
=x
1
|X =x
. PX =x
=Px ,x
1
. π x
2. PX
=x , X
1
=x
1
,X
2
=x
2
=PX
2
=x
2
|X =x
,X
1
=x
1
. PX =x
,X
1
=x
1
=Px
1
,x
2
. Px ,x
1
. π x
Dengan induksi diperoleh :
Bukti : i
Untuk n=1, PX =x
, X
1
=x
1
=PX
1
=x
1
|X =x
. PX =x
=Px
o
,x
1
π x
................. Benar ii
Misalkan Benar untuk n=k P
X =x
,X
1
=x
1
,...,X
k
=x
k
=PX
k
=x
k
|X =x
,X
1
=x
1
,...,X
k-1
=x
k-1
PX
k-1
=x
k-1
|X =
x ,X
1
=x
1
,...,X
k-2
=x
k-2
... PX
1
=x
1
|X =x
PX =x
= Px
k-1
,x
k
. Px
k-2
,x
k-1
... Px ,x
1
π x
iii Harus dapat dibuktikan Benar untuk n=k+1
P X
=x ,k,...,X
n
=x
n
,X
k+1
=x
k+1
=PX
k+1
=x
k+1
|X =x
,X
1
=x
1
,...,X
k
=x
k
=PX
k+1
=x
k+1
|X = x
,X
1
=x
1
,...,X
k
=x
k
... PX
1
=x
1
|X =x
PX =x
= Px
k
,x
k+1
. Px
k
,x
k-1
... Px ,x
1
π x
Dapat diringkaskan, distribusi persama X , X
1
,...,X
n
adalah : P
X =x
, X
1
=x
1
,...,X
n
=x
n
=Px
n-1
,x
n
. Px
n-2
,x
n-1
... Px ,x
1
π x
P X
=x , X
1
=x
1
,...,X
n
=x
n
=Px
n-1
,x
n
. Px
n-2
,x
n-1
... Px ,x
1
π x
= π
x Px
,x
1
... Px
n-1
,x
n
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 42
Contoh : Sebuah mesin pada waktu mulai dipakai sembarang hari adalah rusak atau
baik. Seandainya mesin tersebut rusak pada awal hari ke-n, probabilitas bahwa selama hari tersebut dapat diperbaiki dan pada awal hari berikutnya hari ke-
n+1 baik sama dengan p. Seandainya mesin pada awal hari ke-n baik, probabilitasnya mesin rusak pada awal hari ke-n+1 adalah q. Diketahui pula
bahwa π 0 menyatakan probabilitas mesin rusak pada awal hari ke-nol, yaitu
mesin dating dari pabrik sebelum dipakai probabilitasnya rusak adalah π 0.
Dengan demikian, probabilitas mesin dalam keadaan baik pada awal hari ke-nol adalah π
1 = 1 - π 0.
Misalkan state 0 menyatakan mesin rusak dan state 1 menyatakan mesin baik, Xn menyatakan variabel random yang menunjukkan keadaan mesin pada hari
ke-n. Jadi dalam contoh ini didapat : S = {0, 1}, n = 0, 1, 2, ...
PXn
+1
=1|Xn=0 = p PXn
+1
=0|Xn=1 = q PXo=0= π
PXo=1=1 - π 0= π
1 Karena di sini S hanya memiliki 2 state, yaitu 0 dan 1, maka :
PXn
+1
=0|Xn=0 =1 - p PXn
+1
=1|Xn=1 =1 – q PXn
+1
=0|Xn=0 artinya jika diketahui pada hari ke-n mesin rusak, probabilitas pada hari berikutnya hari ke-n+1 masih tetap rusak adalah 1-p.
PXn
+1
=1|Xn=1 artinya jika diketahui pada hari ke-n mesin baik, probabilitas pada hari berikutnya hari ke-n+1 mesin tetap baik adalah =1 – q.
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 43
Dapat disusun matriks transisi statenya sebagai berikut :
n+1
0 1
q q
p p
− −
1 1
1 n
Masalahnya sekarang adalah , berapa : a.
PXn=0 → probabilitas hari ke-n mesin rusak tanpa diketahui keadaan mesin hari sebelumnya
b. PXn=1 → probabilitas hari ke-n mesin baik tanpa diketahui keadaan
mesin hari sebelumnya Uraian :
PXn+
1
=0=PXn=0,Xn+
1
=0 + PXn=1, Xn+
1
=0 =PXn+
1
=0|Xn=0. PXn=0 + PXn+
1
=0|Xn=1. PXn=1 =1–p PXn=0 + q 1 – PXn=0
=1–p–q PXn=0 + q
Untuk n=0 → PX
1
=0=1–p–q PXn=0 + q PX
1
=0=1–p–q πo0 + q Untuk n=1 → PX
2
=0=1–p–q PX
1
=0 + q =1–p–q [1–p–q πo0 +q]+q
=1–p–q
2
πo0 +q [1+1–p–q] Untuk n=2 → PX
3
=0=1–p–q PX
2
=0 + q =1–p–q [1–p–q
2
πo0 +q 1+1–p–q]+q =1–p–q
3
πo0 +q [1+1–p–q+1–p–q
2
] Untuk n=3 → PX
4
=0=1–p–q PX
3
=0 + q =1–p–q [1–p–q
3
πo0 +q 1+1–p–q+ 1–p–q
2
]+q =1–p–q
4
πo0 +q [1+1–p–q+1–p–q
2
+1–p–q
3
] state
PXn+
1
=0=1–p–q PXn=0 + q
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 44
...... dst .........
Untuk kasus trivial, p=q=0 maka PXn=0= πo0 dan PXn=1=1-πo0= πo1. Untuk p+q0,
∑
− =
− −
1
1
n j
j
q p
merupakan deret geometri dengan rasio =1–p–q, diperoleh :
q p
q p
q p
q p
q p
n n
n j
j
+ −
− −
= −
− −
− −
− =
− −
∑
− =
1 1
1 1
1 1
1
1
Akibatnya diperoleh :
PXn=0= q
p q
p q
q p
q q
p
n n
+ −
− −
+ +
− −
1 1
π
=
+
− −
− +
+ q
p q
q p
q p
q
n
1 π
Akibatnya PXn=1=1- PXn=0 =1 -
+ −
− −
+ +
q p
q q
p q
p q
n
1 π
=
+
− −
− −
− +
− +
+ q
p q
q p
q p
q q
p q
p
n
1 1
1 π
PXn=0=1–p–q
n
πo0 +q
∑
− =
− −
1
1
n j
j
q p
PXn=0=1–p–q
n
πo0 +q
+
− −
− q
p q
p
n
1 1
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 45
=
+
− −
+ +
− −
− +
q p
q q
p q
p q
p q
p p
n
1 1
π
=
−
+ −
− −
+ 1
1 π
q p
p q
p q
p p
n
=
+
− −
− +
+ q
p p
q p
q p
p
n
1 1
π Berdasarkan penguraian dapat diringkaskan :
Misalkan p dan q kedua-duanya tidak sama dengan nol dan juga tidak sama dengan 1, maka 0 p+q 2, akibatnya |1-p-q|1, akibatnya untuk n→∞ diperoleh:
q p
q X
P
n
+ =
=
∞ →
limit
n
dan q
p p
X P
n
+ =
=
∞ →
1
limit
n
Pada contoh di atas, sifat-sifat Markov tidak digunakan. Misalkan sifat-sifat Markov dipenuhi, maka kita dapat menentukan distribusi bersama joint
distributioan dari Xo, X
1
, X
2
, ..., Xn. Sebagai contoh untuk n=2, misalkan xo, x
1
, x
2
bernilai 0 atau 1, maka : PX
=x , X
1
=x
1
, X
2
=x
2
=PX
2
=x
2
|X =x
, X
1
=x
1
. PX =x
, X
1
=x
1
= PX
2
=x
2
|X =x
, X
1
=x
1
. PX
1
=x
1
|X =x
. PX =x
Disini kita akan bisa menghitung PX =x
dan PX
1
=x
1
|X =x
dengan menggunakan p,q dan π
0. Tetapi kita tidak akan bisa menghitung nilai dari PXn=0=
+ −
− −
+ +
q p
q q
p q
p q
n
1 π
PXn=1=
+
− −
− +
+ q
p p
q p
q p
p
n
1 1
π
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 46
PX
2
=x
2
|X =x
, X
1
=x
1
tanpa menggunakan sifat Markov. Jika sifat Markov berlaku maka :
PX =x
, X
1
=x
1
, X
2
=x
2
=PX
2
=x
2
|X =x
, X
1
=x
1
. PX =x
, X
1
=x
1
= PX
2
=x
2
|X
1
=x
1
. PX
1
=x
1
|X =x
. PX =x
Misalkan xo=0, x
1
=1, dan x
2
=0 maka : PX
=0, X
1
=1, X
2
=0= PX
2
=0|X
1
=1. PX
1
=1|X =0. PX
=0 =q. p. π
Selanjutnya juga dapat dihitung distribusi bersama Xo, X
1
, X
2
untuk state-state yang lain :
PX =0, X
1
=0, X
2
=0= PX
2
=0|X
1
=0. PX
1
=0|X =0. PX
=0 =1-p 1-p π
0 = 1-p
2
π
PX =0, X
1
=0, X
2
=1= PX
2
=1|X
1
=0. PX
1
=0|X =0. PX
=0 =p 1-p π
PX =0, X
1
=1, X
2
=1= PX
2
=1|X
1
=1. PX
1
=1|X =0. PX
=0 =1-q p = 1-q
p π
Secara keseluruhan, dalam bentuk tabel diperoleh :
x x
1
x
2
PX =x
, X
1
=x
1
, X
2
=x
2
1-p
2
π 1
1-p p π 1
p q π
1 1
p 1-q π
1 q 1-p
π 1=q 1-p 1-π
1 1
q p π
1= q p 1-π
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 47
1 1
1-q q π
1=1-q q 1-π 1
1 1
1-q
2
π 1=1-q
2
1-π
Beberapa Contoh Rantai Markov
1. Rantai Ehrenfest Ehrenfest Chain
Diberikan dua buah kotak kotak I dan kotak II dan d bola dengan nomor 1, 2,...d. Awalnya sebagian bola diletakkan pada kotak I dan sisanya di
kotak II. Tersedia lotery dengan nomor 1, 2, ...,d. Mula-mula diambil selembar lotery secara random, dilihat nomor berapa yang terambil,
dipindah dari kotaknya dan dimasukkan ke kotak lain. Proses ini dilakukan tak hingga kali. Pengambilan lotery secara random dan
dikembalikan sebelum pengambilan berikutnya.
Jika Xn, n≥0 menyatakan banyaknya bola pada kotak I setelah trial ke-n, maka Xn merupakan rantai Markov dengan ruang state S={0,1,2,...,d},
tentukan fungsi transisi dari rantai tersebut
Penyelesaian : Misalkan ada x bola pada kotak I pada waktu ke-n, maka terdapat d-x
bola pada kotak II. Pada waktu ke-n+1 akan mengambil sebuah bola dari kotak I, tergantung pada lotery yang terambil. Jadi probabilitas
untuk mengambil bola pada kotak I adalah
d x
dan bola dipindahkan ke dalam kotak II. Ini berarti bahwa banyaknya bola di kotak I pada waktu
ke-n+1 sama dengan x-1, atau :
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 48
Px
n+1
=x-1|x
n
=x=Px,x-1=
d x
Dengan cara yang sama akan didapat Px
n+1
=x+1|x
n
=x=Px,x+1=
d x
d −
dan Px
n+1
=y|x
n
=x=Px,y=0 untuk y≠x-1 atau y≠x+1, sehingga diperoleh fungsi transisi :
Px,y=
+ =
− =
lain yang
y untuk
; 1
x y
untuk ;
1 -
x y
untuk ;
d x
d d
x
2. Rantai Penjudi Gembler’s Ruin Chain
Misalkan seorang penjudi, setiap kali main dia pasang 1 dolar. Probabilitas dia akan menang adalah p, dan probabilitas dia kalah adalah
q , q = 1-p. Menang berarti dia dapat satu dolar, kalah berarti kehilangan 1
dolar. Modal penjudi bisa mencapai 0 habis dan akan tetap sama dengan 0 seterusnya. Misalkan Xn, n ≥0 menyatakan modal penjudi
pada waktu ke-n, maka fungsi transisinya adalah : Px
n+1
=x-1|x
n
=x=Px,x-1=q Px
n+1
=x+1|x
n
=x=Px,x+1=p Atau
Px,y=
+
= =
lain yang
y untuk
; 1
x y
untuk ;
1 -
x y
untuk ;
p q
DEFINISI
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 49
Suatu state a∈S dari rantai Markov dinamakan State Absorbing jika : Pa,a=1 atau Pa,y=0 untuk y≠a.
Pada contoh 2, Rantai Penjudi di atas, 0 adalah rantai absorbing, karena P0,0=1, sebab setelah modal habis, seterusnya modalnya habis, P0,0=1.
Pada rantai Markov ini ruang statenya, S={0,1,2,3, ...} modal penjudi bisa tak berhingga.
3.4 FUNGSI TRANSISI m LANGKAH
