Materi Teori Peluang
Proses Stokastik
Definisi proses stokastik :
adalah
suatu keluarga peubah acak Xt atau X(t), di mana t T
dengan T = {1, 2, 3, …} untuk t diskret dan T = {0,} untuk t
kontinu.
Contoh
Pada percobaan pelemparan mata uang berkali – kali
X1 adalah peubah acak yang berhubungan dengan pelemparan
pertama
X2 adalah peubah acak yang berhubungan dengan pelemparan kedua
Xn adalah peubah acak yang berhubungan dengan pelemparan ke-n
X1 sampai Xn ini disebut keluarga peubah acak yang dapat juga disebut
proses stokastik.
Contoh
Perhatikan banyaknya kelahiran di suatu
tempat pada suatu hari. Bila Xt adalah
banyaknya kelahiran pada (0,t) dengan t
[0,1440], maka kumpulan dari Xt adalah
proses stokastik.
RANTAI MARKOV
Definisi
Proses Markov adalah proses stokastik yang
mempunyai sifat bahwa jika nilai X t telah diketahui,
maka Xs di mana s > t tidak dipengaruhi oleh X u di
mana u < t.
Definisi tersebut memiliki arti bahwa fenomena
masa datang hanya dipengaruhi oleh fenomena
masa sekarang dan tidak dipengaruhi oleh masa
lalu.
Rantai Markov dengan waktu diskret (Diskret Time
Markov Chain) adalah suatu proses markov dengan
waktu diskret dan Xt memiliki nilai diskret.
Secara matematis Proses Markov dapat
dinyatakan sebagai berikut:
P(Xn+1=j| X1 = i1, X2=i2, …, Xn=in) = P(Xn+1 =j|Xn = in)
Xn = j artinya rantai markov pada waktu n
berada pada state j.
Peluang Xn+1 berada pada state j jika Xn
n , n 1
P
berada pada state i dilambangkan dengan
ij
Peluang ini juga dinamakan peluang transisi
satu langkah (one-step transition probability)
dan secara matematis dapat dinyatakan
sebagai berikut
P(X
n+1=j|Xn=i).
Bila peluang transisi satu langkah bebas
terhadap peubah waktu n, maka rantai
markovn ,nmempunyai
peluang
transisi
yang
1
P
ij
stasioner
atau
= Pij
Secara umum, peluang transisi diatur dalam
suatu matriks yang dinamakan matriks peluang
P
P
P
P
transisi.
P
00
01
02
03
P10
P20
P11
P21
P12
P22
P13
P23
Pi 0
Pi1
Pi 2
Pi 3
.
Baris ke – i+1 dari P adalah sebaran peluang dari
nilai Xn+1 dibawah kondisi Xn= i.
Jika banyaknya state terhingga maka P adalah
matriks kuadrat terhingga
Nilai Pij memenuhi kondisi
Pij 0 untuk semua i dan j
P
dan
ij
1
j
untuk i = 0, 1, 2, …
Jika matriks peluang transisi P dan sebaran peluang X0
diketahui, maka perilaku dari rantai markov dapat
diketahui.
Pernyataan ini akan ditunjukkan dalam penjelasan
berikut:
Misalkan diketahui matriks peluang transisi dan P(X0=i)
= pi, maka kita dapat mencari P(X0=i0, X1=i1, X2 = i2, …,
Xn=in)
Berdasar definisi peluang bersyarat kita dapatkan
P(X0=i0, X1=i1, X2 = i2, …, Xn=in)
=P(Xn=in| X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1) P(X0=i0,
X1=i1, X2 = i2, …, Xn-1=in-1)
Berdasar definisi rantai markov kita dapatkan
P(X0=i0, X1=i1, X2 = i2, …, Xn=in)
= P(Xn=in| Xn-1=in-1) P(X0=i0, X1=i1, X2 = i2, …,
Xn-1=in-1)
= P(X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)
Melalui induksi akan kita dapatkanpi Pi i Pi
P(X0=i0, X1=i1, X2 = i2, …, Xn=in) =
0
0 1
n 2 , i n 1
Pin 1 , in
Matriks Peluang Transisi Rantai Markov
Analisis dari rantai markov berpusat pada
perhitungan peluang kemungkinan realisasi
proses yang mungkin.
Perhitungan ini berpusat pada matriks
Pij(n ) P(n) =
peluang transisi n langkah
.
(n )
Pij melambangkan peluang proses pindah
dari state i ke state j dalam n langkah.
Secara
formal
dapat
dinyatakan
sebagai
(n )
Pij
=P(Xm+n=j|Xm=i).
Sifat Markov memungkinkan kita menyatakan dalam
theorema berikut
Theorema
Peluang transisi n langkah dari rantai markov memenuhi
(n)
ij
P
Pik Pkj( n 1)
k 0
Di mana
1, i j
Pij( 0 )
0, i j
Dari teori matriks, maka persamaan dalam teorema ini
adalah rumus untuk perkalian matriks, sehingga
P(n) = PP(n-1). Dengan mengiterasikan rumus ini kita
n
dapatkan
P ( n ) P
P
P
P
nfaktor
Dengan kata lain, peluang transisi n langkah adalah isi
matriks Pn.
THE LONG RUN BEHAVIOR OF MARKOV CHAIN
Matriks Peluang Transisi Reguler
Misalkan P (matriks peluang transisi)
mempunyai sifat jika dipangkatkan k, Pk
mempunyai elemen yang semuanya positif,
maka P dikatakan reguler
Rantai Markov yang reguler memiliki limiting
probability distribution = (0, 1, …, N); di
j
mana j>0 dan j
=1 dan sebaran ini bebas
dari state awal
Untuk matriks peluang transisi yang regular
lim Pij( n ) j ,0 j = 0, 1, …, N
n
Contoh Rantai Markov regular dengan matriks
peluang transisi
1 a
a
P
b 1 b
Mempunyai limiting probability distribution
0
1
a
0 a b
n
lim P
n
1 a
a b
b
a b
b
a b
Contoh numerik dapat ditunjukkan, misalkan
rantai markov memiliki matriks peluang transisi
0.33 0.67
P
0.75 0.25
Beberapa pangkat pertama dari P adalah
2
0.6114 0.3886
5
0.4350 0.5650
0.5220 0.4780
P
P
0.5350 0.4560
3
0.4932 0.5068
6
0.5673 0.4327
0.5307 0.4693
P
P
0.5253 0.4747
P4
0.5328 0.4572
0.5117 0.4883
P7
0.5271 0.4729
0.5294 0.4706
Limiting distribution-nya adalah b/(a+b) =
0.5282 dan a/(a+b) = 0.4718.
Untuk semua matriks peluang transisi
dengan state 0, 1, 2, …,N yang memenuhi
dua kondisi berikut adalah regular
Untuk setiap pasang state i,j, terdapat path
(jalur) k1, k2, …, kr di mana Pik1Pk1k2 ... Pkrj>0
Terdapat minimal satu state di mana Pii>0
Theorema
Misalkan P adalah matriks peluang transisi
suatu rantai markov regular dengan state 0,
1, 2, …, N, maka limiting probability
distribution =(0, 1, 2, …,N) adalah solusi
unik dari sistem persamaan berikut
i 1
= P dan i
Contoh
Bila diketahui rantai markov dengan matriks
peluang transisi
01 2
0 0.4
0.5
0.1
P 1 0.05
0.7
0.25
2 0.05 0.50 0.45
Carilah limiting probability distributionnya!
Jawab
=P
0
0
1 2 0 1
0.4 0.5 0.1
2 0.05 0.7 0.25
0.05 0.50 0.45
1 2 0.4 0 0.05 1 0.05 2
0.5 0 0.7 1 0.5 2
0.1 0 0.25 1 0.45 2
Sehingga kita memiliki persamaan, yaitu
0 0.4 0 0.05 1 0.05 2
1 0.5 0 0.7 1 0.5 2
2 0.1 0 0.25 1 0.45 2
0 1 2 1
Solusi dari sistem persamaan di
samping adalah
0 = 0.077, 1 = 0.625, 2 = 0.298
Sehingga limiting probability distribution-nya
adalah
0 1 2
0 0.077 0.625 0.298
lim P n 1 0.077 0.625 0.298
n
2 0.077 0.625 0.298
Definisi proses stokastik :
adalah
suatu keluarga peubah acak Xt atau X(t), di mana t T
dengan T = {1, 2, 3, …} untuk t diskret dan T = {0,} untuk t
kontinu.
Contoh
Pada percobaan pelemparan mata uang berkali – kali
X1 adalah peubah acak yang berhubungan dengan pelemparan
pertama
X2 adalah peubah acak yang berhubungan dengan pelemparan kedua
Xn adalah peubah acak yang berhubungan dengan pelemparan ke-n
X1 sampai Xn ini disebut keluarga peubah acak yang dapat juga disebut
proses stokastik.
Contoh
Perhatikan banyaknya kelahiran di suatu
tempat pada suatu hari. Bila Xt adalah
banyaknya kelahiran pada (0,t) dengan t
[0,1440], maka kumpulan dari Xt adalah
proses stokastik.
RANTAI MARKOV
Definisi
Proses Markov adalah proses stokastik yang
mempunyai sifat bahwa jika nilai X t telah diketahui,
maka Xs di mana s > t tidak dipengaruhi oleh X u di
mana u < t.
Definisi tersebut memiliki arti bahwa fenomena
masa datang hanya dipengaruhi oleh fenomena
masa sekarang dan tidak dipengaruhi oleh masa
lalu.
Rantai Markov dengan waktu diskret (Diskret Time
Markov Chain) adalah suatu proses markov dengan
waktu diskret dan Xt memiliki nilai diskret.
Secara matematis Proses Markov dapat
dinyatakan sebagai berikut:
P(Xn+1=j| X1 = i1, X2=i2, …, Xn=in) = P(Xn+1 =j|Xn = in)
Xn = j artinya rantai markov pada waktu n
berada pada state j.
Peluang Xn+1 berada pada state j jika Xn
n , n 1
P
berada pada state i dilambangkan dengan
ij
Peluang ini juga dinamakan peluang transisi
satu langkah (one-step transition probability)
dan secara matematis dapat dinyatakan
sebagai berikut
P(X
n+1=j|Xn=i).
Bila peluang transisi satu langkah bebas
terhadap peubah waktu n, maka rantai
markovn ,nmempunyai
peluang
transisi
yang
1
P
ij
stasioner
atau
= Pij
Secara umum, peluang transisi diatur dalam
suatu matriks yang dinamakan matriks peluang
P
P
P
P
transisi.
P
00
01
02
03
P10
P20
P11
P21
P12
P22
P13
P23
Pi 0
Pi1
Pi 2
Pi 3
.
Baris ke – i+1 dari P adalah sebaran peluang dari
nilai Xn+1 dibawah kondisi Xn= i.
Jika banyaknya state terhingga maka P adalah
matriks kuadrat terhingga
Nilai Pij memenuhi kondisi
Pij 0 untuk semua i dan j
P
dan
ij
1
j
untuk i = 0, 1, 2, …
Jika matriks peluang transisi P dan sebaran peluang X0
diketahui, maka perilaku dari rantai markov dapat
diketahui.
Pernyataan ini akan ditunjukkan dalam penjelasan
berikut:
Misalkan diketahui matriks peluang transisi dan P(X0=i)
= pi, maka kita dapat mencari P(X0=i0, X1=i1, X2 = i2, …,
Xn=in)
Berdasar definisi peluang bersyarat kita dapatkan
P(X0=i0, X1=i1, X2 = i2, …, Xn=in)
=P(Xn=in| X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1) P(X0=i0,
X1=i1, X2 = i2, …, Xn-1=in-1)
Berdasar definisi rantai markov kita dapatkan
P(X0=i0, X1=i1, X2 = i2, …, Xn=in)
= P(Xn=in| Xn-1=in-1) P(X0=i0, X1=i1, X2 = i2, …,
Xn-1=in-1)
= P(X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)
Melalui induksi akan kita dapatkanpi Pi i Pi
P(X0=i0, X1=i1, X2 = i2, …, Xn=in) =
0
0 1
n 2 , i n 1
Pin 1 , in
Matriks Peluang Transisi Rantai Markov
Analisis dari rantai markov berpusat pada
perhitungan peluang kemungkinan realisasi
proses yang mungkin.
Perhitungan ini berpusat pada matriks
Pij(n ) P(n) =
peluang transisi n langkah
.
(n )
Pij melambangkan peluang proses pindah
dari state i ke state j dalam n langkah.
Secara
formal
dapat
dinyatakan
sebagai
(n )
Pij
=P(Xm+n=j|Xm=i).
Sifat Markov memungkinkan kita menyatakan dalam
theorema berikut
Theorema
Peluang transisi n langkah dari rantai markov memenuhi
(n)
ij
P
Pik Pkj( n 1)
k 0
Di mana
1, i j
Pij( 0 )
0, i j
Dari teori matriks, maka persamaan dalam teorema ini
adalah rumus untuk perkalian matriks, sehingga
P(n) = PP(n-1). Dengan mengiterasikan rumus ini kita
n
dapatkan
P ( n ) P
P
P
P
nfaktor
Dengan kata lain, peluang transisi n langkah adalah isi
matriks Pn.
THE LONG RUN BEHAVIOR OF MARKOV CHAIN
Matriks Peluang Transisi Reguler
Misalkan P (matriks peluang transisi)
mempunyai sifat jika dipangkatkan k, Pk
mempunyai elemen yang semuanya positif,
maka P dikatakan reguler
Rantai Markov yang reguler memiliki limiting
probability distribution = (0, 1, …, N); di
j
mana j>0 dan j
=1 dan sebaran ini bebas
dari state awal
Untuk matriks peluang transisi yang regular
lim Pij( n ) j ,0 j = 0, 1, …, N
n
Contoh Rantai Markov regular dengan matriks
peluang transisi
1 a
a
P
b 1 b
Mempunyai limiting probability distribution
0
1
a
0 a b
n
lim P
n
1 a
a b
b
a b
b
a b
Contoh numerik dapat ditunjukkan, misalkan
rantai markov memiliki matriks peluang transisi
0.33 0.67
P
0.75 0.25
Beberapa pangkat pertama dari P adalah
2
0.6114 0.3886
5
0.4350 0.5650
0.5220 0.4780
P
P
0.5350 0.4560
3
0.4932 0.5068
6
0.5673 0.4327
0.5307 0.4693
P
P
0.5253 0.4747
P4
0.5328 0.4572
0.5117 0.4883
P7
0.5271 0.4729
0.5294 0.4706
Limiting distribution-nya adalah b/(a+b) =
0.5282 dan a/(a+b) = 0.4718.
Untuk semua matriks peluang transisi
dengan state 0, 1, 2, …,N yang memenuhi
dua kondisi berikut adalah regular
Untuk setiap pasang state i,j, terdapat path
(jalur) k1, k2, …, kr di mana Pik1Pk1k2 ... Pkrj>0
Terdapat minimal satu state di mana Pii>0
Theorema
Misalkan P adalah matriks peluang transisi
suatu rantai markov regular dengan state 0,
1, 2, …, N, maka limiting probability
distribution =(0, 1, 2, …,N) adalah solusi
unik dari sistem persamaan berikut
i 1
= P dan i
Contoh
Bila diketahui rantai markov dengan matriks
peluang transisi
01 2
0 0.4
0.5
0.1
P 1 0.05
0.7
0.25
2 0.05 0.50 0.45
Carilah limiting probability distributionnya!
Jawab
=P
0
0
1 2 0 1
0.4 0.5 0.1
2 0.05 0.7 0.25
0.05 0.50 0.45
1 2 0.4 0 0.05 1 0.05 2
0.5 0 0.7 1 0.5 2
0.1 0 0.25 1 0.45 2
Sehingga kita memiliki persamaan, yaitu
0 0.4 0 0.05 1 0.05 2
1 0.5 0 0.7 1 0.5 2
2 0.1 0 0.25 1 0.45 2
0 1 2 1
Solusi dari sistem persamaan di
samping adalah
0 = 0.077, 1 = 0.625, 2 = 0.298
Sehingga limiting probability distribution-nya
adalah
0 1 2
0 0.077 0.625 0.298
lim P n 1 0.077 0.625 0.298
n
2 0.077 0.625 0.298