Catatan kuliah Proses Stokastik pdf
Catatan Kuliah
MA4081
PENGANTAR PROSES STOKASTIK
“Orang Pintar Belajar Stokastik”
disusun oleh
Khreshna I.A. Syuhada, MSc. PhD.
Kelompok Keilmuan STATISTIKA - FMIPA
Institut Teknologi Bandung
2012
Tentang MA4081 Pengantar Proses Stokastik
A. Jadwal kuliah:
• Selasa; 13-14.40; R.9231
• Kamis; 13-14.40; R.9307
B. Silabus:
• Peluang, peubah acak dan distribusi (2 minggu)
• Peluang dan ekspektasi bersyarat (1 minggu)
• Rantai Markov (4 minggu)
• Distribusi Eksponensial (3 minggu)
• Proses Poisson (2 minggu)
C. Buku teks:
• Sheldon Ross, 2010, Introduction to Probability Models, 10th ed., Academic Press.
• Taylor dan Karlin, 1998, An Introduction to Stochastic Modelling, 3rd
ed., Academic Press.
E. Penilaian:
• Ujian 1,2,3 (90%):
18 September 2012 (20%)
18 Oktober 2012 (35%)
4 Desember 2012 (35%)
• Kuis/PR/Kehadiran (10%)
MA5181 Pros.Stok.
i
K. Syuhada, PhD.
Matriks kegiatan perkuliahan
Table 1: Materi kuliah MA5181 Proses Stokastik.
MingguMateri
1
Pengantar
2
Peluang, peubah acak dan distribusi
3
Peluang dan ekspektasi bersyarat
4
Ujian 1
5-8
Rantai Markov*
8
Ujian 2
9
10-12
Distribusi Eksponensial*
13-14
Proses Poisson*
15
Ujian 3
MA5181 Pros.Stok.
ii
Keterangan
Penjelasan kuliah
18 September 2012
18 Oktober 2012
4 Desember 2012
K. Syuhada, PhD.
Daftar Isi
1 Peluang, Peubah Acak dan Distribusi
1.1 Peluang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Peubah acak dan distribusi . . . . . . . . . . . . . . . . . . . . .
1.3 Ekspektasi bersyarat . . . . . . . . . . . . . . . . . . . . . . . .
2 Rantai Markov
2.1 Ilustrasi . . . . . . . .
2.2 Definisi . . . . . . . . .
2.3 Peluang n-langkah . .
2.4 Jenis Keadaan . . . . .
2.5 Limit Peluang Transisi
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
iii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
1
4
7
1
. 1
. 2
. 7
. 9
. 13
BAB 1
Peluang, Peubah Acak dan
Distribusi
1.1
Peluang
Peluang adalah suatu konsep berpikir, bukan sekadar angka (walaupun wujudnya adalah angka diantara nol dan satu). Peluang berkaitan dengan menyatakan alasan atas suatu kejadian. Peluang, secara implisit, mengajak kita untuk mempersiapkan diri menghadapi kejadian yang tidak terjadi (yang memiliki peluang kecil).
Contoh:
Setiap hari Laila pergi ke kampus dan berharap perkuliahan terjadi (untuk
setiap mata kuliah Laila sudah memiliki dugaan peluang terjadinya perkuliahan tersebut). Jika suatu hari Laila tidak pergi ke kampus, akankah sebuah
perkuliahan benar-benar tidak terjadi?
Contoh:
Ini kisah masa lalu Tiani yang sempat diceritakan sesaat sebelum Tiani menikah.
Katanya “Ayahku meninggal waktu usiaku tiga tahun. Lalu Ibu kawin lagi.
Dengan ayah tiriku, Ibu mendapat dua orang anak tiri dan melahirkan tiga
orang anak. Ketika usiaku lima belas tahun, Ibu pun meninggal. Ayah tiriku
kawin lagi dengan seorang janda yang sudah beranak dua. Ia melahirkan dua
orang anak pula dengan ayah tiriku”. Adakah sosok seperti Tiani?
Untuk membuat peluang lebih berwujud, maka diciptakan cara menghitung
peluang. Secara khusus, kita akan menghitung peluang suatu kejadian. Peluang terdefinisi pada suatu ruang sampel.
1
Catatan:
• Percobaan adalah kegiatan yang menghasilkan keluaran/hasil yang mungkin
secara acak.
• Ruang sampel S adalah himpunan dari semua hasil yang mungkin dari
suatu percobaan. Anggota dari S disebut kejadian elementer.
• Kejadian adalah himpunan bagian dari ruang sampel atau koleksi dari
kejadian-kejadian elementer.
• Peluang kejadian A adalah
P (A) = lim
n→∞
P (A) =
n(A)
n
n(A)
n(S)
Contoh:
Direktur perusahaan mengundang para karyawan yang memiliki setidaknya
satu anak laki-laki (L) ke acara syukuran khitanan. Seorang karyawan memiliki dua anak. Berapa peluang bahwa kedua anak karyawan adalah laki-laki,
diberikan bahwa karyawan tersebut diundang ke acara syukuran?
Solusi: Misalkan L kejadian memiliki anak laki-laki; LK kejadian memiliki
dua anak laki-laki; U kejadian diundang ke acara syukuran. Jadi,
P (LK ∩ U )
P (U )
P ({{LL} ∩ {LL, LLc , Lc L}})
=
P ({LL, LLc , Lc L})
P ({LL})
=
P ({LL, LLc , Lc L})
= (1/4)/(3/4) = 1/3
P (LK|U ) =
Seringkali dibutuhkan nilai (awal) peluang suatu kejadian, untuk kemudian
dapat dihitung peluang kejadian berikutnya. Menentukan nilai awal peluang
merupakan masalah yang menarik dan menantang (challenging).
Contoh:
Sebagai seorang sekretaris, Dien tahu bahwa sebuah surat akan berada di salah
satu dari tiga buah kotak surat yang ada dengan peluang sama. Misalkan pi
adalah peluang bahwa Dien akan menemukan surat setelah mengecek kotak
surat i dengan cepat jika ternyata surat tersebut berada di kotak surat i,
MA5181 Pros.Stok.
2
K. Syuhada, PhD.
i = 1, 2, 3. Misalkan Dien mengecek kotak surat 1 dan tidak menemukan surat.
Berapa peluang kejadian itu akan terjadi? Jika diketahui Dien mengecek kotak
surat 1 dan tidak menemukan surat, berapa peluang bahwa surat itu ada di
kotak surat 1?
Solusi: Misalkan Ki , i = 1, 2, 3 adalah kejadian surat berada di kotak surat i.
Misalkan T kejadian mengecek kotak surat 1 dan tidak mendapatkan surat.
Peluang kejadian itu akan terjadi adalah
P (T ) = P (T |K1 )P (K1 ) + P (T |K2 )P (K2 ) + P (T |K3 )P (K3 )
= (1 − p1 )(1/3) + 1/3 + 1/3
Jika diketahui Dien mengecek kotak surat 1 dan tidak menemukan surat, maka
peluang bahwa surat itu ada di kotak surat 1 adalah
P (T |K1 )P (K1 )
P (T |K1 )P (K1 ) + P (T |K2 )P (K2 ) + P (T |K3 )P (K3 )
(1 − p1 )(1/3)
=
(1 − p1 )(1/3) + 1/3 + 1/3
P (K1 |T ) =
Contoh:
B dan G secara bersamaan menembak sasaran tertentu. Peluang tembakan
B mengenai sasaran adalah 0.7 sedangkan peluang tembakan G (bebas dari
tembakan B) mengenai sasaran adalah 0.4. Jika sebuah tembakan mengenai sasaran, berapa peluang bahwa itu tembakan G? Berapa peluang bahwa,
jika sasaran tertembak, kedua tembakan mengenai sasaran? Berapa peluang
bahwa, jika sasaran tertembak, tembakan G mengenai sasaran?
Solusi: Misalkan B kejadian B menembak sasaran. Misalkan G kejadian G
menembak sasaran. Misalkan T kejadian sebuah tembakan mengenai sasaran.
Misalkan S kejadian sasaran tertembak
P (G ∩ T )
P (T )
P (G ∩ B c )
=
P (G ∩ B c ) + P (B ∩ Gc )
(0.4)(0.3)
=
(0.4)(0.3) + (0.7)(0.6)
P (G|T ) =
MA5181 Pros.Stok.
3
K. Syuhada, PhD.
P (G ∩ S) P (B ∩ S)
P (S)
P (G)P (B)
=
1 − P (Gc ∩ B c )
(0.4)(0.7)
=
1 − (0.6)(0.3)
P (G ∩ B|S) =
P (G ∩ S)
P (S)
P (G ∩ S)
=
1 − P (Gc ∩ B c )
0.4
=
1 − (0.6)(0.3)
P (G|S) =
1.2
Peubah acak dan distribusi
Peubah acak (p.a.) adalah alat untuk “memudahkan” kita dalam “menyederhanakan” hitungan peluang; p.a. membuat kita bekerja dalam bilangan riil.
Catatan: Peubah acak berbeda dengan peubah!
P.a. berkaitan dengan distribusi atau, secara khusus, fungsi distribusi (kumulatif) (f.d.). Melalui f.d., p.a. akan makin memiliki makna dan aplikatif. Contoh, suatu p.a. menyatakan waktu tunggu seorang lulusan mendapat pekerjaan. P.a. tersebut mengikuti distribusi eksponensial. Kita dapat memahami
perilaku p.a. (secara probabilistik) tersebut melalui f.d.
Misalkan X suatu p.a.; F.d. untuk X adalah
FX (x) = F (x) = P (X ≤ x)
dengan sifat-sifat:
(a) F fungsi tidak turun
(b) limx→∞ F (x) = 1
(c) limx→−∞ F (x) = 0
(d) F fungsi kontinu kanan
Catatan:
Jika X p.a. diskrit,
• P (a < X ≤ b) = F (b) − F (a)
MA5181 Pros.Stok.
4
K. Syuhada, PhD.
• P (X ≤ b) ̸= P (X < b)
•
1 })
n→∞
n
(
1)
= lim P X ≤ b −
n→∞
n
(
1)
= lim F b −
n→∞
n
P (X < b) = P
(
lim
{
X ≤b−
Contoh:
Tentukan
fungsi peluang dari f.d. berikut:
0,
x 0, µ > 0. Tentukan peluang bahwa kedua komponen berfungsi
pada saat t. Tentukan peluang bahwa komponen A adalah komponen yang
pertama kali rusak
Solusi:
Ekspektasi Bersyarat
Ilustrasi - Seorang narapidana terjebak dalam suatu sel penjara yang memiliki
tiga pintu. Pintu pertama akan membawanya ke sebuah terowongan dan kembali ke sel dalam waktu dua hari. Pintu kedua dan ketiga akan membawanya
ke terowongan yang kembali ke sel dalam waktu masing-masing empat dan
satu hari. Asumsikan bahwa sang napi selalu memilih pintu 1, 2, dan 3 dengan peluang 0.5, 0.3 dan 0.2, berapa lama waktu rata-rata (expected number
of days) yang dibutuhkan untuk dia agar selamat?
Definisi:
Misalkan X dan Y adalah p.a. kontinu dengan f.p. bersama fX,Y (x, y). Jika
fX (x) > 0 maka ekspektasi bersyarat dari Y diberikan X = x adalah ekspektasi dari Y relatif terhadap distribusi bersyarat Y diberikan X = x,
∫ ∞
∫ ∞
fX,Y (x, y)
E(Y |X = x) =
y
dy =
y fY |X (y|x) dy
fX (x)
−∞
−∞
Proposisi
Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi
peluang bersama fX,Y (x, y). Misalkan ekspektasi dari Y hingga. Maka
∫ ∞
E(Y ) =
E(Y |X = x) fX (x) dx
−∞
atau
E(Y ) = E(E(Y |X = x))
Definisi:
Misalkan X dan Y adalah p.a. kontinu dengan f.p. bersama fX,Y (x, y). Jika
fX (x) > 0 maka variansi bersyarat dari Y diberikan X = x adalah variansi
dari Y relatif terhadap distribusi bersyarat Y diberikan X = x,
)
((
)2
V ar(Y |X = x) = E Y − E(Y |X = x) X = x
MA5181 Pros.Stok.
9
K. Syuhada, PhD.
Proposisi
Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi
peluang bersama fX,Y (x, y). Misalkan variansi dari Y hingga. Maka
V ar(Y ) = E(V ar(Y |X = x)) + V ar(E(Y |X))
Contoh:
Misalkan X dan Y peubah acak kontinu dengan fungsi peluang bersama
f (x, y) = e−x(y+1) , 0 ≤ x, 0 ≤ y ≤ e − 1
(
)
(a) Hitung P (X > 1|Y )= 21
(b) Hitung E X|Y = 12
Solusi:
Contoh:
Febri meninggalkan kantor setiap hari kerja antara pukul 6-7 malam. Jika
dia pergi t menit setelah pukul 6 maka waktu untuk mencapai rumah adalah
peubah acak berdistribusi Uniform pada selang (20, 20 + (2t)/3). Misalkan
Y adalah banyak menit setelah pukul 6 dan X banya menit untuk mencapai
rumah, berapa lama waktu mencapai rumah?
Solusi:
Contoh:
Zarudd saat ini berada di penjara Markas Brimob di Kelapa Dua, Depok. Dia
ingin melarikan diri (katanya sih ingin ke Bogota atau manalah) namun hal
ini tidak mudah. Fakta yang ada menunjukkan bahwa kalau Zarudd hendak
keluar dari penjara dia akan menghadapi tiga pintu. Pintu pertama akan
membawanya ke sebuah lorong dan kembali ke penjara dalam waktu dua jam.
Pintu kedua pun demikian, akan membawanya ke sebuah lorong dan kembali
ke penjara dalam waktu tiga jam. Sedangkan pintu ketigalah yang membawa
Zarudd langsung bebas. Jika Zarudd memilih pintu-pintu, yang belum digunakannya, secara acak, berapa lama waktu rata-rata (expected number of
hours) yang dibutuhkan Zarudd untuk bebas?
Solusi:
MA5181 Pros.Stok.
10
K. Syuhada, PhD.
BAB 2
Rantai Markov
2.1
Ilustrasi
(Ilustrasi 1) Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama sebenarnya) adalah sebuah contoh. Dia pernah melakukan percobaan bunuh diri,
namun gagal. Menurut pakar, kalau pada suatu waktu seseorang melakukan
percobaan bunuh diri maka besar kemungkinan dia akan melakukannya lagi di
masa mendatang. Jika seseorang belum pernah melakukan percobaan bunuh
diri, di masa mendatang orang tersebut akan mungkin melakukan percobaan
bunuh diri. Deskripsikan fenomena diatas sebagai model peluang (probability
model).
(Ilustrasi 2) Loyalitas konsumen terhadap suatu merek barang. Wilkie (1994)
mendefinisikan “brand loyalty as a favorable attitude toward and consistent
purchase of a particular brand”. Lyong (1998): “brand loyalty is a function of
a brands’ relative frequency of purchase in both time-independent and timedependent situations”. Seorang konsumen pembeli merek barang A diharapkan akan terus membeli barang A. Mungkinkah ini terjadi? Apakah model
statistika yang dapat dengan tepat (atau mendekati tepat) merinci peluang
terjadinya hal ini? Apakah model ini membantu dalam strategi pemasaran
suatu barang?
(Ilustrasi 3) Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang
silih berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hujan mungkin juga panas. Tentu saja peluang besok hujan akan lebih besar
dibanding peluang besok akan panas. Begitu pula jika hari ini panas. Besok
akan lebih mungkin panas dibandingkan hujan. Jika hari Senin hujan, berapa
peluang bahwa hari Selasa akan hujan? Berapa peluang bahwa hari Kamis
akan hujan?
(Ilustrasi 4) Sebagai calon atlet, setiap pagi Laila meninggalkan rumahnya
1
untuk berlari pagi. Laila akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Laila memakai sepatu olah
raga atau bertelanjang kaki jika sepatu tidak tersedia di depan pintu yang dia
lewati. Ketika pulang, Laila akan masuk lewat pintu depan atau belakang dan
meletakkan sepatunya dengan peluang sama. Diketahui bahwa Laila memiliki
4 pasang sepatu olah raga. Berapa peluang bahwa Laila akan sering berolah
raga dengan bertelanjang kaki?
2.2
Definisi
Proses stokastik {Xn } adalah Rantai Markov:
• n = 0, 1, 2, . . .
• nilai yang mungkin adalah hingga atau terhitung
•
(
)
P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 = Pij (∗)
• distribusi bersyarat Xn+1 , diberikan keadaan-keadaan lampau (past states)
X0 , X1 , . . . , Xn−1 dan keadaan sekarang (present state) Xn , hanya bergantung pada keadaan sekarang (“Sifat Markov”)
• keadaan-keadaan (states): i0 , i1 , . . . , in−1 , i, j
Pij peluang bahwa proses akan berada di keadaan j dari keadaan i;
Pij ≥ 0, i, j ≥ 0;
∞
∑
Pij = 1, i = 0, 1, . . .
j=0
Matriks peluang transisi Pij adalah
P=
P00 P01 P02 · · ·
P10 P11 P12 · · ·
..
..
..
.
.
.
Pi0 Pi0 Pi0 · · ·
..
..
..
.
.
.
MA5181 Pros.Stok.
2
K. Syuhada, PhD.
P02
P01
P00
0
P11
P12
1
P22
P10
2
...
P21
P20
Figure 2.1: Diagram transisi keadaan atau state transition diagram
Perhatikan (*):
(
)
P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
(
)
= P Xn+1 = j|Xn = i
= Pij ,
yang disebut sebagai peluang transisi 1-langkah atau one-step transition probability.
Peluang bersama
)
(
P Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
dapat dihitung dengan sifat peluang bersyarat berikut.
)
(
P Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
)
(
= P Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
)
(
× P Xn = i | Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
)
)
(
(
= P Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 × P Xn = i | Xn−1 = in−1
= ···
= pi0 · · · Pin−1 ,in
Contoh/Latihan:
1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka Rez akan
mengajukan klaim pada waktu t + 1 dengan peluang α; jika Rez tidak
mengajukan klaim asuransi saat ini maka di masa depan Rez akan mengajukan klaim asuransi dengan peluang β. Matriks peluang transisinya
MA5181 Pros.Stok.
3
K. Syuhada, PhD.
adalah...
P=
(
1−β β
1−α α
)
dengan keadaan-keadaan:
’0’ tidak mengajukan klaim
’1’ mengajukan klaim
2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam
dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan
hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan
maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan
kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah...
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
dengan keadaan-keadaan:
’0’ (00) = hari ini dan kemarin hujan
’1’ (10) = hari ini hujan, kemarin tidak hujan
’2’ (01) = hari ini tidak hujan, kemarin hujan
’3’ (11) = hari ini dan kemarin tidak hujan
3. Tiga item produk A dan tiga item produk B didistribusikan dalam dua
buah paket/kotak sedemikian hinga setiap paket terdiri atas tiga item
produk. Dikatakan bahwa sistem berada dalam keadaan i, i = 0, 1, 2, 3
jika dalam paket pertama terdapat i produk A. Setiap saat (langkah),
kita pindahkan satu item produk dari setiap paket dan meletakkan item
produk tersebut dari paket 1 ke paket 2 dan sebaliknya. Misalkan Xn
menggambarkan keadaan dari sistem setelah langkah ke-n. Matriks peluang transisinya adalah...
0
1
0
0
1/9 4/9 4/9 0
P=
0 4/9 4/9 1/9
0
0
1
0
dengan keadaan-keadaan:
’0’ terdapat 0 produk A di paket pertama
MA5181 Pros.Stok.
4
K. Syuhada, PhD.
’1’ terdapat 1 produk A di paket pertama
’2’ terdapat 2 produk A di paket pertama
’3’ terdapat 3 produk A di paket pertama
4. Menurut Kemeny, Snell dan Thompson, Tanah Australia diberkahi dengan banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki
dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan
hari bercuaca baik maka esok hari akan bersalju atau hujan dengan peluang sama. Jika hari ini mereka mengalami salju atau hujan maka besok akan bercuaca sama dengan peluang separuhnya. Jika terdapat perubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok
akan menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari
Rantai Markov yang dibentuk dari keadaan-keadaan diatas.
1/2 1/4 1/4
P = 1/2 0 1/2
1/4 1/4 1/2
dengan keadaan-keadaan:
’0’ cuaca hujan
’1’ cuaca baik
’2’ cuaca salju
5. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2” memiliki matriks
peluang transisi:
0.1 0.2 0.7
P = 0.9 0.1 0
0.1 0.8 0.1
dan P (X0 = 0) = 0.3, P (X0 = 1) = 0.4, P (X0 = 2) = 0.3.
Hitung
P (X0 = 0, X1 = 1, X2 = 2)
Solusi: 0
6. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2” memiliki matriks
peluang transisi:
0.7 0.2 0.1
P = 0 0.6 0.4
0.5 0 0.5
MA5181 Pros.Stok.
5
K. Syuhada, PhD.
Hitung
P (X2 = 1, X3 = 1 | X1 = 0)
dan
P (X1 = 1, X2 = 1 | X0 = 0)
Solusi: 0.12; 0.12
7. Sebagai calon atlet, setiap pagi Laila meninggalkan rumahnya untuk
berlari pagi. Laila akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Laila memakai sepatu
olah raga atau bertelanjang kaki. Ketika pulang, Laila akan masuk lewat
pintu depan atau belakang dan meletakkan sepatunya dengan peluang
sama. Diketahui bahwa Laila memiliki 4 pasang sepatu olah raga. Bentuklah suatu Rantai Markov dari proses diatas.
P=
3/4 1/4 0
0
0
1/4 1/2 1/4 0
0
0 1/4 1/2 1/4 0
0
0 1/4 1/2 1/4
0
0
0 1/4 3/4
dengan keadaan-keadaan:
’0’ (4,0) = 4 sepatu didepan,
’1’ (3,1) = 3 sepatu didepan,
’2’ (2,2) = 2 sepatu didepan,
’3’ (1,3) = 1 sepatu didepan,
’4’ (0,4) = 0 sepatu didepan,
0
1
2
3
4
dibelakang
dibelakang
dibelakang
dibelakang
dibelakang
8. Lena akan melantunkan koin terus menerus hingga diperoleh keluaran
B, B, M (2 keluaran Belakang berturut-turut yang kemudian diikuti oleh
keluaran Muka). Bentuklah rantai Markov yang mungkin. Perhatikan
bahwa jika lantunan Lena adalah M , lalu B, lalu M artinya adalah Lena
harus mengulang lantunan dari awal.
9. Suatu sistem reservasi maskapai penerbangan memiliki 2 komputer; hanya
1 yang beroperasi pada setiap waktu. Sebuah komputer akan “rusak”
pada suatu hari dengan peluang θ. Ada sebuah fasilitas/bengkel perbaikan komputer yang dapat membuat komputer kembali normal (dapat
dipakai) dalam waktu 2 hari. Fasilitas/bengkel tersebut diatur sedemikian
MA5181 Pros.Stok.
6
K. Syuhada, PhD.
hingga hanya 1 komputer yang dapat ditangani setiap waktu. Bentuklah
rantai Markov yang dapat memodelkan situasi diatas...
10. Ani tinggal tidak jauh dari kampus. Cukup berjalan kaki saja dari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan datang hampir
setiap hari. Mau tidak mau, Ani menggunakan payung dalam perjalanan
kos-kampus atau kampus-kos. Jika hari hujan dan payung ada ditempat Ani berada maka Ani akan menggunakan payung tersebut. Jika hari
tidak hujan, Ani selalu lupa untuk membawa payung. Misalkan θ adalah
peluang hujan setiap kali Ani akan menuju kampus atau kos. Jika Ani
memiliki 3 buah payung, bentuklah suatu rantai Markov dari proses diatas!
0
0
0
0
0
1−θ
P=
0
1−θ
θ
1−θ
θ
0
1
θ
0
0
dengan keadaan-keadaan:
’0’, ’1’, ’2’, ’3’ yang menyatakan jumlah payung
11. Dua tim futsal wanita di MA-ITB akan memainkan tujuh rangkaian pertandingan. Hasil setiap pertandingan saling bebas. Setiap pertandingan
akan dimenangkan oleh tim A dengan peluang α dan oleh tim B dengan peluang 1 − α. Misalkan keadaan suatu sistem direpresentasikan
oleh pasangan (a, b) dimana a menyatakan banyak pertandingan yang
dimenangkan A dan b banyak pertandingan yang dimenangkan B. Bentuklah rantai Markov untuk masalah tersebut. Catatan: a + b ≤ 7 dan
rangkaian pertandingan akan berakhir apabila a = 4 atau b = 4.
2.3
Peluang n-langkah
Persamaan Chapman-Kolmogorov
Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses di keadaan
i akan berada di keadaan j,
Pijn = P (Yk+n = j|Yk = i), n ≥ 0, i, j ≥ 0.
Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang transisi n + m-langkah:
Pijn+m =
∞
∑
m
Pikn Pkj
, (Buktikan!)
k=0
MA5181 Pros.Stok.
7
K. Syuhada, PhD.
m
menyatakan peluang suatu
untuk semua n, m ≥ 0 dan semua i, j. Pikn Pkj
proses dalam keadaan i akan berada di keadaan j dalam n+m transisi, melalui
keadaan k dalam n transisi/langkah.
Contoh/Latihan:
1. Jika hari ini hujan maka besok akan hujan dengan peluang α = 0.7; jika
hari ini tidak hujan maka besok akan hujan dengan peluang β = 0.4.
Matriks peluang transisi 4 langkah adalah...
4
P =
(
0.5749 0.4251
0.5668 0.4332
)
2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam
dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan
hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan
maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan
kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah sbb:
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari Kamis akan
hujan?
0.49 0.12 0.21 0.18
0.35 0.2 0.15 0.3
P2 =
0.2 0.12 0.2 0.4
0.1 0.16 0.1 0.64
2
2
Peluang hujan pada hari Kamis adalah P00
+ P01
= 0.49 + 0.12 = 0.61
Peluang Transisi Tak Bersyarat
Misalkan
αi = P (X0 = i), i ≥ 0,
∑∞
dimana
i=0 αi = 1. Peluang tak bersyarat dapat dihitung dengan mensyaratkan pada keadaan awal,
P (Xn = j) =
∞
∑
P (Xn = j|X0 = i) P (X0 = i) =
Pijn αi
i=0
i=0
MA5181 Pros.Stok.
∞
∑
8
K. Syuhada, PhD.
Contoh/Latihan:
Pandang soal yang lalu dengan matriks peluang transisi:
)
(
0.7 0.3
P=
0.4 0.6
Jika diketahui α0 = P (X0 = 0) = 0.4 dan α1 = P (X0 = 1) = 0.6, maka
peluang (tak bersyarat) bahwa hari akan hujan 4 hari lagi adalah...
4
4
P (X4 = 0) = 0.4 P00
+ 0.6 P10
= (0.4)(0.5749) + (0.6)(0.5668) = 0.57
2.4
Jenis Keadaan
Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika Pijn > 0
untuk suatu n ≥ 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika
dan hanya jika dimulai dari keadaan i proses akan masuk ke keadaan j. Jika
keadaan j tidak dapat diakses dari keadaan i maka peluang masuk ke keadaan
j dari keadaan i adalah nol.
Catatan:
Dua keadaan i dan j yang saling akses satu sama lain dikatakan berkomunikasi
(communicate). Notasi: i ↔ j.
MA5181 Pros.Stok.
9
K. Syuhada, PhD.
Sifat-sifat:
1. Keadaan i berkomunikasi dengan keadaan i untuk semua i ≥ 0
2. Jika keadaan i berkomunikasi dengan keadaan j maka keadaan j berkomunikasi dengan keadaan i
3. Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j berkomunikasi dengan keadaan k maka keadaan i berkomunikasi dengan keadaan
k
Dua keadaan yang berkomunikasi dikatakan berada dalam kelas (class) yang
sama. Setiap dua kelas dari keadaan-keadaan dapat ‘identik’ (identical) atau
‘saling asing’ (disjoint). Rantai Markov dikatakan tidak dapat direduksi (irreducible) jika hanya terdapat sebuah kelas dan semua keadaan berkomunikasi
satu sama lain.
Contoh/Latihan:
1. Tentukan kelas keadaan dari rantai Markov dengan peluang transisi
berikut:
(i)
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
(ii)
0
1
0
0
1/9 4/9 4/9 0
P=
0 4/9 4/9 1/9
0
0
1
0
(iii)
1
0
0
P = 1/2 1/4 1/4
1/4 1/4 1/2
2. Diketahui matrik peluang transisi:
0.5 0.5
0
P = 0.5 0.25 0.25
0 0.33 0.67
MA5181 Pros.Stok.
10
K. Syuhada, PhD.
Apakah rantai Markov dengan peluang transisi diatas tidak dapat direduksi (irreducible)?
3. Apakah yang dapat anda katakan tentang rantai Markov dengan matriks
peluang transisi berikut:
0.5 0.5
0
0
0.5 0.5
0
0
P=
0.25 0.25 0.25 0.25
0
0
0
1
Sifat-sifat KEADAAN - Recurrent dan Transient
Untuk setiap keadaan i, misalkan fi peluang bahwa dimulai dari keadaan i
proses akan pernah kembali ke keadaan i. Keadaan i dikatakan recurrent jika
fi = 1. Dikatakan transient jika fi < 1.
• Jika keadaan i recurrent maka proses akan terus kembali ke keadaan i
dengan peluang satu. Dengan definisi rantai Markov, proses akan dimulai
lagi ketika kembali ke keadaan i, dan seterusnya, sehingga keadaan i akan
dikunjungi lagi. Jika keadaan i recurrent maka dimulai dari keadaan i
maka proses akan kembali ke keadaan i terus dan terus sebanyak tak
hingga kali.
• Misalkan keadaan i transient. Setiap kali proses kembali ke keadaan
i, terdapat kemungkinan (peluang yang positif) sebesar 1 − fi bahwa
proses tidak pernah kembali ke keadaan i. Dengan demikian, dimulai
dari keadaan i, peluang bahwa proses berada di i sebanyak tepat n periode/kali adalah fin−1 (1 − fi ), n ≥ 1. Jika keadaan i transient maka,
dimulai dari keadaan i, banyak periode/kali bahwa proses akan berada
di keadaan i adalah peubah acak geometrik dengan parameter 1 − fi .
“Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i, maka banyak
periode/kali yang diharapkan (expected number of time periods) bahwa proses
akan berada di keadaan i adalah tak hingga”
Misalkan
{
1, Yn = i;
In =
∑0,∞ Yn ̸= i.
Misalkan n=0 In menyatkan banyak periode/kali bahwa proses berada dalam
MA5181 Pros.Stok.
11
K. Syuhada, PhD.
keadaan i, dan
(∞
)
∞
∑
∑
E
In |Y0 = i =
E(In |Y0 = i)
n=0
=
n=0
∞
∑
P (Yn = i|Y0 = i)
n=0
=
∞
∑
Piin
n=0
Proposisi
Keadaan i adalah
recurrent jika
∞
∑
Piin
= ∞;
transient jika
n=0
∞
∑
Piin < ∞
n=0
Catatan:
• Pada rantai Markov dengan keadaan hingga, tidak semua keadaan bersifat transient (Mengapa?)
• “Jika keadaan i recurrent dan keadaan i berkomunikasi (communicate)
dengan keadaan j maka keadaan j recurrent” (Bagaimana jika keadaan
i transient?)
• Semua keadaan pada rantai Markov (hingga) yang tidak dapat direduksi
adalah recurrent (PENTING!)
Contoh/Latihan:
1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks peluang transisi:
0
1
P=
0
0
0 0.5 0.5
0 0
0
1 0
0
1 0
0
Tentukan keadaan mana yang recurrent dan keadaan mana yang transient!
2. Bagaimana dengan rantai Markov dengan matriks peluang transisi:
MA5181 Pros.Stok.
12
K. Syuhada, PhD.
P=
0.5 0.5 0
0
0
0.5 0.5 0
0
0
0
0 0.5 0.5 0
0
0 0.5 0.5 0
0.25 0.25 0
0 0.5
?
3. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks peluang transisi:
0.5 0.5
0
0
0.5 0.5
0
0
P=
0.25 0.25 0.25 0.25
0
0
0
1
Tentukan keadaan mana yang recurrent dan keadaan mana yang transient!
4. Model penyebaran penyakit memiliki matriks peluang transisi sebagai
berikut:
P =
1 0
0
0
0
0
0 0.96 0.04 0
0
0
0 0 0.94 0.06 0
0
0 0
0 0.94 0.06 0
0 0
0
0 0.96 0.04
0 0
0
0
0
1
Tentukan sifat keadaan dari rantai Markov diatas.
2.5
Limit Peluang Transisi
Misalkan ‘0’ keadaan belum pernah juara dan ‘1’ keadaan pernah juara. Matriks peluang transisi yang dapat dibentuk adalah
)
(
0.9 0.1
P=
0.3 0.7
Matriks peluang transisi 8 dan 12 langkahnya:
(
)
0.7542 0.2458
8
P =
0.7374 0.2626
dan
MA5181 Pros.Stok.
13
K. Syuhada, PhD.
P
12
=
(
0.7505 0.2495
0.7484 0.2516
)
...dst.
Matriks P 12 hampir identik dengan P 8 (benar-benar identik dengan P 16 ). Selain itu, setiap baris dari P 12 memiliki unsur yang identik. Nampaknya, Pijn
konvergen ke suatu nilai, untuk n → ∞, yang sama untuk semua i. Dengan
kata lain, terdapat limit peluang (limiting probability) bahwa proses akan berada di keadaan j setelah sekian/banyak langkah/transisi. Nilai limit ini saling
bebas dengan nilai pada keadaan awal.
Perhatikan 2 sifat keadaan berikut:
Keadaan i dikatakan memiliki periode d jika Piin = 0 untuk n yang tidak dapat
dibagi oleh d (d suatu integer). Contoh, suatu proses dimulai dari keadaan i
akan kembali ke i pada waktu 2, 4, 6, 8, . . . , maka keadaan i memiliki periode
2. Suatu keadaan yang memiliki periode 1 disebut aperiodik. Jika keadaan
i memiliki periode d dan keadaan i berkomunikasi dengan keadaan j maka
keadaan j juga memiliki periode d.
Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan positive recurrent jika, dimulai dari keadaan i, waktu harapan hingga proses kembali
ke i adalah hingga. Pada rantai Markove yang memiliki keadaan hingga, semua keadaan yang recurrent adalah positive recurrent. Suatu keadaan yang
positive recurrent dan aperiodik disebut ergodik.
Teorema
Untuk rantai Markov yang ergodik dan tidak dapat direduksi,
lim Pijn
n→∞
ada dan saling bebas dari i. Misalkan
πj = lim Pijn , j ≥ 0,
n→∞
maka πj adalah solusi nonnegatif tunggal dari
πj =
∞
∑
πi Pijn , j ≥ 0,
i=0
dengan
∑∞
j=0
πj = 1.
MA5181 Pros.Stok.
14
K. Syuhada, PhD.
Catatan:
• Perhatikan bahwa
P (Xn+1 = j) =
∞
∑
P (Xn+1 = j|Xn = i) P (Xn = i) =
∞
∑
Pij P (Xn = i)
i=0
i=0
• Limit peluang πj adalah peluang jangka panjang (long-run proportion of
time) bahwa suatu proses akan berada di keadaan j
• Jika rantai Markov tidak dapat direduksi, maka terdapat solusi untuk
∑
πj =
πi Pij , j ≥ 0,
i
∑
dengan
j πj = 1, JIKA dan HANYA JIKA rantai Markov bersifat
positive recurrent. Jika solusinya ada maka solusi tersebut tunggal dan
πj adalah proporsi jangka panjang bahwa rantai Markov berada dalam
keadaan j. Jika rantai Markov aperiodik maka πj adalah limit peluang
bahwa rantai akan berada di keadaan j.
Contoh/Latihan:
1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari
ini tidak hujan maka besok akan hujan dengan peluang β. Jika ′ 0′ adalah
keadaan hujan dan ′ 1′ adalah keadaan tidak hujan maka peluang hujan
dan tidak hujan untuk jangka adalah...
Matriks peluang transisi:
P=
(
α 1−α
β 1−β
)
,
dan kita punyai persamaan-persamaan:
π 0 = α π0 + β π1
π1 = (1 − α) π0 + (1 − β) π1
π0 + π 1 = 1
Kita peroleh peluang hujan dan tidak hujan pada jangka panjang:
π0 =
β
1+β−α
MA5181 Pros.Stok.
15
K. Syuhada, PhD.
dan
π1 =
1−α
1+β−α
2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua percobaan terakhir SUKSES maka peluang SUKSES pada percobaan berikut
adalah 0.8. Dalam keadaan YANG LAIN, peluang SUKSES adalah 0.5.
Hitung peluang percobaan sukses untuk jangka panjang.
3. Pandang pelantunan-pelantunan sebuah koin (dengan peluang muncul
MUKA adalah θ) yang saling bebas. Berapa banyak lantunan dibutuhkan yang diharapkan (expected number of tosses needed) agar pola
HT HT muncul? (Perhatikan catatan dibawah)
Catatan:
• Peluang jangka panjang πj , j ≥ 0, disebut juga peluang stasioner (stationary probability). Jika keadaan awal dipilih berdasarkan peluang
πj , j ≥ 0, maka peluang akan menjadi keadaan j pada setiap waktu
n adalah sama dengan πj .
• Untuk keadaan j, definisikan mjj yaitu banyak transisi yang diharapkan
(expected number of transitions) hingga suatu rantai Markov, dimulai
dari keadaan j akan kembali ke keadaan tersebut:
πj =
1
mjj
MA5181 Pros.Stok.
16
K. Syuhada, PhD.
MA4081
PENGANTAR PROSES STOKASTIK
“Orang Pintar Belajar Stokastik”
disusun oleh
Khreshna I.A. Syuhada, MSc. PhD.
Kelompok Keilmuan STATISTIKA - FMIPA
Institut Teknologi Bandung
2012
Tentang MA4081 Pengantar Proses Stokastik
A. Jadwal kuliah:
• Selasa; 13-14.40; R.9231
• Kamis; 13-14.40; R.9307
B. Silabus:
• Peluang, peubah acak dan distribusi (2 minggu)
• Peluang dan ekspektasi bersyarat (1 minggu)
• Rantai Markov (4 minggu)
• Distribusi Eksponensial (3 minggu)
• Proses Poisson (2 minggu)
C. Buku teks:
• Sheldon Ross, 2010, Introduction to Probability Models, 10th ed., Academic Press.
• Taylor dan Karlin, 1998, An Introduction to Stochastic Modelling, 3rd
ed., Academic Press.
E. Penilaian:
• Ujian 1,2,3 (90%):
18 September 2012 (20%)
18 Oktober 2012 (35%)
4 Desember 2012 (35%)
• Kuis/PR/Kehadiran (10%)
MA5181 Pros.Stok.
i
K. Syuhada, PhD.
Matriks kegiatan perkuliahan
Table 1: Materi kuliah MA5181 Proses Stokastik.
MingguMateri
1
Pengantar
2
Peluang, peubah acak dan distribusi
3
Peluang dan ekspektasi bersyarat
4
Ujian 1
5-8
Rantai Markov*
8
Ujian 2
9
10-12
Distribusi Eksponensial*
13-14
Proses Poisson*
15
Ujian 3
MA5181 Pros.Stok.
ii
Keterangan
Penjelasan kuliah
18 September 2012
18 Oktober 2012
4 Desember 2012
K. Syuhada, PhD.
Daftar Isi
1 Peluang, Peubah Acak dan Distribusi
1.1 Peluang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Peubah acak dan distribusi . . . . . . . . . . . . . . . . . . . . .
1.3 Ekspektasi bersyarat . . . . . . . . . . . . . . . . . . . . . . . .
2 Rantai Markov
2.1 Ilustrasi . . . . . . . .
2.2 Definisi . . . . . . . . .
2.3 Peluang n-langkah . .
2.4 Jenis Keadaan . . . . .
2.5 Limit Peluang Transisi
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
iii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
1
4
7
1
. 1
. 2
. 7
. 9
. 13
BAB 1
Peluang, Peubah Acak dan
Distribusi
1.1
Peluang
Peluang adalah suatu konsep berpikir, bukan sekadar angka (walaupun wujudnya adalah angka diantara nol dan satu). Peluang berkaitan dengan menyatakan alasan atas suatu kejadian. Peluang, secara implisit, mengajak kita untuk mempersiapkan diri menghadapi kejadian yang tidak terjadi (yang memiliki peluang kecil).
Contoh:
Setiap hari Laila pergi ke kampus dan berharap perkuliahan terjadi (untuk
setiap mata kuliah Laila sudah memiliki dugaan peluang terjadinya perkuliahan tersebut). Jika suatu hari Laila tidak pergi ke kampus, akankah sebuah
perkuliahan benar-benar tidak terjadi?
Contoh:
Ini kisah masa lalu Tiani yang sempat diceritakan sesaat sebelum Tiani menikah.
Katanya “Ayahku meninggal waktu usiaku tiga tahun. Lalu Ibu kawin lagi.
Dengan ayah tiriku, Ibu mendapat dua orang anak tiri dan melahirkan tiga
orang anak. Ketika usiaku lima belas tahun, Ibu pun meninggal. Ayah tiriku
kawin lagi dengan seorang janda yang sudah beranak dua. Ia melahirkan dua
orang anak pula dengan ayah tiriku”. Adakah sosok seperti Tiani?
Untuk membuat peluang lebih berwujud, maka diciptakan cara menghitung
peluang. Secara khusus, kita akan menghitung peluang suatu kejadian. Peluang terdefinisi pada suatu ruang sampel.
1
Catatan:
• Percobaan adalah kegiatan yang menghasilkan keluaran/hasil yang mungkin
secara acak.
• Ruang sampel S adalah himpunan dari semua hasil yang mungkin dari
suatu percobaan. Anggota dari S disebut kejadian elementer.
• Kejadian adalah himpunan bagian dari ruang sampel atau koleksi dari
kejadian-kejadian elementer.
• Peluang kejadian A adalah
P (A) = lim
n→∞
P (A) =
n(A)
n
n(A)
n(S)
Contoh:
Direktur perusahaan mengundang para karyawan yang memiliki setidaknya
satu anak laki-laki (L) ke acara syukuran khitanan. Seorang karyawan memiliki dua anak. Berapa peluang bahwa kedua anak karyawan adalah laki-laki,
diberikan bahwa karyawan tersebut diundang ke acara syukuran?
Solusi: Misalkan L kejadian memiliki anak laki-laki; LK kejadian memiliki
dua anak laki-laki; U kejadian diundang ke acara syukuran. Jadi,
P (LK ∩ U )
P (U )
P ({{LL} ∩ {LL, LLc , Lc L}})
=
P ({LL, LLc , Lc L})
P ({LL})
=
P ({LL, LLc , Lc L})
= (1/4)/(3/4) = 1/3
P (LK|U ) =
Seringkali dibutuhkan nilai (awal) peluang suatu kejadian, untuk kemudian
dapat dihitung peluang kejadian berikutnya. Menentukan nilai awal peluang
merupakan masalah yang menarik dan menantang (challenging).
Contoh:
Sebagai seorang sekretaris, Dien tahu bahwa sebuah surat akan berada di salah
satu dari tiga buah kotak surat yang ada dengan peluang sama. Misalkan pi
adalah peluang bahwa Dien akan menemukan surat setelah mengecek kotak
surat i dengan cepat jika ternyata surat tersebut berada di kotak surat i,
MA5181 Pros.Stok.
2
K. Syuhada, PhD.
i = 1, 2, 3. Misalkan Dien mengecek kotak surat 1 dan tidak menemukan surat.
Berapa peluang kejadian itu akan terjadi? Jika diketahui Dien mengecek kotak
surat 1 dan tidak menemukan surat, berapa peluang bahwa surat itu ada di
kotak surat 1?
Solusi: Misalkan Ki , i = 1, 2, 3 adalah kejadian surat berada di kotak surat i.
Misalkan T kejadian mengecek kotak surat 1 dan tidak mendapatkan surat.
Peluang kejadian itu akan terjadi adalah
P (T ) = P (T |K1 )P (K1 ) + P (T |K2 )P (K2 ) + P (T |K3 )P (K3 )
= (1 − p1 )(1/3) + 1/3 + 1/3
Jika diketahui Dien mengecek kotak surat 1 dan tidak menemukan surat, maka
peluang bahwa surat itu ada di kotak surat 1 adalah
P (T |K1 )P (K1 )
P (T |K1 )P (K1 ) + P (T |K2 )P (K2 ) + P (T |K3 )P (K3 )
(1 − p1 )(1/3)
=
(1 − p1 )(1/3) + 1/3 + 1/3
P (K1 |T ) =
Contoh:
B dan G secara bersamaan menembak sasaran tertentu. Peluang tembakan
B mengenai sasaran adalah 0.7 sedangkan peluang tembakan G (bebas dari
tembakan B) mengenai sasaran adalah 0.4. Jika sebuah tembakan mengenai sasaran, berapa peluang bahwa itu tembakan G? Berapa peluang bahwa,
jika sasaran tertembak, kedua tembakan mengenai sasaran? Berapa peluang
bahwa, jika sasaran tertembak, tembakan G mengenai sasaran?
Solusi: Misalkan B kejadian B menembak sasaran. Misalkan G kejadian G
menembak sasaran. Misalkan T kejadian sebuah tembakan mengenai sasaran.
Misalkan S kejadian sasaran tertembak
P (G ∩ T )
P (T )
P (G ∩ B c )
=
P (G ∩ B c ) + P (B ∩ Gc )
(0.4)(0.3)
=
(0.4)(0.3) + (0.7)(0.6)
P (G|T ) =
MA5181 Pros.Stok.
3
K. Syuhada, PhD.
P (G ∩ S) P (B ∩ S)
P (S)
P (G)P (B)
=
1 − P (Gc ∩ B c )
(0.4)(0.7)
=
1 − (0.6)(0.3)
P (G ∩ B|S) =
P (G ∩ S)
P (S)
P (G ∩ S)
=
1 − P (Gc ∩ B c )
0.4
=
1 − (0.6)(0.3)
P (G|S) =
1.2
Peubah acak dan distribusi
Peubah acak (p.a.) adalah alat untuk “memudahkan” kita dalam “menyederhanakan” hitungan peluang; p.a. membuat kita bekerja dalam bilangan riil.
Catatan: Peubah acak berbeda dengan peubah!
P.a. berkaitan dengan distribusi atau, secara khusus, fungsi distribusi (kumulatif) (f.d.). Melalui f.d., p.a. akan makin memiliki makna dan aplikatif. Contoh, suatu p.a. menyatakan waktu tunggu seorang lulusan mendapat pekerjaan. P.a. tersebut mengikuti distribusi eksponensial. Kita dapat memahami
perilaku p.a. (secara probabilistik) tersebut melalui f.d.
Misalkan X suatu p.a.; F.d. untuk X adalah
FX (x) = F (x) = P (X ≤ x)
dengan sifat-sifat:
(a) F fungsi tidak turun
(b) limx→∞ F (x) = 1
(c) limx→−∞ F (x) = 0
(d) F fungsi kontinu kanan
Catatan:
Jika X p.a. diskrit,
• P (a < X ≤ b) = F (b) − F (a)
MA5181 Pros.Stok.
4
K. Syuhada, PhD.
• P (X ≤ b) ̸= P (X < b)
•
1 })
n→∞
n
(
1)
= lim P X ≤ b −
n→∞
n
(
1)
= lim F b −
n→∞
n
P (X < b) = P
(
lim
{
X ≤b−
Contoh:
Tentukan
fungsi peluang dari f.d. berikut:
0,
x 0, µ > 0. Tentukan peluang bahwa kedua komponen berfungsi
pada saat t. Tentukan peluang bahwa komponen A adalah komponen yang
pertama kali rusak
Solusi:
Ekspektasi Bersyarat
Ilustrasi - Seorang narapidana terjebak dalam suatu sel penjara yang memiliki
tiga pintu. Pintu pertama akan membawanya ke sebuah terowongan dan kembali ke sel dalam waktu dua hari. Pintu kedua dan ketiga akan membawanya
ke terowongan yang kembali ke sel dalam waktu masing-masing empat dan
satu hari. Asumsikan bahwa sang napi selalu memilih pintu 1, 2, dan 3 dengan peluang 0.5, 0.3 dan 0.2, berapa lama waktu rata-rata (expected number
of days) yang dibutuhkan untuk dia agar selamat?
Definisi:
Misalkan X dan Y adalah p.a. kontinu dengan f.p. bersama fX,Y (x, y). Jika
fX (x) > 0 maka ekspektasi bersyarat dari Y diberikan X = x adalah ekspektasi dari Y relatif terhadap distribusi bersyarat Y diberikan X = x,
∫ ∞
∫ ∞
fX,Y (x, y)
E(Y |X = x) =
y
dy =
y fY |X (y|x) dy
fX (x)
−∞
−∞
Proposisi
Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi
peluang bersama fX,Y (x, y). Misalkan ekspektasi dari Y hingga. Maka
∫ ∞
E(Y ) =
E(Y |X = x) fX (x) dx
−∞
atau
E(Y ) = E(E(Y |X = x))
Definisi:
Misalkan X dan Y adalah p.a. kontinu dengan f.p. bersama fX,Y (x, y). Jika
fX (x) > 0 maka variansi bersyarat dari Y diberikan X = x adalah variansi
dari Y relatif terhadap distribusi bersyarat Y diberikan X = x,
)
((
)2
V ar(Y |X = x) = E Y − E(Y |X = x) X = x
MA5181 Pros.Stok.
9
K. Syuhada, PhD.
Proposisi
Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi
peluang bersama fX,Y (x, y). Misalkan variansi dari Y hingga. Maka
V ar(Y ) = E(V ar(Y |X = x)) + V ar(E(Y |X))
Contoh:
Misalkan X dan Y peubah acak kontinu dengan fungsi peluang bersama
f (x, y) = e−x(y+1) , 0 ≤ x, 0 ≤ y ≤ e − 1
(
)
(a) Hitung P (X > 1|Y )= 21
(b) Hitung E X|Y = 12
Solusi:
Contoh:
Febri meninggalkan kantor setiap hari kerja antara pukul 6-7 malam. Jika
dia pergi t menit setelah pukul 6 maka waktu untuk mencapai rumah adalah
peubah acak berdistribusi Uniform pada selang (20, 20 + (2t)/3). Misalkan
Y adalah banyak menit setelah pukul 6 dan X banya menit untuk mencapai
rumah, berapa lama waktu mencapai rumah?
Solusi:
Contoh:
Zarudd saat ini berada di penjara Markas Brimob di Kelapa Dua, Depok. Dia
ingin melarikan diri (katanya sih ingin ke Bogota atau manalah) namun hal
ini tidak mudah. Fakta yang ada menunjukkan bahwa kalau Zarudd hendak
keluar dari penjara dia akan menghadapi tiga pintu. Pintu pertama akan
membawanya ke sebuah lorong dan kembali ke penjara dalam waktu dua jam.
Pintu kedua pun demikian, akan membawanya ke sebuah lorong dan kembali
ke penjara dalam waktu tiga jam. Sedangkan pintu ketigalah yang membawa
Zarudd langsung bebas. Jika Zarudd memilih pintu-pintu, yang belum digunakannya, secara acak, berapa lama waktu rata-rata (expected number of
hours) yang dibutuhkan Zarudd untuk bebas?
Solusi:
MA5181 Pros.Stok.
10
K. Syuhada, PhD.
BAB 2
Rantai Markov
2.1
Ilustrasi
(Ilustrasi 1) Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama sebenarnya) adalah sebuah contoh. Dia pernah melakukan percobaan bunuh diri,
namun gagal. Menurut pakar, kalau pada suatu waktu seseorang melakukan
percobaan bunuh diri maka besar kemungkinan dia akan melakukannya lagi di
masa mendatang. Jika seseorang belum pernah melakukan percobaan bunuh
diri, di masa mendatang orang tersebut akan mungkin melakukan percobaan
bunuh diri. Deskripsikan fenomena diatas sebagai model peluang (probability
model).
(Ilustrasi 2) Loyalitas konsumen terhadap suatu merek barang. Wilkie (1994)
mendefinisikan “brand loyalty as a favorable attitude toward and consistent
purchase of a particular brand”. Lyong (1998): “brand loyalty is a function of
a brands’ relative frequency of purchase in both time-independent and timedependent situations”. Seorang konsumen pembeli merek barang A diharapkan akan terus membeli barang A. Mungkinkah ini terjadi? Apakah model
statistika yang dapat dengan tepat (atau mendekati tepat) merinci peluang
terjadinya hal ini? Apakah model ini membantu dalam strategi pemasaran
suatu barang?
(Ilustrasi 3) Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang
silih berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hujan mungkin juga panas. Tentu saja peluang besok hujan akan lebih besar
dibanding peluang besok akan panas. Begitu pula jika hari ini panas. Besok
akan lebih mungkin panas dibandingkan hujan. Jika hari Senin hujan, berapa
peluang bahwa hari Selasa akan hujan? Berapa peluang bahwa hari Kamis
akan hujan?
(Ilustrasi 4) Sebagai calon atlet, setiap pagi Laila meninggalkan rumahnya
1
untuk berlari pagi. Laila akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Laila memakai sepatu olah
raga atau bertelanjang kaki jika sepatu tidak tersedia di depan pintu yang dia
lewati. Ketika pulang, Laila akan masuk lewat pintu depan atau belakang dan
meletakkan sepatunya dengan peluang sama. Diketahui bahwa Laila memiliki
4 pasang sepatu olah raga. Berapa peluang bahwa Laila akan sering berolah
raga dengan bertelanjang kaki?
2.2
Definisi
Proses stokastik {Xn } adalah Rantai Markov:
• n = 0, 1, 2, . . .
• nilai yang mungkin adalah hingga atau terhitung
•
(
)
P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 = Pij (∗)
• distribusi bersyarat Xn+1 , diberikan keadaan-keadaan lampau (past states)
X0 , X1 , . . . , Xn−1 dan keadaan sekarang (present state) Xn , hanya bergantung pada keadaan sekarang (“Sifat Markov”)
• keadaan-keadaan (states): i0 , i1 , . . . , in−1 , i, j
Pij peluang bahwa proses akan berada di keadaan j dari keadaan i;
Pij ≥ 0, i, j ≥ 0;
∞
∑
Pij = 1, i = 0, 1, . . .
j=0
Matriks peluang transisi Pij adalah
P=
P00 P01 P02 · · ·
P10 P11 P12 · · ·
..
..
..
.
.
.
Pi0 Pi0 Pi0 · · ·
..
..
..
.
.
.
MA5181 Pros.Stok.
2
K. Syuhada, PhD.
P02
P01
P00
0
P11
P12
1
P22
P10
2
...
P21
P20
Figure 2.1: Diagram transisi keadaan atau state transition diagram
Perhatikan (*):
(
)
P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
(
)
= P Xn+1 = j|Xn = i
= Pij ,
yang disebut sebagai peluang transisi 1-langkah atau one-step transition probability.
Peluang bersama
)
(
P Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
dapat dihitung dengan sifat peluang bersyarat berikut.
)
(
P Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
)
(
= P Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
)
(
× P Xn = i | Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
)
)
(
(
= P Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 × P Xn = i | Xn−1 = in−1
= ···
= pi0 · · · Pin−1 ,in
Contoh/Latihan:
1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka Rez akan
mengajukan klaim pada waktu t + 1 dengan peluang α; jika Rez tidak
mengajukan klaim asuransi saat ini maka di masa depan Rez akan mengajukan klaim asuransi dengan peluang β. Matriks peluang transisinya
MA5181 Pros.Stok.
3
K. Syuhada, PhD.
adalah...
P=
(
1−β β
1−α α
)
dengan keadaan-keadaan:
’0’ tidak mengajukan klaim
’1’ mengajukan klaim
2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam
dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan
hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan
maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan
kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah...
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
dengan keadaan-keadaan:
’0’ (00) = hari ini dan kemarin hujan
’1’ (10) = hari ini hujan, kemarin tidak hujan
’2’ (01) = hari ini tidak hujan, kemarin hujan
’3’ (11) = hari ini dan kemarin tidak hujan
3. Tiga item produk A dan tiga item produk B didistribusikan dalam dua
buah paket/kotak sedemikian hinga setiap paket terdiri atas tiga item
produk. Dikatakan bahwa sistem berada dalam keadaan i, i = 0, 1, 2, 3
jika dalam paket pertama terdapat i produk A. Setiap saat (langkah),
kita pindahkan satu item produk dari setiap paket dan meletakkan item
produk tersebut dari paket 1 ke paket 2 dan sebaliknya. Misalkan Xn
menggambarkan keadaan dari sistem setelah langkah ke-n. Matriks peluang transisinya adalah...
0
1
0
0
1/9 4/9 4/9 0
P=
0 4/9 4/9 1/9
0
0
1
0
dengan keadaan-keadaan:
’0’ terdapat 0 produk A di paket pertama
MA5181 Pros.Stok.
4
K. Syuhada, PhD.
’1’ terdapat 1 produk A di paket pertama
’2’ terdapat 2 produk A di paket pertama
’3’ terdapat 3 produk A di paket pertama
4. Menurut Kemeny, Snell dan Thompson, Tanah Australia diberkahi dengan banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki
dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan
hari bercuaca baik maka esok hari akan bersalju atau hujan dengan peluang sama. Jika hari ini mereka mengalami salju atau hujan maka besok akan bercuaca sama dengan peluang separuhnya. Jika terdapat perubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok
akan menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari
Rantai Markov yang dibentuk dari keadaan-keadaan diatas.
1/2 1/4 1/4
P = 1/2 0 1/2
1/4 1/4 1/2
dengan keadaan-keadaan:
’0’ cuaca hujan
’1’ cuaca baik
’2’ cuaca salju
5. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2” memiliki matriks
peluang transisi:
0.1 0.2 0.7
P = 0.9 0.1 0
0.1 0.8 0.1
dan P (X0 = 0) = 0.3, P (X0 = 1) = 0.4, P (X0 = 2) = 0.3.
Hitung
P (X0 = 0, X1 = 1, X2 = 2)
Solusi: 0
6. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2” memiliki matriks
peluang transisi:
0.7 0.2 0.1
P = 0 0.6 0.4
0.5 0 0.5
MA5181 Pros.Stok.
5
K. Syuhada, PhD.
Hitung
P (X2 = 1, X3 = 1 | X1 = 0)
dan
P (X1 = 1, X2 = 1 | X0 = 0)
Solusi: 0.12; 0.12
7. Sebagai calon atlet, setiap pagi Laila meninggalkan rumahnya untuk
berlari pagi. Laila akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Laila memakai sepatu
olah raga atau bertelanjang kaki. Ketika pulang, Laila akan masuk lewat
pintu depan atau belakang dan meletakkan sepatunya dengan peluang
sama. Diketahui bahwa Laila memiliki 4 pasang sepatu olah raga. Bentuklah suatu Rantai Markov dari proses diatas.
P=
3/4 1/4 0
0
0
1/4 1/2 1/4 0
0
0 1/4 1/2 1/4 0
0
0 1/4 1/2 1/4
0
0
0 1/4 3/4
dengan keadaan-keadaan:
’0’ (4,0) = 4 sepatu didepan,
’1’ (3,1) = 3 sepatu didepan,
’2’ (2,2) = 2 sepatu didepan,
’3’ (1,3) = 1 sepatu didepan,
’4’ (0,4) = 0 sepatu didepan,
0
1
2
3
4
dibelakang
dibelakang
dibelakang
dibelakang
dibelakang
8. Lena akan melantunkan koin terus menerus hingga diperoleh keluaran
B, B, M (2 keluaran Belakang berturut-turut yang kemudian diikuti oleh
keluaran Muka). Bentuklah rantai Markov yang mungkin. Perhatikan
bahwa jika lantunan Lena adalah M , lalu B, lalu M artinya adalah Lena
harus mengulang lantunan dari awal.
9. Suatu sistem reservasi maskapai penerbangan memiliki 2 komputer; hanya
1 yang beroperasi pada setiap waktu. Sebuah komputer akan “rusak”
pada suatu hari dengan peluang θ. Ada sebuah fasilitas/bengkel perbaikan komputer yang dapat membuat komputer kembali normal (dapat
dipakai) dalam waktu 2 hari. Fasilitas/bengkel tersebut diatur sedemikian
MA5181 Pros.Stok.
6
K. Syuhada, PhD.
hingga hanya 1 komputer yang dapat ditangani setiap waktu. Bentuklah
rantai Markov yang dapat memodelkan situasi diatas...
10. Ani tinggal tidak jauh dari kampus. Cukup berjalan kaki saja dari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan datang hampir
setiap hari. Mau tidak mau, Ani menggunakan payung dalam perjalanan
kos-kampus atau kampus-kos. Jika hari hujan dan payung ada ditempat Ani berada maka Ani akan menggunakan payung tersebut. Jika hari
tidak hujan, Ani selalu lupa untuk membawa payung. Misalkan θ adalah
peluang hujan setiap kali Ani akan menuju kampus atau kos. Jika Ani
memiliki 3 buah payung, bentuklah suatu rantai Markov dari proses diatas!
0
0
0
0
0
1−θ
P=
0
1−θ
θ
1−θ
θ
0
1
θ
0
0
dengan keadaan-keadaan:
’0’, ’1’, ’2’, ’3’ yang menyatakan jumlah payung
11. Dua tim futsal wanita di MA-ITB akan memainkan tujuh rangkaian pertandingan. Hasil setiap pertandingan saling bebas. Setiap pertandingan
akan dimenangkan oleh tim A dengan peluang α dan oleh tim B dengan peluang 1 − α. Misalkan keadaan suatu sistem direpresentasikan
oleh pasangan (a, b) dimana a menyatakan banyak pertandingan yang
dimenangkan A dan b banyak pertandingan yang dimenangkan B. Bentuklah rantai Markov untuk masalah tersebut. Catatan: a + b ≤ 7 dan
rangkaian pertandingan akan berakhir apabila a = 4 atau b = 4.
2.3
Peluang n-langkah
Persamaan Chapman-Kolmogorov
Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses di keadaan
i akan berada di keadaan j,
Pijn = P (Yk+n = j|Yk = i), n ≥ 0, i, j ≥ 0.
Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang transisi n + m-langkah:
Pijn+m =
∞
∑
m
Pikn Pkj
, (Buktikan!)
k=0
MA5181 Pros.Stok.
7
K. Syuhada, PhD.
m
menyatakan peluang suatu
untuk semua n, m ≥ 0 dan semua i, j. Pikn Pkj
proses dalam keadaan i akan berada di keadaan j dalam n+m transisi, melalui
keadaan k dalam n transisi/langkah.
Contoh/Latihan:
1. Jika hari ini hujan maka besok akan hujan dengan peluang α = 0.7; jika
hari ini tidak hujan maka besok akan hujan dengan peluang β = 0.4.
Matriks peluang transisi 4 langkah adalah...
4
P =
(
0.5749 0.4251
0.5668 0.4332
)
2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam
dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan
hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan
maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan
kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah sbb:
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari Kamis akan
hujan?
0.49 0.12 0.21 0.18
0.35 0.2 0.15 0.3
P2 =
0.2 0.12 0.2 0.4
0.1 0.16 0.1 0.64
2
2
Peluang hujan pada hari Kamis adalah P00
+ P01
= 0.49 + 0.12 = 0.61
Peluang Transisi Tak Bersyarat
Misalkan
αi = P (X0 = i), i ≥ 0,
∑∞
dimana
i=0 αi = 1. Peluang tak bersyarat dapat dihitung dengan mensyaratkan pada keadaan awal,
P (Xn = j) =
∞
∑
P (Xn = j|X0 = i) P (X0 = i) =
Pijn αi
i=0
i=0
MA5181 Pros.Stok.
∞
∑
8
K. Syuhada, PhD.
Contoh/Latihan:
Pandang soal yang lalu dengan matriks peluang transisi:
)
(
0.7 0.3
P=
0.4 0.6
Jika diketahui α0 = P (X0 = 0) = 0.4 dan α1 = P (X0 = 1) = 0.6, maka
peluang (tak bersyarat) bahwa hari akan hujan 4 hari lagi adalah...
4
4
P (X4 = 0) = 0.4 P00
+ 0.6 P10
= (0.4)(0.5749) + (0.6)(0.5668) = 0.57
2.4
Jenis Keadaan
Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika Pijn > 0
untuk suatu n ≥ 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika
dan hanya jika dimulai dari keadaan i proses akan masuk ke keadaan j. Jika
keadaan j tidak dapat diakses dari keadaan i maka peluang masuk ke keadaan
j dari keadaan i adalah nol.
Catatan:
Dua keadaan i dan j yang saling akses satu sama lain dikatakan berkomunikasi
(communicate). Notasi: i ↔ j.
MA5181 Pros.Stok.
9
K. Syuhada, PhD.
Sifat-sifat:
1. Keadaan i berkomunikasi dengan keadaan i untuk semua i ≥ 0
2. Jika keadaan i berkomunikasi dengan keadaan j maka keadaan j berkomunikasi dengan keadaan i
3. Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j berkomunikasi dengan keadaan k maka keadaan i berkomunikasi dengan keadaan
k
Dua keadaan yang berkomunikasi dikatakan berada dalam kelas (class) yang
sama. Setiap dua kelas dari keadaan-keadaan dapat ‘identik’ (identical) atau
‘saling asing’ (disjoint). Rantai Markov dikatakan tidak dapat direduksi (irreducible) jika hanya terdapat sebuah kelas dan semua keadaan berkomunikasi
satu sama lain.
Contoh/Latihan:
1. Tentukan kelas keadaan dari rantai Markov dengan peluang transisi
berikut:
(i)
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
(ii)
0
1
0
0
1/9 4/9 4/9 0
P=
0 4/9 4/9 1/9
0
0
1
0
(iii)
1
0
0
P = 1/2 1/4 1/4
1/4 1/4 1/2
2. Diketahui matrik peluang transisi:
0.5 0.5
0
P = 0.5 0.25 0.25
0 0.33 0.67
MA5181 Pros.Stok.
10
K. Syuhada, PhD.
Apakah rantai Markov dengan peluang transisi diatas tidak dapat direduksi (irreducible)?
3. Apakah yang dapat anda katakan tentang rantai Markov dengan matriks
peluang transisi berikut:
0.5 0.5
0
0
0.5 0.5
0
0
P=
0.25 0.25 0.25 0.25
0
0
0
1
Sifat-sifat KEADAAN - Recurrent dan Transient
Untuk setiap keadaan i, misalkan fi peluang bahwa dimulai dari keadaan i
proses akan pernah kembali ke keadaan i. Keadaan i dikatakan recurrent jika
fi = 1. Dikatakan transient jika fi < 1.
• Jika keadaan i recurrent maka proses akan terus kembali ke keadaan i
dengan peluang satu. Dengan definisi rantai Markov, proses akan dimulai
lagi ketika kembali ke keadaan i, dan seterusnya, sehingga keadaan i akan
dikunjungi lagi. Jika keadaan i recurrent maka dimulai dari keadaan i
maka proses akan kembali ke keadaan i terus dan terus sebanyak tak
hingga kali.
• Misalkan keadaan i transient. Setiap kali proses kembali ke keadaan
i, terdapat kemungkinan (peluang yang positif) sebesar 1 − fi bahwa
proses tidak pernah kembali ke keadaan i. Dengan demikian, dimulai
dari keadaan i, peluang bahwa proses berada di i sebanyak tepat n periode/kali adalah fin−1 (1 − fi ), n ≥ 1. Jika keadaan i transient maka,
dimulai dari keadaan i, banyak periode/kali bahwa proses akan berada
di keadaan i adalah peubah acak geometrik dengan parameter 1 − fi .
“Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i, maka banyak
periode/kali yang diharapkan (expected number of time periods) bahwa proses
akan berada di keadaan i adalah tak hingga”
Misalkan
{
1, Yn = i;
In =
∑0,∞ Yn ̸= i.
Misalkan n=0 In menyatkan banyak periode/kali bahwa proses berada dalam
MA5181 Pros.Stok.
11
K. Syuhada, PhD.
keadaan i, dan
(∞
)
∞
∑
∑
E
In |Y0 = i =
E(In |Y0 = i)
n=0
=
n=0
∞
∑
P (Yn = i|Y0 = i)
n=0
=
∞
∑
Piin
n=0
Proposisi
Keadaan i adalah
recurrent jika
∞
∑
Piin
= ∞;
transient jika
n=0
∞
∑
Piin < ∞
n=0
Catatan:
• Pada rantai Markov dengan keadaan hingga, tidak semua keadaan bersifat transient (Mengapa?)
• “Jika keadaan i recurrent dan keadaan i berkomunikasi (communicate)
dengan keadaan j maka keadaan j recurrent” (Bagaimana jika keadaan
i transient?)
• Semua keadaan pada rantai Markov (hingga) yang tidak dapat direduksi
adalah recurrent (PENTING!)
Contoh/Latihan:
1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks peluang transisi:
0
1
P=
0
0
0 0.5 0.5
0 0
0
1 0
0
1 0
0
Tentukan keadaan mana yang recurrent dan keadaan mana yang transient!
2. Bagaimana dengan rantai Markov dengan matriks peluang transisi:
MA5181 Pros.Stok.
12
K. Syuhada, PhD.
P=
0.5 0.5 0
0
0
0.5 0.5 0
0
0
0
0 0.5 0.5 0
0
0 0.5 0.5 0
0.25 0.25 0
0 0.5
?
3. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks peluang transisi:
0.5 0.5
0
0
0.5 0.5
0
0
P=
0.25 0.25 0.25 0.25
0
0
0
1
Tentukan keadaan mana yang recurrent dan keadaan mana yang transient!
4. Model penyebaran penyakit memiliki matriks peluang transisi sebagai
berikut:
P =
1 0
0
0
0
0
0 0.96 0.04 0
0
0
0 0 0.94 0.06 0
0
0 0
0 0.94 0.06 0
0 0
0
0 0.96 0.04
0 0
0
0
0
1
Tentukan sifat keadaan dari rantai Markov diatas.
2.5
Limit Peluang Transisi
Misalkan ‘0’ keadaan belum pernah juara dan ‘1’ keadaan pernah juara. Matriks peluang transisi yang dapat dibentuk adalah
)
(
0.9 0.1
P=
0.3 0.7
Matriks peluang transisi 8 dan 12 langkahnya:
(
)
0.7542 0.2458
8
P =
0.7374 0.2626
dan
MA5181 Pros.Stok.
13
K. Syuhada, PhD.
P
12
=
(
0.7505 0.2495
0.7484 0.2516
)
...dst.
Matriks P 12 hampir identik dengan P 8 (benar-benar identik dengan P 16 ). Selain itu, setiap baris dari P 12 memiliki unsur yang identik. Nampaknya, Pijn
konvergen ke suatu nilai, untuk n → ∞, yang sama untuk semua i. Dengan
kata lain, terdapat limit peluang (limiting probability) bahwa proses akan berada di keadaan j setelah sekian/banyak langkah/transisi. Nilai limit ini saling
bebas dengan nilai pada keadaan awal.
Perhatikan 2 sifat keadaan berikut:
Keadaan i dikatakan memiliki periode d jika Piin = 0 untuk n yang tidak dapat
dibagi oleh d (d suatu integer). Contoh, suatu proses dimulai dari keadaan i
akan kembali ke i pada waktu 2, 4, 6, 8, . . . , maka keadaan i memiliki periode
2. Suatu keadaan yang memiliki periode 1 disebut aperiodik. Jika keadaan
i memiliki periode d dan keadaan i berkomunikasi dengan keadaan j maka
keadaan j juga memiliki periode d.
Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan positive recurrent jika, dimulai dari keadaan i, waktu harapan hingga proses kembali
ke i adalah hingga. Pada rantai Markove yang memiliki keadaan hingga, semua keadaan yang recurrent adalah positive recurrent. Suatu keadaan yang
positive recurrent dan aperiodik disebut ergodik.
Teorema
Untuk rantai Markov yang ergodik dan tidak dapat direduksi,
lim Pijn
n→∞
ada dan saling bebas dari i. Misalkan
πj = lim Pijn , j ≥ 0,
n→∞
maka πj adalah solusi nonnegatif tunggal dari
πj =
∞
∑
πi Pijn , j ≥ 0,
i=0
dengan
∑∞
j=0
πj = 1.
MA5181 Pros.Stok.
14
K. Syuhada, PhD.
Catatan:
• Perhatikan bahwa
P (Xn+1 = j) =
∞
∑
P (Xn+1 = j|Xn = i) P (Xn = i) =
∞
∑
Pij P (Xn = i)
i=0
i=0
• Limit peluang πj adalah peluang jangka panjang (long-run proportion of
time) bahwa suatu proses akan berada di keadaan j
• Jika rantai Markov tidak dapat direduksi, maka terdapat solusi untuk
∑
πj =
πi Pij , j ≥ 0,
i
∑
dengan
j πj = 1, JIKA dan HANYA JIKA rantai Markov bersifat
positive recurrent. Jika solusinya ada maka solusi tersebut tunggal dan
πj adalah proporsi jangka panjang bahwa rantai Markov berada dalam
keadaan j. Jika rantai Markov aperiodik maka πj adalah limit peluang
bahwa rantai akan berada di keadaan j.
Contoh/Latihan:
1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari
ini tidak hujan maka besok akan hujan dengan peluang β. Jika ′ 0′ adalah
keadaan hujan dan ′ 1′ adalah keadaan tidak hujan maka peluang hujan
dan tidak hujan untuk jangka adalah...
Matriks peluang transisi:
P=
(
α 1−α
β 1−β
)
,
dan kita punyai persamaan-persamaan:
π 0 = α π0 + β π1
π1 = (1 − α) π0 + (1 − β) π1
π0 + π 1 = 1
Kita peroleh peluang hujan dan tidak hujan pada jangka panjang:
π0 =
β
1+β−α
MA5181 Pros.Stok.
15
K. Syuhada, PhD.
dan
π1 =
1−α
1+β−α
2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua percobaan terakhir SUKSES maka peluang SUKSES pada percobaan berikut
adalah 0.8. Dalam keadaan YANG LAIN, peluang SUKSES adalah 0.5.
Hitung peluang percobaan sukses untuk jangka panjang.
3. Pandang pelantunan-pelantunan sebuah koin (dengan peluang muncul
MUKA adalah θ) yang saling bebas. Berapa banyak lantunan dibutuhkan yang diharapkan (expected number of tosses needed) agar pola
HT HT muncul? (Perhatikan catatan dibawah)
Catatan:
• Peluang jangka panjang πj , j ≥ 0, disebut juga peluang stasioner (stationary probability). Jika keadaan awal dipilih berdasarkan peluang
πj , j ≥ 0, maka peluang akan menjadi keadaan j pada setiap waktu
n adalah sama dengan πj .
• Untuk keadaan j, definisikan mjj yaitu banyak transisi yang diharapkan
(expected number of transitions) hingga suatu rantai Markov, dimulai
dari keadaan j akan kembali ke keadaan tersebut:
πj =
1
mjj
MA5181 Pros.Stok.
16
K. Syuhada, PhD.