Lecture 3: Rantai Markov Diskrit (Bag. I)

  

Pengantar Proses Stokastik

Bab 3: Rantai Markov Diskrit Atina Ahdika, S.Si, M.Si Statistika FMIPA Universitas Islam Indonesia

  2015 Rantai Markov

  Misalkan sebuah proses stokastik {X

  t } dengan t = 0, 1, 2, . . ..

  Nilai yang mungkin dari X t adalah hingga atau terhitung Memiliki peluang transisi atau peluang berpindahnya keadaan ”i” (pada waktu t) ke keadaan ”j” (pada waktu t + 1) adalah

  P ij yaitu P(X t +1 = j|X t = i, X t−

1 = i t−

1 , . . . , X 1 = i 1 , X = i ) = P ij

  Distribusi bersyarat X t +1 diberikan keadaan-keadaan lampau

  X , X 1 , . . . , X t− 1 dan keadaan sekarang X t , hanya bergantung

  pada keadaan sekarang (Sifat Markov) Maka proses stokastik demikian dikenal dengan nama Rantai Markov. Matriks Peluang Transisi P ij adalah peluang bahwa proses akan berada di keadaan j dari

  keadaan i _{X ∞} P ij ≥ 0, i, j ≥ 0; P ij = 1, i = 0, 1, . . .

  =0 j

  Perhatikan

  P(X t +1 = j|X t = i, X t− 1 = i t− 1 , . . . , X 1 = i 1 , X = i )

  = P(X t +1 = j|X t = i) = P ij disebut peluang transisi satu langkah. Misalkan P menyatakan matriks peluang transisi satu langkah P ij , maka

  P = ^{    } _{  } P

  00 P

  01 P 02 . . . P

  10 P

  11 P 12 . . .

  .. .

  .. .

  .. .

  P i P i

  1 P i 2 . . .

  .. .

  .. .

  .. . ^{       } Atau dapat pula digambarkan sebagai berikut

Contoh 1

  Jika hari ini hujan, peluang besok hujan adalah α. Jika hari ini tidak hujan, peluang besok hujan adalah β. Misal: ’0’ : hujan ’1’ : tidak hujan Maka matriks peluang transisinya adalah

  P =

  α 1 − α β 1 − β Contoh 2

  Dalam suatu hari, Gary bisa ceria (C ), biasa saja (B), atau murung (M). Jika hari ini ceria, maka dia akan C , B, atau M besok dengan peluang masing-masing 0.5, 0.4, 0.1. Jika dia merasa biasa saja hari ini, maka dia akan C , B, atau M besok dengan peluang masing-masing 0.3, 0.4, 0.3. Jika dia merasa murung hari ini, maka dia akan C , B, atau M besok dengan peluang masing-masing 0.2, 0.3, 0.5.

  Misalkan keadaan 0 = C , keadaan 1 = B, dan keadaan 2 = M, maka matriks peluang transisinya adalah _{   } 0.5 0.4 0.1

  

P = 0.3 0.4 0.3

  0.2 0.3 0.5 Contoh 3

  Keadaan pada suatu hari: Jika dua hari terakhir hujan, peluang besok hujan 0.7 Jika hari ini hujan dan kemarin tidak hujan, peluang besok hujan 0.5 Jika hari ini tidak hujan dan kemarin hujan, peluang besok hujan 0.4 Jika hari ini dan kemarin tidak hujan, peluang besok hujan 0.2

  Misal: ’0’ : hujan ’1’ : tidak hujan Maka matriks peluang transisinya adalah _{   }

  0.7

  0.3 _{ }

  0.5

  0.5 P = _{ }

  0.4

  0.6

  0.2

  0.8 Matriks Stokastik

  Perhatikan matriks-matriks berikut: _{   }

  0.7

  0.3 0.5 0.4 0.1 _{   }

  0.5

  0.5 P =  0.3 0.4 0.3  , P = _{ }

  0.4

  0.6 0.2 0.3 0.5

  0.2

  0.8 Matriks-matriks tersebut memiliki sifat-sifat berikut: Memiliki jumlah baris dan kolom sama, atau matriks bujursangkar Jumlah unsur-unsur di setiap baris adalah satu Tidak selalu memiliki jumlah unsur-unsur di setiap kolom sama dengan satu Nilai setiap unsurnya diantara nol dan satu

  Matriks dengan sifat-sifat tersebut dikatakan sebagai matriks stokastik. Contoh 4

  Suatu rantai Markov dengan keadaan-keadaan ’0, 1, 2’ mempunyai matriks peluang transisi _{ } 0.1 0.2 0.7

  P =  0.9 0.1 

  0.1 0.8 0.1 dan P(X = 0) = 0.3, P(X = 1) = 0.4, P(X = 2) = 0.3. Hitung

  P(X = 0, X = 1, X = 2).

  1

  2 Penyelesaian:

  P(X = 0, X 1 = 1, X 2 = 2)

  = P(X

  2 = 2|X 1 = 1, X = 0)P(X 1 = 1, X = 0)

  = P(X

  2 = 2|X 1 = 1, X = 0)P(X 1 = 1|X = 0)P(X = 0)

  = P(X

  2 = 2|X 1 = 1)P(X 1 = 1|X = 0)P(X = 0)

  = 0(0.2)(0.3) = 0 Contoh 5

  Suatu rantai Markov dengan keadaan-keadaan ’0, 1, 2’ _{ } 0.7 0.2 0.1

  P =  0.6 0.4 

  0.5

  0.5 Hitung P(X

  2 = 1, X 3 = 1|X 1 = 0) dan P(X 1 = 1, X 2 = 1|X = 0). Penyelesaian: a.

  P(X 2 = 1, X 3 = 1|X 1 = 0)

  = P(X

  

3 = 1|X

2 = 1)P(X 2 = 1|X 1 = 0)

  = 0.6(0.2) = 0.12 b.

  P(X 1 = 1, X 2 = 1|X = 0)

  = P(X

  

2 = 1|X

1 = 1)P(X 1 = 1|X = 0)

  = 0.6(0.2) = 0.12 Contoh 6

  Suatu matriks stokastik dengan keadaan-keadaan ’0, 1, 2’ _{ }

  1

  1

  1

  3

  3

  3

  1

  1

  1 P =  

  2

  4

  4

  1 Hitung E (X

  2 |X 1 = 2) Penyelesaian: _X

  2 E (X 2 |X 1 = 2) = x

  2 P(X 2 = x 2 |X 1 = 2) x =0 ₂

  = 0 + (1) P(X = 1|X = 2) + (2) P(X = 2|X = 2)

  2

  1

  2

  1

  = 0 Matriks Stokastik n-langkah

  Pandang matriks stokastik satu-langkah: 0.3 0.7

  P =

  0.5 0.5 Selanjutnya, kita dapat menentukan matriks stokastik dua-langkah yaitu matriks yang didefinisikan pada ruang keadaan yang sama namun ruang waktu dua-langkah atau {t, t + 2}. Ingat kembali matriks stokastik satu-langkah

  P ij = P(X t +1 = j|X t = i)

  Kita dapat menentukan matriks stokastik dua-langkah yaitu

  2 P = P(X t +2 = j|X t = i) ij

  Dalam kasus ini

  2

  2 P P

  2

  00

  01 P =

  2

  2 P P

  10

  11

  10

  = 0, X

  01 P

  00 P 00 + P

  = P

  01

  10 P

  00 P 00 + P

  = 0) = P(X t +2 = 0|X t +1 = 0, X t = 0)P(X t +1 = 0|X t = 0)

  t

  = 1|X

  t +1

  t +2

  Kita bisa menggunakan law of total probability yaitu

  = 0) + P(X

  t

  = 0|X

  t +1

  = 0, X

  t +2

  = P(X t +2 = 0|X t = 0) = P(X

  00

  2

  P

• P(X t +2 = 0|X t +1 = 1, X t = 0)P(X t +1 = 1|X t = 0) = P(X t +2 = 0|X t +1 = 0)P(X t +1 = 0|X t = 0)
• P(X t +2 = 0|X t +1 = 1)P(X t +1 = 1|X t = 0) = P

  2

  2

  2 Penyelesaian tersebut berlaku pula untuk P , P dan P . Atau

  01

  10

  11

  sama saja dengan mengalikan dua matriks P yaitu

  2 P = P.P

  P

  00 P

  01 P

  00 P

  01 = .

  P

  10 P

  11 P

  10 P

  11 P

  00 P 00 + P

  

01 P

  10 P

  00 P 01 + P

  01 P

  11

  =

  P

  10 P 00 + P

  

11 P

  10 P

  10 P 01 + P

  11 P

  11 Jadi, untuk contoh di atas

2 P = P

  

00 P

00 + P

  01 P

  10

  00

  = 0.3(0.3) + 0.7(0.5) = 0.44 atau, matriks stokastik dua-langkahnya adalah 0.3 0.7 0.3 0.7

2 P = .

  0.5 0.5 0.5 0.5 0.44 0.56

  =

  0.4

  0.6 Chapman-Komogorov Equations n

  Misalkan P menyatakan peluang bahwa proses pada keadaan i

  ij

  akan berada pada keadaan j setelah n-transisi,

  n P = P (X t +n = j|X t = i) , n ≥ 0, i, j ≥ 0 ij Persamaan Chapman-Kolmogorov memberikan metode untuk menghitung peluang transisi n + m-langkah, yaitu _{X ∞}

  n +m n m

P = P P untuk semua n, m ≥ 0, semua i, j

ik kj ij k =0 n m

  

P P menyatakan peluang bahwa proses bermula pada keadaan i

ik kj

  akan berpindah ke keadaan j dalam n + m transisi melalui keadaan k pada transisi ke-n. n +m P = P(X n +m = j|X = i) ij _{X ∞}

  = P(X n +m = j, X n = k|X = i) _X k =0 _∞ = P(X n +m = j|X n = k, X = i)P(X n = k|X = i) _X k =0 _{∞ ∞ X} m n n m

  = P P = P P

  kj ik ik kj k =0 k =0 Contoh 7

  Misalkan pada Contoh 1 diketahui α = 0.7 dan β = 0.4, maka tentukan peluang bahwa akan hujan pada empat hari dari hari ini diberikan bahwa hari ini hujan!

  0.7 0.3 0.7 0.3 0.61 0.39

  2 P = =

  0.4 0.6 0.4 0.6 0.52 0.48 0.61 0.39 0.61 0.39 0.5749 0.4251

  4 P = =

  0.52 0.48 0.52 0.48 0.5668 0.4332

  4 Jadi, P = 0.5749

  00 Contoh 8

  Perhatikan Contoh 3, diberikan pada hari Senin dan Selasa hujan, berapa peluang bahwa pada hari Kamis akan hujan?

  P

  0.7

  0.49 0.12 0.21 0.18 0.35 0.20 0.15 0.30 0.20 0.12 0.20 0.48 0.10 0.16 0.10 0.64 ^{   }

  0.8 ^{   } = ^{  } _

  0.2

  0.6

  0.4

  0.5

  0.5

  0.3

  0.8 ^{       }

  2

  0.2

  0.6

  0.4

  0.5

  0.5

  0.3

  0.7

  = ^{  } _

  Senin Selasa Rabu Kamis ’0’ ’0’ ’0’ atau ’1’ ’0’ Peluang bahwa Kamis hujan adalah:

  2

  2 P

  00 P 00 + P

  00 P 01 = P + P _{.00 .00 .01 .10}

  00 _{.00 .10}

  00

  = 0.49 + 0.12 = 0.61 Peluang Transisi Tak Bersyarat n

  Peluang transisi P yang sudah kita hitung di atas merupakan

  ij

  peluang bersyarat. Jika kita ingin menghitung peluang transisi tak bersyaratnya yaitu P(X n = j), maka kita bisa menggunakan law of

  total probability yaitu _{X ∞} P(X n = j) = P(X n = j|X = i) P(X = i) _X i =0 _∞ n

  = P α

  i ij i =0

  dengan α i = P(X = i), i ≥ 0 adalah peluang tak bersyarat pada _{P ∞} keadaan awal atau t = 0, dan α = 1

  i i =0 Sebagai contoh, berdasarkan Contoh 7, jika α = 0.4, α

  1 = 0.6,

  maka peluang (tak bersyarat) bahwa akan hujan empat hari setelah kita mempunyai data perubahan cuaca adalah

  P(X ^{4 = 0) = P(X} ₄ ^{4 = 0|X = 0)P(X = 0) + P(X} ₄ ^{4 = 0|X = 1)P(X = 1)} = P α + P α _{00 4 10 4} ¹ = 0.4P + 0.6P _{00 10} = (0.4)(0.5749) + (0.6)(0.5668)

  = 0.57 Kebebasan dalam Matriks Stokastik

  Misalkan 0.4 0.6

  

P =

  0.4 0.6 Maka,

  P(X t = 0|X t− 1 = 0) = P(X t = 0|X t− 1 = 1)

  = 0.4 Kemudian, dengan law of total probability

  P(X = 0) = P(X = 0|X = 0)P(X = 0)

t t t−

1 t−

  1

• P(X t = 0|X t−

  1 = 1)P(X t− 1 = 1)

  α = 0.4 α + 0.4 (1 − α) Jadi, α = 0.4 Dengan kata lain

  P(X t = 0|X t− 1 = 0) = 0.4 = P(X t = 0) Ini berarti bahwa peubah acak X t saling bebas. Contoh-contoh Lain

1. Jika pada waktu t, Vanes mengajukan klaim asuransi, maka

  Vanes akan mengajukan klaim pada waktu t + 1 dengan peluang α; jika Vanes tidak mengajukan klaim asuransi saat ini maka di masa depan Vanes akan mengajukan klaim asuransi dengan peluang β. Matriks peluang transisinya adalah Keadaan: ’0’ : tidak mengajukan klaim ’1’ : mengajukan klaim 1 − β β

  P =

  1 − α α

2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam

  dua percobaan terakhir SUKSES, maka peluang GAGAL pada percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN, peluang GAGAL adalah 0.4. Keadaan-keadaan: _{′ ′ ′ ′} (SS) : kemarin S, sekarang S _{′ ′} 1 (SG ) : kemarin S, sekarang G _{′ ′} 2 (GS) : kemarin G, sekarang S 3 (GG ) : kemarin G, sekarang G _{     0.6 0.4 } 0.2 0.8

  P = _{ }

  0.6 0.4 0.6 0.4

3. Tim sepakbola IKS UII akan memainkan tujuh rangkaian

  pertandingan. Hasil setiap pertandingan saling bebas. Setiap pertandingan akan dimenangkan oleh tim A dengan peluang α dan oleh tim B dengan peluang 1 − α. Misalkan keadaan suatu sistem direpresentasikan oleh pasangan (a, b) di mana a menyatakan banyak pertandingan yang dimenangkan oleh A dan b adalah banyak pertandingan yang dimenangkan B. Bentuklah Rantai Markov untuk masalah tersebut. Catatan: a + b ≤ 7 dan rangkaian pertandingan akan berakhir jika a = 4 atau b = 4.

  Latihan 1

1. Laila adalah mahasiswa tingkat akhir di Farmasi UII. Dia

  tinggal tidak jauh dari kampus, cukup berjalan kaki saja dari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan datang hampir setiap hari. Mau tidak mau, Laila menggunakan payung dalam perjalanan kos-kampus atau kampus-kos. Jika hari hujan dan payung ada di tempat Laila berada, maka Laila akan menggunakan payung tersebut. Jika hari tidak hujan, Laila selalu lupa untuk membawa payung. Misalkan θ adalah peluang hujan setiap kali Laila akan menuju kampus atau kos. Jika Laila memiliki 3 buah payung, bentuklah suatu rantai Markov dari proses di atas!

2. Tiga bola putih dan tiga bola hitam diletakkan ke dalam dua

  kotak sedemikian rupa sehingga masing-masing kotak terdiri atas tiga bola. Kita katakan bahwa sistem berada pada keadaan i, i = 0, 1, 2, 3, jika kotak pertama terdiri atas i bola putih. Pada masing-masing langkah, kita ambil sebuah bola dari masing-masing kotak dan meletakkan bola dari kotak kedua ke kotak pertama dan sebaliknya. Buatlah matriks peluang transisi dari kejadian tersebut!

3. Menurut George, Christ, dan John, tanah Australia diberkahi

  dengan banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan hari bercuaca baik, maka esok hari akan bersalju atau hujan dengan peluang sama. Jika hari ini mereka mengalami salju atau hujan maka besok akan bercuaca sama dengan peluang separuhnya. Jika terdapat perubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok akan menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari Rantai Markov yang dibentuk dari keadaan-keadaan di atas.

4. Sebuah Rantai Markov {X

  3

  , tentukan E (X 2 ).

  4

  1

  Jika P(X = 0) = P(X = 1) =

  2 ^{ }

  1

  

2

  

1

  n

  , n ≥ 0} dengan keadaan-keadaan 0, 1, 2 mempunyai matriks peluang transisi sebagai berikut:

  3

  1

  6

  1

  3

  1

  

2

  

1

  P =

^

^

  2

5. Seorang SPG berjuang untuk menjual suatu produk sebanyak

  

i = 0, 1, 2 buah. Proses jumlah produk yang terjual {X n }

  membentuk Rantai Markov dengan matriks peluang transisi sebagai berikut: _{ } 1/2 1/2

  P =  1/2 1/2 

  1/2 1/2

  a. Hitung P(X = 0|X = 0) untuk n = 0, 1, 2 _n

  b. Hitung P(X ^{3 = 1|X 1 = 0)} Pustaka

  Ross, Sheldon M. 2007. Introduction to Probability Models; 9th Edition. New York: Academic Press. Syuhada, Khreshna I.A. Materi Kuliah: MA4181 Pengantar Proses Stokastik. Departemen Matematika ITB, Bandung. Taylor, Howard M. dan Samuel Karlin. 1975. A First Course

  in Stochastic Processes; Second Edition. New York: Academic Press.

  Virtamo, J. 38.143 Queueing Theory/ Probability Theory.