4: Proses Markov

Gambar 2.4: Proses Markov

Sumber :Karlin dan Taylor (1975)

Jadi, rantai Markov adalah proses dengan ruang keadaan yang diskrit. Dalam rantai markov, salah satu hal yang menarik adalah kita dapat mempelajari perubahan keadaan pada proses. Untuk rantai Markov dengan ruang parameter diskrit peluang

V (t) , berada pada keadaan i t+1 bila diberikan V, berada pada keadaan i t dinamakan peluang transisi satu langkah dan dinotasikan dengan Pi t ,i t+1 .

Rantai Markov adalah suatu urutan dari variabel-variabel acak

X 1, X 2, X 3,...... dengan sifat Markov yaitu, mengingat keadaan masa depan dan masa lalu keadaan yang independen, dengan kata lain:

Nilai yang mungkin untuk membentuk X i S disebut ruang keadaan rantai. Markov Chains adalah sebuah Proses Markov dengan populasi yang diskrit (dapat

dihitung) yang berada pada suatu discrete state (position) dan diizinkan untuk berubah state pada time discrete.Ada beberapa macam variasi dari bentuk rantai markov

1. Continous Markov memiliki indeks kontinu.

2. Sisa rantai Markov homogen (rantai Markov stasioner) adalah proses di mana

untuk semua n. Probabilitas transisi tidak tergantung dari n.

3. Sebuah rantai Markov orde m di mana m adalah terbatas,

Dengan kata lain, keadaan selanjutnya tergantung pada keadaan m selanjutnya. Sebuah rantai (Y n) dari (X n) yang memiliki klasik Properti Markov sebagai berikut: Biarkan Y n = (X n,

..., X X n -1, n - m 1 ), yang memerintahkan m-tupel dari nilai-nilai X. Maka Y m

n adalah sebuah rantai Markov dengan ruang keadaan S dan memiliki klasik properti markov.

4. Sebuah aditif rantai markov order m di mana m adalah terbatas adalah

untuk semua n> m.

2.1.3.1 Sifat-Sifat Pada Rantai Markov

Salah satu karakteristik utama suatu rantai Markov adalah peluang-peluang transisinya. Peluang transisi tersebut menggambarkan perpindahan dari satu keadaan Salah satu karakteristik utama suatu rantai Markov adalah peluang-peluang transisinya. Peluang transisi tersebut menggambarkan perpindahan dari satu keadaan

P ij = P(V t+1 =j ׀V = i)

dengan i dan j masing-masing tersebut penulisannya dapat dilakukan dalam berbagai cara seperti,

Akan tetapi, bentuk umum yang dipakai adalah persamaan yang paling kanan. Hal ini menguntungkan dengan menuliskan secara persamaan ini adalah dalam penerapan prinsip aljabar linear khususnya perkalian matriks. Dalam aljabar linear dua matriks misal Adan B dapat dikalikan jika banyaknya kolom pada matriks pertama (A) sama dengan banyaknya baris pada matriks kedua (B). Untuk menyelaraskan aturan perkalian dan persamaan Chapman-Kolmogorof, maka peluang transisi sebaikanya dituliskan sebagai matriks peluang transisi.

Selain peluang transisinya, rantai Markov juga ditentukan melalui distribusi peluangnya. Untuk rantai Markov dengan ruang parameter diskrit, distribusi peluang

dari waktu ke-t atau t π adalah

π t ={ π

k : k = 1,2,…, n}

dimana

Dengan kata lain, d t istribusi peluang π menyatakan proporsi dari keadaan proses di waktu t.

Persamaan Chapman-Kolmogorof menyatakan bahwa peluang transisi dari keadaan i ke j dalam t langkah sama dengan peluang transisi dari i ke seluruh n- keadaan dalam t-m langkah, kemudian dilanjutkan dengan transisi ke keadaan j dari n-keadaan tersebut dalam m langkah sisa. Dengan memanfaatkan Law of Total Probability dapat dibuktikan bahwa,

Untuk m=1 maka diperoleh

Tampak bahwa persamaan diatas merupakan perkalian antara baris dan kolom dari dua matriks. Bila P (t) adalah matriks peluang transisi t langkah maka,

P (t-1) =P xP

(t)

Dengan menggunakan induksi diperoleh

P = (P x P x … x P) x P t-1 =P xP

t =P

Seringkali, selain perhitungan distribusi peluang di waktu ke-t, perhitungan distribusi peluang setelah proses berjalan lama yaitu π t untuk t →∞ yang dinamakan

distribusi limit juga menarik utnuk dipelajari. Konsep ini sangat penting karena dapat distribusi limit juga menarik utnuk dipelajari. Konsep ini sangat penting karena dapat

Teorema 1 Untuk P suatu matriks peluang transisi Markov regular dengan anggota ruang keadaan 1, 2, …, n, maka distribusi limit π = (π 1 ,π 2 ,…, π n ).

Teorema 2

Ruang keadaan i dikatakan reccurent jika dan hanya jika,

Dan ruang keadaan i dikatakan transient jika dan hanya jika

Dua sifat diatas merupakan contoh bagaimana sifat dari peluang transisi dan ruang keadaan akan mempengaruhi rantai Markov yang dibawanya. Beberapa definisi dan klasifikasi dari ruang keadaan dan matriks peluang transisi diperlukan untuk mengetahui berbagai macam kemungkinan mengenai sifat limit rantai Markov yang terkait.

Konsep komunikasi dalam rantai Markov sebagai berikut.Keadaan j dikatakan dapat dicapai (accessible) dari keadaan i jika terdapat bilangan bulat n ≥ 0 dimana

P n ij >0. Dengan kata lain, terdapat peluang positif bahwa dalam berhingga transisi keadaan j dan keadaan i. Jika keadaan j dapat dicapai dari keadaan i dan keadaan i

dapat dicapai dari keadaaan j, maka i dan j dikatakan saling berkomunikasi maka P n ij = 0 atau P n

ji >0 untuk setiap n ≥ 0. Konsep mengenai relasi ekivalensi adalah sebagai berikut :

a. Relasi i <—> j merupakan relasi ekuivalen

1. untuk setiap status i , berlaku i <—>i

2. jika i <—> j, maka juga j <—>i

3. jika i <—> j dan j <—> k maka i <—> k

b. Status-status suatu Rantai Markov dapat dipartisi kedalam kelas-kelas ekivalensi sehingga i <—> j, jika dan hanya jika i dan j berada dalam kelas ekivalensi yang sama.

c. Suatu Rantai Markov irreducible jika dan hanya jika didalamnya hanya terdiri atas tepat satu kelas ekivalensi.

d. Jika i<—> j, maka i dan j memiliki periode yang sama.

e. Untuk i<—> j, jika i recurrent maka juga j recurrent.

Konsep mengenai Irreducible dalam suatu rantai Markov. Jika {Xn}suatu rantai Markov, maka tepat salah satu kondisi berikut ini terjadi yaitu semua status adalah positif recurrent, atau semua status recurrent null, atau sstatus trancient.

Konsep mengenai Limiting Probability dalam rantai Markov. Definisi: (n) π

adalah probabilitas suatu Rantai Markov { X n }berada dalam status j pada step ke n. Maka (n) π

= P[ X n = j]

Distribusi awal (initial) dari masing-masing status 0, 1, 2, …… dinyatakan sebagai (0) π

= P[ X 0 = j], untuk j = 0, 1, 2, …… Suatu rantai Markov memiliki distribusi probabilitas stasioner π = (π 0, π 1 , π 2 , ....,

π n ) apabila terpenuhi persamaan π = πP asalkan setiap π i ≥ 0 dan ∑ i π i =1.

Jika suatu rantai Markov homogen waktu (stasioner dari waktu ke waktu) yang irreducible, aperiodic, maka limit probabiltasnya

( n  ) j  lim  j , untuk j = 0, 1, ...... n

0 , π 1 , π (0)

selalu ada dan independent dari distribusi probabilitas status awal (0) π =( π

(0) (0)

2 , …..).

Jika seluruh status tidak positif recurrent (jadi seluruhnya recurrent null atau seluruhnya transient), maka π j = 0 untuk semua j dan tidak terdapat distribusi probabilitas stasioner.