Jurusan Matematika, FMIPA, Universitas Udayana Halaman 37
BAB III RANTAI MARKOV PROSES MARKOV MARKOV CHAIN
Kompetensi Dasar : Mahasiswa
mampu menguraikan tentang rantai Markov
Tujuan Pembelajaran :
1. Memahami tentang Rantai Markov 2. Menguasai konsep matriks peluang transisi dari Rantai Markov
3. Menguraikan sifat-sifat State dari Rantai Markov 4. Penentuan distribusi jangka panjang limiting distribution irreducible markov chain
3.1. Rantai Markov Sifat Markov
Dalam proses stokastik, banyak sekali proses yang mempunyai sifat khas, seperti sifat Markov. Mempelajari sifat markov sangat bermanfaat, karena :
i Secara teoritis sifat Markov sangat kaya dan dapat disajikan secara
sederhana ii
Banyak sekali sistem kehidupan sehari-hari dapat dimodelkan dengan menggunakan sifat Markov
Rantai Markov dapat diaplikasikan untuk system diskret discrete system maupun sistem kontinu continuous system. Sistem diskret adalah sistem yang
perubahan kondisinya state dapat diamatiterjadi secara diskret. Sedangkan sistem kontinu adalah sistem yang perubahan kondisi dan perilaku sistem terjadi
secara kontinu. Ada beberapa syarat agar rantai markov dapat diaplikasikan dalam
evaluasi keandalan sistem. Syarat-syarat tersebut adalah: i
Sistem harus berkarakter lack of memory, dimana kondisi sistem di masa mendatang tidak dipengaruhi independent oleh kondisi
sebelumnya. Artinya kondisi sistem saat evaluasi tidak dipengaruhi oleh kondisi sebelumnya, kecuali kondisi sesaat sebelum kondisi saat
ini.
Jurusan Matematika, FMIPA, Universitas Udayana Halaman 38
ii Sistem harus stasioner atau homogen, artinya perilaku sistem selalu
sama sepanjang waktu atau peluang transisi sistem dari satu kondisi ke kondisi lainnya akan selalu sama sepanjang waktu. Dengan
demikian maka pendekatan Markov hanya dapat diaplikasikan untuk sistem dengan laju kegagalan yang konstan.
iii State is identifiable. Kondisi yang dimungkinkan terjadi pada sistem
harus dapat diidentifikasi dengan jelas. Apakah sistem memiliki dua kondisi beroperasi – gagal, tiga kondisi 100 sukses, 50 sukses,
100 gagal dan lain sebagainya.
Pada bab ini, dibahas Rantai Markov Diskret. Misalkan S menyatakan himpunan state, n = 0, 1, 2, ... dan Xn menyatakan state sistem pada waktu n dan
merupakan variabel random yang didefinisikan pada suatu ruang probabilitas. Suatu sistem dikatakan mempunyai sifat Markov atau Rantai Markov jika
memenuhi syarat :
Probabilitas bersyarat PXn
+1
= x
n+1
|Xn=x
n
disebut Probabilias transisi untuk
rantai Markov ini.
3.2. Probabilitas Transisi