Rantai Markov Sifat Markov

Jurusan Matematika, FMIPA, Universitas Udayana Halaman 37

BAB III RANTAI MARKOV PROSES MARKOV MARKOV CHAIN

Kompetensi Dasar : Mahasiswa mampu menguraikan tentang rantai Markov Tujuan Pembelajaran : 1. Memahami tentang Rantai Markov 2. Menguasai konsep matriks peluang transisi dari Rantai Markov 3. Menguraikan sifat-sifat State dari Rantai Markov 4. Penentuan distribusi jangka panjang limiting distribution irreducible markov chain

3.1. Rantai Markov Sifat Markov

Dalam proses stokastik, banyak sekali proses yang mempunyai sifat khas, seperti sifat Markov. Mempelajari sifat markov sangat bermanfaat, karena : i Secara teoritis sifat Markov sangat kaya dan dapat disajikan secara sederhana ii Banyak sekali sistem kehidupan sehari-hari dapat dimodelkan dengan menggunakan sifat Markov Rantai Markov dapat diaplikasikan untuk system diskret discrete system maupun sistem kontinu continuous system. Sistem diskret adalah sistem yang perubahan kondisinya state dapat diamatiterjadi secara diskret. Sedangkan sistem kontinu adalah sistem yang perubahan kondisi dan perilaku sistem terjadi secara kontinu. Ada beberapa syarat agar rantai markov dapat diaplikasikan dalam evaluasi keandalan sistem. Syarat-syarat tersebut adalah: i Sistem harus berkarakter lack of memory, dimana kondisi sistem di masa mendatang tidak dipengaruhi independent oleh kondisi sebelumnya. Artinya kondisi sistem saat evaluasi tidak dipengaruhi oleh kondisi sebelumnya, kecuali kondisi sesaat sebelum kondisi saat ini. Jurusan Matematika, FMIPA, Universitas Udayana Halaman 38 ii Sistem harus stasioner atau homogen, artinya perilaku sistem selalu sama sepanjang waktu atau peluang transisi sistem dari satu kondisi ke kondisi lainnya akan selalu sama sepanjang waktu. Dengan demikian maka pendekatan Markov hanya dapat diaplikasikan untuk sistem dengan laju kegagalan yang konstan. iii State is identifiable. Kondisi yang dimungkinkan terjadi pada sistem harus dapat diidentifikasi dengan jelas. Apakah sistem memiliki dua kondisi beroperasi – gagal, tiga kondisi 100 sukses, 50 sukses, 100 gagal dan lain sebagainya. Pada bab ini, dibahas Rantai Markov Diskret. Misalkan S menyatakan himpunan state, n = 0, 1, 2, ... dan Xn menyatakan state sistem pada waktu n dan merupakan variabel random yang didefinisikan pada suatu ruang probabilitas. Suatu sistem dikatakan mempunyai sifat Markov atau Rantai Markov jika memenuhi syarat : Probabilitas bersyarat PXn +1 = x n+1 |Xn=x n disebut Probabilias transisi untuk rantai Markov ini.

3.2. Probabilitas Transisi