Definisi Rantai Markov Sifat Markov Keadan Awal Rantai Markov Keadaan Transisi dan Probabilitas Rantai Markov

Maka transpose dari matiks dinotasikan dengan adalah:

2.4 Rantai Markov

Proses stokastik merupakan suatu cara untuk mempelajari hubungan yang dinamis dari suatu runtunan kejadian atau proses yang kejadiannya bersifat tidak pasti. Dalam memodelkan perubahan dari suatu sistem yang mengandung ketidakpastian seperti pergerakan harga saham, banyaknya klaim yang datang ke suatu perusahaan asuransi, keadaan cuaca, dan lain sebagainya, proses stokastik banyak digunakan di dalam kehidupan sehari-hari. Rantai Markov sebenarnya merupakan bentuk khusus dari model probabilitas yang lebih umum dan dikenal sebagai proses stokastik.

2.4.1 Definisi Rantai Markov

Rantai Markov merupakan proses stokastik dari peubah acak yang membentuk suatu deret yang memenuhi sifat Markov.

2.4.2 Sifat Markov

Dalam sifat Markov, jika diberikan peristiwa yang telah berlalu dan peristiwa yang sedang berlangsung , maka peristiwa yang akan datang bersifat bebas independent dari peristiwa yang telah berlalu. Dengan kata lain, peristiwa yang akan datang hanya bergantung pada peristiwa yang sedang berlangsung . Untuk suatu pengamatan yang prosesnya sampai waktu ke , maka distribusi nilai proses dari waktu ke hanya bergantung pada nilai dari proses pada waktu . Secara umum dapat dituliskan: Universitas Sumatera Utara

2.4.3 Keadan Awal Rantai Markov

Keadaan pada rantai Markov ditulis dalam bentuk vektor yang dinamakan vektor keadaan. Vektor keadaan untuk suatu pengamatan rantai Markov dengan n peristiwa adalah vektor kolom X dengan n baris yang komponennya adalah peluang sistem berada pada keadaan ke- n . Untuk keadaan awal, vektor pada rantai Markov adalah keadaan ataupun peluang yang terjadi pada waktu yang sedang berlangsung dan dinotasikan dengan yang komponennya adalah . Secara umum dapat dituliskan sebagai berikut:

2.4.4 Keadaan Transisi dan Probabilitas Rantai Markov

Keadaan transisi adalah perubahan dari suatu keadaan status ke keadaan lain pada periode berikutnya. Keadaan transisi ini merupakan suatu proses acak dan dinyatakan dalam bentuk peluang yang dinotasikan dengan . Peluang dari keadaan ini dikenal sebagai peluang transisi. Peluang ini dapat digunakan untuk menentukan peluang keadaan periode berikutnya. Keadaan transisi didapatkan setelah keadaan awal diberikan perubahan melalui suatu matriks yang disebut matriks peluang transisi. Secara umum dapat dituliskan sebagai berikut: Matriks peluang transisi suatu rantai Markov adalah suatu matriks berderajat n dengan n bergantung pada banyak peristiwa atau state pada rantai Markov tersebut. Elemen pada matriks peluang transisi adalah peluang perubahan keadaan pada peristiwa j yang pada peristiwa sebelumnya berada pada keadaan i. Tetapi pada saat rantai Markov mencapai situasi stasioner maka peluang tersebut tidak lagi bergantung pada t , sehingga dituliskan besaran peluang sebagai . Dengan demikian, peluang proses berpindah dari status i ke status j homogen dalam waktu. Jadi dapat didefinisikan seluruh peluang proses dalam bentuk matriks P yang disebut sebagai Universitas Sumatera Utara matriks peluang transisi disingkat matriks transisi dari rantai Markov, dituliskan dalam bentuk matriks berikut: Untuk banyak peristiwa state adalah n berhingga, maka matriks transisi berukuran n baris x n kolom. Setiap elemen matriks adalah positif , untuk setiap Total peluang dalam setiap baris adalah 1 ∞ untuk setiap baris

2.5 Rantai Markov Kontinu