Markov Chains
2.5 Markov Chains
Pengelompokkan tipe populasi dari proses acak bisa digambarkan sebagai jika
X adalah proses acak, maka populasi dari proses acak adalah semua nilai yang mungkin yang bisa dimasukkan dalam suatu proses contohnya
S y : X ( t ) y , untuk t T
Jika X adalah proses acak yang menggambarkan suatu persamaan, maka populasi dari
X dapat digambarkan sebagai suatu nilai yang memenuhi persamaan tersebut. Jika populasi dari S dari suatu proses acak X dapat dihiting (contoh S={1,2,3,...}), dalam hal ini X disebut Discrete Time Random Process perubahan state terjadi pada titik- X dapat digambarkan sebagai suatu nilai yang memenuhi persamaan tersebut. Jika populasi dari S dari suatu proses acak X dapat dihiting (contoh S={1,2,3,...}), dalam hal ini X disebut Discrete Time Random Process perubahan state terjadi pada titik-
Markov Chains merupakan proses acak di mana semua informasi tentang masa depan terkandung di dalam keadaan sekarang (yaitu orang tidak perlu memeriksa masa lalu untuk menentukan masa depan). Untuk lebih tepatnya, proses memiliki properti markov yang berarti bahwa bentuk ke depan hanya tergantung pada keadaan sekarang, dan tidak bergantung pada bentuk sebelumnya. Dengan kata lain, gambaran tentang keadaan sepenuhnya menangkap semua informasi yang dapat mempengaruhi masa depan dari proses evolusi. Suatu Markov Chains merupakan proses stokastik berarti bahwa semua transisi adalah probabilitas (ditentukan oleh kebetulan acak dan dengan demikian tidak dapat diprediksi secara detail, meskipun mungkin diprediksi dalam sifat statistik) (www.wikipedia.org).
Konsep Dasar Markov Chains
Apabila suatu kejadian tertentu dari suatu rangkaian eksperimentergantung dari beberapa kemungkinan kejadian , maka rangkaian eksperimen tersebut disebut Proses Stokastik. Proses stokastik merupakan suatu cara untuk mempelajari hubungan yang dinamis dari suatu tuntutan peristiwa atau proses yang kejadiannya bersifat tidak pasti. Ross (2000) mendefinisikan proses stokastik sebagai barisan peubah acak yang diberi indeks dengan urutan oleh parameter t dimana nilai t berubah-ubah sesuai dengan himpunan indeks T. Dengan demikian, untuk setiap t elemen dari T, V (t) adalah peubah acak.
Dalam memodelkan perubahan dari suatu sistem yang mengandung ketidakpastian seperti pergerakan harga saham, banyaknya klaim yang datang ke suatu perusahaan asuransi, keadaan cuaca, dan lain sebagainya, proses stokastik banyak digunakan.
Proses stokastik pada dasarnya dikelompokkan berdasarkan sifat ruang parameter T, sifat ruang keadaan S, dan hubungan ketergantungan diantara peubah acak-peubah acak V (t) . Berdasarkan sifat ruang parameter T, proses stokastik digolongkan menjadi proses stokastik diskrit dan proses stokastik kontinu. Sering kali jika T diskrit, utnuk membedakan kita lebih baik menuliskan sebagai V (t) . Berdasarkan sifat ruang keadaan S, proses stokastik digolongkan menjadi proses stokastik dengan ruang keadaan diskrit dan menjadi proses stokastik dengan ruang keadaan kontinu. Berdasarkan hubungan ketergantungan diantara peubah acak- peubah acak V (t) , proses stokastik dapat dibagi ke dalam beberapa tipe klasik diantaranya proses stationer, proses renewal, martingales, point process dan proses markov. Sebagai contoh proses stokastik dengan ruang parameter diskrit dan ruang keadaan diskrit adalah banyaknya pengunjung yang datang ke suatu pertokoan pada hari ke-t. contoh proses stokastik dengan ruang parameter kontinu dan ruang keadaan kontinu adalah selang waktu antar kedatangan pengunjung ke suatu pertokoan pada waktu t sembarang.
Sebelum membahas mengenai rantai markov, perlu dijelaskan proses markov terlebih dahulu. Menurut Karlin dan Taylor (1975), proses markov adalah sebuah proses dengan sifat, diberikan nilai V (t) , nilai V (t-1) , tidak bergantung pada nilai V (u) , untuk setiap u<t. secara formal sebuah proses dikatakan markov jika memenuhi sifat markov yaitu :
dengan S=t+1-t Inti dari definisi diatas adalah, untuk mempelajari keadaan proses pada suatu
kurun waktu berikutnya, sebut t+1, kita hanya perlu melihat keadaan proses saat t. Demikian juga, keadaan yang akan datang hanya bergantung pada keadaan saat ini dan tidak dipengaruhi oleh keadaan sebelumnya. Notasi tersebut menyiratkan bahwa kurun waktu berikutnya, sebut t+1, kita hanya perlu melihat keadaan proses saat t. Demikian juga, keadaan yang akan datang hanya bergantung pada keadaan saat ini dan tidak dipengaruhi oleh keadaan sebelumnya. Notasi tersebut menyiratkan bahwa
Berdasarkan ruang keadaan dan ruang parameternya, proses Markov dapat dikelompokkan sebagai berikut :
Ruang Parameter
Kontinu Ruang
Diskrit
Rantai markov Keadaan
Diskrit
Rantai markov parameter
parameter kontinu Kontinu
diskrit
Rantai markov parameter
Rantai markov
diskrit
parameter kontinu