Rantai Markov Definisi .1 Ruang

Definisi 2.1.11 Fungsi Kerapatan Marginal Misalkan adalah fungsi kerapatan peluang bersama dari peubah acak diskret dan Misalkan adalah himpunan nilai yang mungkin dari , dan adalah himpunan nilai yang mungkin dari . Selanjutnya fungsi dan masing-masing disebut fungsi kerapatan marginal dari dan . Ghahramani 2005 Definisi 2.1.12 Bebas Stokastik Identik Misalkan adalah peubah acak yang memiliki fungsi kepekatan yang sama yaitu sehingga dan fungsi kepekatan bersamanya adalah Peubah acak disebut bebas stokastik identik. Hogg et al. 2005 Definisi 2.1.13 Nilai Harapan Peubah Acak Diskret Jika adalah peubah acak diskret dengan fungsi kerapatan peluang maka nilai harapan dari adalah Ghahramani 2005 2.2 Rantai Markov Definisi 2.2.1 Ruang State Misalkan adalah himpunan nilai dari barisan peubah acak, maka disebut ruang state. Grimmet dan Stirzaker 2001 Definisi 2.2.2 Proses Stokastik Proses Stokastik yang terdefinisi pada ruang peluang adalah suatu himpunan dari peubah acak yang memetakan ruang contoh ke suatu state . Ross 1996 Definisi 2.2.3 Rantai Markov dengan Waktu Diskret Misalkan adalah ruang peluang dan ruang state. Proses stokastik dengan ruang state , disebut rantai Markov dengan waktu diskret jika untuk setiap berlaku: untuk semua kemungkinan nilai dari Grimmet dan Stirzaker 2001 Definisi 2.2.4 Matriks Transisi Misalkan adalah rantai Markov dengan ruang state yang berukuran Matriks transisi berukuran adalah matriks dari peluang transisi untuk Grimmet dan Stirzaker 2001 Definisi 2.2.5 Rantai Markov Homogen Rantai Markov dengan ruang state disebut homogen jika Grimmet dan Stirzaker 2001 Definisi 2.2.6 Peluang Transisi Peluang Transisi dari rantai Markov adalah peluang proses berpindah dari ke langkah yang didefinisikan sebagai berikut: Ross 1996 Definisi 2.2.7 Terakses Suatu dari rantai Markov disebut terakses accessible dari ditulis jika ada minimal sebuah bilangan Ross 1996 Definisi 2.2.8 Berkomunikasi Dua state dari rantai Markov disebut berkomunikasi communicate, ditulis , jika state dapat diakses dari state dan state dapat diakses dari . Ross 1996 Definisi 2.2.9 Kelas State Suatu kelas state dari suatu rantai Markov, adalah suatu himpunan tak kosong sehingga semua pasangan state yang merupakan anggota dari berkomunikasi satu dengan yang lainnya, serta tidak ada state yang merupakan anggota yang berkomunikasi dengan suatu state yang bukan anggota dari . Ross 1996 Definisi 2.2.10 Tak Tereduksi Suatu rantai Markov disebut tak tereduksi irreducible jika hanya terdapat satu kelas state, yaitu jika semua state-nya berkomunikasi satu dengan yang lainnya. Ross 1996 Definisi 2.2.11 Berulang State dari suatu rantai Markov disebut berulang recurrent jika Ross 1996 Definisi 2.2.12 Periode, Periodik, dan Aperiodik Misalnya adalah rantai Markov yang terdefinisi pada dengan ruang state . Suatu state disebut periode ditulis jikad adalah persekutuan terbesar the greatest common divisor bagi sehingga dinotasikan 0. Suatu state disebut periodik jika 1 dan aperiodik jika Ross 1996 Definisi 2.2.13 Positive Recurrent dan Null Recurrent Misalnya adalah rantai Markov yang terdefinisi pada dengan ruang state . Suatu state disebut positive recurrent jika state tersebut adalah recurrent dan berlaku jika proses dimulai dari state maka nilai harapan dari waktu sampai proses tersebut kembali ke state adalah bilangan berhingga finite. State recurrent yang tidak positive recurrent disebut null recurrent. Ross 1996 Definisi 2.2.14 Ergodic Rantai Markov yang positive recurrent dan aperiodik disebut ergodic. Ross 1996 Definisi 2.2.15 Nilai Harapan Rantai Markov Homogen Misalkan adalah rantai Markov yang ergodic dengan ruang state berukuran dan misalkan merupakan matriks peluang transisi dan maka nilai harapan dari dinotasikan dengan memenuhi dan Ross 1996 Definisi 2.2.16 Himpunan Konveks dan Fungsi Konveks Misalkan adalah himpunan vektor. disebut sebagai himpunan konveks jika untuk semua terdapat sehingga Misalkan merupakan fungsi dengan peubah yang terdefinisi pada himpunan konveks . Maka disebut sebagai fungsi konveks jika memenuhi persamaan . Osborne 1997

2.3 Algoritme