1 Sifat himpunan indeks T parameter diskrit atau parameter kontinu
2 Sifat himpunan keadaan I berharga diskrit atau berharga kontinu
Kalau himpunan keadaan I adalah diskrit, maka proses Markov disebut sebagai rantai Markov.
Tabel 2.1 : Klasifikasi Proses Markov
T I
Diskrit Kontinu
Diskrit Rantai markov
Parameter Diskrit Rantai Markov
Parameter Kontinu
Kontinu Rantai markov
Parameter Diskrit Rantai Markov
Parameter Kontinu
2.5 Distribusi Seimbang
Dalam rantai markov, misalkan state d adalah 1,2,……d, dan fungsi massa peluangnya berada pada waktu 0 sebagai vektor baris.
dimana
I
= P{ X0 = i}, dan distribusi peluang dari vektor baris adalah
Definisi 2.5.1
n
Vektor adalah distribusi peluang untuk rantai, dengan matrix peralihan P, jika P =
Misalkan adalah distribusi seimbang. Maka
2
= PP = P = , dan secara umum:
n
= untuk semua bilangan bulat n 0 2.5
Teorema 2.1
Ergodisitas Rantai Markov Reguler Misalkan P adalah matriks peralihan dari rantai regular, dan α adalah vektor limit
dari P, maka
Universitas Sumatera Utara
i α adalah distribusi seimbang rantai
ii Untuk distribusi peluang , distribusi n langkah
n
ada pada α dimana n
Bukti 2.1
Ambil e
i
sebagai vektor baris dengan 1 dalam posisi i dan 0 yang lainnya. Jika A adalah matrix limit untuk rantai, maka e
i
A = α untuk setiap nilai
dai i, karena semua baria A adalah α, maka
Untuk tiap nilai dari i, khususnya
Rumus diatas menunjukkan α adalah distribusi seimbang.
Jika merupakan distribusi awal yang berubah-ubah, maka
Dimana c
i
≥ 0 dan c
1
+ c
2
+ …..+ c
d
= 1. Maka distribusi peluang untuk Xn, berawal dari distribusi untuk X0 adalah
Misalkan pada rumus 2.7 dan rumus 2.6, maka:
Jika merupakan distribusi seimbang untuk P, maka sisi sebelah kiri dari
persamaan 2.8 adalah tidak dibutuhkan batasan. Maka , yang
menyatakan α adalah vektor seimbang Untuk. menentukan distribusi seimbang dari rantai reguler, harus dicari
vektor baris α dengan entri yang semuanya positif berjumlah 1 yang memenuhi persamaan homogen
Universitas Sumatera Utara
Teorema 2.8 menjamin bahwa sifat dari vektor tersebut ada. Dimana ada beberapa cara untuk menghitung .
Suatu algoritma yang berulang-ulang untuk menentukan adalah: pilih
distribusi awal , set 0 = , dan hitung urutan dari vektor baris n +1 = nP
untuk nilai yang berturut-turut dari n,hingga urutan bertemu sesuai angkanya di dalam beberapa ketelitian yang ditentukan. Ini memberikan
perkiraan pada vektor seimbang
α.
2.6 Peluang Steady State
