Peubah Acak dan Fungsi Sebaran Definisi .1 Peubah Acak
Definisi 2.1.3 Medan- σ
Koleksi
F
dari himpunan bagian
Ω
disebut sebagai medan-
σ jika memenuhi syarat: a.
φ ∈F
b. jika
1 2
, ,...
A A ∈ F
maka
1 i
i
A
∞ =
∈ ∪
F c. Jika
A ∈F
maka
c
A ∈ F
. [Grimmet dan Stirzaker, 1992]
Definisi 2.1.4 Ukuran Peluang Misalkan
F
adalah Medan- σ dari ruang
contoh
Ω
. Ukuran peluang adalah suatu fungsi
[ ]
: 0,1
P →
F
pada
, Ω F
yang memenuhi:
1.
0, 1
P P
φ
= Ω =
, 2.
Jika
1 2
, ,
A A ∈ F
adalah himpunan yang saling lepas yaitu
i j
A A
φ =
∩ untuk setiap
pasangan
i j
≠
, maka
1 1
i i
i i
P A
P A
∞ ∞
= =
⎛ ⎞
= ⎜
⎟ ⎝
⎠
∑ ∪
. Pasangan
, , P
Ω F
disebut ruang peluang. [Grimmet dan Stirzaker, 1992]
Definisi 2.1.5 Peluang Bersyarat
Jika
P B
maka peluang bersyarat dari kejadian A setelah diketahui kejadian B ialah
| P A
B P A B
P B ∩
= .
[Grimmet dan Stirzaker, 1992] Definisi 2.1.6 Kejadian Saling Bebas
Kejadian A dan B dikatakan saling bebas jika
P A B
P A P B ∩
=
. Misal I adalah himpunan indeks. Himpunan
kejadian
{ }
:
i
A i I
∈
disebut saling bebas jika
i i
i J i J
P A
P A
∈ ∈
= ∏ ∩
untuk setiap himpunan bagian berhingga J dari I.
[Grimmet dan Stirzaker, 1992] Definisi 2.1.7 Kontinu Absolut
Jika v dan µ merupakan ukuran peluang pada
, Ω F
. Ukuran peluang v dikatakan kontinu absolute terhadap ukuran peluang
µ jika
A
µ
=
maka vA= 0, untuk setiap
A ∈ F
. Dinotasikan
v
µ .
[Royden, 1963]
Teorema 2.1.8 Radon Nikodym Jika P dan P merupakan dua ukuran peluang
pada
, Ω F
sehingga untuk setiap
B ∈ F
,
P B =
menyebabkan
P B =
, maka terdapat peubah acak tak negative
∆
sehingga
C
P C dP
= ∆
∫
untuk semua C ∈
F
. Dinotasikan
dP dP
= ∆
F
. [bukti lihat Wong dan Hajek, 1985]
2.2 Peubah Acak dan Fungsi Sebaran Definisi 2.2.1 Peubah Acak
Misalkan
F
adalah medan- σ dari
Ω
. Peubah acak X merupakan fungsi
: X
Ω →
di mana
{ }
: X x
ω ω
∈ Ω ≤
∈ F
untuk setiap
x ∈
. [Grimmet dan Stirzaker, 1992]
Peubah acak dinotasikan dengan huruf besar, sedangkan nilai dari peubah acak tersebut
dinotasikan dengan huruf kecil. Definisi 2.2.2 Fungsi Sebaran
Fungsi sebaran dari peubah acak X adalah suatu fungsi
[ ]
: 0,1
F →
di mana
X
F x
P X x
= ≤
. [Grimmet dan Stirzaker, 1992]
Definisi 2.2.3 Peubah Acak Diskret Peubah acak X disebut sebagai peubah acak
diskret jika nilainya hanya berada pada himpunan bagian yang terhitung dari
. [Grimmet dan Stirzaker, 1992]
Definisi 2.2.4 Fungsi Kerapatan Peluang Fungsi kerapatan peluang dari peubah acak
diskret X adalah fungsi
[ ]
: 0,1
p →
di mana
X
p x
P X x
= =
. [Grimmet dan Stirzaker, 1992]
Definisi 2.2.5 Peubah Acak Kontinu Peubah acak X disebut kontinu jika fungsi
sebarannya dapat dinyatakan sebagai
;
x X
F x
f u du x
−∞
= ∈
∫
di mana
[
: 0,
f →
∞
adalah fungsi yang terintegralkan. f merupakan fungsi kepekatan
peluang dari peubah acak X. [Grimmet dan Stirzaker, 1992]
Definisi 2.2.6 Fungsi Sebaran Bersama Dua Peubah Acak
Fungsi sebaran bersama dua peubah acak X dan Y merupakan suatu fungsi
[ ]
2
: 0,1
F →
yang didefinisikan oleh
, ,
F x y P X
x Y y
= ≤
≤
. [Grimmet dan Stirzaker, 1992]
Definisi 2.2.7 Fungsi Kepekatan Peluang Bersama
Misalkan X dan Y peubah acak kontinu, maka fungsi kepekatan peluang bersama dari X dan
Y adalah
2
, ,
XY
F x y f
x y x y
∂ =
∂ ∂
dan fungsi kepekatan peluang marginal dari peubah acak Y adalah
,
Y XY
f y
f x y dx
∞ −∞
= ∫
. [Grimmet dan Stirzaker, 1992]
Definisi 2.2.8 Fungsi Kepekatan Peluang Bersyarat
Misalkan X dan Y peubah acak kontinu dengan fungsi kepekatan peluang marginal
Y
f y
, maka fungsi kepekatan peluang bersyarat dari X dengan syarat Y = y adalah
|
, |
XY X Y
Y
f x y
f x y
f y
= .
[Grimmet dan Stirzaker, 1992]
Definisi 2.2.9 Nilai Harapan Peubah Acak Diskret
Misalkan X adalah peubah acak diskret dengan fungsi kerapatan peluang
X
p x
P X x
= =
maka nilai harapan dari X adalah
[ ]
X x
E X xp
x = ∑
asalkan jumlah di atas konvergen.
[Hogg dan Craig, 1995]
Definisi 2.2.10 Nilai Harapan Peubah Acak Kontinu
Misalkan X adalah peubah acak kontinu dengan fungsi kepekatan peluang
X
f x
maka nilai harapan dari X adalah
[ ]
X
E X xf
x dx
∞ −∞
= ∫ asalkan integralnya ada.
[Hogg dan Craig, 1995] Definisi 2.2.11 Nilai Harapan Bersyarat
Misalkan X dan Y adalah peubah acak kontinu dan
|
|
X Y
f x y
adalah fungsi kepekatan peluang bersyarat dari X dengan syarat Y = y,
maka nilai harapan dari X dengan syarat Y = y adalah
[ ]
|
| |
X Y
E X Y y
xf x y dx
∞ −∞
= =
∫
. [Hogg dan Craig, 1995]
Definisi 2.2.12 Himpunan Konveks dan Fungsi Konveks
Misalkan
N
S ∈
adalah himpunan vektor. Maka S disebut sebagai himpunan konveks
jika untuk semua , x x
S ∈ terdapat
[ ]
0,1
λ
∈
maka
1 x
x S
λ λ
− +
∈
. Misalkan f merupakan fungsi dengan peubah x
yang terdefinisi pada himpunan konveks S. Maka f disebut sebagai fungsi konveks jika f
memenuhi persamaan
1 1
f x
x f x
f x λ
λ λ
λ −
+ ≤ −
+ .
Jika f memiliki turunan kedua, maka f disebut sebagai fungsi konveks jika dan hanya jika
2
0, f x
x S
∇ ≥ ∀ ∈
dan merupakan strictly convex jika
2
0, f x
x S
∇ ∀ ∈
. [Osborne, 1997]
Teorema 2.2.13 Ketaksamaan Jensen Misalkan
X ∈
adalah peubah acak dengan X
⎡ ⎤
⎣ ⎦
berhingga dan gx adalah fungsi
konveks. Maka
[ ]
. g X
g X
≥ ⎡
⎤ ⎣
⎦
[bukti lihat Weisstein, 1999]
2.3 Rantai Markov Definisi 2.3.1 Ruang State
Misalkan S ⊂
merupakan himpunan nilai dari barisan peubah acak, maka S disebut
ruang state. [Grimmet dan Stirzaker,1992]
Definisi 2.3.2 Proses Stokastik Proses stokastik
{ , }
t
S S t T
= ∈
adalah suatu koleksi dari peubah acak yang memetakan
suatu ruang contoh
Ω
ke suatu ruang state K. Jadi, untuk setiap t pada himpunan indeks T,
S
t
adalah suatu peubah acak. [Ross,1996]
Dalam hal ini anggap t sebagai waktu dan nilai dari peubah acak S
t
sebagai state keadaan dari proses pada waktu t.
Definisi 2.3.3 Rantai Markov Proses S adalah rantai Markov jika memenuhi
syarat Markov, yaitu:
1 1
1 1
1 1
| ,
,..., |
.
t t
t t
t t
P S s S
s S s
S s
P S s S
s
− −
− −
= =
= =
= =
= [Grimmet dan Stirzaker,1992]
Definisi 2.3.4 Rantai Markov dengan Waktu Diskret
Misalkan S
t
suatu peubah acak. Proses stokastik { ,
0,1, 2,...}
t
S t =
, dengan ruang state {0,1,2,…,N} disebut rantai Markov dengan
waktu diskret jika untuk setiap t={0,1,2,..} berlaku
1 2
1 1
{ |
, ,...}
{ |
}
t t
t t
t t
ij
P S j S
i S i
P S j S
i p
− −
− −
= =
= =
= =
=
untuk semua kemungkinan nilai dari i
o
,i
1
,i
2
,…,i
n-1
,i,j
∈
{1,2,3,…,N} [Ross,1996]
Jadi untuk suatu rantai Markov, sebaran bersyarat dari sebarang state saat ini S
t
dengan syarat state yang lalu S
,S
1
,S
2
,…,S
t-2
dan state kemarin S
t-1
adalah bebas terhadap semua state yang lalu, dan hanya bergantung pada state
kemarin. Proses di atas dapat digambarkan sebagai N-
state rantai Markov dengan peluang transisi {p
ij
} i,j = 1,2,…,N. Nilai dari peluang transisi p
ij
menyatakan peluang bahwa jika proses tersebut berada pada state i maka berikutnya
akan beralih ke state j. Karena nilai peluang adalah tak negatif dan karena proses tersebut
harus mengalami transisi ke suatu state maka
a. p
ij
≥
0, untuk semua i,j
∈
{1,2,…,N} b.
1
1
N ij
j
p
=
= ∑
untuk semua i
∈
{1,2,…,N} Peluang transisi N x N dapat dituliskan
dalam bentuk matriks P yang disebut juga sebagai matriks transisi, yaitu
11 1
1 N
N NN
p p
p p
⎛ ⎞
⎜ ⎟
= ⎜ ⎟
⎜ ⎟
⎝ ⎠
P …
di mana i menandakan kolom dan j menandakan baris dari matriks P.
2.4 Algoritma EM Expectation
Maximization Misalkan
{ }
, P
θ
θ
∈ Θ
adalah himpunan ukuran peluang yang terdefinisi pada
, Ω F
dan kontinu absolut terhadap
P
. Misalkan ⊂
Y F . Fungsi Likelihood yang digunakan
untuk menghitung penduga parameter θ
berdasarkan informasi Y adalah
| dP
L dP
θ
θ ⎡
⎤ = Ε ⎢
⎥ ⎣
⎦ Y .
Penduga Maximum Likelihood MLE
didefinisikan oleh
ˆ arg max L
θ
θ θ
∈Θ
∈ .
Umumnya MLE sulit dihitung secara langsung, oleh karena itu diperlukan suatu
metode aproksimasi berulang, yakni algoritma Expectation Maximization EM.
Langkah-langkah dalam metode tersebut adalah:
1. Set nilai awal parameter
ˆ
k
θ dengan k
= . 2.
Set ˆ
k
θ θ
= dan hitung
, θ θ
Q dengan
, log
| dP
dP
θ θ
θ
θ θ ⎡
⎤ = Ε ⎢
⎥ ⎣
⎦ Q
Y . 3.
Cari
1
ˆ arg max
,
k
θ θ θ
+
∈ Q
. 4.
Ganti k dengan k+1 dan ulangi langkah 2 sampai 4 hingga kriteria
hentinya tercapai, yaitu ketika selisih
1
ˆ
k
θ
+
dan ˆ
k
θ kurang dari suatu bilangan yang sangat kecil. Bilangan
tersebut dapat ditentukan sesuai dengan seberapa besar ketelitian
yang diinginkan.
Misalkan
1 log
g x x
⎛ ⎞ =
⎜ ⎟ ⎝ ⎠
, karena turunan kedua dari
g x
selalu positif
2 2
2
1 log
1 0,
g x x
x x
⎛ ⎞ ∇
= ∇ ⎜ ⎟
⎝ ⎠ =
∀
maka
g x
merupakan fungsi konveks. Karena
1 log
x ⎛ ⎞
⎜ ⎟ ⎝ ⎠
merupakan fungsi konveks, maka berdasarkan ketaksamaan Jensen dapat
dihasilkan barisan
{ }
ˆ ,
k
k
θ
≥
, yang merupakan fungsi likelihood yang tak turun
yaitu
1 1
ˆ ˆ
ˆ ˆ
log log ,
k k
k k
L L
θ θ
θ θ
+ +
− ≥
Q 2.4.1
Bukti:
Definisikan
1
, 1
k k
i i
k
λ
=
Λ = ≥
∏
dengan
1 i
i
i
dP dP
θ θ
λ
−
=
maka
1 2
1 1
1 1
2
, 1
. ... .
...
k k
k
P k
i i
k
k dP
dP dP
dP dP
dP dP
dP
θ θ
θ θ
θ θ
θ θ
λ λ λ λ
−
=
Λ = ≥
= =
=
∏
atau
k k
k
dP dP
θ θ
∆ =
G
. Dengan cara serupa maka
1 1
1
k k
k
dP dP
θ θ
+ +
+
∆ =
G
serta
1
1
k k
k
dP dP
θ θ
λ
+
+
=
Akibatnya
1
1 ˆ
ˆ
ˆ ˆ
log log
log |
log |
k k
k k
L L
dP dP
dP dP
θ θ
θ θ
+
+
− =
⎡ ⎤
⎡ ⎤
= −
⎢ ⎥
⎢ ⎥
⎢ ⎥
⎢ ⎥
⎣ ⎦
⎣ ⎦
Y Y
[ ]
[ ]
[ ]
1 1
log |
log |
log |
log
k k
k k
k k
λ
+ +
= ∆
− ∆
= ∆
− ∆
Y Y
Y
[ ]
1 1
ˆ ˆ
, log
| log
k k
k k
k k
θ θ
λ
+ +
= ∆
− ∆
Q Y
[ ]
1
1 ˆ
ˆ ˆ
log |
log |
.
k k
k
k k
k k
dP dP
θ θ
θ
λ
+
+
∆ =
∆ ⎡
⎤ =
⎢ ⎥
⎢ ⎥
⎣ ⎦
Y Y
Berdasarkan Teorema ketaksamaan Jensen maka
1 1
ˆ ˆ
ˆ ˆ
ˆ ˆ
log |
log |
k k
k k
k k
dP dP
dP dP
θ θ
θ θ
θ θ
+ +
⎡ ⎤
⎡ ⎤
− ≤ −
⎢ ⎥
⎢ ⎥
⎢ ⎥
⎢ ⎥
⎣ ⎦
⎣ ⎦
Y Y
atau
1
ˆ ˆ
1 ˆ
ˆ ˆ
log log
log |
k k
k
k k
dP L
L dP
θ θ
θ
θ θ
+
+
⎡ ⎤
− ≥
⎢ ⎥
⎢ ⎥
⎣ ⎦
Y
. Hasil kedua ruas pada persamaan 2.4.1 akan
bernilai sama jika dan hanya jika
1
ˆ ˆ
k k
θ θ
+
=
. Bentuk
,
θ θ
Q
disebut Pseudo Likelihood bersyarat.
III. MODEL HIDDEN MARKOV
3.1 Model Hidden Markov dan
Karakteristiknya
Pada bab ini dibahas model Hidden Markov beserta karakteristiknya. Model ini terdiri atas
pasangan state
t
S
penyebab kejadian yang tidak diamati dan proses observasinya
t
Y
. Misalkan S
t
adalah proses yang tidak diamati dengan ruang state
{ }
1, 2, 3,...N
. Jika S
t
berada pada state j, maka proses yang diamati Y
t
mempunyai sebaran normal
2
,
j j
N
µ σ . Pasangan {S
t
,Y
t
} disebut model Hidden Markov. Oleh karena itu, fungsi kerapatan
peluang dari Y
t
dengan syarat peubah acak S
t
bernilai j adalah
2 2
1 |
; exp
2 2
t j
t t
j j
y f y
S j
µ θ
σ πσ
⎧ ⎫
− −
⎪ ⎪
= =
⎨ ⎬
⎪ ⎪
⎩ ⎭
3.1.1 untuk j = 1,2,…N . Dalam hal ini
θ adalah vektor dari parameter populasi yang memuat
1 2
3
, ,
,...,
N
µ µ µ µ dan
2 2
2 2
1 2
3
, ,
,...,
N
σ σ σ σ .
Peubah yang tidak diamati {S
t
} diduga telah dibangkitkan oleh beberapa sebaran peluang,
di mana peluang tak bersyarat S
t
= j dinotasikan dengan
j
π :
{ }
;
t j
P S j
θ π
= =
3.1.2 untuk j = 1,2,…,N .
Peluang
1 2
3
, ,
,...,
N
π π π π juga termasuk
dalam θ , sehingga θ didefinisikan sebagai
2 2
1 1
1
,..., ,
,..., ,
,...,
N N
N
θ µ
µ σ σ π
π =
. Peluang dari kejadian bersama S
t
= j dan Y
t
yang berada pada interval [c,d] dapat diperoleh dengan mengintegralkan
{ }
, ;
| ;
;
t t
t t
t
P y S j
f y S
j P S
j
θ θ
θ
= =
= ⋅
=
3.1.3 Sehingga persamaan 3.1.1, 3.1.2 dan
3.1.3 diperoleh
2 2
, ;
exp 2
2
t j
j t
t j
j
y P y S
j
µ π
θ σ
πσ
⎧ ⎫
− −
⎪ ⎪
= =
⎨ ⎬
⎪ ⎪
⎩ ⎭
. 3.1.4
Fungsi kerapatan tak bersyarat dari Y
t
diperoleh dengan menjumlahkan persamaan 3.1.4 untuk semua kemungkinan nilai j:
1
; ,
;
N t
t t
j
f y P y S
j
θ θ
=
= =
∑
3.1.5 Karena S
t
merupakan peubah yang tidak diamati, persamaan 3.1.5 merupakan fungsi
kerapatan yang relevan untuk meng- gambarkan data yang diamati sebenarnya Y
t
. Jika S
t
bersifat bebas stokastik identik maka log-likelihood untuk data yang diamati dapat
dihitung dari
1 2
1
.
log ;
; ;
log ;
3.1.6
T T
t t
f y f y
f y f y
θ θ
θ θ
θ
=
= ⋅⋅⋅
= ∑
L
Penduga kemungkinan maksimum dari θ
diperoleh dengan memaksimumkan persamaan 3.1.6 dengan kendala
1 2
3
1
N
π π π
π +
+ + ⋅⋅⋅ +
= dan
j
π ≥ untuk
1, 2, ,
j N
= ⋅⋅⋅
. Hal tersebut dapat diperoleh dengan menggunakan algoritma EM.
Setelah diperoleh penduga bagi θ , dapat
diketahui peluang terjadinya suatu kejadian Y
t
serta dapat disimpulkan state mana yang paling memungkinkan menjadi penyebab
terjadinya suatu kejadian. Dari definisi peluang bersyarat diperoleh
{ }
{ }
.
, ;
| ;
; |
; ;
t t
t t
t j
t t
t
P y S j
P S j y
f y f y
S j
f y θ
θ θ
π θ
θ =
= =
⋅ =
= 3.1.7
Dengan diperolehnya parameter populasi θ ,
memungkinkan digunakan persamaan 3.1.1 dan 3.1.5 untuk menghitung persamaan
3.1.7 pada setiap pengamatan Y
t
.