Sifat Optimal Dari Inferensi Bayes
BAB 2
TINJAUAN PUSTAKA
2.1 Inferensi Relatif Surprise
Dalam Evans (1997) dikatakan bahwa ada suatu pendekatan tertentu untuk menilai hipotesa H0 : τ = τ0 . Dengan menghitung daerah Inferensi Relatif
Surprise:
Y πγ (τ |x)
πγ (τ0 |x)
x
>
γ
πγ (τ )
πγ (τ0 )
(2.1)
dapat dilihat bahwa (2.1) membandingkan peningkatan relatif dalam keyakinan
terhadap τ0 , dari prior ke posterior, dengan peningkatan ini untuk masing-masing
nilai yang mungkin lainnya dalam τ .
Inferensi relatif surprise memiliki sifat optimal yang sama dengan dengan
inferensi Bayes. Dalam perkembangannya Inferensi Relatif menggunakan konsep
dasar Inferensi bayes. Khususnya jika ada sebuah daerah γ yang kredibel untuk
τ = Υ(θ) dan γ adalah daerah Relatif Surprise maka γ memiliki nilai prior yang
paling kecil semua daerah γ yang kredibel. Dugaan dan estimasi ini di dasari
secara langsung dari daerah Relatif Surprise dan juga sifat optimal yang dimilikinya
(Evans, et al., 2006).
Sifat optimal yang dimiliki inferensi relatif surprise memiliki interpretasi
langsung dalam hal meminimalkan kemungkinan nilai nilai palsu sebelumnya dan
ini adalah cara yang tepat untuk menilai ulang sifat sampling prior sebelumnya.
Daerah relatif surprise, probabilitas prior nilai nilai salah sebelumnya selalu dibatasi oleh probabilitas prior nilai nilai benar. Keduanya dalam satu himpunan,
bersifat umum pada batas tertentu dan tidak bias.
6
Universitas Sumatera Utara
7
2.2 Hubungan Inferensi Relatif Suprise dan Faktor Bayes
Teorema bayes adalah atau prinsip probabilitas bersyarat yang menyatakan
tentang kejadian x dimana x adalah kejadian yang tidak diketahui dari θ dan x
kemudian di observasi harus berdasarkan data posterior Π(· | x). Unsur unsur
ini tidak dapat berdiri sendiri Tidak dirincikan apakah daerah yang kredibel dari
Bγ(x) ⊂ T pasti berasal dari τ = Υ(θ) karena dari sini biasanya banyak subset
dari T yang mengandung γ sehingga dibutuhkan suatu ukuran untuk memilih
diantaranya.
Dalam (Evans, 1997) dikatakan bahwa ada suatu pendekatan khusus untuk
menaksir sebuah hipotesis H0 : τ = τ0 dengan menghitung Observed Relatif Surprise (ORS).
Ada hubungan yang erat antara inferensi relatif surprise dan faktor Bayes
(Evans dan Zou, 2002). Beberapa alasan diberikan dalam hal ini dengan menunjukkan bahwa Inferensi Relatif Surprise membuat hasil yang lebih optimal ketika di
interpretasikan kedalam faktor Bayes. Secara khusus dapat dilihat bahwa sebuah
γ daerah relatif surprise Cγ(x) untuk τ = Υ(θ) selalu memiliki faktor bayes dalam
mendukung daerah yang berisi nilai sebenarnya yang dibatasi oleh keharmonisan
semua daerah kredibel untuk τ dari Cγ(x) yang dimaksimalkan juga oleh faktor
bayes.(Evans dan Zou, 2002). Evans, et al.,(2006).
Dalam (Good, 1988) memperkenalkan pendekatan lain yang digunakan untuk
mengukur suatu daerah relatif surprise yaitu dengan memperhatikan dan mengestimas suatu fungsi τ0 kemudian menyeleksi nilai minimalnya. Hasil estimasi ini
disebut Least Relatif Surprise Estimate (LRSE). Dituliskan juga bahwa untuk mendapatkan sebuah daerah yang kredibel γ dari τ sangat sederhana hanya dengan
membalikkan bentuk standard sewaktu ingin mendapatkan suatu daerah yang kredibel dari relatif surprise yaitu
Cγ (x) =
τ0 ∈ T : ΠΥ
πΥ (τ |x)
πΥ (τ )
>
πΥ (τ0 |x)
|x
πΥ (τ0 )
6γ
(2.2)
Salah satu kelebihan dari inferensi relatif surprise adalah hasil yang di dapatkan
tidak berubah sekalipun tanpa parameter.
Universitas Sumatera Utara
8
2.3 Distribusi Prior dan Distribusi Posterior
2.3.1
Distribusi prior
Metode Bayes adalah suatu metode inferensi statistik yang menggunakan
data sampel dan data sebelumnya (data prior). Pada metode bayes parameter
yang digunakan adalah variabel random yang mempunyai distribusi tertentu (distribusi prior). Distribusi prior adalah distribusi subjektif berdasarkan pada keyakinan seseorang dan dirumuskan sebelum data sampel diambil (Walpole dan Myers,
1986). Distribusi sampel yang digabung dengan distribusi prior akan menghasilkan
suatu distribusi yaitu distribusi posterior (Kuswandari, 2005). Distribusi posterior
menyatakan derajat keyakinan seseorang mengenai suatu parameter setelah sampel
diamati (Walpole dan Myers, 1986), jadi metode bayes menggabungkan distribusi
sampel dan distribusi prior sehingga dapat diperoleh distribusi posteriornya.
Distribusi prior adalah distribusi awal yang harus ditentukan terlebih dahulu
sebelum merumuskan distribusi posteriornya. Distribusi prior adalah distribusi
subjektif berdasarkan pada keyakinan seseorang dan dirumuskan sebelum data
sampel diambil (Walpole dan Myers, 1986). Distribusi prior dikelompokkan menjadi dua macam yaitu distribusi prior konjuget dan distribusi prior non konjuget
(Box dan Tiao 1973).
Bentuk distribusi prior konjuget merupakan pemberian bentuk distribusi prior
yang sekawan atau sepola dengan bentuk distribusi dari hasil identifikasi pola
datanya. Sedangkan distribusi prior non konjuget adalah bentuk distribusi prior
yang tidak sekawan dengan bentuk hasil identifikasi dari datanya. (Box dan Tiao,
1973).
Misal dalam mengestimasi parameter θ tersedia informasi bahwa θ berubah
sesuai dengan distribusi probabilitas tertentu. Jadi θ adalah variabel random yang
menjalani harga-harga θ1, θ2, θ3 · · · θk dengan distribusi probabilitas p(θ1 ), · · · p(θk ).P
(θ = θj ), j = 1, 2, . . . k disebut distribusi prior untuk θ, dimana θ = (θ1, θ2, · · · θk )
(Soejoeti dan Soebanar, 1988).
Universitas Sumatera Utara
9
2.3.2 Distribusi posterior
Distribusi posterior adalah fungsi densitas bersyarat θ jika diketahui nilai
observasi x, ini dapat dituliskan sebagai: f(θ | x) =
f (θ,x)
f (x)
Apabila θ kontiniu, distribusi prior dan posterior θ dapat disajikan dengan fungsi
kepadatan. Fungsi kepadatan bersyarat satu variabel random jika diketahui nilai
variabel random kedua hanyalah fungsi kepadatan bersama dua variabel random
itu dibagi dengan fungsi kepadatan marginal variabel random kedua. Tetapi fungsi
kepadatan bersama f(θ, x) dan fungsi kepadatan marginal f(x) pada umumnya
tidak diketahui, hanya distribusi prior dan fungsi likelihood yang biasanya dinyatakan. Fungsi kepadatan bersama dan marginal yang diperlukan dapat ditulis
dalam bentuk distribusi prior dan fungsi likelihood.
f(θ, x) = f (x′θ).f(θ)
dimana f(x′θ) merupakan fungsi likelihood dan f(θ) merupakan distribusi prior
(Soejoeti dan Soebanar, 1988).
2.4 Peluang Kejadian
Pada dasarnya kesimpulan yang ditarik dari suatu inferensi mengandung ketidakpastian. Agar kesimpulan dan inferensi ini cukup tepat diperlukan pemahaman
teori peluang. Apa yang dimaksud dengan Ali mungkin memenangkan pertandingan catur, Saya punya peluang setengah mendapatkan bilangan bulat dalam lantunan sebuah dadu, Kecil kemungkinan saya menang dalam taruhan itu, ataupun
kemungkinan besar kebanyakan lulusan ITB akan berumahtangga dalam waktu 3
tahun?. Dalam tiap hal dinyatakan hasilnya yang masih diragukan, tetapi menurut pengalaman sebelumnya ataupun dari pemahaman mengenai pola percobaan
mempunyai derajat keyakinan mengenai kebenaran pernyataan.
Teori matematika peluang unuk ruang sampel berhingga menetapkan suatu
himpunan bilangan yang dinamakan bobot. Bila bobot tak dapat dianggap sama
maka besarnya harus ditentukan berdasarkan pengetahuan sebelumnya atau dari
pemahaman mengenai percobaan tersebut. Sebagai contoh bila suatu mata uang
tidak setangkup, maka kedua bobot dapat ditaksir dengan melantunkan berapa
Universitas Sumatera Utara
10
ratus atau ribu kali dan mencatat hasilnya. Bobot sesungguhnya adalah masing
masing nisbah seringnya muncul muka dan belakang dengan banyaknya kali lantunan bila lantunan dikerjakan banyak sekali. Cara menentukan bobot seperti ini
terkenakl dengan nama defenisi peluang berdasarkan frekuensi relatif.
Untuk menentukan secara numerik dengan memuaskan, peluang seorang menang main tenis, maka harus diperhatikan prestasi orang tersebut dan lawannya
dalam main tenis sebelumnya. Begitupun untuk menentukan peluang seekor kuda
pacuan akan menang perlu ditentukan bobotnya yang didasarkan atas prestasi
masa lalu kuda tersebut dan lawan lawannya yang ikut pacuan. Sering lebih mudah menghitung peluang suatu kejadian dari peluang kejadian lain yang diketahui.
Hal ini terutama sekali benar bila kejadian yang dimaksud dapat dinyatakan sebagai gabungan dua kejadian lain atau komplemen suatu kejadian.
Universitas Sumatera Utara
TINJAUAN PUSTAKA
2.1 Inferensi Relatif Surprise
Dalam Evans (1997) dikatakan bahwa ada suatu pendekatan tertentu untuk menilai hipotesa H0 : τ = τ0 . Dengan menghitung daerah Inferensi Relatif
Surprise:
Y πγ (τ |x)
πγ (τ0 |x)
x
>
γ
πγ (τ )
πγ (τ0 )
(2.1)
dapat dilihat bahwa (2.1) membandingkan peningkatan relatif dalam keyakinan
terhadap τ0 , dari prior ke posterior, dengan peningkatan ini untuk masing-masing
nilai yang mungkin lainnya dalam τ .
Inferensi relatif surprise memiliki sifat optimal yang sama dengan dengan
inferensi Bayes. Dalam perkembangannya Inferensi Relatif menggunakan konsep
dasar Inferensi bayes. Khususnya jika ada sebuah daerah γ yang kredibel untuk
τ = Υ(θ) dan γ adalah daerah Relatif Surprise maka γ memiliki nilai prior yang
paling kecil semua daerah γ yang kredibel. Dugaan dan estimasi ini di dasari
secara langsung dari daerah Relatif Surprise dan juga sifat optimal yang dimilikinya
(Evans, et al., 2006).
Sifat optimal yang dimiliki inferensi relatif surprise memiliki interpretasi
langsung dalam hal meminimalkan kemungkinan nilai nilai palsu sebelumnya dan
ini adalah cara yang tepat untuk menilai ulang sifat sampling prior sebelumnya.
Daerah relatif surprise, probabilitas prior nilai nilai salah sebelumnya selalu dibatasi oleh probabilitas prior nilai nilai benar. Keduanya dalam satu himpunan,
bersifat umum pada batas tertentu dan tidak bias.
6
Universitas Sumatera Utara
7
2.2 Hubungan Inferensi Relatif Suprise dan Faktor Bayes
Teorema bayes adalah atau prinsip probabilitas bersyarat yang menyatakan
tentang kejadian x dimana x adalah kejadian yang tidak diketahui dari θ dan x
kemudian di observasi harus berdasarkan data posterior Π(· | x). Unsur unsur
ini tidak dapat berdiri sendiri Tidak dirincikan apakah daerah yang kredibel dari
Bγ(x) ⊂ T pasti berasal dari τ = Υ(θ) karena dari sini biasanya banyak subset
dari T yang mengandung γ sehingga dibutuhkan suatu ukuran untuk memilih
diantaranya.
Dalam (Evans, 1997) dikatakan bahwa ada suatu pendekatan khusus untuk
menaksir sebuah hipotesis H0 : τ = τ0 dengan menghitung Observed Relatif Surprise (ORS).
Ada hubungan yang erat antara inferensi relatif surprise dan faktor Bayes
(Evans dan Zou, 2002). Beberapa alasan diberikan dalam hal ini dengan menunjukkan bahwa Inferensi Relatif Surprise membuat hasil yang lebih optimal ketika di
interpretasikan kedalam faktor Bayes. Secara khusus dapat dilihat bahwa sebuah
γ daerah relatif surprise Cγ(x) untuk τ = Υ(θ) selalu memiliki faktor bayes dalam
mendukung daerah yang berisi nilai sebenarnya yang dibatasi oleh keharmonisan
semua daerah kredibel untuk τ dari Cγ(x) yang dimaksimalkan juga oleh faktor
bayes.(Evans dan Zou, 2002). Evans, et al.,(2006).
Dalam (Good, 1988) memperkenalkan pendekatan lain yang digunakan untuk
mengukur suatu daerah relatif surprise yaitu dengan memperhatikan dan mengestimas suatu fungsi τ0 kemudian menyeleksi nilai minimalnya. Hasil estimasi ini
disebut Least Relatif Surprise Estimate (LRSE). Dituliskan juga bahwa untuk mendapatkan sebuah daerah yang kredibel γ dari τ sangat sederhana hanya dengan
membalikkan bentuk standard sewaktu ingin mendapatkan suatu daerah yang kredibel dari relatif surprise yaitu
Cγ (x) =
τ0 ∈ T : ΠΥ
πΥ (τ |x)
πΥ (τ )
>
πΥ (τ0 |x)
|x
πΥ (τ0 )
6γ
(2.2)
Salah satu kelebihan dari inferensi relatif surprise adalah hasil yang di dapatkan
tidak berubah sekalipun tanpa parameter.
Universitas Sumatera Utara
8
2.3 Distribusi Prior dan Distribusi Posterior
2.3.1
Distribusi prior
Metode Bayes adalah suatu metode inferensi statistik yang menggunakan
data sampel dan data sebelumnya (data prior). Pada metode bayes parameter
yang digunakan adalah variabel random yang mempunyai distribusi tertentu (distribusi prior). Distribusi prior adalah distribusi subjektif berdasarkan pada keyakinan seseorang dan dirumuskan sebelum data sampel diambil (Walpole dan Myers,
1986). Distribusi sampel yang digabung dengan distribusi prior akan menghasilkan
suatu distribusi yaitu distribusi posterior (Kuswandari, 2005). Distribusi posterior
menyatakan derajat keyakinan seseorang mengenai suatu parameter setelah sampel
diamati (Walpole dan Myers, 1986), jadi metode bayes menggabungkan distribusi
sampel dan distribusi prior sehingga dapat diperoleh distribusi posteriornya.
Distribusi prior adalah distribusi awal yang harus ditentukan terlebih dahulu
sebelum merumuskan distribusi posteriornya. Distribusi prior adalah distribusi
subjektif berdasarkan pada keyakinan seseorang dan dirumuskan sebelum data
sampel diambil (Walpole dan Myers, 1986). Distribusi prior dikelompokkan menjadi dua macam yaitu distribusi prior konjuget dan distribusi prior non konjuget
(Box dan Tiao 1973).
Bentuk distribusi prior konjuget merupakan pemberian bentuk distribusi prior
yang sekawan atau sepola dengan bentuk distribusi dari hasil identifikasi pola
datanya. Sedangkan distribusi prior non konjuget adalah bentuk distribusi prior
yang tidak sekawan dengan bentuk hasil identifikasi dari datanya. (Box dan Tiao,
1973).
Misal dalam mengestimasi parameter θ tersedia informasi bahwa θ berubah
sesuai dengan distribusi probabilitas tertentu. Jadi θ adalah variabel random yang
menjalani harga-harga θ1, θ2, θ3 · · · θk dengan distribusi probabilitas p(θ1 ), · · · p(θk ).P
(θ = θj ), j = 1, 2, . . . k disebut distribusi prior untuk θ, dimana θ = (θ1, θ2, · · · θk )
(Soejoeti dan Soebanar, 1988).
Universitas Sumatera Utara
9
2.3.2 Distribusi posterior
Distribusi posterior adalah fungsi densitas bersyarat θ jika diketahui nilai
observasi x, ini dapat dituliskan sebagai: f(θ | x) =
f (θ,x)
f (x)
Apabila θ kontiniu, distribusi prior dan posterior θ dapat disajikan dengan fungsi
kepadatan. Fungsi kepadatan bersyarat satu variabel random jika diketahui nilai
variabel random kedua hanyalah fungsi kepadatan bersama dua variabel random
itu dibagi dengan fungsi kepadatan marginal variabel random kedua. Tetapi fungsi
kepadatan bersama f(θ, x) dan fungsi kepadatan marginal f(x) pada umumnya
tidak diketahui, hanya distribusi prior dan fungsi likelihood yang biasanya dinyatakan. Fungsi kepadatan bersama dan marginal yang diperlukan dapat ditulis
dalam bentuk distribusi prior dan fungsi likelihood.
f(θ, x) = f (x′θ).f(θ)
dimana f(x′θ) merupakan fungsi likelihood dan f(θ) merupakan distribusi prior
(Soejoeti dan Soebanar, 1988).
2.4 Peluang Kejadian
Pada dasarnya kesimpulan yang ditarik dari suatu inferensi mengandung ketidakpastian. Agar kesimpulan dan inferensi ini cukup tepat diperlukan pemahaman
teori peluang. Apa yang dimaksud dengan Ali mungkin memenangkan pertandingan catur, Saya punya peluang setengah mendapatkan bilangan bulat dalam lantunan sebuah dadu, Kecil kemungkinan saya menang dalam taruhan itu, ataupun
kemungkinan besar kebanyakan lulusan ITB akan berumahtangga dalam waktu 3
tahun?. Dalam tiap hal dinyatakan hasilnya yang masih diragukan, tetapi menurut pengalaman sebelumnya ataupun dari pemahaman mengenai pola percobaan
mempunyai derajat keyakinan mengenai kebenaran pernyataan.
Teori matematika peluang unuk ruang sampel berhingga menetapkan suatu
himpunan bilangan yang dinamakan bobot. Bila bobot tak dapat dianggap sama
maka besarnya harus ditentukan berdasarkan pengetahuan sebelumnya atau dari
pemahaman mengenai percobaan tersebut. Sebagai contoh bila suatu mata uang
tidak setangkup, maka kedua bobot dapat ditaksir dengan melantunkan berapa
Universitas Sumatera Utara
10
ratus atau ribu kali dan mencatat hasilnya. Bobot sesungguhnya adalah masing
masing nisbah seringnya muncul muka dan belakang dengan banyaknya kali lantunan bila lantunan dikerjakan banyak sekali. Cara menentukan bobot seperti ini
terkenakl dengan nama defenisi peluang berdasarkan frekuensi relatif.
Untuk menentukan secara numerik dengan memuaskan, peluang seorang menang main tenis, maka harus diperhatikan prestasi orang tersebut dan lawannya
dalam main tenis sebelumnya. Begitupun untuk menentukan peluang seekor kuda
pacuan akan menang perlu ditentukan bobotnya yang didasarkan atas prestasi
masa lalu kuda tersebut dan lawan lawannya yang ikut pacuan. Sering lebih mudah menghitung peluang suatu kejadian dari peluang kejadian lain yang diketahui.
Hal ini terutama sekali benar bila kejadian yang dimaksud dapat dinyatakan sebagai gabungan dua kejadian lain atau komplemen suatu kejadian.
Universitas Sumatera Utara