PENAKSIR MAKSIMUM LIKELIHOOD DENGAN METODE ITERASI NEWTON - RAPHSON
Kumpulan Makalah Seminar Semirata 2013 Fakultas MIPA Universitas Lampung
PENAKSIR MAKSIMUM LIKELIHOOD DENGAN
METODE ITERASI NEWTON - RAPHSON
Haposan Sirait 1 dan Rustam Efendi 2 1,2
Dosen Program Studi Matematika FMIPA Universitas Riau.
Abstrak: Makalah ini menyajikan tentang menentukan penaksir maksimum likelihood
̂ dari suatu parameter yang memiliki fungsi densitas probabilitas .
Penaksir maksimum likelihood ̂ akan ditentukan dengan suatu metode iterasi
Newton- Raphson. Penaksir yang diperoleh merupakan hampiran penaksir maksimum
likelihood.
Kata Kunci:Penaksir maksimum likelihood , fungsi densitas probabilitas, iterasi
Newton-RaphsonPENDAHULUAN
Sebagai syarat awal dalam menganalisa data statistik yaitu mengidentifikasi distribusi probabilitas dari karakteristik. Oleh karena parameter dari distribusi probabilitas tersebut adalah sebagai penentu dari suatu karakteristik, hal ini akan menjadi perlu untuk menaksir parameter.Dalam makalah ini diasumsikan bahwa bentuk matematis distribusi probabilitas diketahui (contoh : Binomial ; Normal ; dan lain sebagainya), akan tetapi parameter distribusi ( p untuk binomial;
μ dan σ2 untuk normal, dan seterusnya ) tidak diketahui. Untuk memperoleh informasi semacam itu, tentunya diawali dengan mengambil sampel random dari populasi.
Selanjutnya akan ditaksir parameter melalui data dari sampel random yang diambil dari suatu populasi. Dalam analisa statistik , penaksir titik dari suatu parameter populasi sangat berperan aktif guna untuk mengetahui fenomena alam[4] misalnya ingin mengestimasi proporsi produk yang rusak dari suatu proses produksi, ataupun rata- rata waktu sembuh pasien yang menjalani operasi tertentu.
Dalam makalah ini akan disajikan secara sistematis suatu metode yang digunakan untuk menentukan penaksir titik yaitu metode maksimum likelihood , dimana metode maksimum likelihood merupakan suatu metode yang mempunyai prinsip menentukan penaksir titik titik suatu parameter dengan peluang maksimum. Penaksir yang diperoleh dengan metode maksimum likelihood disebut sebagai penaksir maksimun likelihood . Penaksir maksimum likelihood suatu parameter dari distribusi probabilitas (Mungkin tidak ada, ada, atau banyak ). Untungnya sering diperoleh satu estimator dengan sifat yang baik.
Langkah yang dilakukan ,apabila memungkinkan yaitu dengan mendifferensialkan fungsi likelihood terhadap parameter, selanjutnya disamakan dengan nol yang disebut dengan persamaan likelihood . Namun dalam menentukan Penaksir Maksimum Likelihood , pada persamaan likelihood terkadang sulit dilakukakan secara analitik atau dengan kata lain tidak diperolehnya penaksir titik secang eksak , hal ini dikarenakann bentuk persamaan likeliohood yang sangat kompleks . Untuk kasus yang demikian Penaksir Maksimum Likelihood ditempuh dengan cara iterasi numerik yaitu dengan netode newton Raphson.
LANDASAN TEORI
Haposan Sirait Dan Rustam Efendi: Penaksir Maksimum Likelihood Dengan Metode
Iterasi Newton - Raphson
Definisi 4 : Taksiran maksimum
Metode Newton-Raphson Dalam Satu Dimensi
penaksir maksimumlikelihood ( ̂ )
θ ) ,yang disebut sebagai
4. Menentukan akar persamaan likekelihood (
dan kemudian menyamakan hasil dervativnyadengan nol (persamaan likelihood ).
θ,
3. Melakukan differensial ln L(θ) terhadap
2. Melakukan transformasi logaritma natural dari L( θ).
Menentukan fungsi likelihood, L(θ).
disebut penaksir Dalam manentukan penaksir maksimum likelihood, cukup hanya membutuhkan fungsi likelihood dan kemudian memaksimumkan fungsi likelihood terhadap parameter yang akan ditaksir. Dalam beberapa kasus, untuk memudahkan memaksimumkan fungsi likelihood, kadang kala dikerjakan dengan melakukan transformasi logaritma natural (ln)terhadap fungsi likelihood,selanjutnya disebut sebagai log fungsi likelihood .Alasan tersebut tentunya dapat diterima dikarenakan logaritma natural merupakan fungsi increasing. Sehingga nilai yang membuat maksimum fungsi likelihood, jika ada, akan merupakan nilai sama yang membuat maksimum lof fungsi likelihood. Berikut ini merupakan prosedur menentukan penaksir maksimum likelihood : 1.
̂ ̂ ,
maka
̂ , sedemikian sehingga ( ̂) { }
likelihood untuk adalah nilai yang memaksimumkan fungsi likelihood .Dengan kata lain ̂
(3)
Penaksir Maksimum Likelihood
probabilitas yang tergantung pada . yaitu dengan adalah parameter yang tidak diketahui. Maka Fungsi likelihood gabungannya adalah: ∏
X dengan fungsi
merupakan sampel random yang berasal dari popoulasi
Definisi 3 :[2] Misalkan
(2)
. yaitu dengan adalah parameter yang tidak diketahui. Maka Fungsi likelihood gabungannya adalah : ∏
merupakan sampel random yang berasal dari populasi X dengan fungsi kepadatan peluang yang tergantung pada
Definisi 2 : [2]Misalkan
(1)
ungsi kepadatan peluang gabungan untuk variable random dengan nilai sampel . Fungsi likelihood dari sampel nya adalah
Definisi1:[2]Misalkan f
. Dikarenakan bahwa merupakan sampel random maka fungsi juga merupakan variabel acak. Suatu fungsi yang diamati misalnya disebut sebagai statistik, dan disebut juga suatu penaksir dari yang dinotasikan dengan ̂ [3] . Akan tetapi menghadapi persoalan mencari penaksir titik ada tiga metode yang populer, yaitu metode momen, metode maksimum likelihood dan metode B es‟[2]. N mun d l m m k l h ini yang akan disajikan yaitu suatu metode yang menurut intuisi, wajar dalam menghasilkan penaksir yang mungkin baik untuk diselidiki yaitu penaksir maksimum likelihood, seperti dinyatakan dalam definisi berikut :
. yaitu
Misalkan merupakan sampel random yang berasal dari popoulasi X dengan fungsi densitas probabilitas yang tergantung pada
Banyak persoalan yang telah mempunyai penyelesaian secara eksak. Misalnya mencari akar dari suatu persamaan merupakan haln yang banyak dijumpai dalam berbagai bidang. Telah dikenal suatu cara untuk mencari akar- akar persamaan kuadrat yang sederhana, yaitu bila ada persamaan
Kumpulan Makalah Seminar Semirata 2013 Fakultas MIPA Universitas Lampung
1. Penentuan akar pendekatan Akar pendekatan dijabarkan lagi untuk mendapatkan ketelitian yang diinginkan.
Teorema : Kekonvergenan Metode Newton Raphson. Misalkan fungsi f
(7) Dengan menyatakan nilai pada iterasi ke- m dan nilai tebakan awal dinotasikan dengan . Persamaan (7) dinamakan metode ierasi Newton Raphson.
, pada persamaan (5) , maka : (6) Dengan demikian apabila x , menyatakan sebagai nilai tebakan awal, kemudian disubtitusikan kedalam persamaan (6), diperolehlah
(5) Dengan . Apabila
dan sehingga : Beberapa metode numerik dalam penentuan akar pendekatan telah banyak diperkenalkan, antara lain metode Newton-Raphson[1]. Langkah yang dilakukan dalam metode Newton-Raphson dari persoalan ( 4 ), yaitu dengan menggunakan ekspansi deret Taylor berderajat satu yaitu:
c diantara
Teorema : (Deret Taylor) . Misalkan , dengan B bilangan bulat positip. Misalkan suatu interval I=[a,b] sehingga f dan turunan kontinu pada I dan ada pada (a,b). Jika maka untuk sebarang terdapat titik
Kembali kepada permasalahan mencari akar , maka untuk mendapatkan nilai akarnya, digunakan metode pendekatan yang meliputi dua tahap yaitu :
maka :
Pada umumnya, metode numerik tidak menyatakan diperolehnya jawab eksak(tepat) tetapi memperoleh perumusan metode yang menghasilkan jawaban pendekatan yang berbeda dari jawab yang eksak, sebesar suatu nilai yang dapat diterima berdasarkan pertimbangan praktis, akan tetapi cukup dapat memberikan penghayatan pada persoalan yang dihadapi. Metode numerik untuk mendapatkan pendekatan yang berhasil adalah dengan teknik iterasi. Metode iterasi akan konvergen bila pendekatan makin mendapatkan hasil tertentu.
2. Mengusahakan diperolehnya jawaban pendekatan dalam persoalan yang perumusannya eksak.
1. Pendekatan atau penyederhanaan perumusan persoalan sehingga dapat diselesaikan .
Di dalam praktek, fungsi yang hendak dicari akarnya, tidak mempunyai rumus tertentu seperti pada persamaan kuadrat. Dalam arti belum ada metode untuk mendapatkan penyelesaian eksak. Bila demikian halnya, perlu diusahakan suatu metode numerik untuk dapat menyelesaikan persoalan tersebut. Dengan kata lain dalam kondisi demikian ada beberapa pendekatan yang akan dilakukan yaitu :
(4) dengan dapat berupa fungsi Aljabar, atau Transenden dan diasumsikan dapat didifferensialkan.
Secara umum, persoalannya ataupun permasalahannya adalah dalam fungsi yaitu mencari harga untuk persamaan:
adalah akar dari persamaan kuadrat, artinya bila x disubstitusikan kedalam persamaan tersebut maka akan memenuhi persamaan diatas.
√
3. Gabungan dari kedua cara pendekatan diatas.
Metode Newton-Raphson merupakan salah satu metode yang dapat memperoleh estimatormaksimum likelihood apabila akar persamaan likelihood parameternya
(13) Selanjutnya persamaan (12) dan (13) disebut sebagai persamaan likelihood.Dari persamaan (13) diperolehlah:
Newton
{ ⁄
Fungsi likelihoodnya :
∏ [ ]
∏ ∑ ⁄
(10) Dengan melakukan transformasi logaritma natural persamaan (10) diperoleh :
( ) ∑ ∑
(11) Selanjutnya dilakukan derivative parsial persamaan (11) terhadap dan kemudian disamakan dengan nol diperolehlah :
∑ (12)
dan ∑
(14) Selanjutnya disubstitusikan persamaan
X yang berdistribusi gamma dengan
(14) kedalam persamaan (12 ) , maka :
∑
(15) Dengan memisalkan :
∑ (16)
Maka :
[
(17) Dengan memanfaatkan persamaan (9), diperolehlah iterasi penaksir maksiumu likelihood untuk yaitu :
Kemudian nilai iterasi digunakan untuk menentukan nilai taksiran
.Nilai iterasi yang diperoleh dinamakanlah penaksir maksimum likelihood dengan iterasi metode Newton- Raphson.
KESIMPULAN
parmeter dan .Akan ditentukan penaksir penaksir maksimum likelihood untuk parameter dengan metode
Misalkan merupakan sampel random yang berasal dari populasi
Haposan Sirait Dan Rustam Efendi: Penaksir Maksimum Likelihood Dengan Metode
Iterasi Newton - Raphson
n n K x x ,
mempunyai turunan '
f dan '' f yang
kontinu dan merupakan akar sederhana dari ) (
x f
, maka ) ( '
f . Jika x
cukup dekat ke
metode Newton Konvergen kuadratik ke . Artinya bahwa dalam setiap error yang berurutan, error memenuhi persamaan yang berbentuk 2 1
… (1) Dengan
Ilustrasi :
) ( min ) ( max
2
1 ) ( '' ~ '' ~ n x x n x x x f f
K
.
HASIL DAN PEMBAHASAN Penaksir Maksimum Likelihood Dengan Metode Newton Raphson
Untuk kasus menetukan penaksir maksimum likelihood, yaitu dengan menentukan akan dari persamaan likelihood:
(8) Dengan
; fungsi likelihood dari sampel Dari persamaan (7), diperoleh suatu algoritma iterasi untuk menentukan penaksir maksimum likelihood yang diberikan dengan formula :
(9)
- –Raphson, dengan langkah sebagai berikut yang diketahui bahwa populasi berarti fungsi kepadatan probabilitas dari X :
Kumpulan Makalah Seminar Semirata 2013 Fakultas MIPA Universitas Lampung
tidak dapat diperoleh secara eksak , dan Duxbury Press. California. estimator yang diperoleh merupakan nilai
Feller W. 1967. An Introduction pendekatan estimator.
Probability Theory and Its Application rd (vol. 1): 3 edition. Willey, New York.
TINJAUAN PUSTAKA
George, G Roussas. 1973. A First Course A.M.Ostrowsky, 1973, Solusion of
in Mathematical Statistics. Wesley, equations in Euclidean and Banach
Philippines.
space , third edition.Academic
Kandethody M.Ramachandran and Chris Press.,New York
P.Tsokos. 2009, Matematical statistcs Bain, J Lee & Engelhardt, Max. 1992.
with Aplications , Academic Introduction to Probability and
press.Elseiver . New york
Mathematical Statistics second edition