Estimasi Model Regresi Nonparametrik Dengan Menggunakan Metode Maksimum Likelihood Pada Distribusi Normal Multivariat

(1)

ESTIMASI MODEL REGRESI NONPARAMETRIK DENGAN

MENGGUNAKAN METODE MAKSIMUM LIKELIHOOD PADA

DISTRIBUSI NORMAL MULTIVARIAT

SKRIPSI

NOVIA BUDHI ASTRI TARIGAN

090823021

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN

ALAM

UNIVERSITAS SUMATERA UTARA

MEDAN

(2)

ESTIMASI MODEL REGRESI NONPARAMETRIK DENGAN

MENGGUNAKAN METODE MAKSIMUM LIKELIHOOD PADA

DISTRIBUSI NORMAL MULTIVARIAT

SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar sarjana sains

NOVIA BUDHI ASTRI TARIGAN

090823021

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN

ALAM

UNIVERSITAS SUMATERA UTARA

MEDAN

(3)

PERSETUJUAN

Judul : ESTIMASI MODEL REGRESI NONPARAMETRIK DENGAN MENGGUNAKAN METODE MAKSIMUM LIKELIHOOD PADA FUNGSI DISTRIBUSI MULTIVARIAT

Kategori : SKRIPSI

Nama : NOVIA BUDHI ASTRI TARIGAN Nomor Induk Mahasiswa : 090823021

Program Studi : S1 STATISTIKA Departemen : MATEMATIKA

Fakultas : MATEMATIKA DAN ILMU PENGETAHUAN

ALAM

Di luluskan di Medan, Juli 2013

Komisi pembimbing

Pembimbing 2 Pembimbing 1

Drs. Djakaria Sebayang, M.Si Drs. Rachmad Sitepu, M.Si

1951122719855031002 195304181987031001

Diketahui/Disetujui oleh

Departemen Matematika FMIPA USU Ketua

Drs. Pengarapen Bangun, M.Si NIP. 19560815198501005

(4)

PERNYATAAN

ESTIMASI MODEL REGRESI NONPARAMETRIK DENGAN

MENGGUNAKAN METODE MAKSIMUM LIKELIHOOD PADA

FUNGSI DISTRIBUSI MULTIVARIAT

SKRIPSI

Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri. Kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya.

Medan, Juli 2013

Novia Budhi Astri Tarigan 090823021

(5)

ABSTRAK

Regresi nonparametrik untuk menduga kurva regresi yang diperoleh dari optimasi Likelihood dapat menjadi pilihan yang cukup baik karena secara matematik mudah dan sederhana. Diantara model-model regresi nonparametrik, Spline merupakan model regresi yang mempunyai interpretasi Statistik dan Visual sangat khusus dan sangat baik. Salah satu metode dalam regresi nonparametrik untuk mengestimasi kurva regresi yang diasumsikan tidak diketahui bentuknya dapat dilakukan dengan pendekatan spline. Disamping itu spline mampu menangani karakter data/fungsi yang mulus (smooth). Spline juga memiliki kemampuan yang sangat baik untuk menangani data yang perilakunya berubah-ubah pada sub-sub interval tertentu. Salah satu metode dalam regresi nonparametrik untuk mengestimasi kurva regresi yang diasumsikan tidak diketahui bentuknya dapat dilakukan dengan pendekatan spline. Penelitian ini mengkaji estimator spline dengan mengkaji inferensi uji Generalized Maximum Likelihood (GML) untuk menguji hipotesis dalam model spline, dan menyelidiki perilaku uji Generalized Maximum Likelihood (GML). Metode maksimum likelihood sangat membantu dalam mengestimasi kurva Regresi nonparametrik Spline pada data distribusi Normal multivariate karena suatu ketidaknormalan data dari regresi nonparametrik.

(6)

ABSTRACT

Nonparametric regression to estimate the regression curve obtained from Likelihood optimization can be quite a good choice because it is easy and simple mathematics.. Among the nonparametric regression models, spline regression is a model that has Visual interpretation of statistics and very special and very good. One of the methods in nonparametric regression to estimate the regression curve is assumed unknown shape can be done with spline approach. Besides spline able to handle character data / function smooth (smooth). Spline also has an excellent ability to handle the data behavior change in the sub-intervals.. This study examines the spline estimator to assess the test inference Generalized Maximum Likelihood (GML) to test the hypothesis in spline models, and investigate the behavior of test Generalized Maximum Likelihood (GML). Maximum likelihood method is helpful in estimating the spline nonparametric regression curve to the data for a multivariate normal distribution of data abnormalities of nonparametric regression.

(7)

DAFTAR ISI

PERSETUJUAN i

PERNYATAAN ii

PENGHARGAAN iii

ABSTRAK iv

ABSTRAC v

DAFTAR ISI vi

BAB I PENDAHULUAN

1.1Latar Belakang 1

1.2Perumusan Masalah 2

1.3Tinjauan Pustaka 2

1.4Tujuan Penelitian 5

1.5Kontribusi Penelitian 6

1.6Metode Penelitian 6

1.7Sistematika Penulisan 7

BAB II LANDASAN TEORI

2.1 Regresi Nonparametrik 9

2.1.1 Regresi Spline 11

2.2 Metode Maksimum Likelihood 15

2.3 Estimasi Metode Maksimum Likelihood 2.3 Distribusi Normal Multivariate BAB III PEMBAHASAN

3.1 Estimasi untuk Kurva Regresi Spline 17 3.2 Penaksiran dalam Distribusi Normal Multivariat 21

(8)

BAB IV PENUTUP

4.1 Kesimpulan 27

4.2 Saran 27

(9)

ABSTRAK

(10)

ABSTRACT

(11)

BAB I PENDAHULUAN

1.1Latar Belakang

Jika kita mempunyai data yang terdiri dari dua atau lebih variabel maka sewajarnya untuk mempelajari cara bagaimana variabel-variabel itu dapat berhubungan, hubungan yang didapat pada umumnya dinyatakan dalam bentuk matematika yang menyatakan hubungan fungsional antara variabel-variabel. Studi yang menyangkut masalah ini dikenal dengan analisis regresi. Dalam analisis regresi ada beberapa syarat yang harus dipenuhi agar hasil estimasi yang diperoleh adalah benar dan efektif.

Analisis regresi merupakan alat bantu statistika untuk melihat hubungan antara satu atau lebih variabel bebas atau variabel prediktor dan satu variabel tak bebas, untuk keperluan analisis, variabel bebas akan dinyatakan dengan X1,X2,…,Xk

Hasil yang diperoleh dari analisis regresi yang berfungsi untuk melihat hubungan antara 2 variabel yang atau lebih harus diartikan secara hati-hati. Meskipun perhitungan statistika yg digunakan ntuk menghitung estimasi kuat dan sifat hubungan antara variabel telah benar, estimasi statistikanya dapat bias.

(k>1) sedangkan variabel tak bebas akan dinyatakan dengan Y, pada umumnya variabel yang dikumpulkan dari survey atau observasi.

Jika parameter populasi tidak diketahui maka dilakukan estimasi tapi jika parameter diketahui maka dilakukan pengujian hipotesis untuk menguji kebenaran dari asumsi tentang parameter. Dalam mengestimasi parameter, maka perlu memilih metode yang tepat sesuai dengan keadaan dari populasi yang diteliti.

(12)

Dalam statistika inferensi, biasanya diasumsikan bahwa distribusi populasi diketahui. Teknik yang digunakan untuk menaksir nilai parameter bila distribusi populasi diketahui adalah metode maximum likelihood. Metode ini hanya mendasarkan inferensinya pada sampel. Tetapi jika distribusi populasi tidak diketahui maka metode maksimum likelihood tidak dapat digunakan.

1.2 Perumusan masalah

Pada penelitian ini rumusan masalah yang dibahas adalah bagaimana mengestimasi Regresi Nonparametrik dengan estimator Spline pada Generalized Maximum Likelihood yang berdistribusi normal multivariate

1.3 Tinjauan Pustaka

Dalam teknik-teknik dalam regresi nonparametrik memenuhi kebutuhan ini karena tetap valid walaupun tidak diperlukan pemenuhan asumsi kenormalan galat dan hanya berlandaskan asumsi-asumsi yang sangat umum.

Conover (1980) menjelaskan bahwa penggunaan regresi nonparametrik dilandasi pada asumsi:

a. contoh yang diambil bersifat acak dan kontinu ; b. regresi (Y/X) bersifat linier;

c. semua nilai Xi

Regresi nonparametrik merupakan pendekatan regresi yang sesuai untuk pola data yang tidak diketahui bentuknya atau tidak terdapat informasi masa lalu tentang pola data.

(13)

MAKSIMUM LIKELIHOOD ESTIMATORS

Misalkan variabel acak dengan fungsi probabilitas, dimana merupakan himpunan parameter yang tidak diketahui dan saling independent maka pengkonstruksian fungsi likelihood dapat dinyatakan

f (X1,X2, …, Xn:β) = f(X1,β), f(X2,β), …,f( Xn

,β)

∏

n i

Xi f 1

) ,

( β

= L(β ǀ X1,X2, …, Xn

Setelah fungsi likelihood dikonstruksi, langkah selanjutnya adalah mencari nilai estimator yang memaksimumkan fungsi likelihood tersebut. Dalam hal ini, memaksimumkan fungsi likelihood dilakukan dengan menurunkan fungsi likelihood terhadap parameter. Kemudian persamaan hasil turunan tersebut disamakan dengan nol sehingga dapat diperoleh nilai estimator parameter yang memaksimumkan fungsi likelihood tersebut.

)

DISTRIBUSI SAMPLING MULTIVARIATE

Misalkan x sebagai sampel random sampling dari distribusi normal univariat dengan

mean μ dan variansi σ2 _{dinyatakan sebagai N(μ,σ}2

1 1

( ) exp ;

2 2 .

f x µ x

σ π σ

−

 

= − _ _ − ∞ < < ∞

 

) dengan fungsi densitas probabilitasnya:

Kuantitas

2 2 (x µ)

− ₌ 2 2

(x−µ σ) − = −(x µ σ) −2(x−µ)untuk membawa ke

(14)

Misalkan 1, 2,...., T p

X = x x x _

 sebagai sampel random dari distribusi normal

multivariat p-dimensi dengan vektor mean µ 

dan kovarian matrik ∑_pxp dinyatakan

sebagai N_p( , )µ ∑

 . Dengan fungsi densitas probabilitasnya dinyatakan dalam

bentuk:

( )

1 1

2 2

1 1

( ) ex p ( ) ( ) ;

2 .

T p

f x x µ x µ x

−

= − − ∑ − − ∞ < < ∞

∑

  _  _ ;

dengan kuantitas (x−µ)T∑−1(x−µ) merupakan elipsoid.

Model Regresi Linier Multivariat merupakan perluasan dari model Regresi Linier Berganda pada statistik univariat. Model Regresi Linier Multivariat ini dalam bentuk matriks dapat dituliskan sebagai Y = XB +E , dimana Y , X, B dan E berbentuk matriks. Model Regresi Linier Multivariat ini mempunyai parameter yang harus diestimasi yaitu B Selain B, parameter lain yang harus diestimasi adalah

matriks kovarian Σ , dimana matriks kovarian ini menunjukkan variasi pada

pengamatan respon Y.

Selanjutnya akan ditentukan distribusi beserta sifat – sifat dari kedua parameter tersebut. Dalam mencari estimator parameter B dan estimator matriks kovarian digunakan metode Maximum Likelihood Estimation (MLE) sehingga

diperoleh Βˆ dan Σˆ . Untuk kajian distribusi dari estimator parameter model Regresi Liner Multivariat diperoleh dengan menunjukkan bahwa estimator tersebut merupakan kombinasi linier dari elemen error model.

(15)

1.4Tujuan Penelitian

Penelitian ini bertujuan untuk melakukan pengestimasian Regresi Nonparametrik spline dengan Generalized Maximum Likelihood serta menyelidiki penerapan Metode Maksimum Likelihood dalam distribusi normal multivariat.

1.5Manfaat Penelitian

1. Sebagai bahan acuan untuk mempelajari permasalahan estimasi guna memudahkan dalam mengambil keputusan

2. Mengembangkan pengestimasian model regresi nonparametrik dengan menggunakan metode maksimum likelihood

3. Mengetahui penerapan metode maksimum likelihood dalam pengidentifikasian outlier distribusi normal multivariate

1.6 Metode Penelitian

Penelitian ini merupakan kajian literatur yang kemudian dikembangkan. Hal ini dilakukan pembahasan tentang mengestimasi titik kurva regresi nonparametrik dengan menggunakan maximum likelihood. Adapun metode penelitiannya:

1. Menjelaskan tentang bentuk umum dari regresi nonparametrik 2. Menjelaskan tentang metode maksimum likelihood

3. Menjelaskan mengenai model regresi nonparametrik spline

4. Menjelaskan bagaimana likelihood dapat mengestimasi kurva regresi f yang termuat dalam suatu ruang tertentu

(16)

1.7 Sistematika Penulisan

Sistematika penulisan diuraikan untuk memberikan kerangka atau gambaran dari Skripsi ini yaitu sebagai berikut ;

BAB 1 : PENDAHULUAN

Pada bab ini berisi tentang latar belakang pengambilan judul, perumusan masalah, tinjauan pustaka, tujuan penelitian, manfaat penelitian, metode penelitianserta sistematika penulisan.

BAB 2 : LANDASAN TEORI

Pada Bab ini berisi tentang bentuk fungsi regresi nonparametrik, regresi nonparametrik spline dalam ruang tertentu, distribusi normal multivariat, distribusi normal univariat serta perbedaan keduanya.

BAB 3 : PEMBAHASAN

Pada Bab ini menjelaskan pembahasan Hubungan antara variabel yaitu estimasi kurva f regresi nonparametrik spline dalam suatu ruang tertentu dengan metode maksimum likelihood serta distribusi normal multivariat.

BAB 4 : KESIMPULAN DAN SARAN

Pada Bab ini berisikan tentang kesimpulan dan saran dari hasil analisa yang dilakukan.

(17)

BAB II

LANDASAN TEORI

2.1 Regresi Nonparametrik

Metode statistika nonparametrik merupakan metode statistika yang dapat digunakan dengan mengabaikan asumsi-asumsi yang melandasi penggunaan metode statistik parametrik. Terutama yang berkaitan dengan distribusi normal. Nama lain yang sering digunakan untuk statistika nonparametrik adalah statistik bebas distribusi.

Istilah yang sering digunakan untuk statistika nonparametrik adalah distribution free statistic atau assumption free test. Dari istilah ini dapat dikatakan bahwa pendekatan statistika nonparametrik merupakan metode penggunaan yang tidak terikat asumsi tentang kurva regesi tertentu. Kurva regresi berdasarkan model regresi nonparametrik ini diawali oleh model yang disebut model regresi nonparametrik.

Regresi nonparametrik memiliki fleksibelitas yang tinggi dalam menafsirkan kurva regresi, karena tidak mengasumsikan bentuk kurva regresi. Dalam pandangan regresi nonparametrik berdasarkan data yang diharapkan dapat dicari taksiran kurva tanpa dipengaruhi oleh subyektifitas dari peneliti (Eubank,1999 : 10).

Ada beberapa teknik penaksiran nilai variabel respon (Y) dalam regresi nonparametrik yakni estimator kernel dan estimator spline.

Berikut ini adalah bentuk umum regresi nonparametrik :

i i x f

(18)

Dengan yi f (x

= variabel respon i

) = fungsi nonparametrik i

Tujuan dari regresi nonparametrik adalah untuk menentukan pada penaksiran fungsi regresi daripada penaksiran parameter, kebanyakan dari regresi nonparametrik sederhana secara tidak langsung juga disebut “ scratles plot smoothing “ karena penggunaannya adalah untuk menentukan kurva yang mulus melalui plot pencar y terhadap x (Simanjuntak,2009)

= error, faktor pengguna yang tidak dapat dijelaskan oleh model

Statistika nonparametrik disebut juga statistika bebas sebaran, statistika nonparametrik tidak mensyaratkan bentuk sebaran parameter populasi. Statistika nonparametrik dapat digunakan pada data yang sebaran normal atau ordinal.

Conover (1980) menjelaskan bahwa penggunaan regresi nonparametrik dilandasi pada asumsi:

a. contoh yang diambil bersifat acak dan kontinu ; b. regresi (Y/X) bersifat linier;

c. semua nilai Xi

Regresi nonparametrik merupakan pendekatan regresi yang sesuai untuk pola data yang tidak diketahui bentuknya atau tidak terdapat informasi masa lalu tentang pola data.

saling bebas.

Regresi nonparametrik merupakan suatu metode statistika yang digunakan untuk mengetahui hubungan antara variabel respon dengan prediktor yang tidak diketahui bentuk fungsinya, diasumsikan sebagai pemulus dalam suatu ruang fungsi tertentu.

(19)

2.1.1 Regresi Nonparametrik Spline

Ada beberapa teknik estimasi dalam regresi nonparametrik antara lain pendekatan histogram, estimator spline, estimator kernel, estimator deret orthogonal, analisis wavelet dan lain-lain. Pendekatan estimator spline ada bermacam-macam antara lain spline original, spline type M, spline relaxed, spline terbobot dan lain-lain.

Diantara model-model regresi nonparametrik di atas, Spline merupakan model regresi yang mempunyai interpretasi Statistik dan Visual sangat khusus dan sangat baik. Disamping itu Spline mampu menangani karakter data/fungsi yang mulus (smooth). Spline juga memiliki kemampuan yang sangat baik untuk menangani data yang perilakunya berubah-ubah pada sub-sub interval tertentu.

Bentuk umum dari regresi nonparametrik spline

i i t f

yi= ( )+ε Dimana f(ti

Dalam regresi nonparametrik Spline, penduga kurva regresi diperoleh dari optimasi PLS atau Penalized Likelihood (PL). Namun untuk menduga kurva regresi yang diperoleh dari optimasi Likelihood dapat menjadi pilihan yang cukup baik karena secara matematik mudah dan sederhana.

) merupakan fungsi yang tidak diketahui yang diduga dan diasumsikan merupakan fungsi yang kontinu diferensiabel.

2.2 Metode Maksimum Likelihood

Metode maksimum likelihood adalah suatu teknik yang sering digunakan pada model parametrik baik untuk mencari penduga parameter maupun kontruksi statistik uji. Metode ini pada. perkembangannya dapat digunakan pula pada model

(20)

nonparametrik dengan pendekatan secara. empiris pada fungsi distribusinya, sehingga dinamakan metode empirical Likelihood.

Dari dua metode tersebut, dapat digunakan untuk mengkontruksi statistik uji kesamaan dua mean pada model semiparametrik (situ Model parametrik dan model yang lain nonparametrik), yaitu dengan metode Maximum Semi — empirical Likelihood Rati test (kombinasi dari metode Likelihood clan metode empirical Likelihood ).

Misalkan X1,X2,…,Xn menyatakan peubah acak yang saling bebas dengan fungsi pada peluangnya dinyatakan oleh f(xi,β) dengan β adalah parameter yang ditaksir dengan metode maksimum likelihood, maka fungsi padat peluang gabungannya adalah :

f (X1,X2, …, Xn:β) = f(X1,β), f(X2,β), …,f( Xn

,β)

∏

n i

Xi f 1

) ,

( β

= L(β ǀ X1,X2, …, Xn

Sedangkan metode maximum likelihood estimation adalah merupakan suatu metode untuk memilih estimator yang membuat probabilitas sampel yang diteliti menjadi maksimum.

)

Adapun Fungsi Likelihood yaitu:

L _

  



₋ − +

= 1 0 ₂ 1 1 2

5 , 0 2

)) (

( exp ) 2 (

σ β β πσ

X y

(21)

_      − +

− 2 0 ₂ 1 2 2

5 , 0 2 2 )) ( ( exp ) 2 ( 1 σ β β πσ X y

X . . . X

_      − +

− 0 ₂ 1 2

5 , 0 2 2 )) ( ( exp ) 2 ( 1 σ β β

πσ n n

X y .      ₋ ₋ ₊ =

∑

= n i i i

n y X

L 1 2 1 0 2 5 , 0

2 ( ( ))

2 1 exp ) 2 (

1 _β _β

σ πσ

. ln fungsi likelihood :

∑

= − − = − + −       − + = + −      − + = n i i i n n i i i n X y X y L 1 2 1 0 1 2 5 , 0 2 1 2 1 0 2 5 , 0 2 )) ( ( 2 ) ( ) 2 ln( )) ( ( 2 1 ) 2 ln( ln β β σ πσ β β σ πσ

Penurunan fungsi likelihood

0 ) ( ) ( 2 1 ) 1 ( 1 2 )) ( ( ) ( 2 1 ) 1 ( 1 2 ) ( ln 1 2 2 2 2 1 2 1 0 2 2 2 2 =       − − − = + −       − − − =

∑

= − = − n i i n i i i n X y n d L d ε σ σ β β σ σ σ

∑

= = − _ ₌      = n i i n i

i maka n

n 1 2 2 1 2 2

2 ( ) ˆ ( ) /

2 1 1

2σ σ ε σ ε

2.3 Estimasi Parameter Metode Maximum Likelihood

Maximum likelihood Estimation adalah suatu metode pendugaan klasik yang paling popular untuk digunakan pada proses pendugaan parameter. Cryer (1986) MLE menggunakan keseluruhan informasi dari data pengamatan. Tahap penggunaan metode MLE terdiri dari tahap utama yaitu pengkontruksian fungsi likelihood (perkalian fungsi kepadatan peluang tiap-tiap amatan) dan memaksimumkan fungsi likelihoodnya.

(22)

2.4 Distribusi Normal Multivariat

Distribusi normal multivariat merupakan suatu distribusi yang diperoleh dari perluasan distribusi normal univariat, perbedaannya dapat dilihat pada dimensinya.

Pada univariat dimensi yang digunakan adalah 1 (p=1), sedangkan untuk bivariat dimensi yang digunakan adalah 2 (p=2) dan untuk multivariate dimensi yang digunakan lebih dari 2 (p>2). Salah satu keuntungan yang diperoleh dari distribusi normal multivariat, adalah secara matematis mudah digunakan dan hasil yang diperoleh memuaskan dan baik serta serta menarik dalam pelaksanaannya (Johnson dan Wicher,2002).

Meskipun demikian, distribusi normal multivariat dalam prakteknya digunakan untuk 2 alasan. Pertama, distribusi normal disajikan sebagai model populasi yang dapat dipercaya di beberapa hal. Kedua, distribusi sampel dari beberapa statistic multivariat secara pendekatannya adalah berdistribusi normal (Johnson danWichern,2002)

Menurut Rencher (2002), beberapa sifat penting dari distribusi normal multivariat diantaranya adalah

(1) distribusi dapat secara lengkap digambarkan hanya melalui rata-rata, variansi dan kovariansi;

(2) plot bivariat dari data multivariat dapat menunjukkan trend linier;

(3) fungsi linier dari variabel yang berdistribusi normal multivariat juga akan berdistribusi normal;

Apabila X mempunyai distribusi normal multivariat dengan vektor ratarata μ dan matriks kovariansi Ʃ, maka fungsi densitas normal multivariatnya

(23)

( )

1 1

2 2

1 1

( ) ex p ( ) ( ) ;

2 .

T p

f x x µ x µ x

−

= − − ∑ − − ∞ < < ∞

∑

  _  _ ;

Dengan

p : banyaknya variabel

Ʃ : matriks kovariansi µ : vector

Variabel acak X dikatakan berdistribusi normal dengan rata-rata=µ, dan variansi = , dimana > 0, jika fungsi kepadatan probabilitas dari X tertentu oleh rumus

f(X)= , untuk -∞ <X<∞

Grafik dari y= f(X) merupakan kurva atau garis lengkung, yang lazim dikatakan berbentuk lonceng (irisan bentuk lonceng).

Pada situasi multivariate terlihat lebih dari satu variabel. Sekelompok variabel (X1,X2,…,Xn) dikatakan berdistribusi normal p-variate dengan vector rata-rataµ= (µ1,µ2,…,µn) dan matriks kovarian atau matriks dispersi Ʃ.

(24)

BAB III PEMBAHASAN

3.1 Estimasi Untuk Kurva Regresi Spline

Fungsi regresi nonparametrik yang telah ditulis pada bab sebelumnya adalah y_i= f(x_i) + ε

Menurut Fahmeir dan Tuhtz (1994) Taksiran kurva pemulusan f(x

i) diperoleh dari data observasi (xi,yi) dengan i=1,2,…,m. Fungsi f(xi) merupakan kurva diasumsikan tidak diketahui bentuknya tetap, f(xi) hanya termuat dalam suatu ruang fungsi termuat di dalam ruang tertentu atau ditulis f ϵ WkP[a,b], dengan xi

ϵ [a,b] dengan:

kP[a,b]= {g;

∫

(f (p) (X))kdx<∞}

Untuk suatu p bilangan positif dan ϵi sesatan random yang diasumsikan berdistribusi normal dengan rata-rata nol dan varians σ2

Selanjutnya estimasi titik untuk kurva f diperoleh dengan menggunakan Optimasi Likelihood. Diberikan suatu Basis untuk ruang Spline berorde k (Budiantara,2001(b)) berbentuk:

.(Wahba,1990)

1, ,..., .(t tk t−λ) ,..., (k₊ t−λ_n)k₊

dengan (t−λ)k₊ = ( ) , 0,

t t t

λ λ

 − ≥

 < 

(25)

dan λ1, λ2, λ3

f(t

merupakan titik-titik knots. Titik knots merupakan titik perpaduan bersama yang memperlihatkan terjadinya perubahan pola prilaku dari fungsi Spline pada interval-interval yang berbeda. Untuk setiap fungsi f dalam ruang Spline dapat dinyatakan menjadi :

∑

= + + = − + n r k r i k r k j j i

jt t

1 0 ) ( λ γ γ

)= (1)

dengan γj γ

merupakan konstanta yang bernilai real. j ,

Maka Model regresi Spline dapat ditulis menjadi : j= 0,1,…,k,k+1, …,k+n

y_i= f(t_i) + ε_i

∑

= + + = + − + n r i k r i k r k j j i

jt t

1 0

)

( λ ε

γ γ

Apabila diasumsikan sesatan random ε_i

berdistribusi normal independen dengan mean nol dan variansi , maka y_ijuga berdistribusi normal dengan mean f( t_i

) dan variansi . Akibatnya diperoleh fungsi Likelihood:

L(y,f)

{

(

)

_

}

    ₋ − = − =

∏

2 2 / 1 1 2 2 )) ( ( exp 2 σ

πσ i i

m i t f y = _     ₋ − − 2 2 2 / 2 2 )) ( ( exp ) 2 ( σ πσ m yi f ti

(26)

Estimasi titik untuk f diperoleh dengan menyelesaikan Optimasi Likelihood

Max

{

L(y,f)

}

− −

∑

= − ∈ ++ m i i m R y Max n 1 2 2 / 2 ( 2 1 exp( ) 2 {( 1

2 πσ σ

∑

₌ +

∑

₌ + − +

n r k r r k j j i

jt x

1 2 0 ) ( λ γ

γ )2

Apabila diambil transformasi Logaritma dan mengingat persamaan (1) maka diperoleh fungsi :

Log L(y,λ,γ)= − −

∑

−

= m i i y m 1 2 2 ( 2 1 ) 2 log(

2 πσ σ

∑

+ + = − + n r k r r k j j i

jt x

1 2 0 ) ( λ γ

γ )2

Dengan penyajian matriks, diperoleh:

Log L(y,λ,γ)= ( (, ) )'( ( , ) ) 2 1 ) 2 log( 2 2

2 λ γ λ γ

πσ y T t y T t

m − − − − (2)

denganγ =(γ₀,γ₁,γ₂,γ₃,...,γ₆)

y=(y1,…,yn) dan S(t,λ) matrik berukuran mx(n+3) diberikan oleh :

S(T, λ)= 2

1 1 1 1 1

2 2 2 1

2 ( ) ( ) ( ) ( ) ( , ) ( ) ( ) n k k k k n k k

m m m m m n

t t t t

S T

t t t t

λ λ λ λ λ λ λ + + + + + +  − −    − −        − −         

Apabila persamaan (2) diderivatifkan parsial terhadap γ kemudian hasilnya

disamakan dengan nol, didapat :

0 ) ) , ( ( ) ) , ( ( 2 1 ) , , ( log ,

2 =

  ₋ ₋ ₋ ∂ ∂ = ∂

∂ _λ _γ _λ _γ

σ γ γ γ λ t S y t S y y L

(27)

Dengan sedikit penjabaran dan mengingat S(t,λ) merupakan matriks dengan rank

penuh, maka diperoleh estimasi Likelihood untuk γ adalah :

y t S t

S t

t, ) [ ( , ) ( , )] '( , )

( ' 1

λ λ

γ ₌ ₋ −

Estimator kurva regresi f(x) diberikan oleh :

) , ( ^

λ t

f S(t,λ)[S'(t,λ)−S(t,λ)]−1S'(t,λ)y

y t W(,λ) =

Dengan

y t

W( ,λ) =S(t,λ)[S'(t,λ)−S(t,λ)]−1S'(t,λ)

Terlihat bahwa ( , ) ^

f merupakan estimator linear dalam observasi y dan sangat tergantung pada titik knots λ₁,λ₂,...,λ_m . Dalam model Spline titik knots harus dipilih dengan metode Generalized Maximum Likelihood (GML) (Wang,1998), atau metode-metode yang lainnya. Estimator linear ini sangat membantu dalam membangun inferensi Statistik, seperti interval konfidensi untuk kurva regresi f.

3.2 Penaksiran Dalam Distribusi Normal Multivariat

Ketika asumsi distribusi normal multivariat telah terpenuhi untuk suatu populasi tertentu, maka penaksir parameter seringkali dapat ditentukan dengan metode MLE.

(28)

Menurut Rencher(2002), metode ini secara konsep adalah sederhana yaitu dimisalkan diketahui vektor pengamatan x1, x2,...xn dan nilai μ dan Ʃ ditentukan

sedemikian rupa sehingga memaksimumkan densitas bersama dari X, yang disebut sebagai likelihood function. Karena Xi dinyatakan sebagai suatu variabel acak, maka Xi

∏

= ∑ = ∑ n i i

n f x

x x x L 1 2

1, ,..., , , ) ( , , )

( µ µ

akan saling bebas dan densitas bersamanya merupakan perkalian dari densitas x, sehingga fungsi likelihood adalah :

( ) ( )/2

1 1/2

exp )

2 (

1 µ µ

π − ∑ − − = −

∏

∑

= xi t xi

n i p 2 / ) ( ) ( 2 / 1 1 exp ) 2 (

1 µ µ

π − ∑ − − − = ∑ ∑ = i t i n i x x n np

Untuk melihat bahwa = x ^

µ memaksimumkan fungsi likelihood, dimulai dengan menambah dan mengurangi x kedalam eksponen dalam Persamaan diatas, sehingga menjadi :

( ) ( )

1 1

µ ∑ − + −

− + −

− −

∑

x x x xi x x

t i

n i

Ketika bentuk diatas diperluas dalam bentuk x_i −x dan ^ µ

−

x maka akan

memberikan hasil Ʃi xi −x=0 sehingga persamaanya menjadi

(29)

L 2 / ) ( ) ( 2 / ) ( ) ( 2 / 1 1 1 exp ) 2 (

1 µ µ

π − ∑ − − − ∑ − − − − = ∑ ∑ = i t i i t n i x x n x x x xi n np

Oleh karena Ʃ-1

0 2 / ) ( )

( − ∑ 1 − ≤

− _µ − _µ

x x

n t

merupakan matriks yang definitive positif maka diperoleh

dan 0 < exp−n(xi−µ)t∑−1(xi−µ)/2 ≤1

Dimana nilainya akan maksimum pada eksponen sama dengan 0, sehinggal L

akan memaksimumkan pada saat =x ^

Sehingga variabel acak berdistribusi normal multivariate, penaksiran maksimum likelihood dari µ dan Ʃ adalah :

∑

= = n i i x n x 1 ^ 1 µ T i n i

i x x x x

n ( )( )

1 0 ^ − − = ∑

∑

= W n 1 ^ = ∑

Dimana W= T

i n

i x x x x

n 1 ( )( )

1 0

− −

−

∑

(30)

BAB IV PENUTUP

4.1 Kesimpulan

1. Terlihat bahwa ( , ) ^

f merupakan estimator linear dalam observasi y dan sangat tergantung pada titik knots λ₁,λ₂,...,λ_m . Dalam model Spline titik knots harus dipilih dengan metode Generalized Maximum Likelihood (GML) atau metode-metode yang lainnya. Estimator linear ini sangat membantu dalam membangun inferensi Statistik, seperti interval konfidensi untuk kurva regresi f.

2. Pada distribusi normal multivariat telah terpenuhi untuk suatu populasi tertentu, maka penaksir parameter seringkali dapat ditentukan dengan metode MLE.

4.2 Saran

Dari hasil kesimpulan disarankan bahwa Metode maksimum likelihood sangat membantu dalam mengestimasi kurva Regresi nonparametrik Spline pada data distribusi Normal multivariate karena suatu ketidaknormalan data dari regresi nonparametrik.

(31)

DAFTAR PUSTAKA

Draper, N. dan Harry Smith. 1981. Applied Regression Analisys. John Wiley & Sons, Inc.New York.

Wahba, G. (1990). Spline Models for Observational Data. SIAM, Philadelphia. Green, P. J. and Silverman, B. W. (1994). Nonparametric Regression and Generalized Linear Models. CRC Press.

W. Hardle (1 992). Applied Nonparametric Regression, reprint edition, Cambridge University Press.

R.L. Eubank ( I 999). Spline Smoothing and Nonparametric Regression, 2nd edition, Marcel Dekker/CRC.

C. Loader (1999). Local Regression and Likelihood, Springer-Verlag.

L. Fahrmeir, and G. Tutz (2001). Multivariate Statistical Modelling Based on Generalized Linear Models, 2nd edition, Springer-Verlag.

G. Wahba (1990). Spline Models for Observational Data, Society for Industrial and Applied Mathematics.

JURNAL

Nonparametric Regression,Appendix to An R and S-PLUS Companion to Applied Regression John Fox, January 2002

Budiantara, I. N. 2001. “Regresi Nonparametrik dan Semiparametrik Serta

Perkembangannya”. Makalah Pembicara Utama pada Seminar Nasional Alumni Pasca

Sarjana Matematika Universitas Gadjah Mada. Yogyakarta.

Budiantara, I. N. 2006. “Regresi Nonparametrik Dalam Statistika”. Makalah Pembicara

Utama pada Seminar Nasional Matematika, Jurusan Matematika Fakultas Matematika dan Ilmu Pengetahua Alam. Universitas Negeri Makasar (UNM), Makasar.

Budiantara, I. N. 2009. “Spline dalam Regresi Nonparametrik dan Semiparametrik : Sebuah

Pemodelan Statitika Masa Kini dan Masa Mendatang”. Pidato Pengukuhan Untuk

Jabatan Guru Besar Dalam Bidang Matematika Statistika dan Probabilitas. Jurusan Statistika, FMIPA, ITS ,Surabaya

(1)

Estimasi titik untuk f diperoleh dengan menyelesaikan Optimasi Likelihood j

Max

{

L(y,f)

}

− −

∑

= − ∈ ++ m i i m R y Max n 1 2 2 / 2 ( 2 1 exp( ) 2 {( 1

2 πσ σ

∑

₌ +

∑

₌ + − +

n r k r r k j j i

jt x

1 2 0 ) ( λ γ

γ )2

Apabila diambil transformasi Logaritma dan mengingat persamaan (1) maka diperoleh fungsi :

Log L(y,λ,γ)= − −

∑

−

= m i i y m 1 2 2 ( 2 1 ) 2 log(

2 πσ σ

∑

+ + = − + n r k r r k j j i

jt x

1 2 0 ) ( λ γ

γ )2

Dengan penyajian matriks, diperoleh:

Log L(y,λ,γ)= ( (, ) )'( ( , ) ) 2 1 ) 2 log( 2 2

2 λ γ λ γ

πσ y T t y T t

m − − − − (2) denganγ =(γ₀,γ₁,γ₂,γ₃,...,γ₆)

y=(y1,…,yn) dan S(t,λ) matrik berukuran mx(n+3) diberikan oleh :

S(T, λ)= 2

1 1 1 1 1

2 2 2 1

2 ( ) ( ) ( ) ( ) ( , ) ( ) ( ) n k k k k n k k

m m m m m n

t t t t

S T

t t t t

λ λ λ λ λ λ λ + + + + + +  − −    − −        − −         

Apabila persamaan (2) diderivatifkan parsial terhadap γ kemudian hasilnya disamakan dengan nol, didapat :

0 ) ) , ( ( ) ) , ( ( 2 1 ) , , ( log ,

2 =

  ₋ ₋ ₋ ∂ ∂ = ∂

∂ _λ _γ _λ _γ

σ γ γ γ λ t S y t S y y L

(2)

Dengan sedikit penjabaran dan mengingat S(t,λ) merupakan matriks dengan rank penuh, maka diperoleh estimasi Likelihood untuk γ adalah :

y t S t

S t

t, ) [ ( , ) ( , )] '( , )

( ' 1

λ λ

γ ₌ ₋ −

Estimator kurva regresi f(x) diberikan oleh : =

) , ( ^

f S(t,λ)[S'(t,λ)−S(t,λ)]−1S'(t,λ)y y

t W(,λ)

= Dengan

y t

W( ,λ) =S(t,λ)[S'(t,λ)−S(t,λ)]−1S'(t,λ) Terlihat bahwa ( , )

^ λ

3.2 Penaksiran Dalam Distribusi Normal Multivariat

Ketika asumsi distribusi normal multivariat telah terpenuhi untuk suatu populasi tertentu, maka penaksir parameter seringkali dapat ditentukan dengan metode MLE.

(3)

Menurut Rencher(2002), metode ini secara konsep adalah sederhana yaitu dimisalkan diketahui vektor pengamatan x1, x2,...xn dan nilai μ dan Ʃ ditentukan

sedemikian rupa sehingga memaksimumkan densitas bersama dari X, yang disebut sebagai likelihood function. Karena Xi dinyatakan sebagai suatu variabel acak, maka

∏

∑ =

∑ n

i i

n f x

x x x L

1 2

1, ,..., , , ) ( , , )

( µ µ

akan saling bebas dan densitas bersamanya merupakan perkalian dari densitas x, sehingga fungsi likelihood adalah :

( ) ( )/2

1 1/2

exp )

2 (

1 µ µ

− ∑ − − =

−

∏

∑

= xi t xi

i p

2 / ) ( ) ( 2

1 1

exp )

2 (

1 µ µ

− ∑ −

− −

∑ ∑

= i

t i n i

x x

n np

Untuk melihat bahwa = x ^

µ memaksimumkan fungsi likelihood, dimulai dengan menambah dan mengurangi x kedalam eksponen dalam Persamaan diatas, sehingga menjadi :

( ) ( )

1 1

µ ∑ − + −

− + −

− −

∑

x x x xi x x

t i

n i

Ketika bentuk diatas diperluas dalam bentuk x_i −x dan ^

−

x maka akan memberikan hasil Ʃi xi −x=0 sehingga persamaanya menjadi

(4)

2 / ) ( ) ( 2 / ) ( ) ( 2

1 1

exp )

2 (

1 µ µ

− ∑ − − − ∑ −

− − −

∑ ∑

= i

t i i

t n i

x x

n x x x xi n

Oleh karena Ʃ-1

0 2 / ) ( )

( − ∑ 1 − ≤

− _µ − _µ

x x

n t

merupakan matriks yang definitive positif maka diperoleh dan 0 < exp−n(xi−µ)t∑−1(xi−µ)/2 ≤1

Dimana nilainya akan maksimum pada eksponen sama dengan 0, sehinggal L akan memaksimumkan pada saat =x

^ µ

Sehingga variabel acak berdistribusi normal multivariate, penaksiran maksimum likelihood dari µ dan Ʃ adalah :

∑

= n

i i x n x

1 ^

1 µ

T i n

i x x x x

n ( )( )

1 0 ^

− −

∑

W n 1 ^

= ∑

Dimana W= T

i n

i x x x x

n 1 ( )( )

1 0

− −

−

∑

(5)

BAB IV PENUTUP

4.1 Kesimpulan

1. Terlihat bahwa ( , ) ^

f merupakan estimator linear dalam observasi y dan sangat tergantung pada titik knots λ₁,λ₂,...,λ_m . Dalam model Spline titik knots harus dipilih dengan metode Generalized Maximum Likelihood (GML) atau metode-metode yang lainnya. Estimator linear ini sangat membantu dalam membangun inferensi Statistik, seperti interval konfidensi untuk kurva regresi f.

2. Pada distribusi normal multivariat telah terpenuhi untuk suatu populasi tertentu, maka penaksir parameter seringkali dapat ditentukan dengan metode MLE.

4.2 Saran

(6)

DAFTAR PUSTAKA

Draper, N. dan Harry Smith. 1981. Applied Regression Analisys. John Wiley & Sons, Inc.New York.

Wahba, G. (1990). Spline Models for Observational Data. SIAM, Philadelphia. Green, P. J. and Silverman, B. W. (1994). Nonparametric Regression and Generalized Linear Models. CRC Press.

W. Hardle (1 992). Applied Nonparametric Regression, reprint edition, Cambridge University Press.

R.L. Eubank ( I 999). Spline Smoothing and Nonparametric Regression, 2nd edition, Marcel Dekker/CRC.

C. Loader (1999). Local Regression and Likelihood, Springer-Verlag.

L. Fahrmeir, and G. Tutz (2001). Multivariate Statistical Modelling Based on Generalized Linear Models, 2nd edition, Springer-Verlag.

G. Wahba (1990). Spline Models for Observational Data, Society for Industrial and Applied Mathematics.

JURNAL

Nonparametric Regression,Appendix to An R and S-PLUS Companion to Applied Regression John Fox, January 2002

Budiantara, I. N. 2001. “Regresi Nonparametrik dan Semiparametrik Serta

Perkembangannya”. Makalah Pembicara Utama pada Seminar Nasional Alumni Pasca Sarjana Matematika Universitas Gadjah Mada. Yogyakarta.

Budiantara, I. N. 2006. “Regresi Nonparametrik Dalam Statistika”. Makalah Pembicara Utama pada Seminar Nasional Matematika, Jurusan Matematika Fakultas Matematika dan Ilmu Pengetahua Alam. Universitas Negeri Makasar (UNM), Makasar. Budiantara, I. N. 2009. “Spline dalam Regresi Nonparametrik dan Semiparametrik : Sebuah Pemodelan Statitika Masa Kini dan Masa Mendatang”. Pidato Pengukuhan Untuk Jabatan Guru Besar Dalam Bidang Matematika Statistika dan Probabilitas. Jurusan Statistika, FMIPA, ITS ,Surabaya

Estimasi Model Regresi Nonparametrik Dengan Menggunakan Metode Maksimum Likelihood Pada Distribusi Normal Multivariat

ESTIMASI MODEL REGRESI NONPARAMETRIK DENGAN

MENGGUNAKAN METODE MAKSIMUM LIKELIHOOD PADA

DISTRIBUSI NORMAL MULTIVARIAT

SKRIPSI

NOVIA BUDHI ASTRI TARIGAN

090823021

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN

ALAM

UNIVERSITAS SUMATERA UTARA

MEDAN

ESTIMASI MODEL REGRESI NONPARAMETRIK DENGAN

MENGGUNAKAN METODE MAKSIMUM LIKELIHOOD PADA

DISTRIBUSI NORMAL MULTIVARIAT

SKRIPSI

NOVIA BUDHI ASTRI TARIGAN

090823021

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN

ALAM

UNIVERSITAS SUMATERA UTARA

MEDAN

PERNYATAAN

ESTIMASI MODEL REGRESI NONPARAMETRIK DENGAN

MENGGUNAKAN METODE MAKSIMUM LIKELIHOOD PADA

FUNGSI DISTRIBUSI MULTIVARIAT

∏

( )

∏

∑

∑

∑

∑

∑

∑

∑

( )

∫

∑

∑

∑

∑

{

(

)

}

∏

{

}

∑

∑

∑

∑

∑

∑

∏

∏

∑

∑

∑

∑

{

}

∑

∑

∑

∑

∑

∑

∏

∏

∑

∑

∑

∑

Parts

Dokumen yang terkait

Penggunaan Metode Maksimum Likelihood Dalam Menaksir Parameter Distribusi Gamma

Penaksiran Parameter Dan Pada Distribusi Normal Menggunakan Metode Bayes Dan Maksimum Likelihood