Pendugaan Fungsi Sebaran dalam Model Nonparametrik
PENDUGAAN FUNGSI SEBARAN DALAM MODEL
NONPARAMETRIK
RONI WIJAYA
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2013
PERNYATAAN MENGENAI SKRIPSI DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa skripsi berjudul Pendugaan Fungsi
Sebaran dalam Model Nonparametrik adalah benar karya saya dengan arahan dari
komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan
tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang
diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks
dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, Juni 2013
Roni Wijaya
NIM G54080042
ABSTRAK
RONI WIJAYA. Pendugaan Fungsi Sebaran dalam Model Nonparametrik.
Dibimbing oleh I WAYAN MANGKU dan SISWANDI.
Statistika nonparametrik merupakan alternatif dari statistika parametrik
ketika asumsi-asumsi yang mendasari dalam statistika parametrik tidak dapat
terpenuhi, seperti tidak diketahuinya fungsi sebaran. Statistika nonparametrik
sering disebut sebagai prosedur yang bebas distribusi (free-distibution
procedures) karena tidak mengacu pada distribusi tertentu. Dalam karya ilmiah ini
dibahas tentang pendugaan fungsi sebaran dalam model nonparametrik dan dititik
beratkan pada keluarga nonparametrik. Tujuan karya ilmiah ini adalah untuk
mempelajari model pendugaan nonparametrik pada fungsi sebaran empiris,
dinotasikan
yang independent and identically distributed (iid) dan
merupakan maximum likelihood untuk suatu fungsi sebaran yang tidak diketahui.
merupakan penduga takbias terhadap
dengan
atau
adalah uniformly minimum variance
unbiased estimator (UMVUE) dan
-konsisten untuk
.
Kata kunci: penduga nonparametrik, fungsi sebaran secara empiris, likelihood.
ABSTRACT
RONI WIJAYA. Estimation in Nonparametric Models. Supervised by I WAYAN
MANGKU and SISWANDI.
Nonparametric statistics are alternative for parametric statistics whenever
no assumptionis satisfied in parametric statistics, for example the distribution
function is not identified. Nonparametric statistics are often referred as free
distribution procedures, because they are not referred to any particular
distribution. This paper discusses the estimation of the distribution function in
nonparametric models. It emphasizes on nonparametric family. The objective of
this research is tostudy nonparametric estimation models on the empirical
distribution functions, denoted by
that is independent and identically
distributed (i.i.d.) and
is maximum likelihood for unknown distribution
function.
is unbiased estimator of
with
or
as an uniformly minimum variance unbiased estimator
-consistent for
.
(UMVUE) and
Keywords: nonparametric estimation, empirical distribution function, likelihood.
PENDUGAAN FUNGSI SEBARAN DALAM MODEL
NONPARAMETRIK
RONI WIJAYA
Skripsi
sebagai salah satu syarat untuk memperoleh gelar
Sarjana Sains
pada
Departemen Matematika
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2013
Judul Skripsi : Pendugaan Fungsi Sebaran dalam Model Nonparametrik
Nama
: Roni Wijaya
NIM
: G54080042
Disetujui oleh
Dr Ir I Wayan Mangku, MSc
Pembimbing I
Drs Siswandi, MSi
Pembimbing II
Diketahui oleh
Dr Dra Berlian Setiawaty, MS
Ketua Departemen
Tanggal Lulus:
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas
segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang
dipilih ialah pendugaan, dengan judul Pendugaan Fungsi Sebaran dalam Model
Nonparametrik.
Terima kasih penulis ucapkan kepada Bapak Dr Ir I Wayan Mangku, MSc
dan Bapak Drs Siswandi, MSi selaku pembimbing. Ungkapan terima kasih juga
disampaikan kepada ayah, ibu, serta seluruh keluarga, atas segala doa dan kasih
sayangnya.
Semoga karya ilmiah ini bermanfaat.
Bogor, Juni 2013
Roni Wijaya
DAFTAR ISI
DAFTAR LAMPIRAN
vi
PENDAHULUAN
Latar Belakang
Tujuan
1
1
LANDASAN TEORI
Ruang Contoh, Kejadian, dan Peluang
Peubah Acak dan Fungsi Sebaran
Nilai Harapan, Ragam, dan Momen
Matriks
Multivariate Normal
Peubah Acak Bernoulli dan Binomial
Kekonvergenan Peubah Acak
Penduga dan Sifat-sifatnya
Beberapa Lema Teknis
2
3
3
5
6
6
7
8
9
HASIL DAN PEMBAHASAN
Estimasi Parameter
Fungsi Sebaran dalam Kasusu iid Secara Empiris
Maximum Likelihood Estimator (MLE) di Model Nonparametrik
Metode Maximum Likelihoods
Contoh Penerapan
11
15
21
22
26
SIMPULAN
27
DAFTAR PUSTAKA
27
LAMPIRAN
29
DAFTAR LAMPIRAN
1. Bukti Lema 2.1 Pertaksamaan Markov
2. Bukti Lema 2.2 Pertaksamaan Chebyshev
3. Bukti Lema 2.4 Teorema Limit Pusat (CLT)
30
30
31
PENDAHULUAN
Latar Belakang
Statistika nonparametrik merupakan alternatif dari statistika parametrik
ketika asumsi-asumsi yang mendasari dalam statistika parametrik tidak dapat
terpenuhi seperti tidak diketahuinya fungsi sebaran. Pada umumnya, setelah data
dikumpulkan, langkah selanjutnya adalah menduga nilai harapannya (mean) dan
ragamnya (variance), kemudian dilakukan uji-z atau uji-t. Semua tindakan yang
dilakukan di atas merupakan prosedur umum statistika parametrik yang mengacu
pada suatu distribusi tertentu. Berbeda dengan statistika parametrik, statistika
nonparametrik adalah prosedur statistika yang tidak mengacu pada distribusi
tertentu. Itulah sebabnya, statistika nonparametrik sering disebut sebagai prosedur
yang bebas distribusi (free-distibution procedures). Statistika nonparametrik
digunakan bila distribusi dari data yang diamati tidak diketahui.
Salah satu peran dan kegunaan statistika dalam ilmu pengetahuan adalah
sebagai alat analisis dan interpretasi data kuantitatif ilmu pengetahuan, sehingga
didapatkan suatu kesimpulan dari data tersebut. Dalam statistika dikenal sebuah
istilah pendugaan. Istilah pendugaan yang sering didengar adalah terjemahan dari
kata estimation. Pada dasarnya, metode pendugaan adalah suatu metode untuk
memperkirakan kisaran nilai-nilai karakteristik suatu populasi dengan
menggunakan nilai-nilai sampel. Nilai karakteristik populasi sering disebut
dengan parameter populasi, sedangkan nilai-nilai sampel sering disebut dengan
statistik sampel. Dalam metode estimasi, parameter populasi yang ingin diduga
adalah berupa nilai harapan dari peubah acak yang diberi notasi dan simpangan
baku dengan notasi . Teori pendugaan sendiri digolongkan menjadi pendugaan
titik (point estimation) dan pendugaan selang (interval estimation).
Misalkan diberikan data pengamatan peubah acak
yang
independent and identically distributed (i.i.d.) dan
, dengan
adalah
ruang dimensi
dan
adalah bilangan bulat positif.. Untuk menentukan
distribusi dari
ekivalen dengan menentukan fungsi sebarannya.
Untuk
menduga fungsi sebaran F dapat dilakukan dengan dua pendekatan
yaitu pendekatan parametrik dan non parametrik. Pendekatan parametrik
dilakukan jika asumsi bentuk fungsi F diketahui dan tergantung pada suatu
parameter,
sehingga
menduga fungsi
F
ekivalen dengan menduga
parameternya. Sedangkan pendekatan nonparametrik dilakukan jika asumsi
bentuk fungsi F tidak diketahui. Dalam hal ini diasumsikan bahwa fungsi F
termuat dalam kelas fungsi mulus dalam arti mempunyai turunan yang kontinu.
Dalam tulisan ini dibahas tentang pendugaan fungsi sebaran dalam model
nonparametrik dan dititikberatkan pada keluarga nonparametrik.
Tujuan
Tujuan dari penulisan karya ilmiah ini adalah untuk:
1 Mempelajari model pendugaan nonparametrik pada fungsi sebaran empiris
yang i.i.d.
2 Mempelajari metode maximum likelihoods dalam model nonparametrik.
3 Membuktian bahwa penduga fungsi sebaran adalah lebih efisien secara
asimtotik dibandingkan dengan fungsi sebaran empirisnya.
LANDASAN TEORI
Ruang Contoh, Kejadian, dan Peluang
Suatu percobaan yang dapat diulang dalam kondisi yang sama, yang
hasilnya tidak bisa diprediksi secara tepat tetapi kita bisa mengetahui semua
kemungkinan hasil yang muncul disebut percobaan acak.
Definisi 1 (Ruang contoh)
Ruang contoh adalah himpunan semua hasil yang mungkin dari suatu percobaan
acak, dan dinotasikan dengan Ω.
(Grimmett and Stirzaker 1992)
Definisi 2 (Kejadian)
Kejadian adalah suatu himpunan bagian dari ruang contoh Ω.
(Grimmett and Stirzaker 1992)
Definisi 3 (Kejadian lepas)
Kejadian A dan B disebut saling lepas jika irisan dari keduanya adalah himpunan
kosong.
(Grimmett and Stirzaker 1992)
Definisi 4 (Medan-σ)
Medan-σ adalah suatu himpunan yang anggotanya terdiri atas himpunan bagian
ruang contoh Ω, yang memenuhi syarat berikut:
1.
2. jika
, maka
.
3. jika
maka
(Hogg et al. 2005)
Jika adalah himpunan bilangan real, maka medan-σ disebut medan Borel.
Anggota dari medan Borel disebut himpunan Borel.
Definisi 5 (Ukuran peluang)
Misalkan Ω adalah ruang contoh suatu percobaan dan adalah medan-σ pada Ω.
Suatu fungsi yang memetakan unsur-unsur ke himpunan bilangan real , atau
disebut ukuran peluang jika:
1. tak negatif, yaitu untuk setiap
,
.
2. bersifat aditif tak hingga, yaitu jika
dengan
,
.
maka
3. bernorma satu, yaitu
.
Pasangan
disebut ruang ukuran peluang atau ruang probabilitas.
(Hogg et al. 2005)
Definisi 6 (Kejadian saling bebas)
Kejadian A dan B dikatakan saling bebas jika:
Secara umum, himpunan kejadian
.
dikatakan saling bebas jika:
3
untuk setiap himpunan bagian J dari I, dengan adalah himpunan indeks.
(Grimmett and Stirzaker 1992)
Peubah Acak dan Fungsi Sebaran
Definisi 7 (Peubah acak)
Misalkan Ω adalah ruang contoh dari suatu percobaan acak. Fungsi X yang
terdefinisi pada Ω yang memetakan setiap unsur
ke satu dan hanya satu
bilangan real
disebut peubah acak. Ruang dari X adalah himpunan
bagian dari himpunan bilangan real yang dinotasikan
.
(Hogg et al. 2005)
Peubah acak dinotasikan dengan huruf kapital seperti X, Y, dan Z. Sedangkan
nilai peubah acak dinotasikan dengan huruf kecil seperti
dan . Setiap peubah
acak memiliki fungsi sebaran.
Definisi 8 (Fungsi sebaran)
Fungsi sebaran suatu peubah acak X adalah
oleh
, yang didefinisikan
(Grimmett and Stirzaker 1992)
Definisi 9 (Peubah acak diskret)
Peubah acak X dikatakan diskret jika semua himpunan nilai dari peubah acak
tersebut merupakan himpunan tercacah.
(Hogg et al. 2005)
Definisi 10 (Fungsi massa peluang)
Fungsi massa peluang dari peubah acak diskret X adalah fungsi
yang diberikan oleh:
.
(Hogg et al. 2005)
Definisi 11 (Peubah acak kontinu)
Suatu peubah acak X disebut kontinu jika fungsi sebarannya dapat dinyatakan
sebagai:
untuk suatu fungsi
disebut fungsi kepekatan peluang .
yang terintegralkan. Selanjutnya fungsi
(Grimmett and Stirzaker 1992)
Nilai Harapan, Ragam, dan Momen
Definisi 12 (Nilai harapan)
Misalkan
adalah peubah acak diskret dengan himpunan semua kemungkinan
, maka nilai harapan
nilai X adalah A dan dengan fungsi massa peluang
(expected value) dari , dinotasikan dengan
, adalah
4
jika jumlah di atas konvergen. Jika jumlah di atas divergen, maka nilai harapan
dari X adalah tidak ada.
(Hogg et al. 2005)
Definisi 13 (Ragam)
Misalkan adalah peubah acak diskret dengan fungsi massa peluang
nilai harapan
Maka ragam dari , dinotasikan dengan
adalah
atau
dan
,
(Hogg et al. 2005)
Definisi 14 (Momen ke-k)
Jika k adalah bilangan bulat positif, maka momen ke-k atau
X adalah
dari peubah acak
(Hogg et al. 2005)
Definisi 15 (Momen pusat ke-k)
Jika k adalah bilangan bulat positif, maka momen pusat ke-k atau
acak X adalah
dari peubah
(Hogg et al. 2005)
Nilai harapan dari peubah acak X juga merupakan momen pertama dari X dan
ragam merupakan momen pusat ke-2 dari peubah acak X.
Definisi 16 (Fungsi pembangkit momen)
Fungsi pembangkit momen (moment generating function) dari suatu peubah acak
X, didefinisikan sebagai
untuk
.
(Hogg et al. 2005)
Jika
adalah vektor peubah acak yang berukuran
sedemikian rupa
maka fungsi pembangkit momennya adalah
sehingga
,
dengan
adalah vektor berukuran
.
Definisi 17 (Fungsi indikator)
sehingga
, untuk
5
Misalkan A adalah suatu kejadian. Fungsi indikator dari
fungsi
, yang diberikan oleh:
A
adalah
suatu
(Grimmett and Stirzaker 1992)
Definisi 18 (Sebaran normal)
Suatu peubah acak X disebut memunyai sebaran normal dengan nilai harapan
dan ragam
, ditulis X menyebar
, jika fungsi kepekatan peluangnya
adalah
untuk
.
(Hogg et al. 2005)
Matriks
Matriks merupakan kumpulan bilangan yang disusun dalam bentuk persegi
panjang atau bujur sangkar dan setiap matriks akan mempunyai baris dan kolom.
Secara umum matriks
yang berukuran
dapat ditulis dengan
dengan
adalah unsur matriks pada baris ke- dan kolom ke- , dan
,
. Matriks dapat ditulis dalam bentuk:
.
(Leon 2001)
Definisi 19 (Matriks transpos)
Transpos dari suatu matriks
berukuran
, ditulis
adalah matriks
berukuran
yang diperoleh dengan mengganti setiap baris dari menjadi
kolom dan sebaliknya, sehingga jika
, maka
.
(Leon 2001)
Definisi 20 (Matriks definit positif)
Suatu matriks simetrik
berukuran
bentuk kuadrat
, untuk semua
disebut matriks definit positif jika
taknol dalam
.
(Leon 2001)
Contoh:
Matriks
merupakan matriks definit positif karena bentuk kuadrat
6
untuk
.
Multivariate Normal
Misalkan
adalah peubah acak kontinu dengan
merupakan
nilai dari peubah acak dan adalah matriks koragam simetrik definit positif yang
berukuran
dan
adalah vektor nilai harapan dari peubah acak yang
dengan
adalah transpos
berukuran
. Didefinisikan
dari dan anggota himpunan bilangan real. Suatu vektor peubah acak yang
disebut
berukuran
sedemikian rupa sehingga
memunyai sebaran multivariate normal dengan vektor nilai harapan dan matriks
koragam , ditulis X menyebar
, jika fungsi kepekatan peluangnya adalah
,
untuk
.
(Hogg et al. 2005)
Peubah Acak Bernoulli dan Binomial
Suatu percobaan disebut percobaan Bernoulli jika hasilnya hanya ada dua
kemungkinan, yaitu ‘sukses’ dengan peluang atau ‘gagal’ dengan peluang
. Jika suatu peubah acak X hanya memiliki dua nilai, yaitu bernilai 0 jika hasil
percobaan Bernoulli adalah ‘gagal’ dan bernilai 1 jika hasil percobaan Bernoulli
adalah ‘sukses’, maka peubah acak tersebut dinamakan peubah acak Bernoulli.
Definisi 21 (Peubah acak Bernoulli)
Peubah acak diskret X disebut peubah acak Bernoulli dengan parameter
, jika fungsi massa peluangnya diberikan oleh
,
(Ghahramani 2005)
Jika percobaan Bernoulli diulang secara bebas dan identik sebanyak kali serta
menyatakan banyaknya ‘sukses’ di antara
ulangan tersebut, maka
disebut
memiliki sebaran Binomial dengan parameter
.
Definisi 22 (Peubah acak Binomial)
Peubah acak diskret X disebut peubah acak Binomial dengan parameter
,
adalah bilangan bulat positif dan
, jika fungsi massa peluangnya
diberikan oleh
(Ghahramani 2005)
Teorema 1
Jika adalah peubah acak Binomial dengan parameter
dan
, maka
,
(Ghahramani 2005)
7
Bukti: lihat Ghahramani (2005).
Kekonvergenan Peubah Acak
Definisi 23 (Kekonvergenan dalam peluang)
Misalkan
adalah barisan peubah acak pada suatu ruang peluang
dikatakan konvergen ke X, dilambangkan
(
). Barisan peubah acak
, jika untuk setiap
berlaku
untuk
(Grimmett and Stirzaker 1992)
Definisi 24 (Kekonvergenan dalam sebaran)
Misalkan
adalah peubah acak yang terdefinisi pada suatu ruang peluang.
Misalkan
adalah fungsi sebaran untuk , dan
adalah fungsi sebaran untuk
dikatakan konvergen dalam sebaran ke peubah
. Suatu barisan peubah acak
acak , ditulis
, jika dan hanya jika untuk setiap titik kontinu pada ,
(Shao 2007)
Definisi 25 (Kekonvergenan almost surely (a.s))
Misalkan
adalah peubah acak yang terdefinisi pada suatu ruang peluang.
dikatakan konvergen hampir pasti (almost surely
Suatu barisan peubah acak
, jika dan hanya jika
(a.s)) ke peubah acak , ditulis
(Shao 2007)
Definisi 26 (Kekonvergenan dalam momen ke-p)
Misalkan
adalah peubah acak yang terdefinisi pada suatu ruang peluang.
dikatakan konvergen dalam momen ke- ke
Suatu barisan peubah acak
peubah acak , ditulis
, jika dan hanya jika
(Shao 2007)
Penduga dan Sifat-sifatnya
Definisi 27 (Statistik)
Statistik adalah suatu fungsi dari satu atau lebih peubah acak yang tidak
tergantung pada satu atau beberapa parameter yang nilainya tidak diketahui.
(Hogg et al. 2005)
Contoh dari statistik adalah statistik kunjungan wisatawan ke Indonesia, statistik
hotel, statistik restoran, dan lain-lain.
8
Definisi 28 (Penduga)
Misalkan
adalah contoh acak. Suatu statistik
yang
digunakan untuk menduga fungsi parameter
, dikatakan sebagai penduga
(estimator) bagi
, dilambangkan oleh
Bilamana nilai
maka
disebut
sebagai dugaan (estimate) bagi
(Hogg et al. 2005)
Definisi 29 (Penduga takbias)
(i). Suatu penduga yang nilai harapannya sama dengan parameter
, yaitu
disebut penduga takbias bagi parameter
.
Jika sebaliknya, penduga di atas disebut berbias.
(ii). Jika
maka
parameter
disebut sebagai penduga takbias asimtotik bagi
(Hogg et al. 2005)
Definisi 30 (Penduga konsisten)
Suatu penduga yang konvergen dalam peluang ke parameter
disebut
penduga konsisten bagi
(Hogg et al. 2005)
Definisi 31 (O(.) dan o(.) )
Simbol-simbol ini merupakan cara untuk membandingkan besarnya dua fungsi
dan
dengan menuju suatu limit L.
terbatas, untuk
(i). Notasi
menyatakan bahwa
.
(ii).Notasi
, menyatakan bahwa
, untuk
.
(Serfling 1980)
Definisi 32 (Konsistensi penduga titik)
adalah peubah acak dari populasi yang tidak
Misalkan
diketahui
, dengan
adalah keluarga yang mengandung populasi yang
menghasilkan data dan
adalah penduga titik bagi suatu nilai untuk setiap
.
i)
disebut konsisten terhadap jika dan hanya jika
untuk
setiap
.
adalah barisan konstanta positif yang divergen ke .
ii) Misalkan
disebut
-konsisten terhadap jika dan hanya jika
untuk setiap
.
iii)
konsisten kuat terhadap jika dan hanya jika
untuk
setiap
iv)
.
disebut
untuk setiap
-konsisten terhadap
dan
.
jika dan hanya jika
9
(Shao 2007)
Definisi 33 (MSE suatu penduga)
Mean Square Error (MSE) dari suatu penduga U bagi parameter
didefinisikan sebagai
dengan
.
Definisi 34 (UMVUE suatu penduga)
Misalkan adalah peubah acak dari populasi yang tidak diketahui
dan
adalah parameter yang terkait dengan ,
. Didefinisikan
adalah
penduga takbias terhadap jika dan hanya jika
. Sebuah penduga
takbias
terhadap disebut uniformly minimum variance unbiased estimator
(UMVUE) jika dan hanya jika
untuk setiap
dan setiap penduga takbias lain
terhadap .
(Shao 2007)
Beberapa Lema Teknis
Lema 1 (Pertaksamaan Markov)
Jika X adalah peubah acak yang taknegatif, maka untuk setiap
,
Bukti: lihat Lampiran 1.
Lema 2 (Pertaksamaan Chebyshev)
Jika X adalah peubah acak dengan nilai harapan
setiap k > 0,
dan ragam
, maka untuk
Bukti: lihat Lampiran 2.
Lema 3 (Teorema deret Taylor)
Deret Taylor dari fungsi f di a (atau di sekitar a atau yang berpusat di a)
memenuhi persamaan
(Stewart 2001)
.
Bukti: lihat Stewart (2001)
Lema 4 (Teorema Limit Pusat (CLT))
Jika
adalah barisan peubah acak i.i.d. dengan
, maka sebaran dari
dan
10
konvergen ke sebaran normal baku, yaitu
Bukti: lihat Lampiran 3
Lema 5 (Teorema kontinuitas)
Misalkan
adalah barisan peubah acak dengan fungsi pembangkit momen
dan jika
,
maka
Dengan kata lain, fungsi sebaran dari
konvergen ke fungsi sebaran normal jika
fungsi pembangkit momen dari
konvergen ke fungsi pembangkit momen
sebaran normal.
(Grimmett and Welsh 1986)
Misalkan adalah matiks koragam simetrik definit positif yang berukuran
dan adalah 10ector nilai harapan yang berukuran
. Jika
adalah 10ector peubah acak yang berukuran
dengan fungsi pembangkit
momen
dan jika
,
dengan
adalah 10ector berukuran
, maka
sehingga
, untuk
Dengan kata lain, fungsi sebaran dari
konvergen ke fungsi sebaran normal
multivariate jika fungsi pembangkit momen dari
konvergen ke fungsi
pembangkit momen sebaran normal multivariate.
Bukti: lihat Grimmett and Welsh (1986).
11
Lema 6 (Sifat fungsi pembangkit momen berdasarkan teorema Taylor) Jika
, dengan –
dan
, maka ada sebaran yang
unik dengan fungsi pembangkit momen
. Selanjutnya,
(Grimmett and Welsh 1986)
Bukti: lihat Grimmett and Welsh (1986).
Teorema 2 (Bilangan
Untuk sebarang
sebagai suatu limit)
, maka
(Stewart 2001)
Bukti: lihat Stewart (2001).
HASIL DAN PEMBAHASAN
Estimasi Parameter
Kebanyakan model probabilitas, terutama yang cukup luas penggunaannya,
tergantung dari beberapa konstanta yang dikenal dengan nama parameter. Jika
parameter tidak diketahui, maka harus diduga dengan menggunakan data sampel.
Hal ini dapat dilakukan dengan menggunakan fungsi yang dinamakan statistik.
Pendugaan adalah proses yang menggunakan statistik sampel untuk
menduga atau menaksir nilai parameter populasi yang tidak diketahui. Pendugaan
merupakan suatu pernyataan mengenai parameter populasi yang tidak diketahui
berdasarkan sampel dari populasi. Dalam hal ini sampel random, yang diambil
dari populasi yang bersangkutan. Penduga (estimator) adalah contoh acak atau
suatu statistik yang digunakan untuk menduga parameter atau fungsi parameter.
Besaran sebagai hasil penerapan penduga terhadap data dari semua contoh disebut
nilai dugaan (estimate).
Sebuah nilai
bagi suatu parameter disebut suatu nilai dugaan bagi
parameter populasi. Statistik yang digunakan untuk memperoleh sebuah nilai
dugaan disebut estimator atau fungsi keputusan. Sifat yang seharusnya dimiliki
oleh estimator adalah menghasilkan nilai dugaan parameter yang bersifat takbias
(unbiased estimator).
Dalam kehidupan sehari-hari banyak kasus yang menggunakan pendugaan
untuk menaksir parameter tertentu seperti suatu perusahaan elektronik
menggunakan pendugaan nonparametrik untuk mengetahui jangka waktu pakai
suatu jenis elektronik yang diproduksinya.
12
Berikut dibuktikan Proposisi 1 yang digunakan untuk menunjukkan
distribusi asimtotik dari suatu fungsi sebaran yang tidak diketahui.
Proposisi 1 (Multivariate CLT)
Misalkan
adalah vektor peubah acak yang i.i.d. dengan
maka
dan
dengan
merupakan ukuran vektor nilai harapan
yang berukuran
, yaitu
dan matriks koragam
,
dan rata-ratanya adalah
Bukti:
Misalkan
karena
adalah peubah acak yang i.i.d. maka
adalah peubah acak dari
yang saling bebas dan mempunyai sebaran identik.
Vektor nilai harapan dan matriks koragamnya adalah sebagai berikut:
Karena
, maka
13
dan
memiliki
sehingga
fungsi
pembangkit momen yang sama,
, dengan adalah 13ector berukuran
, untuk
.
Misalkan
maka fungsi pembangkit momen dari
Karena
identik maka
adalah
adalah peubah acak yang saling bebas dan mempunyai sebaran
Karena
memiliki fungsi pembangkit momen yang sama misalkan
maka
didefinisikan dengan
sehingga
Berdasarkan Lema 3
14
Karena
, maka
Substitusi persamaan (3) ke persamaan (2) dengan tetap, maka diperoleh
Selanjutnya berdasarkan
. Berdasarkan Lema 5 fungsi sebaran dari
konvergen ke
sehingga
konvergen ke fungsi sebaran normal multivariate jika fungsi pembangkit
momen dari
konvergen ke fungsi pembangkit momen sebaran normal
multivariate, akibatnya
Dengan demikian Proposisi 1 terbukti.
Fungsi Sebaran dalam Kasus i.i.d. Secara Empiris
Misalkan
adalah vektor peubah acak yang i.i.d. dengan
dari fungsi sebaran yang tidak diketahui. Jika fungsi bukan dalam anggota
keluarga parametrik, maka penduga nonparametrik dari
adalah fungsi
sebaran secara empiris yaitu:
untuk setiap
.
15
adalah i.i.d. peubah acak biner
Karena
dengan
akibatnya peubah acak
Karena
dan
memiliki sebaran binomial
.
memiliki sebaran binomial
maka
sehingga
merupakan penduga takbias terhadap
uniformly minimum variance unbiased estimator (UMVUE).
Karena
diketahui yaitu
dengan
adalah
dan
adalah
-konsisten untuk
, untuk setiap m titik berbeda yang
di
maka berdasarkan Proposisi 1 dan (4) untuk
adalah matriks koragam yang berukuran
dengan elemen
.
Hasil ini didapat tanpa ada asumsi untuk fungsi F.
Perhatikan
adalah suatu fungsi sebaran terhadap dan
anggota
,
dengan
adalah koleksi himpunan fungsi sebaran di
Berikut ini akan
diberikan Definisi 35 untuk menjukan jarak di koleksi himpunan fungsi sebaran
pada .
Definisi 35
i. Misalkan
adalah himpunan bagian dari . Sebuah fungsi
ke
disebut jarak pada
jika dan hanya jika
,
jika dan hanya jika
,
a)
,
b)
.
c)
ii. Misalkan ada
dari suatu ruang vektor
dari
dengan
Norm pada
didefinisikan sebagai fungsi
memenuhi:
a)
jika dan hanya jika
,
b)
dan
,
c)
dari
.
ke
yang
16
Norm
mengartikan suatu jarak yang diberikan oleh
. Jarak yang paling umum digunakan adalah sup-norm jarak
jarak yang disebabkan oleh sup-norm
, yaitu
Lema 7 (Pertaksamaan Dvoretzky, Kiefer, and Wolfowitz (DKW) )
Misalkan
adalah fungsi sebaran empiris dari peubah acak
yang
i.i.d. dengan
dari suatu sebaran .
i. Ketika
maka ada C konstanta positif yang tidak bergantung dengan F,
sehingga
(8)
untuk
ii. Ketika
untuk setiap
maka
positif yang konstan dan tidak
tergantung pada F, sehingga
(9)
untuk
Bukti :
Misalkan
sebaran
Misalkan
, maka ada
merupakan fungsi yang terdistribusi secara empirik dari fungsi
. Karena
sehingga
sehingga
untuk setiap
, akibatnya
Berdasarkan Definisi 35 pertaksamaan di atas dapat ditulis
dengan C konstanta positif yang tidak bergantung dengan F.
Berikut ini diberikan Teorema 3 dan Lema 7 untuk menunjukkan bahwa
konvergen dalam peluang ke
untuk
.
penduga
17
Teorema 3
Misalkan
adalah barisan peubah acak yang i.i.d. dari sebaran . Jika
merupakan fungsi distribusi empirik dari F, maka
.
(10)
i)
ii)
.
(11)
Bukti :
i) Dari pertaksamaan DKW untuk setiap
,
maka
akibatnya
sehingga
.
ii) Dengan menggunakan pertaksamaan DKW, dengan
Jadi Teorema 3 terbukti.
Teorema 4 (Hukum Kuat bilangan besar (SLLN))
Jika
adalah barisan peubah acak i.i.d. dengan
dan
, maka berlaku
jika
, sehingga
18
Bukti:
Karena
identik maka
adalah peubah acak yang saling bebas dan mempunyai sebaran
Selanjutnya kita dapat menunjukkan bahwa
dan
sehingga
Berdasarkan Lema 1 dengan
Jika
Akibatnya
, maka
, diperoleh
19
Jadi Teorema 4 terbukti.
Dari hasil tersebut dapat dikatakan bahwa
memenuhi SLLN jika
sehingga
Teorema 3(i) menunjukkan bahwa penduga
(a.s.) ke
seragam untuk setiap
,
konvergen sangat kuat
,
konsisten.
sehingga penduga
Teorema 3(ii) menunjukkan bahwa
yang lebih kuat dibandingkan dengan
adalah hasil konsistensi
dari
Misalkan
dan
himpunan bagian dari fungsi sebaran di yang memiliki
jarak antara
dengan
di
adalah sebagai berikut:
, yang merupakan
momen. Didefinisikan
.
Misalkan
, maka
selama
untuk setiap
dan
jika dan hanya jika
,
kontinu. Berdasarkan Teorema 3 dan SLLN bahwa
jika
.
Ketika
, jarak yang lain digunakan untuk mengukur kedekatan antara
dengan adalah jarak
, yaitu:
,
dengan
.
Teorema 5
Misalkan
barisan peubah acak i.i.d. dari fungsi sebaran
merupakan fungsi distribusi secara empiris dari
, maka
i)
,
ii)
atau jika
.
. Jika
(12)
dan
(13)
20
Bukti :
i) Karena
untuk
dan dari Teorema 3
, maka
Misalkan
, maka
adalah peubah acak yang i.i.d.
dan
(14)
yang terbatas untuk
Karena
. Berdasarkan SLLN didapat
dan
berdasarkan Teorema 3
sehingga
Hasil (15) di atas setara dengan
ii) Untuk
,
21
Jadi Teorema 5 terbukti.
Maximum Likelihood Estimator (MLE) di Model Nonparametrik
Misalkan
peluang untuk
likelihood dari ke
barisan peubah acak i.i.d. dan
adalah ukuran
. Diberikan
, fungsi nonparametric
didefinisikan sebagai berikut:
untuk setidaknya satu i. Hasil ini menunjukkan
Maka
jika
bahwa fungsi sebaran secara empiris
adalah maximum likelihood estimate
(MLE) nonparametrik dari F.
Teorema 6
Misalkan
adalah peubah acak i.i.d. dengan
dan
adalah
fungsi nonparametric likelihood dari ke
yang didefinisikan pada (18),
maka fungsi sebaran empiris akan memaksimumkan
dengan
Bukti:
Kita hanya perlu mempertimbangkan
sehingga
dan
adalah himpunan bagian dari yang berisi
, dan
.
Misalkan
Didefinisikan
dengan
adalah pengganda Lagrange.
Himpunan
Solusinya adalah
,
adalah solusi maksimum dengan
,
dan
.
Hal ini menunjukan bahwa
(18)
dimaksimumkan di
untuk
.
tetap, sehingga
untuk
22
Bukti alternatif:
Kita cukup menunjukan bahwa
untuk setiap
Misalkan
.
adalah peubah acak yang mengambil nilai
, maka
yang hasinya tetap, sehingga fungsi sebaran empiris
dengan
dengan kemungkinan
memaksimalkan
Jadi Teorema 6 terbukti.
Metode Empirical Likelihoods
Metode empirical likelihoods ini berasal dari fungsi sebaran F yang dapat
diperluas untuk berbagai situasi dengan beberapa modifikasi dari fungsi
nonparametric likelihood
dan kendala . Modifikasi dari likelihood
ini disebut dengan empirical likelihood. Estimator yang diperoleh dengan
memaksimumkan kemungkinan empiris ini disebut dengan maximum empirical
likelihood estimator (MELE).
Dari Teorema 6, fungsi sebaran empiris
dengan fungsi nonparametric likelihood dari
sebagai berikut:
adalah maximum likelihood
ke
yang didefinisikan
. Dalam
untuk setiap
, dengan
beberapa kasus, banyak estimasi fungsi sebaran F dengan informasi tambahan
23
tentang F dan
dari
ke
barisan peubah acak i.i.d. Misalkan ada fungsi Borel
sehingga
(misalnya rata-rata dari beberapa komponen F adalah 0). Karena fungsi
penduga dari fungsi sebaran , maka berdasarkan (20)
adalah
Namun hal ini tidak berlaku untuk fungsi sebaran empiris yang didefinisikan di
(4) meskipun nilai harapan
, karena
Menggunakan metode empirical likelihoods, solusi alami didapat dengan
menempatkan kendala yang lain dalam proses memaksimumkan kemungkinan.
Maka kita dapat memaksimumkan
yang didefinisikan di (19) dengan
.
, untuk
kendala
dan
Dengan menggunakan pengganda Lagrange dan argumen yang mirip
dengan pembuktian Teorema 6, dapat ditunjukkan bahwa MELE dari fungsi
sebaran adalah
dengan
dan
adalah pengganda Lagrange yang memenuhi
Perhatikan bahwa penduga fungsi sebaran
tereduksi ke
jika
Dapat dilihat bahwa persamaan (25) memiliki solusi asimtotik, dengan
catatan bahwa
dan
24
adalah definit positif.
yang merupakan definit negatif jika
Jadi,
Oleh karena itu, dengan menggunakan argumen yang sama seperti dalam bukti
Teorema 6, kita dapat menunjukkan bahwa ada urutan yang unik dari
sehingga
untuk
.
Teorema 7
Misalkan
adalah peubah acak i.i.d. dengan
dan
adalah
fungsi Borel di
seperti yang didefinisikan di (20) dan adalah MELE dari
adalah definit positif dan
yang diberikan di (23). Andaikan
di
dan
adalah konstanta bilangan real, maka
(27)
dengan
adalah matriks koragam
yang elemen
dari
adalah
,
Bukti:
Misalkan
Taylor
,
Dengan SLLN dan CLT,
. Berdasarkan (25), (26) dan ekspansi deret
25
Dengan menggunakan ekspansi deret Taylor dan SLLN kembali, kita dapat
Jadi,
Hasil ini berdasarkan CLT dan fakta bahwa,
Berdasarkan (27) dan (7) jika dibandingkan, kita dapat menyimpulkan bahwa
penduga fungsi sebaran
adalah lebih efisien secara asimtotik dibandingkan
dengan .
Contoh Penerapan
Metode ini dapat diaplikasikan dalam masalah penyensoran data yang
diperkenalkan oleh Kaplan-Meier (1958) dalam masalah product-limit estimator.
Misalkan
adalah peubah acak yang i.i.d. dengan
merupakan waktu
kelangsungan hidup yang nonnegatif, dan
adalah variabel acak yang i.i.d
26
dengan
merupakan banyaknya penyensoran yang bebas terhadap
sensor acaknya adalah:
. Model
Dalam hal ini hanya dipertimbangkan estimasi sebaran kelangsungan
hidup F.
Sebuah MELE dari F dapat diturunkan dengan memisalkan
adalah nilai urutan dari
dan
adalah nilai yang terkait dengan .
Didefinisikan sebuah fungsi sebaran kontinu yang memberikan massa pada titik
dan
dan interval
Misalkan
maka sebuah MELE dari diperoleh dengan memaksimumkan
dengan kendala
Sehingga MELE dari
dengan
adalah:
merupakan statistik order dan
SIMPULAN
Pada tulisan ini dikaji suatu pendugaan di model nonparametrik dari sebaran
empirik yaitu:
dengan
.
Dari hasil pengkajian yang dilakukan, dapat disimpulkan bahwa:
27
1.
merupakan penduga takbias terhadap
dengan
atau
adalah uniformly minimum
variance unbiased estimator (UMVUE) dan
-konsisten untuk
, untuk
setiap m berbeda yang diketahui dan
di .
2.
adalah maximum likelihood dengan fungsi nonparametric likelihood dari
ke
adalah
untuk setiap
, dan
.
3. penduga fungsi sebaran adalah lebih efisien secara asimtotik dibandingkan
dengan jika menggunakan informasi
.
DAFTAR PUSTAKA
Ghahramani S. 2005. Fundamentals of Probability. Third Ed. Prentice Hall.
New Jersey.
Grimmett GR, Stirzaker DR. 1992. Probability and Random Processes. Second
Ed. Oxford (US): Clarendon Press.
Grimmett GR, Welsh D. 1986. Probability: An Introduction. Oxford University
Press. USA.
Hogg RV, Craig AT, McKean JW. 2005. Introduction to Mathematical
Statistics. Sixth Ed. Prentice Hall. Englewood Cliffs. New Jersey.
Kaplan EL, Meier P. 1958. Nonparametric estimation from incomplete
observation. J. Amer. Statist. Assoc., 53: 457-906.
Leon SJ. 2001. Aljabar Linear dan Aplikasinya. Ed. Ke-5. Bondan A, alih
bahasa: Jakarta (ID): Erlangga. Terjemahan dari: Linear Algebra with
Application.
Serfling RJ. 1980. Aproximation Theorems of Mathematical Statistics. John
Wiley & Sons. New York (US): Springer.
Shao J. 2007. Mathematical Statistics. Second Ed. New York (US): Springer.
Stewart, J. 2001. Kalkulus. Jilid 1. Ed. ke-4. Susila, I Nyoman dan Gunawan,
Hendra, alih bahasa: Jakarta (ID): Erlangga. Terjemahan dari: Calculus.
28
LAMPIRAN
29
Lampiran 1 (Pembuktian Lema 1)
Lema 1 (Pertaksamaan Markov)
Jika X adalah peubah acak yang taknegatif, maka untuk setiap
,
Bukti:
Jika X kontinu dengan fungsi kepekatan peluang f, maka
Untuk kasus X diskret, dapat dibuktikan dengan cara serupa, yaitu dengan
mengganti integral dengan notasi penjumlahan serta fungsi kepekatan peluang
dengan fungsi kerapatan peluang. Jadi
Sehingga dapat ditulis
Jadi pertaksamaan Markov terbukti.
Lampiran 2 (Pembuktian Lema 2)
Lema 2 (Pertaksamaan Chebyshev)
Jika X adalah peubah acak dengan nilai harapan
setiap k > 0,
dan ragam
, maka untuk
Bukti:
Untuk membuktikan pertaksamaan Chebyshev menggunakan Lema 1.
30
Jadi Lema 2 terbukti.
Lampiran 3 ( Pembuktian Lema 4)
Lema 4 (Teorema Limit Pusat (CLT))
Jika
adalah barisan peubah acak i.i.d. dengan
, maka sebaran dari
dan
konvergen ke sebaran normal baku, yaitu
Bukti:
Berdasarkan Lema 5, untuk membuktikan Lema 4 cukup dibuktikan
konvergen ke
, yaitu pembangkit momen peubah acak normal baku. Misalkan
maka
adalah peubah acak yang saling bebas dan
mempunyai sebaran identik dengan nilai harapan dan ragam yang diberikan
sebagai berikut:
dan
memiliki fungsi pembangkit momen yang sama,
Diketahui
dari
adalah
maka fungsi pembangkit momen
31
Persamaan di atas dapat ditulis sebagai :
ruas kanan adalah fungsi sebaran normal dengan nilai harapan 0 dan ragam 1.
Untuk menyelesaikan bukti Lema 4, digunakan Lema 3, sehingga diperoleh
Substitusi persamaan (34) ke persamaan (33) dengan
diperoleh
Selanjutnya, dicari limit dari
Sehingga
normal baku.
konvergen ke
Dengan demikian Lema 4 terbukti.
dan
tetap, maka
sebagai berikut
, yaitu pembangkit momen peubah acak
32
RIWAYAT HIDUP
Penulis dilahirkan di Padang Bintungan pada tanggal 08 Desember 1989
dari ayah Aly Fikri dan Ibu Suparni. Penulis adalah putra keempat dari empat
bersaudara. Tahun 2008 penulis lulus SMA Negri 1 Sitiung dan pada tahun yang
sama penulis lulus seleksi masuk Institut Pertanian Bogor (IPB) melalui jalur
Undangan Seleksi Masuk IPB (USMI) dan diterima di Departemen Matematika,
Fakultas Matematika dan Ilmu Pengetahuan Alam.
Selama mengikuti perkuliahan, penulis menjadi asisten dosen mata kuliah
Pemrograman Linear pada tahun ajaran 2010/2011 dan 2011/2012, asisten
praktikum Analisis Numerik pada tahun ajaran semester pendek 2012. Penulis
juga aktif mengajar privat matematika di bimbingan belajar dan privat Gumatika.
Penulis juga aktif sebagai Badan Pengawas Gumatika. Penulis juga aktif berwira
usaha sebagai produsen bakpau.
NONPARAMETRIK
RONI WIJAYA
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2013
PERNYATAAN MENGENAI SKRIPSI DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa skripsi berjudul Pendugaan Fungsi
Sebaran dalam Model Nonparametrik adalah benar karya saya dengan arahan dari
komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan
tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang
diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks
dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, Juni 2013
Roni Wijaya
NIM G54080042
ABSTRAK
RONI WIJAYA. Pendugaan Fungsi Sebaran dalam Model Nonparametrik.
Dibimbing oleh I WAYAN MANGKU dan SISWANDI.
Statistika nonparametrik merupakan alternatif dari statistika parametrik
ketika asumsi-asumsi yang mendasari dalam statistika parametrik tidak dapat
terpenuhi, seperti tidak diketahuinya fungsi sebaran. Statistika nonparametrik
sering disebut sebagai prosedur yang bebas distribusi (free-distibution
procedures) karena tidak mengacu pada distribusi tertentu. Dalam karya ilmiah ini
dibahas tentang pendugaan fungsi sebaran dalam model nonparametrik dan dititik
beratkan pada keluarga nonparametrik. Tujuan karya ilmiah ini adalah untuk
mempelajari model pendugaan nonparametrik pada fungsi sebaran empiris,
dinotasikan
yang independent and identically distributed (iid) dan
merupakan maximum likelihood untuk suatu fungsi sebaran yang tidak diketahui.
merupakan penduga takbias terhadap
dengan
atau
adalah uniformly minimum variance
unbiased estimator (UMVUE) dan
-konsisten untuk
.
Kata kunci: penduga nonparametrik, fungsi sebaran secara empiris, likelihood.
ABSTRACT
RONI WIJAYA. Estimation in Nonparametric Models. Supervised by I WAYAN
MANGKU and SISWANDI.
Nonparametric statistics are alternative for parametric statistics whenever
no assumptionis satisfied in parametric statistics, for example the distribution
function is not identified. Nonparametric statistics are often referred as free
distribution procedures, because they are not referred to any particular
distribution. This paper discusses the estimation of the distribution function in
nonparametric models. It emphasizes on nonparametric family. The objective of
this research is tostudy nonparametric estimation models on the empirical
distribution functions, denoted by
that is independent and identically
distributed (i.i.d.) and
is maximum likelihood for unknown distribution
function.
is unbiased estimator of
with
or
as an uniformly minimum variance unbiased estimator
-consistent for
.
(UMVUE) and
Keywords: nonparametric estimation, empirical distribution function, likelihood.
PENDUGAAN FUNGSI SEBARAN DALAM MODEL
NONPARAMETRIK
RONI WIJAYA
Skripsi
sebagai salah satu syarat untuk memperoleh gelar
Sarjana Sains
pada
Departemen Matematika
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2013
Judul Skripsi : Pendugaan Fungsi Sebaran dalam Model Nonparametrik
Nama
: Roni Wijaya
NIM
: G54080042
Disetujui oleh
Dr Ir I Wayan Mangku, MSc
Pembimbing I
Drs Siswandi, MSi
Pembimbing II
Diketahui oleh
Dr Dra Berlian Setiawaty, MS
Ketua Departemen
Tanggal Lulus:
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas
segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang
dipilih ialah pendugaan, dengan judul Pendugaan Fungsi Sebaran dalam Model
Nonparametrik.
Terima kasih penulis ucapkan kepada Bapak Dr Ir I Wayan Mangku, MSc
dan Bapak Drs Siswandi, MSi selaku pembimbing. Ungkapan terima kasih juga
disampaikan kepada ayah, ibu, serta seluruh keluarga, atas segala doa dan kasih
sayangnya.
Semoga karya ilmiah ini bermanfaat.
Bogor, Juni 2013
Roni Wijaya
DAFTAR ISI
DAFTAR LAMPIRAN
vi
PENDAHULUAN
Latar Belakang
Tujuan
1
1
LANDASAN TEORI
Ruang Contoh, Kejadian, dan Peluang
Peubah Acak dan Fungsi Sebaran
Nilai Harapan, Ragam, dan Momen
Matriks
Multivariate Normal
Peubah Acak Bernoulli dan Binomial
Kekonvergenan Peubah Acak
Penduga dan Sifat-sifatnya
Beberapa Lema Teknis
2
3
3
5
6
6
7
8
9
HASIL DAN PEMBAHASAN
Estimasi Parameter
Fungsi Sebaran dalam Kasusu iid Secara Empiris
Maximum Likelihood Estimator (MLE) di Model Nonparametrik
Metode Maximum Likelihoods
Contoh Penerapan
11
15
21
22
26
SIMPULAN
27
DAFTAR PUSTAKA
27
LAMPIRAN
29
DAFTAR LAMPIRAN
1. Bukti Lema 2.1 Pertaksamaan Markov
2. Bukti Lema 2.2 Pertaksamaan Chebyshev
3. Bukti Lema 2.4 Teorema Limit Pusat (CLT)
30
30
31
PENDAHULUAN
Latar Belakang
Statistika nonparametrik merupakan alternatif dari statistika parametrik
ketika asumsi-asumsi yang mendasari dalam statistika parametrik tidak dapat
terpenuhi seperti tidak diketahuinya fungsi sebaran. Pada umumnya, setelah data
dikumpulkan, langkah selanjutnya adalah menduga nilai harapannya (mean) dan
ragamnya (variance), kemudian dilakukan uji-z atau uji-t. Semua tindakan yang
dilakukan di atas merupakan prosedur umum statistika parametrik yang mengacu
pada suatu distribusi tertentu. Berbeda dengan statistika parametrik, statistika
nonparametrik adalah prosedur statistika yang tidak mengacu pada distribusi
tertentu. Itulah sebabnya, statistika nonparametrik sering disebut sebagai prosedur
yang bebas distribusi (free-distibution procedures). Statistika nonparametrik
digunakan bila distribusi dari data yang diamati tidak diketahui.
Salah satu peran dan kegunaan statistika dalam ilmu pengetahuan adalah
sebagai alat analisis dan interpretasi data kuantitatif ilmu pengetahuan, sehingga
didapatkan suatu kesimpulan dari data tersebut. Dalam statistika dikenal sebuah
istilah pendugaan. Istilah pendugaan yang sering didengar adalah terjemahan dari
kata estimation. Pada dasarnya, metode pendugaan adalah suatu metode untuk
memperkirakan kisaran nilai-nilai karakteristik suatu populasi dengan
menggunakan nilai-nilai sampel. Nilai karakteristik populasi sering disebut
dengan parameter populasi, sedangkan nilai-nilai sampel sering disebut dengan
statistik sampel. Dalam metode estimasi, parameter populasi yang ingin diduga
adalah berupa nilai harapan dari peubah acak yang diberi notasi dan simpangan
baku dengan notasi . Teori pendugaan sendiri digolongkan menjadi pendugaan
titik (point estimation) dan pendugaan selang (interval estimation).
Misalkan diberikan data pengamatan peubah acak
yang
independent and identically distributed (i.i.d.) dan
, dengan
adalah
ruang dimensi
dan
adalah bilangan bulat positif.. Untuk menentukan
distribusi dari
ekivalen dengan menentukan fungsi sebarannya.
Untuk
menduga fungsi sebaran F dapat dilakukan dengan dua pendekatan
yaitu pendekatan parametrik dan non parametrik. Pendekatan parametrik
dilakukan jika asumsi bentuk fungsi F diketahui dan tergantung pada suatu
parameter,
sehingga
menduga fungsi
F
ekivalen dengan menduga
parameternya. Sedangkan pendekatan nonparametrik dilakukan jika asumsi
bentuk fungsi F tidak diketahui. Dalam hal ini diasumsikan bahwa fungsi F
termuat dalam kelas fungsi mulus dalam arti mempunyai turunan yang kontinu.
Dalam tulisan ini dibahas tentang pendugaan fungsi sebaran dalam model
nonparametrik dan dititikberatkan pada keluarga nonparametrik.
Tujuan
Tujuan dari penulisan karya ilmiah ini adalah untuk:
1 Mempelajari model pendugaan nonparametrik pada fungsi sebaran empiris
yang i.i.d.
2 Mempelajari metode maximum likelihoods dalam model nonparametrik.
3 Membuktian bahwa penduga fungsi sebaran adalah lebih efisien secara
asimtotik dibandingkan dengan fungsi sebaran empirisnya.
LANDASAN TEORI
Ruang Contoh, Kejadian, dan Peluang
Suatu percobaan yang dapat diulang dalam kondisi yang sama, yang
hasilnya tidak bisa diprediksi secara tepat tetapi kita bisa mengetahui semua
kemungkinan hasil yang muncul disebut percobaan acak.
Definisi 1 (Ruang contoh)
Ruang contoh adalah himpunan semua hasil yang mungkin dari suatu percobaan
acak, dan dinotasikan dengan Ω.
(Grimmett and Stirzaker 1992)
Definisi 2 (Kejadian)
Kejadian adalah suatu himpunan bagian dari ruang contoh Ω.
(Grimmett and Stirzaker 1992)
Definisi 3 (Kejadian lepas)
Kejadian A dan B disebut saling lepas jika irisan dari keduanya adalah himpunan
kosong.
(Grimmett and Stirzaker 1992)
Definisi 4 (Medan-σ)
Medan-σ adalah suatu himpunan yang anggotanya terdiri atas himpunan bagian
ruang contoh Ω, yang memenuhi syarat berikut:
1.
2. jika
, maka
.
3. jika
maka
(Hogg et al. 2005)
Jika adalah himpunan bilangan real, maka medan-σ disebut medan Borel.
Anggota dari medan Borel disebut himpunan Borel.
Definisi 5 (Ukuran peluang)
Misalkan Ω adalah ruang contoh suatu percobaan dan adalah medan-σ pada Ω.
Suatu fungsi yang memetakan unsur-unsur ke himpunan bilangan real , atau
disebut ukuran peluang jika:
1. tak negatif, yaitu untuk setiap
,
.
2. bersifat aditif tak hingga, yaitu jika
dengan
,
.
maka
3. bernorma satu, yaitu
.
Pasangan
disebut ruang ukuran peluang atau ruang probabilitas.
(Hogg et al. 2005)
Definisi 6 (Kejadian saling bebas)
Kejadian A dan B dikatakan saling bebas jika:
Secara umum, himpunan kejadian
.
dikatakan saling bebas jika:
3
untuk setiap himpunan bagian J dari I, dengan adalah himpunan indeks.
(Grimmett and Stirzaker 1992)
Peubah Acak dan Fungsi Sebaran
Definisi 7 (Peubah acak)
Misalkan Ω adalah ruang contoh dari suatu percobaan acak. Fungsi X yang
terdefinisi pada Ω yang memetakan setiap unsur
ke satu dan hanya satu
bilangan real
disebut peubah acak. Ruang dari X adalah himpunan
bagian dari himpunan bilangan real yang dinotasikan
.
(Hogg et al. 2005)
Peubah acak dinotasikan dengan huruf kapital seperti X, Y, dan Z. Sedangkan
nilai peubah acak dinotasikan dengan huruf kecil seperti
dan . Setiap peubah
acak memiliki fungsi sebaran.
Definisi 8 (Fungsi sebaran)
Fungsi sebaran suatu peubah acak X adalah
oleh
, yang didefinisikan
(Grimmett and Stirzaker 1992)
Definisi 9 (Peubah acak diskret)
Peubah acak X dikatakan diskret jika semua himpunan nilai dari peubah acak
tersebut merupakan himpunan tercacah.
(Hogg et al. 2005)
Definisi 10 (Fungsi massa peluang)
Fungsi massa peluang dari peubah acak diskret X adalah fungsi
yang diberikan oleh:
.
(Hogg et al. 2005)
Definisi 11 (Peubah acak kontinu)
Suatu peubah acak X disebut kontinu jika fungsi sebarannya dapat dinyatakan
sebagai:
untuk suatu fungsi
disebut fungsi kepekatan peluang .
yang terintegralkan. Selanjutnya fungsi
(Grimmett and Stirzaker 1992)
Nilai Harapan, Ragam, dan Momen
Definisi 12 (Nilai harapan)
Misalkan
adalah peubah acak diskret dengan himpunan semua kemungkinan
, maka nilai harapan
nilai X adalah A dan dengan fungsi massa peluang
(expected value) dari , dinotasikan dengan
, adalah
4
jika jumlah di atas konvergen. Jika jumlah di atas divergen, maka nilai harapan
dari X adalah tidak ada.
(Hogg et al. 2005)
Definisi 13 (Ragam)
Misalkan adalah peubah acak diskret dengan fungsi massa peluang
nilai harapan
Maka ragam dari , dinotasikan dengan
adalah
atau
dan
,
(Hogg et al. 2005)
Definisi 14 (Momen ke-k)
Jika k adalah bilangan bulat positif, maka momen ke-k atau
X adalah
dari peubah acak
(Hogg et al. 2005)
Definisi 15 (Momen pusat ke-k)
Jika k adalah bilangan bulat positif, maka momen pusat ke-k atau
acak X adalah
dari peubah
(Hogg et al. 2005)
Nilai harapan dari peubah acak X juga merupakan momen pertama dari X dan
ragam merupakan momen pusat ke-2 dari peubah acak X.
Definisi 16 (Fungsi pembangkit momen)
Fungsi pembangkit momen (moment generating function) dari suatu peubah acak
X, didefinisikan sebagai
untuk
.
(Hogg et al. 2005)
Jika
adalah vektor peubah acak yang berukuran
sedemikian rupa
maka fungsi pembangkit momennya adalah
sehingga
,
dengan
adalah vektor berukuran
.
Definisi 17 (Fungsi indikator)
sehingga
, untuk
5
Misalkan A adalah suatu kejadian. Fungsi indikator dari
fungsi
, yang diberikan oleh:
A
adalah
suatu
(Grimmett and Stirzaker 1992)
Definisi 18 (Sebaran normal)
Suatu peubah acak X disebut memunyai sebaran normal dengan nilai harapan
dan ragam
, ditulis X menyebar
, jika fungsi kepekatan peluangnya
adalah
untuk
.
(Hogg et al. 2005)
Matriks
Matriks merupakan kumpulan bilangan yang disusun dalam bentuk persegi
panjang atau bujur sangkar dan setiap matriks akan mempunyai baris dan kolom.
Secara umum matriks
yang berukuran
dapat ditulis dengan
dengan
adalah unsur matriks pada baris ke- dan kolom ke- , dan
,
. Matriks dapat ditulis dalam bentuk:
.
(Leon 2001)
Definisi 19 (Matriks transpos)
Transpos dari suatu matriks
berukuran
, ditulis
adalah matriks
berukuran
yang diperoleh dengan mengganti setiap baris dari menjadi
kolom dan sebaliknya, sehingga jika
, maka
.
(Leon 2001)
Definisi 20 (Matriks definit positif)
Suatu matriks simetrik
berukuran
bentuk kuadrat
, untuk semua
disebut matriks definit positif jika
taknol dalam
.
(Leon 2001)
Contoh:
Matriks
merupakan matriks definit positif karena bentuk kuadrat
6
untuk
.
Multivariate Normal
Misalkan
adalah peubah acak kontinu dengan
merupakan
nilai dari peubah acak dan adalah matriks koragam simetrik definit positif yang
berukuran
dan
adalah vektor nilai harapan dari peubah acak yang
dengan
adalah transpos
berukuran
. Didefinisikan
dari dan anggota himpunan bilangan real. Suatu vektor peubah acak yang
disebut
berukuran
sedemikian rupa sehingga
memunyai sebaran multivariate normal dengan vektor nilai harapan dan matriks
koragam , ditulis X menyebar
, jika fungsi kepekatan peluangnya adalah
,
untuk
.
(Hogg et al. 2005)
Peubah Acak Bernoulli dan Binomial
Suatu percobaan disebut percobaan Bernoulli jika hasilnya hanya ada dua
kemungkinan, yaitu ‘sukses’ dengan peluang atau ‘gagal’ dengan peluang
. Jika suatu peubah acak X hanya memiliki dua nilai, yaitu bernilai 0 jika hasil
percobaan Bernoulli adalah ‘gagal’ dan bernilai 1 jika hasil percobaan Bernoulli
adalah ‘sukses’, maka peubah acak tersebut dinamakan peubah acak Bernoulli.
Definisi 21 (Peubah acak Bernoulli)
Peubah acak diskret X disebut peubah acak Bernoulli dengan parameter
, jika fungsi massa peluangnya diberikan oleh
,
(Ghahramani 2005)
Jika percobaan Bernoulli diulang secara bebas dan identik sebanyak kali serta
menyatakan banyaknya ‘sukses’ di antara
ulangan tersebut, maka
disebut
memiliki sebaran Binomial dengan parameter
.
Definisi 22 (Peubah acak Binomial)
Peubah acak diskret X disebut peubah acak Binomial dengan parameter
,
adalah bilangan bulat positif dan
, jika fungsi massa peluangnya
diberikan oleh
(Ghahramani 2005)
Teorema 1
Jika adalah peubah acak Binomial dengan parameter
dan
, maka
,
(Ghahramani 2005)
7
Bukti: lihat Ghahramani (2005).
Kekonvergenan Peubah Acak
Definisi 23 (Kekonvergenan dalam peluang)
Misalkan
adalah barisan peubah acak pada suatu ruang peluang
dikatakan konvergen ke X, dilambangkan
(
). Barisan peubah acak
, jika untuk setiap
berlaku
untuk
(Grimmett and Stirzaker 1992)
Definisi 24 (Kekonvergenan dalam sebaran)
Misalkan
adalah peubah acak yang terdefinisi pada suatu ruang peluang.
Misalkan
adalah fungsi sebaran untuk , dan
adalah fungsi sebaran untuk
dikatakan konvergen dalam sebaran ke peubah
. Suatu barisan peubah acak
acak , ditulis
, jika dan hanya jika untuk setiap titik kontinu pada ,
(Shao 2007)
Definisi 25 (Kekonvergenan almost surely (a.s))
Misalkan
adalah peubah acak yang terdefinisi pada suatu ruang peluang.
dikatakan konvergen hampir pasti (almost surely
Suatu barisan peubah acak
, jika dan hanya jika
(a.s)) ke peubah acak , ditulis
(Shao 2007)
Definisi 26 (Kekonvergenan dalam momen ke-p)
Misalkan
adalah peubah acak yang terdefinisi pada suatu ruang peluang.
dikatakan konvergen dalam momen ke- ke
Suatu barisan peubah acak
peubah acak , ditulis
, jika dan hanya jika
(Shao 2007)
Penduga dan Sifat-sifatnya
Definisi 27 (Statistik)
Statistik adalah suatu fungsi dari satu atau lebih peubah acak yang tidak
tergantung pada satu atau beberapa parameter yang nilainya tidak diketahui.
(Hogg et al. 2005)
Contoh dari statistik adalah statistik kunjungan wisatawan ke Indonesia, statistik
hotel, statistik restoran, dan lain-lain.
8
Definisi 28 (Penduga)
Misalkan
adalah contoh acak. Suatu statistik
yang
digunakan untuk menduga fungsi parameter
, dikatakan sebagai penduga
(estimator) bagi
, dilambangkan oleh
Bilamana nilai
maka
disebut
sebagai dugaan (estimate) bagi
(Hogg et al. 2005)
Definisi 29 (Penduga takbias)
(i). Suatu penduga yang nilai harapannya sama dengan parameter
, yaitu
disebut penduga takbias bagi parameter
.
Jika sebaliknya, penduga di atas disebut berbias.
(ii). Jika
maka
parameter
disebut sebagai penduga takbias asimtotik bagi
(Hogg et al. 2005)
Definisi 30 (Penduga konsisten)
Suatu penduga yang konvergen dalam peluang ke parameter
disebut
penduga konsisten bagi
(Hogg et al. 2005)
Definisi 31 (O(.) dan o(.) )
Simbol-simbol ini merupakan cara untuk membandingkan besarnya dua fungsi
dan
dengan menuju suatu limit L.
terbatas, untuk
(i). Notasi
menyatakan bahwa
.
(ii).Notasi
, menyatakan bahwa
, untuk
.
(Serfling 1980)
Definisi 32 (Konsistensi penduga titik)
adalah peubah acak dari populasi yang tidak
Misalkan
diketahui
, dengan
adalah keluarga yang mengandung populasi yang
menghasilkan data dan
adalah penduga titik bagi suatu nilai untuk setiap
.
i)
disebut konsisten terhadap jika dan hanya jika
untuk
setiap
.
adalah barisan konstanta positif yang divergen ke .
ii) Misalkan
disebut
-konsisten terhadap jika dan hanya jika
untuk setiap
.
iii)
konsisten kuat terhadap jika dan hanya jika
untuk
setiap
iv)
.
disebut
untuk setiap
-konsisten terhadap
dan
.
jika dan hanya jika
9
(Shao 2007)
Definisi 33 (MSE suatu penduga)
Mean Square Error (MSE) dari suatu penduga U bagi parameter
didefinisikan sebagai
dengan
.
Definisi 34 (UMVUE suatu penduga)
Misalkan adalah peubah acak dari populasi yang tidak diketahui
dan
adalah parameter yang terkait dengan ,
. Didefinisikan
adalah
penduga takbias terhadap jika dan hanya jika
. Sebuah penduga
takbias
terhadap disebut uniformly minimum variance unbiased estimator
(UMVUE) jika dan hanya jika
untuk setiap
dan setiap penduga takbias lain
terhadap .
(Shao 2007)
Beberapa Lema Teknis
Lema 1 (Pertaksamaan Markov)
Jika X adalah peubah acak yang taknegatif, maka untuk setiap
,
Bukti: lihat Lampiran 1.
Lema 2 (Pertaksamaan Chebyshev)
Jika X adalah peubah acak dengan nilai harapan
setiap k > 0,
dan ragam
, maka untuk
Bukti: lihat Lampiran 2.
Lema 3 (Teorema deret Taylor)
Deret Taylor dari fungsi f di a (atau di sekitar a atau yang berpusat di a)
memenuhi persamaan
(Stewart 2001)
.
Bukti: lihat Stewart (2001)
Lema 4 (Teorema Limit Pusat (CLT))
Jika
adalah barisan peubah acak i.i.d. dengan
, maka sebaran dari
dan
10
konvergen ke sebaran normal baku, yaitu
Bukti: lihat Lampiran 3
Lema 5 (Teorema kontinuitas)
Misalkan
adalah barisan peubah acak dengan fungsi pembangkit momen
dan jika
,
maka
Dengan kata lain, fungsi sebaran dari
konvergen ke fungsi sebaran normal jika
fungsi pembangkit momen dari
konvergen ke fungsi pembangkit momen
sebaran normal.
(Grimmett and Welsh 1986)
Misalkan adalah matiks koragam simetrik definit positif yang berukuran
dan adalah 10ector nilai harapan yang berukuran
. Jika
adalah 10ector peubah acak yang berukuran
dengan fungsi pembangkit
momen
dan jika
,
dengan
adalah 10ector berukuran
, maka
sehingga
, untuk
Dengan kata lain, fungsi sebaran dari
konvergen ke fungsi sebaran normal
multivariate jika fungsi pembangkit momen dari
konvergen ke fungsi
pembangkit momen sebaran normal multivariate.
Bukti: lihat Grimmett and Welsh (1986).
11
Lema 6 (Sifat fungsi pembangkit momen berdasarkan teorema Taylor) Jika
, dengan –
dan
, maka ada sebaran yang
unik dengan fungsi pembangkit momen
. Selanjutnya,
(Grimmett and Welsh 1986)
Bukti: lihat Grimmett and Welsh (1986).
Teorema 2 (Bilangan
Untuk sebarang
sebagai suatu limit)
, maka
(Stewart 2001)
Bukti: lihat Stewart (2001).
HASIL DAN PEMBAHASAN
Estimasi Parameter
Kebanyakan model probabilitas, terutama yang cukup luas penggunaannya,
tergantung dari beberapa konstanta yang dikenal dengan nama parameter. Jika
parameter tidak diketahui, maka harus diduga dengan menggunakan data sampel.
Hal ini dapat dilakukan dengan menggunakan fungsi yang dinamakan statistik.
Pendugaan adalah proses yang menggunakan statistik sampel untuk
menduga atau menaksir nilai parameter populasi yang tidak diketahui. Pendugaan
merupakan suatu pernyataan mengenai parameter populasi yang tidak diketahui
berdasarkan sampel dari populasi. Dalam hal ini sampel random, yang diambil
dari populasi yang bersangkutan. Penduga (estimator) adalah contoh acak atau
suatu statistik yang digunakan untuk menduga parameter atau fungsi parameter.
Besaran sebagai hasil penerapan penduga terhadap data dari semua contoh disebut
nilai dugaan (estimate).
Sebuah nilai
bagi suatu parameter disebut suatu nilai dugaan bagi
parameter populasi. Statistik yang digunakan untuk memperoleh sebuah nilai
dugaan disebut estimator atau fungsi keputusan. Sifat yang seharusnya dimiliki
oleh estimator adalah menghasilkan nilai dugaan parameter yang bersifat takbias
(unbiased estimator).
Dalam kehidupan sehari-hari banyak kasus yang menggunakan pendugaan
untuk menaksir parameter tertentu seperti suatu perusahaan elektronik
menggunakan pendugaan nonparametrik untuk mengetahui jangka waktu pakai
suatu jenis elektronik yang diproduksinya.
12
Berikut dibuktikan Proposisi 1 yang digunakan untuk menunjukkan
distribusi asimtotik dari suatu fungsi sebaran yang tidak diketahui.
Proposisi 1 (Multivariate CLT)
Misalkan
adalah vektor peubah acak yang i.i.d. dengan
maka
dan
dengan
merupakan ukuran vektor nilai harapan
yang berukuran
, yaitu
dan matriks koragam
,
dan rata-ratanya adalah
Bukti:
Misalkan
karena
adalah peubah acak yang i.i.d. maka
adalah peubah acak dari
yang saling bebas dan mempunyai sebaran identik.
Vektor nilai harapan dan matriks koragamnya adalah sebagai berikut:
Karena
, maka
13
dan
memiliki
sehingga
fungsi
pembangkit momen yang sama,
, dengan adalah 13ector berukuran
, untuk
.
Misalkan
maka fungsi pembangkit momen dari
Karena
identik maka
adalah
adalah peubah acak yang saling bebas dan mempunyai sebaran
Karena
memiliki fungsi pembangkit momen yang sama misalkan
maka
didefinisikan dengan
sehingga
Berdasarkan Lema 3
14
Karena
, maka
Substitusi persamaan (3) ke persamaan (2) dengan tetap, maka diperoleh
Selanjutnya berdasarkan
. Berdasarkan Lema 5 fungsi sebaran dari
konvergen ke
sehingga
konvergen ke fungsi sebaran normal multivariate jika fungsi pembangkit
momen dari
konvergen ke fungsi pembangkit momen sebaran normal
multivariate, akibatnya
Dengan demikian Proposisi 1 terbukti.
Fungsi Sebaran dalam Kasus i.i.d. Secara Empiris
Misalkan
adalah vektor peubah acak yang i.i.d. dengan
dari fungsi sebaran yang tidak diketahui. Jika fungsi bukan dalam anggota
keluarga parametrik, maka penduga nonparametrik dari
adalah fungsi
sebaran secara empiris yaitu:
untuk setiap
.
15
adalah i.i.d. peubah acak biner
Karena
dengan
akibatnya peubah acak
Karena
dan
memiliki sebaran binomial
.
memiliki sebaran binomial
maka
sehingga
merupakan penduga takbias terhadap
uniformly minimum variance unbiased estimator (UMVUE).
Karena
diketahui yaitu
dengan
adalah
dan
adalah
-konsisten untuk
, untuk setiap m titik berbeda yang
di
maka berdasarkan Proposisi 1 dan (4) untuk
adalah matriks koragam yang berukuran
dengan elemen
.
Hasil ini didapat tanpa ada asumsi untuk fungsi F.
Perhatikan
adalah suatu fungsi sebaran terhadap dan
anggota
,
dengan
adalah koleksi himpunan fungsi sebaran di
Berikut ini akan
diberikan Definisi 35 untuk menjukan jarak di koleksi himpunan fungsi sebaran
pada .
Definisi 35
i. Misalkan
adalah himpunan bagian dari . Sebuah fungsi
ke
disebut jarak pada
jika dan hanya jika
,
jika dan hanya jika
,
a)
,
b)
.
c)
ii. Misalkan ada
dari suatu ruang vektor
dari
dengan
Norm pada
didefinisikan sebagai fungsi
memenuhi:
a)
jika dan hanya jika
,
b)
dan
,
c)
dari
.
ke
yang
16
Norm
mengartikan suatu jarak yang diberikan oleh
. Jarak yang paling umum digunakan adalah sup-norm jarak
jarak yang disebabkan oleh sup-norm
, yaitu
Lema 7 (Pertaksamaan Dvoretzky, Kiefer, and Wolfowitz (DKW) )
Misalkan
adalah fungsi sebaran empiris dari peubah acak
yang
i.i.d. dengan
dari suatu sebaran .
i. Ketika
maka ada C konstanta positif yang tidak bergantung dengan F,
sehingga
(8)
untuk
ii. Ketika
untuk setiap
maka
positif yang konstan dan tidak
tergantung pada F, sehingga
(9)
untuk
Bukti :
Misalkan
sebaran
Misalkan
, maka ada
merupakan fungsi yang terdistribusi secara empirik dari fungsi
. Karena
sehingga
sehingga
untuk setiap
, akibatnya
Berdasarkan Definisi 35 pertaksamaan di atas dapat ditulis
dengan C konstanta positif yang tidak bergantung dengan F.
Berikut ini diberikan Teorema 3 dan Lema 7 untuk menunjukkan bahwa
konvergen dalam peluang ke
untuk
.
penduga
17
Teorema 3
Misalkan
adalah barisan peubah acak yang i.i.d. dari sebaran . Jika
merupakan fungsi distribusi empirik dari F, maka
.
(10)
i)
ii)
.
(11)
Bukti :
i) Dari pertaksamaan DKW untuk setiap
,
maka
akibatnya
sehingga
.
ii) Dengan menggunakan pertaksamaan DKW, dengan
Jadi Teorema 3 terbukti.
Teorema 4 (Hukum Kuat bilangan besar (SLLN))
Jika
adalah barisan peubah acak i.i.d. dengan
dan
, maka berlaku
jika
, sehingga
18
Bukti:
Karena
identik maka
adalah peubah acak yang saling bebas dan mempunyai sebaran
Selanjutnya kita dapat menunjukkan bahwa
dan
sehingga
Berdasarkan Lema 1 dengan
Jika
Akibatnya
, maka
, diperoleh
19
Jadi Teorema 4 terbukti.
Dari hasil tersebut dapat dikatakan bahwa
memenuhi SLLN jika
sehingga
Teorema 3(i) menunjukkan bahwa penduga
(a.s.) ke
seragam untuk setiap
,
konvergen sangat kuat
,
konsisten.
sehingga penduga
Teorema 3(ii) menunjukkan bahwa
yang lebih kuat dibandingkan dengan
adalah hasil konsistensi
dari
Misalkan
dan
himpunan bagian dari fungsi sebaran di yang memiliki
jarak antara
dengan
di
adalah sebagai berikut:
, yang merupakan
momen. Didefinisikan
.
Misalkan
, maka
selama
untuk setiap
dan
jika dan hanya jika
,
kontinu. Berdasarkan Teorema 3 dan SLLN bahwa
jika
.
Ketika
, jarak yang lain digunakan untuk mengukur kedekatan antara
dengan adalah jarak
, yaitu:
,
dengan
.
Teorema 5
Misalkan
barisan peubah acak i.i.d. dari fungsi sebaran
merupakan fungsi distribusi secara empiris dari
, maka
i)
,
ii)
atau jika
.
. Jika
(12)
dan
(13)
20
Bukti :
i) Karena
untuk
dan dari Teorema 3
, maka
Misalkan
, maka
adalah peubah acak yang i.i.d.
dan
(14)
yang terbatas untuk
Karena
. Berdasarkan SLLN didapat
dan
berdasarkan Teorema 3
sehingga
Hasil (15) di atas setara dengan
ii) Untuk
,
21
Jadi Teorema 5 terbukti.
Maximum Likelihood Estimator (MLE) di Model Nonparametrik
Misalkan
peluang untuk
likelihood dari ke
barisan peubah acak i.i.d. dan
adalah ukuran
. Diberikan
, fungsi nonparametric
didefinisikan sebagai berikut:
untuk setidaknya satu i. Hasil ini menunjukkan
Maka
jika
bahwa fungsi sebaran secara empiris
adalah maximum likelihood estimate
(MLE) nonparametrik dari F.
Teorema 6
Misalkan
adalah peubah acak i.i.d. dengan
dan
adalah
fungsi nonparametric likelihood dari ke
yang didefinisikan pada (18),
maka fungsi sebaran empiris akan memaksimumkan
dengan
Bukti:
Kita hanya perlu mempertimbangkan
sehingga
dan
adalah himpunan bagian dari yang berisi
, dan
.
Misalkan
Didefinisikan
dengan
adalah pengganda Lagrange.
Himpunan
Solusinya adalah
,
adalah solusi maksimum dengan
,
dan
.
Hal ini menunjukan bahwa
(18)
dimaksimumkan di
untuk
.
tetap, sehingga
untuk
22
Bukti alternatif:
Kita cukup menunjukan bahwa
untuk setiap
Misalkan
.
adalah peubah acak yang mengambil nilai
, maka
yang hasinya tetap, sehingga fungsi sebaran empiris
dengan
dengan kemungkinan
memaksimalkan
Jadi Teorema 6 terbukti.
Metode Empirical Likelihoods
Metode empirical likelihoods ini berasal dari fungsi sebaran F yang dapat
diperluas untuk berbagai situasi dengan beberapa modifikasi dari fungsi
nonparametric likelihood
dan kendala . Modifikasi dari likelihood
ini disebut dengan empirical likelihood. Estimator yang diperoleh dengan
memaksimumkan kemungkinan empiris ini disebut dengan maximum empirical
likelihood estimator (MELE).
Dari Teorema 6, fungsi sebaran empiris
dengan fungsi nonparametric likelihood dari
sebagai berikut:
adalah maximum likelihood
ke
yang didefinisikan
. Dalam
untuk setiap
, dengan
beberapa kasus, banyak estimasi fungsi sebaran F dengan informasi tambahan
23
tentang F dan
dari
ke
barisan peubah acak i.i.d. Misalkan ada fungsi Borel
sehingga
(misalnya rata-rata dari beberapa komponen F adalah 0). Karena fungsi
penduga dari fungsi sebaran , maka berdasarkan (20)
adalah
Namun hal ini tidak berlaku untuk fungsi sebaran empiris yang didefinisikan di
(4) meskipun nilai harapan
, karena
Menggunakan metode empirical likelihoods, solusi alami didapat dengan
menempatkan kendala yang lain dalam proses memaksimumkan kemungkinan.
Maka kita dapat memaksimumkan
yang didefinisikan di (19) dengan
.
, untuk
kendala
dan
Dengan menggunakan pengganda Lagrange dan argumen yang mirip
dengan pembuktian Teorema 6, dapat ditunjukkan bahwa MELE dari fungsi
sebaran adalah
dengan
dan
adalah pengganda Lagrange yang memenuhi
Perhatikan bahwa penduga fungsi sebaran
tereduksi ke
jika
Dapat dilihat bahwa persamaan (25) memiliki solusi asimtotik, dengan
catatan bahwa
dan
24
adalah definit positif.
yang merupakan definit negatif jika
Jadi,
Oleh karena itu, dengan menggunakan argumen yang sama seperti dalam bukti
Teorema 6, kita dapat menunjukkan bahwa ada urutan yang unik dari
sehingga
untuk
.
Teorema 7
Misalkan
adalah peubah acak i.i.d. dengan
dan
adalah
fungsi Borel di
seperti yang didefinisikan di (20) dan adalah MELE dari
adalah definit positif dan
yang diberikan di (23). Andaikan
di
dan
adalah konstanta bilangan real, maka
(27)
dengan
adalah matriks koragam
yang elemen
dari
adalah
,
Bukti:
Misalkan
Taylor
,
Dengan SLLN dan CLT,
. Berdasarkan (25), (26) dan ekspansi deret
25
Dengan menggunakan ekspansi deret Taylor dan SLLN kembali, kita dapat
Jadi,
Hasil ini berdasarkan CLT dan fakta bahwa,
Berdasarkan (27) dan (7) jika dibandingkan, kita dapat menyimpulkan bahwa
penduga fungsi sebaran
adalah lebih efisien secara asimtotik dibandingkan
dengan .
Contoh Penerapan
Metode ini dapat diaplikasikan dalam masalah penyensoran data yang
diperkenalkan oleh Kaplan-Meier (1958) dalam masalah product-limit estimator.
Misalkan
adalah peubah acak yang i.i.d. dengan
merupakan waktu
kelangsungan hidup yang nonnegatif, dan
adalah variabel acak yang i.i.d
26
dengan
merupakan banyaknya penyensoran yang bebas terhadap
sensor acaknya adalah:
. Model
Dalam hal ini hanya dipertimbangkan estimasi sebaran kelangsungan
hidup F.
Sebuah MELE dari F dapat diturunkan dengan memisalkan
adalah nilai urutan dari
dan
adalah nilai yang terkait dengan .
Didefinisikan sebuah fungsi sebaran kontinu yang memberikan massa pada titik
dan
dan interval
Misalkan
maka sebuah MELE dari diperoleh dengan memaksimumkan
dengan kendala
Sehingga MELE dari
dengan
adalah:
merupakan statistik order dan
SIMPULAN
Pada tulisan ini dikaji suatu pendugaan di model nonparametrik dari sebaran
empirik yaitu:
dengan
.
Dari hasil pengkajian yang dilakukan, dapat disimpulkan bahwa:
27
1.
merupakan penduga takbias terhadap
dengan
atau
adalah uniformly minimum
variance unbiased estimator (UMVUE) dan
-konsisten untuk
, untuk
setiap m berbeda yang diketahui dan
di .
2.
adalah maximum likelihood dengan fungsi nonparametric likelihood dari
ke
adalah
untuk setiap
, dan
.
3. penduga fungsi sebaran adalah lebih efisien secara asimtotik dibandingkan
dengan jika menggunakan informasi
.
DAFTAR PUSTAKA
Ghahramani S. 2005. Fundamentals of Probability. Third Ed. Prentice Hall.
New Jersey.
Grimmett GR, Stirzaker DR. 1992. Probability and Random Processes. Second
Ed. Oxford (US): Clarendon Press.
Grimmett GR, Welsh D. 1986. Probability: An Introduction. Oxford University
Press. USA.
Hogg RV, Craig AT, McKean JW. 2005. Introduction to Mathematical
Statistics. Sixth Ed. Prentice Hall. Englewood Cliffs. New Jersey.
Kaplan EL, Meier P. 1958. Nonparametric estimation from incomplete
observation. J. Amer. Statist. Assoc., 53: 457-906.
Leon SJ. 2001. Aljabar Linear dan Aplikasinya. Ed. Ke-5. Bondan A, alih
bahasa: Jakarta (ID): Erlangga. Terjemahan dari: Linear Algebra with
Application.
Serfling RJ. 1980. Aproximation Theorems of Mathematical Statistics. John
Wiley & Sons. New York (US): Springer.
Shao J. 2007. Mathematical Statistics. Second Ed. New York (US): Springer.
Stewart, J. 2001. Kalkulus. Jilid 1. Ed. ke-4. Susila, I Nyoman dan Gunawan,
Hendra, alih bahasa: Jakarta (ID): Erlangga. Terjemahan dari: Calculus.
28
LAMPIRAN
29
Lampiran 1 (Pembuktian Lema 1)
Lema 1 (Pertaksamaan Markov)
Jika X adalah peubah acak yang taknegatif, maka untuk setiap
,
Bukti:
Jika X kontinu dengan fungsi kepekatan peluang f, maka
Untuk kasus X diskret, dapat dibuktikan dengan cara serupa, yaitu dengan
mengganti integral dengan notasi penjumlahan serta fungsi kepekatan peluang
dengan fungsi kerapatan peluang. Jadi
Sehingga dapat ditulis
Jadi pertaksamaan Markov terbukti.
Lampiran 2 (Pembuktian Lema 2)
Lema 2 (Pertaksamaan Chebyshev)
Jika X adalah peubah acak dengan nilai harapan
setiap k > 0,
dan ragam
, maka untuk
Bukti:
Untuk membuktikan pertaksamaan Chebyshev menggunakan Lema 1.
30
Jadi Lema 2 terbukti.
Lampiran 3 ( Pembuktian Lema 4)
Lema 4 (Teorema Limit Pusat (CLT))
Jika
adalah barisan peubah acak i.i.d. dengan
, maka sebaran dari
dan
konvergen ke sebaran normal baku, yaitu
Bukti:
Berdasarkan Lema 5, untuk membuktikan Lema 4 cukup dibuktikan
konvergen ke
, yaitu pembangkit momen peubah acak normal baku. Misalkan
maka
adalah peubah acak yang saling bebas dan
mempunyai sebaran identik dengan nilai harapan dan ragam yang diberikan
sebagai berikut:
dan
memiliki fungsi pembangkit momen yang sama,
Diketahui
dari
adalah
maka fungsi pembangkit momen
31
Persamaan di atas dapat ditulis sebagai :
ruas kanan adalah fungsi sebaran normal dengan nilai harapan 0 dan ragam 1.
Untuk menyelesaikan bukti Lema 4, digunakan Lema 3, sehingga diperoleh
Substitusi persamaan (34) ke persamaan (33) dengan
diperoleh
Selanjutnya, dicari limit dari
Sehingga
normal baku.
konvergen ke
Dengan demikian Lema 4 terbukti.
dan
tetap, maka
sebagai berikut
, yaitu pembangkit momen peubah acak
32
RIWAYAT HIDUP
Penulis dilahirkan di Padang Bintungan pada tanggal 08 Desember 1989
dari ayah Aly Fikri dan Ibu Suparni. Penulis adalah putra keempat dari empat
bersaudara. Tahun 2008 penulis lulus SMA Negri 1 Sitiung dan pada tahun yang
sama penulis lulus seleksi masuk Institut Pertanian Bogor (IPB) melalui jalur
Undangan Seleksi Masuk IPB (USMI) dan diterima di Departemen Matematika,
Fakultas Matematika dan Ilmu Pengetahuan Alam.
Selama mengikuti perkuliahan, penulis menjadi asisten dosen mata kuliah
Pemrograman Linear pada tahun ajaran 2010/2011 dan 2011/2012, asisten
praktikum Analisis Numerik pada tahun ajaran semester pendek 2012. Penulis
juga aktif mengajar privat matematika di bimbingan belajar dan privat Gumatika.
Penulis juga aktif sebagai Badan Pengawas Gumatika. Penulis juga aktif berwira
usaha sebagai produsen bakpau.