TEOREMA ELIMINASI CUT PADA SISTEM LOGIKA FLgc DAN FLw,gc - Diponegoro University | Institutional Repository (UNDIP-IR)

ESTIMASI REGRESI WAVELET THRESHOLDING

DENGAN METODE BOOTSTRAP Suparti1_{, Achmad Mustofa}2 _{dan Agus Rusgiyono}3

1,3Staf Program Studi Statistika Jurusan Matematika FMIPA UNDIP 2Alumni Jurusan Matematika FMIPA UNDIP

Jl. Prof. H. Soedarto, SH Tembalang Semarang 50275

Abstract. Wavelet is a function that has the certainly characteristic for example, it oscillate about zero point ascillating, localized in the time and frequency domain and construct the orthogonal bases in L2_{(R) space. On of the wavelet application is to estimate non parametric regression}

function. There are two kinds of wavelet estimator, i.e., linear and non linear wavelet estimator. The non linear wavelet estimator is called a thresholding wavelet rstimator. The application of the bootstrap methode in the thresholding wavelet function estimation is resample the wavelet coefficient of residual. The best of the thresholding wavelet estimator with bootstrap method has minimal of mean square error (MSE). The minimal MSE depend from the number of replication. Keywords: non parametric regression, thresholding wavelet estimator, bootstrap method. 1. PENDAHULUAN

Model regresi standar dari sejumlah n data pengamatan independen

 

 

1 ,

 i

n Y

Xi i adalah:

 

i i

i f X

Y   , i= 1, 2, …, n (1.1) dengan Xi variabel prediktor, Yi variabel respon dan f fungsi regresi yang tidak di-ketahui. Sementara i variabel random

in-dependen dengan mean 0 dan varian _2_.

Ada dua pendekatan dalam mengestimasi fungsi f yaitu pendekatan parametrik dan pendekatan non-parametrik [1]. Pendeka-tan parametrik dilakukan jika asumsi ben-tuk fungsi f diketahui tergantung dari suatu parameter misalnya linear, eksponensial, dan lain-lain, sedangkan pendekatan non-parametrik dilakukan jika asumsi bentuk f

tidak diketahui. Teknik regresi non-para-metrik seperti metode kernel dan deret Fourier mengasumsikan bahwa fungsi f

termuat dalam kelas fungsi mulus, artinya mempunyai turunan yang kontinu. Jika fungsinya tidak mulus maka kedua metode tersebut tidak dapat digunakan dengan ba-ik. Sedangkan dengan metode wavelet asumsi kemulusan fungsi dapat diperle-mah, karena wavelet mampu mengestima-si baik fungmengestima-si mulus maupun tidak mulus.

Estimator wavelet sendiri dibedakan men-jadi dua macam, yaitu estimator wavelet linear dan estimator wavelet non-linear. Estimator wavelet nonlinear dinamakan juga estimator wavelet thresholding atau

estimator wavelet shrinkage. Salah satu ukuran kebaikan dari estimator tersebut adalah nilai Mean Square Error (MSE) atau nilai Error Kuadrat Rata-rata Ter-integrasi / Integrated Mean Square Error (IMSE). Estimator wavelet linear mem-punyai penurunan IMSE lebih cepat menu-ju nol dari pada estimator deret Fourier tetapi sama cepatnya dengan estimator ker-nel [2]. Sedangkan estimator nonlinear mempunyai laju konvergensi IMSE yang lebih cepat menuju nol dari estimator linear [3].

Bootstrap merupakan prosedur un-tuk mendapatkan estimasi parameter, de-ngan resampling data dede-ngan pengemba-lian. Efron dan Tibshirani [4] mengguna-kan metode bootstrap dalam menentumengguna-kan estimasi fungsi regresi linear dengan re-sampling residual. Sedangkan dalam ma-kalah ini metode bootstrap dalam estimasi fungsi regresi wavelet thresholding dengan melakukan resampling koefisien wavelet dari residual seperti yang dilakukan oleh Bruce dan Gao [5].

1.1. Estimator deret Fourier

Diasumsikan bahwa fL2_(R) dengan L2R



f : f(x)2dx



,

ma-ka L2_{(R) merupakan ruang Hilbert [6].} Sebuah hasil kali dalam pada ruang L2_(R) adalah fungsi yang mengasosiasikan bila-ngan riil f,g _{, dengan masing-masing} pasangan fungsi f(x) dan g(x) pada L2_(R). Hasil kali dalam L2_{(R) dari dua fungsi dan} norma sebuah fungsi didefinisikan

dx x g x f g

f, __ ( ) ( ) _,

 

 f f f x dx

f _{, ( ( ))}2 .

Andaikan

 

j j1,2,... sistem

ortonormal lengkap (CONS) dari L2_(R), maka sembarang f  L2_{(R) dapat} dinya-takan sebagai





  1 j j j

f   _dengan

j j f,

  ,

dan memenuhi identitas Parseval



   1 2 2 j j

f  _{. Karena } 

 f x dx 2

) (

maka



   n j j 1 2

 _sehingga _j  0_{, untuk}

 

j _{. Oleh karena itu, f dapat didekati} oleh



  J j j j f 1 

 _{untuk bilangan bulat J} cukup besar. Khususnya jika f  L2_[0,2], maka f dapat didekati dengan deret Fou-rier,







    J j j j

J x a a jx b jx

f

1

0 cos( ) sin( )

2 1 )

( _,

(1.2) dengan koefisien Fourier



     2

0 ( )cos( )

1 .) cos( , 1 dx jx x f j f a_j

dengan j=0,1,…,J dan

dx jx x f j f

b_j 1 ,sin( .) 1 2 ( )sin( )

0



    

dengan j=1,2,…,J.

Jika





Xi,Yi





_in1 merupakan data observasi independen mempunyai model (1.1) dengan

n i

X_i 2 _dan X_i



0,2



_, maka estimator regresi f adalah



ˆ cos( ) ˆ sin( )

,

ˆ 2 1 ) ( ˆ 1

0   





J

j j j

J x a a jx b jx

f

(1.3)

dengan







n

i i i

j Y jX

n a 1 ) cos( 2

ˆ , j = 0,1,

…,J dan







n

i i i

j Y jX

n b 1 ) sin( 2

ˆ _{, j = 1,2,3,}

…,J.

1.2. Fungsi Wavelet

Fungsi wavelet adalah suatu fungsi dengan sifat-sifat tertentu diantaranya yang berosilasi di sekitar nol (seperti fungsi si-nus dan cosisi-nus), terlokalisasi dalam do-main waktu dan frekuensi serta mem-bentuk basis ortogonal dalam L2_{(R) [7].} Fungsi wavelet dibedakan atas dua jenis, yaitu wavelet ayah () dan wavelet ibu ()

yang mempunyai sifat:

(x)dx1 dan (x)dx0.

Dengan dilatasi diadik dan translasi in-teger, wavelet ayah dan wavelet ibu mela-hirkan keluarga wavelet yaitu

) 2 ( ) 2 ( )

( 12

,k x p j p jx k

j   

 dan ) 2 ( ) 2 ( )

( 12

,k x p j p jx k

j   

 ,

untuk suatu skalar p>0, dan tanpa me-ngurangi keumuman dapat diambil p=1, sehingga ) 2 ( 2 )

( /2

,k x j jx k

j   

 dan ) 2 ( 2 )

( /2

,k x j jx k

j   

 .

Fungsi _j,k(x) _dan  _j,k(x) _mempunyai sifat

___j,k(x)_j,k'(x)dx_k,k', __ _j,k(x)_j,k'(x)dx 0_,

__ j,k(x) j',k'(x)dxj,j'k,k',

dengan       j. i jika 0 j i jika 1 j , i 

Contoh wavelet paling sederhana adalah wavelet Haar yang mempunyai rumus























lain

yang

0

1

2

1

1

2

1

0

1

x,

x

/,

x

,

)x

(



dan













lain

yang

0

1

0

1

x,

x

,

)x(



Gambar 1 adalah beberapa contoh wavelet yang meliputi wavelet Haar, wavelet Dau-bechies (Daublet), symmetris (Symmlet), dan Coifman (Coiflet) [8].

Gambar 1. Beberapa contoh wavelet 2. ANALISIS MULTIRESOLUSI

Analisis multiresolusi L2_{(R) adalah}

ruang bagian tertutup {Vj,jZ} yang

me-menuhi

i) …V-2V-1V0V1V2 … ii) jZ Vj = {0}, jZVj = L2(R) iii) fVj  f(2.)Vj1

iv) f V0  f(. k)V0,kZ

v) Terdapat sebuah fungsi V0

se-hingga 0,k (. k),kZ

mem-bentuk basis ortonormal untuk V0 dimana untuk semua j,k 

Z, _(x) j



j_{x k}



k ,

j 2 2



2 



.

Jika {Vj, j  Z} analisis multiresolusi dari L2_{(R), maka ada basis ortonormal}



_j,k; ,jkZ



_{untuk L}2_(R):

2 /2 (2 ),

, x k

j j k

j   



sehingga untuk sembarang f pada L2_(R),



    _{  }  Z k k j k j j

j_{f P f f}

P , 1, 1, .

1



 _,

yaitu 

 

x _{yang diturunkan dari}





_{ }



     Z

k k k

k_{c x}

x) 1 ( )

( ₁_1,

 _.

Akibat. Bila  adalah fungsi skalar yang membangun analisis multiresolusi dan

 

  

Z  

k k ,k

k_{c (x)} )

(

ψ(x) 1 ₁_{1 ,}

maka dekomposisi sembarang fL2_{(R) ke} dalam wavelet ortonormal adalah

) ( ψ d ) ( ) ( jo

j k Z

k j, k j, ,

, x x

c x f Z k k jo k jo



 

      , (2.1) dengan





_jok

k

jo

f

c

_,

,



_, dan

d

_j,k



f

,



_j,k



. 3. ESTIMATOR WAVELET LINEAR

Misalkan terdapat sekumpulan data independen





(Xi,Yi)





in1yang

mempunyai model (1.1) dan n = 2m _dengan m bilangan bulat positip. Jika Xi rancangan titik reguler pada interval [0,1] dengan Xi = i/n, maka proyeksi f pada ruang VJ dapat ditulis menjadi

 

Z

k J k J k

J _{f c x}

P ) ( )

( _,  _{, atau}

 

_





Z

k Jk Jk

J x c x

f _,  _, ( )_,

dengan



  1 0 , ,

, f, f(x) (x)dx

cJ k J k Jk .

Untuk J→ ∞ maka fJ(x) → f(x). Berdasarkan dekomposisi fungsi ke dalam wavelet ortonormal (2.1) untuk sembarang fungsi _{f L}2(_R)

 diperoleh

), ( ψ d ) ( )

( J 1

jo

j k Z j,k j,k ,

, x x

c x

f

Z

k jok jok

J     

     dengan





_jok

k

jo

f

c

_,

,



_, =

_

1

 

 

0 f xjo,k x dx

dan





_jk

k

j

f

d

_,

,



_, =

_

1

 

 

Karena fungsi regresi f tidak diketahui maka estimator f pada ruang VJ dapat ditulis sebagai

 

_

  Z k k J k J

J x c x

fˆ ˆ _,  _, ( )

dengancˆ_J,k 

_

 n i i k J i X Y n 1 , ( ) 1

 , atau

) ( ψ dˆ ) ( ˆ ) (

ˆ J 1

jo

j k Z

k j, k j, ,

, x x

c x f Z k k jo k jo

J



 

       (3.1) dengan



  n

i i jo,k i k

,

jo Y (X )

n cˆ 1 1  ,



  n i i k , j i k ,

j Y (X )

n dˆ

1

1

 .

Estimator wavelet (5) dinamakan estimator wavelet linear.

4. ESTIMATOR WAVELET THRESHOLDING

Jika diberikan data  ,  ₁

 i

n Y Xi i dengan model (1), _n2m _dan

n

i

X

_i



,

maka Yi ~



 



2

,



n

i

g

N

. Mean dan

varian dari dˆj,k adalah E

 

dˆj,k dj,k dan

 

n σ d

Var ˆ _j,k  2 sehingga dˆj,k ~ N(dj,k ,

n σ2

). Jadi koefisien wavelet empiris dˆj,k memu-at sejumlah noise dan hanya relatif sedikit yang memuat sinyal signifikan. Oleh kare-na itu, dapat direkonstruksi estimator wavelet dengan menggunakan sejumlah koefisien terbesar [7,9]. Yakni hanya ko-efisien yang lebih besar dari suatu nilai tertentu yang diambil, sedangkan koefisien selebihnya diabaikan, karena dianggap 0. Nilai tertentu tersebut dinamakan nilai threshold ( nilai ambang) dan estimatornya menghasilkan

 

_

 

_{ }



 

 

      k J jo j k o

k j k j k jo k jo j x d x c x

fˆ_ ˆ _,  _, 12 1 _ ˆ _,  _,

(4.1)

dengan menyatakan fungsi

thresholding atau fungsi ambang dengan

nilai ambang atau threshold . Estimator (6) dinamakan estimator wavelet non linear , estimator wavelet shrinkage, atau

estimator wavelet thresholding.

Karena thresholding dirancang un-tuk membedakan antara koefisien wavelet empiris yang masuk dan yang keluar dari rekonstruksi wavelet, sedangkan untuk membuat keputusan ada 2 faktor yang mempengaruhi ketepatan estimator, yaitu ukuran sampel n dan tingkat noise _2_,

maka setiap koefisien merupakan calon kuat masuk di dalam rekonstruksi wavelet jika ukuran sampel besar atau tingkat noise kecil. Karena ndˆ_j,k  _{berdistribusi} nor-mal dengan varian 1 untuk seluruh n dan σ, maka estimator thresholding dari dj,k ada-lah              k j k j d n n

d , ,

ˆ ~

,

sehingga estimator wavelet

thresholding-nya adalah  

_

 

_{ }

                 k J jo

j k jk

k j k jo k jo j x d n n x c x

f 12 1

0 , , , , ˆ ˆ ˆ _      , (4.2) dengan k jo

cˆ , : penduga dari cjo,k

k , j

dˆ _{: penduga dari} dj,k

 : parameter

threshold



 _{: fungsi thresholding}

Langkah-langkah Thresholding

Langkah-langkah thresholding adalah se-bagai berikut.

1. Pemilihan Fungsi Thresholding

Ada dua jenis fungsi thresholding λ,

yaitu:

a. Hard Thresholding,       lain yang x 0, λ x x, (x) H λ

b. Soft Thresholding,

λ x λ x λ x λ, x , λ, x (x) S λ              0

dengan λ merupakan parameter thres-hold.

Fungsi Hard thresholding lebih di-kenal karena terdapat diskontinyu da-lam fungsi thresholding sehingga nilai

x yang berada di atas threshold λ tidak disentuh. Sebaliknya, fungsi soft thres-holding kontinyu yaitu sejak nilai

x berada di atas threshold λ . Motivasi penggunaan soft thresholding berasal dari prinsip bahwa noise mempenga-ruhi seluruh koefisien wavelet. Juga kekontinyuan dari fungsi soft shrinkage membuat kondisi yang lebih baik untuk alasan statistik.

2. Estimasi

σ

Dalam merekonstruksi fungsi wavelet biasanya nilai σ tidak diketahui. Oleh karena itu, σ harus diestimasi dari data. Ogden [7] memberikan estimasi σ ber-dasarkan koefisien wavelet empiris pa-da level resolusi tertinggi dengan fung-si Median Deviafung-si Absolut (MAD), yaitu:









0,6745 dˆ median dˆ

median

σˆ  J1,k  J1,k .

3. Pemilihan Parameter Threshold

Pada estimasi fungsi dengan metode wavelet thresholding, tingkat kemulu-san estimator ditentukan oleh level re-solusi J, fungsi thresholding  dan

parameter threshold λ . Namun pemilihan J dan  tidak sedominan

λ . Nilai λ yang terlalu kecil membe-rikan estimasi fungsi yang sangat tidak mulus (under smooth) sedangkan nilai λ yang terlalu besar memberikan esti-masi yang sangat mulus (over smooth). Oleh karena itu perlu dipilih parameter threshold yang optimal untuk men-dapatkan fungsi yang optimal. Untuk memilih nilai

threshold optimal, ada dua kategori pemilihan yaitu memilih satu harga

threshold untuk seluruh le-vel resolusi ( pemilihan secara global ) dan pemilihan threshold yang tergan-tung pada level resolusi.

Untuk pemilihan global threshold, Ogden [7] memberikan 2 pemilihan

threshold yang hanya bergantung pada banyaknya data pengamatan n yaitu

threshold universal (λ_j  2 log n₎

dan threshold minimax yang telah dita-belkan oleh Donoho dan Johnstone [10]. Nilai-nilai threshold minimax selalu lebih kecil dibandingkan dengan nilai threshold universal untuk ukuran sampel yang sama.

Pemilihan nilai threshold berdasar-kan level resolusi memberiberdasar-kan ke-mungkinan adanya perbedaan nilai

threshold λj yang dipilih untuk tiap le-vel resolusi j. Ada beberapa cara pemi-lihan threshold yang tergantung pada level resolusi, diantaranya

threshold Adapt dan threshold Top.

Threshold adapt didasarkan pada prinsip untuk meminimalkan Stein Un-biased Risk Estimator (SURE) pada suatu level resolusi. Threshold adapt untuk himpunan koefisien detail dj

yang beranggotakan K koefisien dide-finisikan sebagai



d ,t



SURE λ_j argmin_t_{0 j} ,

dengan





_

_











 

 



 

K

k j,k j K

k d t

j

t , / d min K t , d

j k , j

1

2 2 1

1 2 SURE





Sedangkan nilai threshold Top ditentu-kan berdasarditentu-kan besar prosentase koe-fisien yang akan digunakan dari kese-luruhan koefisien wavelet dalam mere-konstruksi fungsi.

4.1 Estimator Regresi Wavelet

Thresholding Terbaik dengan Metode Bootstrap

Suatu kebaikan estimator dapat dilihat dari besarnya tingkat kesalahan. Semakin kecil tingkat kesalahannya semakin baik estimatornya. Salah satu ukuran kebaikan suatu estimator adalah MSE. Suatu estimator fˆ(x) mempunyai MSE ( fˆ(x))=var( fˆ(x))+bias2_{( fˆ(x))}

de-ngan bias( fˆ(x))=E( fˆ(x)-f(x)). Karena f(x) tidak diketahui maka nilai MSE tidak dapat diketahui juga, sehingga perlu dilakukan estimasi MSE. Abramovich dan Benjamini [11] memberikan estimasi dari MSE sebagai







 

 _{  }



n

i

l n y y

y y n MSE

1

2 1

2

1 _{ˆ 2 ˆ}

. Bootstrap merupakan suatu metode resampling dengan pengembalian. Boot-strap dalam estimasi regresi dapat dilaku-kan melalui resampling pada data, residual atau yang lain. Dalam makalah ini boot-strap dilakukan dengan meresampling koe-fisien wavelet dari residual. Untuk menda-patkan estimator regresi wavelet thres-holding terbaik dengan metode bootstrap, jika dibangkitkan sampel bootstrap seba-nyak M kali, maka akan didapatkan Mean Square Error (MSE) sebanyak M. Dari se-banyak M MSE ini dipilih MSE minimal. Estimator yang meminimalkan MSE ini merupakan estimator terbaik dari M resampling bootstrap. Secara garis besar langkah-langkah untuk menentukan esti-mator regresi wavelet thresholding dengan metode bootstrap sebagai berikut.

1. Melakukan estimasi

fungsi regresi wavelet thresholding Yˆ

dengan prose-dur wavelet shrinkage

standar.

2. Menghitung residual

dari estimasi wavelet thresholding.

3. Menghitung koefisien

dari residual

4. Membentuk koefisien

wavelet baru de-ngan melakukan resampling bootstrap pada koefisien wavelet residual secara sendiri-sendiri atau bersama-sama.

5. Menyusun data baru

 

i

Y

*

berdasar-kan bootstrap koefisien wavelet resi-dual.

6. Merekonstruksi

estimasi regresi wave-let thresholding  i

Yˆ berdasarkan sam-ple bootstrap

 

i

Y

*

.

7. Menghitung Mean

Square Error (MSE).

8. Mengulangi langkah 4

sampai dengan 7 sebanyak M kali sehingga diperoleh M estimasi fungsi

regresi bootstrap

 _{, ˆ} _{, ˆ}  _{, ˆ} _.

ˆ1 _Y 2 _Y 3 _Y M

Y 

9. Memilih _Yˆ dengan i MSE terkecil.

10. Gambar estimator

wavelet thresholding terbaik. 4.2 Studi kasus

Untuk menerapkan metode boot-strap dalam estimasi regresi wavelet digu-nakan data berat dan jumlah gas permil model automobil 1990 [12]. Dalam hal ini variabel-variabelnya sebagai berikut.

 Sebagai variabel respon, Y menyatakan jumlah gas permil

 Sebagai variabel prediktor, X (dalam kuintal) menyatakan berat automobil

Dari data tersebut dicari hubungan antara Y dan X yaitu mencari estimasi kurva re-gresi wavelet thresholding dengan metode bootstrap terbaik. Berikut adalah estimasi dengan thresholding universal dan mini-max menggunakan program S-PLUS + Wavelets

Gambar 2. Estimasi Wavelet Thresholding

Menggunakan Threshold Uni-versal dengan Prosedur Boot-strap

Gambar 3. Estimasi Wavelet Thresholding

Menggunakan Threshold Mini-max dengan Prosedur Bootstrap Keterangan Gambar 2 dan Gambar 3. / …… : data

: estimasi regresi wavelet thresholding

: estimasi regresi wavelet thresholding terbaik

dengan bootstrap

: pendekatan 90% interval konfidensi dengan bootstrap

Dari Gambar 2, estimasi wavelet thrsholding dengan bootstrap terbaik dan tanpa bootstrap menghasilkan kurva yang hampir sama. Dari 120 pengulangan, 90 persennya sebagian besar masih berada pada garis-garis tebal, dan titik-titik yang berada pada garis yang saling berdekatan

merupakan nilai-nilai yang dekat dengan estimasi, tapi ada titik-titik yang diluar estimasinya. Dari data sebanyak n = 66 dan resampling sebanyak 120 kali dida-patkan MSE wavelet thresholding tanpa bootstrap sebesar 5.43752567186436 dan MSE minimal setelah pembootstrapan sebesar 4.88123820765525 yang terletak pada sampel ke -113

Dari Gambar 3, estimasi wavelet

thresholding dengan threshold minimax dengan bootstrap terbaik dan tanpa boot-strap dihasilkan kurva yang hampir sama. Dari 120 pengulangan 90 persennya seba-gian besar masih berada pada garis-garis tebal, dan titik-titik yang berada pada garis yang saling berdekatan merupakan nilai-nilai yang dekat dengan estimasi, tapi ada titik-titik yang diluar estimasinya. Dari data sebanayk n = 66 dan resampling se-banyak 120 kali didapatkan MSE wavelet

thresholding tanpa bootstrap sebesar 2.36521414391298 dan MSE minimal setelah pembootstrapan sebesar 2.12811836696285 yang dicapai pada sampel ke -84 .

Dari pengestimasian kurva dengan metode bootstrap menggunakan threshold

universal dan minimax, MSE minimal dengan menggunakan threshold universal minimax lebih kecil dari MSE minimal dengan threshold universal.

5. KESIMPULAN

Pada estimasi wavelet

thresholding dengan bootstrap, pemilihan parameter threshold dan banyaknya replikasi boot-strap berpengaruh pada hasil MSE. Peng-gunaan parameter threshold

minimax menghasilkan MSE yang lebih kecil dari pada threshold universal.

6. DAFTAR PUSTAKA

[1] Abramovich, F. and Benjamini, Y. (1995), Thresholding of Wavelet Coefficients as Multiple Hypothesis Testing Procedure In Wavelets and Statistics, Springer-Verlag, New York, ,5-14.

[2] Bruce, A. and Gao, H Y. (1996),

Applied Wavelet Analisis with S-PLUS, Springer-Verlag. New York. [3] Daubechies, I. (1992), Ten Lectures

on Wavelets, Capital City Press, Phi-ladelpia.

[4] Donoho, D.L and Johnstone, I.M. (1994), Ideal Spatial Adaptation by Wavelet Shrinkage, Biometrika, 81 (3), 425-455.

[5] Donoho, D.L., Johnstone, I.M., Kerkyacharian, G., and Picard, D. (1996), Density Estimation by Wavelet Thersholding. The Annals of Statistics, 24(2), 508-539.

[6] Efron, B., Tibshirani. (1993), An In-troduction to the Bootstrap, Chap-man and Hall. New York.

[7] Hall, P and Patil. P. (1995), On Wavelet Methods for Estimating Smooth Function, Bernoulli 1(1/2). 041-058.

[8] Hardle, W. (1993), Applied Non-parametric Regression. Cambridge University Press. New York.

[9] Http://www.en.wikipedia.org/wiki/ Illustration of density nonparametric

[10] Ogden, R.T. (1997), Essential Wave-let for Statistical Application and Data Analysis, Birkhauser, Boston.

[11] Suparti dan Subanar, H. (2000), Es-timasi Regresi dengan Metode Wave-let Shrinkage. Jurnal Sains & Mate-matika, 8(3), 105-113.

[12] Vetterli, M. and Kovacevic, J. (1995), Wavelets And Subband Co-ding. Prentice Hall PTR, New Jersey.

Karena fungsi regresi f tidak diketahui maka estimator f pada ruang VJ dapat ditulis sebagai

 

_

  Z k k J k J

J x c x

fˆ ˆ _,  _, ( )

dengancˆ_J,k 

_

 n i i k J i X Y n 1 , ( ) 1

 , atau

) ( ψ dˆ ) ( ˆ ) (

ˆ J 1

jo

j k Z

k j, k j, ,

, x x

c x f Z k k jo k jo

J



 

       (3.1) dengan



  n

i i jo,k i k

,

jo Y (X )

n cˆ 1 1  ,



  n i i k , j i k ,

j Y (X )

n dˆ

1 1

 .

Estimator wavelet (5) dinamakan estimator wavelet linear.

4. ESTIMATOR WAVELET THRESHOLDING

Jika diberikan data  ,  ₁



i n Y Xi i

dengan model (1), _n2m _dan

n

i

X

_i



, maka Yi ~



 



2

,



n

i

g

N

. Mean dan varian dari dˆj,k adalah E

 

dˆj,k dj,k dan

 

n σ d

Var ˆ _j,k  2 sehingga dˆj,k ~ N(dj,k ,

n σ2

). Jadi koefisien wavelet empiris dˆj,k memu-at sejumlah noise dan hanya relatif sedikit yang memuat sinyal signifikan. Oleh kare-na itu, dapat direkonstruksi estimator wavelet dengan menggunakan sejumlah koefisien terbesar [7,9]. Yakni hanya ko-efisien yang lebih besar dari suatu nilai tertentu yang diambil, sedangkan koefisien selebihnya diabaikan, karena dianggap 0. Nilai tertentu tersebut dinamakan nilai threshold ( nilai ambang) dan estimatornya menghasilkan

 

_

 

_{ }



 

 

      k J jo j k o

k j k j k jo k jo j x d x c x

fˆ_ ˆ _,  _, 12 1 _ ˆ _,  _,

(4.1)

dengan menyatakan fungsi thresholding atau fungsi ambang dengan

nilai ambang atau threshold . Estimator (6) dinamakan estimator wavelet non linear , estimator wavelet shrinkage, atau

estimator wavelet thresholding.

Karena thresholding dirancang un-tuk membedakan antara koefisien wavelet empiris yang masuk dan yang keluar dari rekonstruksi wavelet, sedangkan untuk membuat keputusan ada 2 faktor yang mempengaruhi ketepatan estimator, yaitu ukuran sampel n dan tingkat noise _2_,

maka setiap koefisien merupakan calon kuat masuk di dalam rekonstruksi wavelet jika ukuran sampel besar atau tingkat noise kecil. Karena ndˆ_j,k  _{berdistribusi}

nor-mal dengan varian 1 untuk seluruh n dan σ, maka estimator thresholding dari dj,k ada-lah              k j k j d n n

d , ,

ˆ ~

,

sehingga estimator wavelet

thresholding-nya adalah  

_

 

_{ }

                 k J jo

j k jk

k j k jo k jo j x d n n x c x

f 12 1

0 , , , , ˆ ˆ ˆ _      , (4.2) dengan k jo

cˆ , : penduga dari cjo,k

k , j

dˆ _{: penduga dari} dj,k

 : parameter

threshold 

 _{: fungsi thresholding} Langkah-langkah Thresholding

Langkah-langkah thresholding adalah se-bagai berikut.

1. Pemilihan Fungsi Thresholding

Ada dua jenis fungsi thresholding λ,

yaitu:

a. Hard Thresholding,

      lain yang x 0, λ x x, (x) H λ

b. Soft Thresholding,

λ x λ x λ x λ, x , λ, x (x) S λ              0

dengan λ merupakan parameter thres-hold.

Fungsi Hard thresholding lebih di-kenal karena terdapat diskontinyu da-lam fungsi thresholding sehingga nilai

x yang berada di atas threshold λ tidak disentuh. Sebaliknya, fungsi soft thres-holding kontinyu yaitu sejak nilai

x berada di atas threshold λ . Motivasi penggunaan soft thresholding berasal dari prinsip bahwa noise mempenga-ruhi seluruh koefisien wavelet. Juga kekontinyuan dari fungsi soft shrinkage membuat kondisi yang lebih baik untuk alasan statistik.

2. Estimasi

σ

Dalam merekonstruksi fungsi wavelet biasanya nilai σ tidak diketahui. Oleh karena itu, σ harus diestimasi dari data. Ogden [7] memberikan estimasi σ ber-dasarkan koefisien wavelet empiris pa-da level resolusi tertinggi dengan fung-si Median Deviafung-si Absolut (MAD), yaitu:









0,6745 dˆ median dˆ

median

σˆ  J1,k  J1,k .

3. Pemilihan Parameter Threshold

Pada estimasi fungsi dengan metode wavelet thresholding, tingkat kemulu-san estimator ditentukan oleh level re-solusi J, fungsi thresholding  dan

parameter threshold λ . Namun pemilihan J dan  tidak sedominan

λ . Nilai λ yang terlalu kecil membe-rikan estimasi fungsi yang sangat tidak mulus (under smooth) sedangkan nilai λ yang terlalu besar memberikan esti-masi yang sangat mulus (over smooth). Oleh karena itu perlu dipilih parameter threshold yang optimal untuk men-dapatkan fungsi yang optimal. Untuk memilih nilai

threshold optimal, ada dua kategori pemilihan yaitu memilih satu harga

threshold untuk seluruh le-vel resolusi ( pemilihan secara global ) dan pemilihan threshold yang tergan-tung pada level resolusi.

Untuk pemilihan global threshold, Ogden [7] memberikan 2 pemilihan

threshold yang hanya bergantung pada banyaknya data pengamatan n yaitu

threshold universal (λ_j  2 log n₎

dan threshold minimax yang telah dita-belkan oleh Donoho dan Johnstone [10]. Nilai-nilai threshold minimax selalu lebih kecil dibandingkan dengan nilai threshold universal untuk ukuran sampel yang sama.

Pemilihan nilai threshold berdasar-kan level resolusi memberiberdasar-kan ke-mungkinan adanya perbedaan nilai

threshold λj yang dipilih untuk tiap le-vel resolusi j. Ada beberapa cara pemi-lihan threshold yang tergantung pada level resolusi, diantaranya

threshold Adapt dan threshold Top.

Threshold adapt didasarkan pada prinsip untuk meminimalkan Stein Un-biased Risk Estimator (SURE) pada suatu level resolusi. Threshold adapt untuk himpunan koefisien detail dj yang beranggotakan K koefisien dide-finisikan sebagai



d ,t



SURE

λ_j argmin_t_{0 j} ,

dengan





_

_











 

 



 

K

k j,k j K

k d t j

t , / d min K t , d

j k , j

1

2 2 1

1 2 SURE





Sedangkan nilai threshold Top ditentu-kan berdasarditentu-kan besar prosentase koe-fisien yang akan digunakan dari kese-luruhan koefisien wavelet dalam mere-konstruksi fungsi.

4.1 Estimator Regresi Wavelet

Thresholding Terbaik dengan Metode Bootstrap

Suatu kebaikan estimator dapat dilihat dari besarnya tingkat kesalahan. Semakin kecil tingkat kesalahannya semakin baik estimatornya. Salah satu ukuran kebaikan suatu estimator adalah MSE. Suatu estimator fˆ(x) mempunyai MSE ( fˆ(x))=var( fˆ(x))+bias2_{( fˆ(x))}

de-ngan bias( fˆ(x))=E( fˆ(x)-f(x)). Karena f(x) tidak diketahui maka nilai MSE tidak dapat diketahui juga, sehingga perlu dilakukan estimasi MSE. Abramovich dan Benjamini [11] memberikan estimasi dari MSE sebagai







 

 _{  }



n

i

l n y y

y y n MSE

1

2 1

2

1 _{ˆ 2 ˆ}

. Bootstrap merupakan suatu metode resampling dengan pengembalian. Boot-strap dalam estimasi regresi dapat dilaku-kan melalui resampling pada data, residual atau yang lain. Dalam makalah ini boot-strap dilakukan dengan meresampling koe-fisien wavelet dari residual. Untuk menda-patkan estimator regresi wavelet thres-holding terbaik dengan metode bootstrap, jika dibangkitkan sampel bootstrap seba-nyak M kali, maka akan didapatkan Mean Square Error (MSE) sebanyak M. Dari se-banyak M MSE ini dipilih MSE minimal. Estimator yang meminimalkan MSE ini merupakan estimator terbaik dari M resampling bootstrap. Secara garis besar langkah-langkah untuk menentukan esti-mator regresi wavelet thresholding dengan metode bootstrap sebagai berikut.

1. Melakukan estimasi fungsi regresi wavelet thresholding Yˆ

dengan prose-dur wavelet shrinkage

standar.

2. Menghitung residual dari estimasi wavelet thresholding. 3. Menghitung koefisien

dari residual

4. Membentuk koefisien wavelet baru de-ngan melakukan resampling bootstrap pada koefisien wavelet residual secara sendiri-sendiri atau bersama-sama.

5. Menyusun data baru

 

i

Y

*

berdasar-kan bootstrap koefisien wavelet resi-dual.

6. Merekonstruksi

estimasi regresi wave-let thresholding  i

Yˆ berdasarkan sam-ple bootstrap

 

i

Y

*

.

7. Menghitung Mean

Square Error (MSE).

8. Mengulangi langkah 4 sampai dengan 7 sebanyak M kali sehingga diperoleh M estimasi fungsi

regresi bootstrap

 _{, ˆ} _{, ˆ}  _{, ˆ} _.

ˆ1 _Y 2 _Y 3 _Y M

Y 

9. Memilih _Yˆ dengan i MSE terkecil.

10. Gambar estimator

wavelet thresholding terbaik.

4.2 Studi kasus

Untuk menerapkan metode boot-strap dalam estimasi regresi wavelet digu-nakan data berat dan jumlah gas permil model automobil 1990 [12]. Dalam hal ini variabel-variabelnya sebagai berikut.

 Sebagai variabel respon, Y menyatakan jumlah gas permil

 Sebagai variabel prediktor, X (dalam kuintal) menyatakan berat automobil

Dari data tersebut dicari hubungan antara Y dan X yaitu mencari estimasi kurva re-gresi wavelet thresholding dengan metode bootstrap terbaik. Berikut adalah estimasi dengan thresholding universal dan mini-max menggunakan program S-PLUS + Wavelets

Gambar 2. Estimasi Wavelet Thresholding

Menggunakan Threshold Uni-versal dengan Prosedur Boot-strap

Gambar 3. Estimasi Wavelet Thresholding

Menggunakan Threshold Mini-max dengan Prosedur Bootstrap Keterangan Gambar 2 dan Gambar 3. / …… : data

: estimasi regresi wavelet thresholding

: estimasi regresi wavelet thresholding terbaik

dengan bootstrap

: pendekatan 90% interval konfidensi dengan bootstrap

Dari Gambar 2, estimasi wavelet thrsholding dengan bootstrap terbaik dan tanpa bootstrap menghasilkan kurva yang hampir sama. Dari 120 pengulangan, 90 persennya sebagian besar masih berada pada garis-garis tebal, dan titik-titik yang

merupakan nilai-nilai yang dekat dengan estimasi, tapi ada titik-titik yang diluar estimasinya. Dari data sebanyak n = 66 dan resampling sebanyak 120 kali dida-patkan MSE wavelet thresholding tanpa bootstrap sebesar 5.43752567186436 dan MSE minimal setelah pembootstrapan sebesar 4.88123820765525 yang terletak pada sampel ke -113

Dari Gambar 3, estimasi wavelet

thresholding dengan threshold minimax dengan bootstrap terbaik dan tanpa boot-strap dihasilkan kurva yang hampir sama. Dari 120 pengulangan 90 persennya seba-gian besar masih berada pada garis-garis tebal, dan titik-titik yang berada pada garis yang saling berdekatan merupakan nilai-nilai yang dekat dengan estimasi, tapi ada titik-titik yang diluar estimasinya. Dari data sebanayk n = 66 dan resampling se-banyak 120 kali didapatkan MSE wavelet

thresholding tanpa bootstrap sebesar 2.36521414391298 dan MSE minimal setelah pembootstrapan sebesar 2.12811836696285 yang dicapai pada sampel ke -84 .

Dari pengestimasian kurva dengan metode bootstrap menggunakan threshold

universal dan minimax, MSE minimal dengan menggunakan threshold universal minimax lebih kecil dari MSE minimal dengan threshold universal.

5. KESIMPULAN

Pada estimasi wavelet

thresholding dengan bootstrap, pemilihan parameter threshold dan banyaknya replikasi boot-strap berpengaruh pada hasil MSE. Peng-gunaan parameter threshold

minimax menghasilkan MSE yang lebih kecil dari pada threshold universal.

6. DAFTAR PUSTAKA

[1] Abramovich, F. and Benjamini, Y. (1995), Thresholding of Wavelet Coefficients as Multiple Hypothesis Testing Procedure In Wavelets and Statistics, Springer-Verlag, New York, ,5-14.

[2] Bruce, A. and Gao, H Y. (1996),

Applied Wavelet Analisis with S-PLUS, Springer-Verlag. New York. [3] Daubechies, I. (1992), Ten Lectures

on Wavelets, Capital City Press, Phi-ladelpia.

[4] Donoho, D.L and Johnstone, I.M. (1994), Ideal Spatial Adaptation by Wavelet Shrinkage, Biometrika, 81

(3), 425-455.

[5] Donoho, D.L., Johnstone, I.M., Kerkyacharian, G., and Picard, D. (1996), Density Estimation by Wavelet Thersholding. The Annals of Statistics, 24(2), 508-539.

[6] Efron, B., Tibshirani. (1993), An In-troduction to the Bootstrap, Chap-man and Hall. New York.

[7] Hall, P and Patil. P. (1995), On Wavelet Methods for Estimating Smooth Function, Bernoulli 1(1/2). 041-058.

[8] Hardle, W. (1993), Applied Non-parametric Regression. Cambridge University Press. New York.

[9] Http://www.en.wikipedia.org/wiki/ Illustration of density nonparametric

[10] Ogden, R.T. (1997), Essential Wave-let for Statistical Application and Data Analysis, Birkhauser, Boston.

[11] Suparti dan Subanar, H. (2000), Es-timasi Regresi dengan Metode Wave-let Shrinkage. Jurnal Sains & Mate-matika, 8(3), 105-113.

[12] Vetterli, M. and Kovacevic, J. (1995), Wavelets And Subband Co-ding. Prentice Hall PTR, New Jersey.