Principal Components Analysis PCA

. g g g a ... a a grid a ... grid a grid a y g g g a ... a a grid a ... grid a grid a y g g g a ... a a grid a ... grid a grid a y p 2 1 qp q2 q1 p qp 2 q2 1 q1 q p 2 1 2p 22 21 p 2p 2 22 1 21 2 p 2 1 1p 12 11 p 1p 2 12 1 11 1 grid a rid rid rid grid a rid rid rid grid a rid rid rid T T T = ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = + + + = = ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = + + + = = ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = + + + = M M M M Untuk memaksimumkan ragam pada y maka harus dicari nilai a sehingga a a y T Σ = dengan kendala 1 = a a T . Dengan menggunakan pengganda Lagrange dibuat suatu fungsi 1 − − Σ = a a a a F T T λ yang selanjutnya akan dimaksimumkan dengan cara menurunkan F terhadap parameter-parameternya dan turunannya sama dengan 0, sehingga diperoleh: a a a a a F λ λ δ δ = Σ = − Σ = 2 2 Dimana Σ adalah matriks peragam covariance: ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = Σ pp p p p p τ τ τ τ τ τ τ τ τ K M K M M K K 2 1 2 22 21 1 12 11 dengan ∑ = − − − = p i k ik j ij jk grid grid grid grid n 1 1 1 τ a adalah vektor ciri eigenvectors, λ adalah akar ciri eigenvalue. Setelah didapatkan matriks covariance Σ selanjutnya akan dicari vektor dan akar ciri yang bersesuaian dengan matriks covariance tersebut, melalui persamaan berikut: a a λ = Σ = − Σ = − Σ a I a I a λ λ Dari persamaan tersebut dapat disimpulkan = − Σ I λ , dan akan diperoleh suatu persamaan polinom derajat p di dalam λ. Persamaan polinom tersebut akan memiliki p akar, yaitu p λ λ λ , , , 2 1 L yang merupakan akar ciri dari matriks covariance Σ. Akar-akar ciri tersebut kemudian digunakan untuk menentukan vektor-vektor cirinya. Vektor-vektor ciri tersebut sebagai koefisien komponen utama. Akar-akar ciri dengan vektor ciri yang bersesuaian tersebut kemudian disusun terurut menurun sehingga memenuhi 3 2 1 ≥ ≥ ≥ ≥ ≥ p λ λ λ λ K . Penentuan proporsi dari nilai vektor-vektor ciri yang digunakan dapat dihitung dengan persamaan: ∑ ∑ = = = n i i q i i 1 1 Proposi λ λ Pada akhirnya PCA ini hanyalah akan mentransfer variabel-variabel yang berkorelasi menjadi variabel-variabel yang tidak berkorelasi. Tujuan metode PCA di atas adalah untuk menentukan faktor-faktor yang menunjukkan seluruh kemungkinan variasi pada keseluruhan data melalui sebagian kecil faktor-faktor dari keseluruhan data Dillon dan Goldstein 1984.

2.5 Regresi Linear Multivariat

Di dalam statistika, regresi linear merupakan pendekatan untuk memodelkan hubungan antara nilai y dengan satu atau sekelompok nilai x. Pada regresi linear, data dimodelkan dengan fungsi linear dan paramater model yang tidak diketahui diestimasi dari data. Model yang sepeti ini yang disebut sebagai linear model wikipedia, 2010. Jika terdapat himpunan data sebanyak n, , , … , , maka model regresi linear mengasumsikan bahwa hubungan antara variabel dengan vektor dapat didekati secara linear. Dalam proses mendekati hubungan antara antara variabel dengan vektor , terdapat noise yang dilambangkan dengan , yaitu nilai galat pendekatan linear antara variabel dengan vektor . Sehingga model persamaaan menjadi: , , … , Dimana, merupakan inner product antara vektor dan . Pada umumnya persamaan sebanyak n ini disatukan dalam bentuk vektor,seperti: Dimana , , … … , Nilai konstanta dapat diselesaikan dengan persamaan:

2.6 Ketepatan Pendugaan Model Regresi Linear

Ketepatan atau keakuratan sebuah model regresi dapat dilihat dari koefisien determinasi R 2 dan Root Mean Square Error RMSE. R 2 menunjukkan proporsi jumlah kuadrat total yang dapat dijelaskan oleh sumber keragaman peubah bebas, sedangkan RMSE menunjukkan seberapa besar simpangan nilai dugaan terhadap nilai aktualnya. Kita juga dapat menunjukkan bahwa R 2 adalah kuadrat dari korelasi antara nilai vektor observasi the vector of observations y dengan nilai vektor penduganya the vector of fitted values ŷ Douglas dan Elizabeth 1992 dalam Normakristagaluh 2004. Menurut Walpole 1982 R 2 dan RMSE dirumuskan sebagai berikut: ∑ ∑ ∑ = = = − − ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ − − = n i i n i i n i i i y y y y y y y y R 1 2 1 2 2 1 2 ˆ ˆ ˆ ˆ dimana: y i = nilai-nilai aktual, ŷ i = nilai-nilai prediksi.