Model Variabel Laten dan Hubungan Analisis Faktor dengan Analisis Komponen Utama

2. Model Variabel Laten dan Hubungan Analisis Faktor dengan Analisis Komponen Utama

Variabel laten adalah suatu konstruk yang bersifat hipotesis, yang tidak teramati dan yang realitasnya diasumsikan dari variabel-variabel indikator yang termati (terobservasi). Model variabel laten adalah menghubungkan vektor observasi d-dimensi t dengan vektor variabel laten (tak terobservasi) q-dimensi X. Umumnya, model seperti ini adalah faktor analisis (Bartholomew, 1987; Basilevsky, 1994) dengan hubungan linier:

(1) Matriks W adalah matriks d x q yang bersesuaian dengan dua himpunan variabel (t dan X), sedangkan vektor parameter  membolehkan model dengan mean tak-nol. Alasannya bahwa, dengan q < d, variabel laten akan menjelaskan secara parsimoni (lebih sederhana) ketergantungan antar observasi. Secara konvensional, variabel laten didefinisikan independen dan berdistribusi Gaussian dengan variansi satuan, X ~ N(0, I). Dengan penambahan galat (kesalahan), maka model itu menjadi berdistribusi Gaussian,  ~ N(0, ), sehingga dari

t = WX +  + 

persamaan (1), t akan berdistribusi Gaussian, t ~ N(, WW+). Parameter dari model ini bisa ditentukan dengan maksimum-likelihood, namun, karena tidak ada bentuk solusi yang analitik mendekati W dan , maka nilai-nilainya harus dicari melalui suatu prosedur iteratif.

Alasannya, untuk model analisis faktor, dengan memaksakan kovariansi galat  menjadi matriks diagonal yang elemen-elemennya  i yang pada umumnya diestimasi dari data, sedangkan variabel observasi t i merupakan nilai-nilai yang diberikan oleh variabel laten

X. Variabel-variabel laten ini diharapkan dapat menjelaskan korelasi antara variabel observasi, sedangkan  i menyatakan ketunggalan variabilitas pada t i tertentu. Di sinilah perbedaan mendasar analisis faktor dengan AKU standar, yang secara efektif perlakukan kovariansi dan variansi identik.

Karena adanya perbedaan antara variansi dan kovariansi pada model analisis faktor standar, maka subruang yang didefinisikan dengan MLE dari kolom matriks W secara umum tidak akan bersesuaian dengan subruang utama dari data yang diobservasi.

Dalam kasus ini, maksimum-likelihood ekivalen dengan suatu kriteria kuadrat terkecil (least squares criterion), dan suatu solusi komponen utama dapat diperoleh secara langsung. Metode yang digunakan adalah metode konvensional, karena faktor-faktor dari X dipandang

Seminar Nasional Matematika-FKMS3MI 2008

Analisis Komponen Utama Probabilistik ...

sebagai parameter yang diestimasi dari variabel random. Namun, perlakuan stokastik dari X memuat hasil yang sama, nilai-eigen terkecil d - q yang diberikan dari kovariansi sampel S

sama dengan  2 . Di sini, model kovariansi observasi WW + 

I dapat dibuat tepat (dengan asumsi pemilihan q juga tepat), dengan W dan  2 ditentukan secara analitis melalui

dekomposisi-eigen dari S, tanpa melakukan iterasi (Anderson, (1963) dan Basilevsky (1994)).

Pada akhir tulisan ini difokuskan pada kasus yang memperhatikan sifat alami estimator maksimum-likelihood untuk W dan  2 dalam kasus yang realistis di mana model kovariansi

yang disarankan tidak sama dengan kovariansi sampelnya, dan  2 harus diestimasi dari data (sehingga masuk fungsi likelihood). Kasus ini telah diselidiki, dan dihubungkan dengan

AKU, pada analisis faktor Lawley (1953) dan Anderson dan Rubin (1956), walaupun tidak dipublikasikan secara luas. Mereka telah menunjukkan bahwa titik-titik stasioner dari fungsi likelihood terjadi ketika W, matriks yang kolomnya adalah vektor-eigen dari matriks kovariansi sampel S, dan  2 adalah variansi rata-rata pada dimensi yang diabaikan. Uraian ini

tidak cukup menunjukkan vektor-eigen utama yang menggambarkan maksimum likelihood secara global.

Pada bagian berikutnya dibuat kembali hubungan antara AKU dan analisis faktor, yang juga memperluas turunan awal untuk menunjukkan bahwa estimator maksimum-likelihood

ML dan σ ML untuk model galat isotropis bersesuaian dengan analisis komponen utama. Diberikan suatu karakterisasi dari sifat-sifat fungsi likelihood untuk AKU probabilistik

(AKUP). Di sini juga diberikan suatu iterasi algoritma EM untuk mengestimasi parameter yang diperhatikan.