Sifat-sifat estimator maksimum-likelihood Teorema 2:

3.2 Sifat-sifat estimator maksimum-likelihood Teorema 2:

Log-likelihood (5) maksimum jika

(8) dengan C = WW +  2

2 W 1/2

ML =U q ( q - I) R,

I, q vektor kolom pada matriks d x q, U q , adalah vektor-vektor eigen utama dari S, yang bersesuaian dengan akar-akar eigen  1 , …,  q pada matriks diagonal q x q,  q , dan R adalah sebarang matriks rotasi ortogonal q x q.

Bukti:

Gradien dari log-likelihood (5) menurut W diperoleh dari hasil perbedaan matriks standar (sebagai contoh lihat Krzanowski dan Marriott (1994), p.133):

Pada titik-titik stasioner

(10) dengan asumsi bahwa C -1 ada, yang akan memerlukan q < rank(S), sehingga asumsi ini

SC -1 W = W,

secara praktis tidak berarti apapun. Ada tiga kelas solusi yang mungkin untuk (10). Pertama adalah, trivial, W = 0, yang akan menjadi minimum log-likelihood. Ke dua adalah kasus C = S, di mana model kovariansi tepat dan d – q akar karakteristik dari S identik seperti dibahas pada Bagian 2.2. Kemudian, W dapat diidentifikasi (identifiable) karena WW = S -  2

I mempunyai suatu solusi pada W

2 = U(A -  1/2 I) R, di mana U suatu matriks kuadrat yang kolom-kolomnya adalah eigenvectors dari S, dengan A berkorespondensi dengan matriks diagonal dari eigenvalues,

dan R suatu matriks ortogonal (yaitu rotasi) sebarang. Akan tetapi, solusi ‘yang menarik’ pada kasus ketiga, di mana SC -1 W = W, tetapi W ≠

0 dan C ≠ S. Untuk mendapatkan hasil ini, pertama parameter matriks W dinyatakan dalam dekomposisi nilai singularnya:

(11) di mana U = (u 1 ,u 2 , …, u q ) adalah suatu matriks d x q dari vektor-vektor kolom ortogonal, L = diag(l 1 ,l 2 , …, l q ) adalah matriks diagonal q x q dari nilai-nilai singular, dan V adalah matriks ortogonal q x q. Kemudian, dengan mensubstitusi dekomposisi ini ke dalam (10) setelah beberapa manipulasi akan memberikan

W = ULV,

Seminar Nasional Matematika-FKMS3MI 2008

Analisis Komponen Utama Probabilistik ...

2 SUL = U( 2 I+L )L.

2 Untuk l 2 j ≠ 0, (12) berlaku bahwa Su j = ( + l j )u j untuk setiap vektor u j . Oleh karena itu, setiap kolom dari U harus menjadi suatu vektor-eigen dari S, berkorespondensi dengan nilai-

2 eigen  2 j = + l j , dan juga

(13) Untuk l j = 0, u j sebarang. Seluruh solusi potensial untuk W dapat ditulis sebagai

2 l 1/2

j = ( i - )

(14) di mana U q suatu matriks d x q, yang q kolom u j adalah vektor-vektor eigen dari S, R matriks q x q ortogonal sebarang dan K q matriks q x q dengan elemen-elemennya

2 W=U 1/2

q (K q - I) R.

  λ j , nilai  eigen bersesuaia n dengan u j , atau

di mana kasus terakhir dapat dipandang ekivalen dengan l j = 0. 

Kombinasi lain dari vektor-vektor eigen (yaitu, tidak ada satupun yang utama) bersesuaian dengan fungsi likelihood. Jadi, dari (8), model variabel laten yang didefinisikan dengan (1) mempengaruhi pemetaan dari ruang laten ke subruang utama (principal subspace) data observasi.

Hal ini dapat juga ditunjukkan bahwa untuk W = W ML estimator maksimum-likelihood untuk  2 diberikan oleh

ML 

yang punya suatu interpretasi yang jelas seperti variansi ‘yang hilang’ dalam proyeksi, yang dirata-ratakan terhadap dimensi yang hilang itu.

Dalam prakteknya, untuk mendapatkan model yang hampir pasti diberikan S, pertama akan diestimasi 2 

ML dari (16), dan kemudian W ML dari (8), di mana untuk sederhananya R akan diabaikan secara efektif (yaitu, memilih R = I). Sebagai alternatif, digunakan algoritma EM yang rinci pada Appendix B, di mana R pada konvergensi dipandang sebarang.

Bidang Statistika

Ismail Djakaria