Principal Components Analysis PCA
. g
g g
a ...
a a
grid a
... grid
a grid
a y
g g
g a
... a
a grid
a ...
grid a
grid a
y g
g g
a ...
a a
grid a
... grid
a grid
a y
p 2
1 qp
q2 q1
p qp
2 q2
1 q1
q p
2 1
2p 22
21 p
2p 2
22 1
21 2
p 2
1 1p
12 11
p 1p
2 12
1 11
1
grid a
rid rid
rid grid
a rid
rid rid
grid a
rid rid
rid
T T
T
= ⎟
⎟ ⎟
⎟ ⎟
⎠ ⎞
⎜ ⎜
⎜ ⎜
⎜ ⎝
⎛ =
+ +
+ =
= ⎟
⎟ ⎟
⎟ ⎟
⎠ ⎞
⎜ ⎜
⎜ ⎜
⎜ ⎝
⎛ =
+ +
+ =
= ⎟
⎟ ⎟
⎟ ⎟
⎠ ⎞
⎜ ⎜
⎜ ⎜
⎜ ⎝
⎛ =
+ +
+ =
M M
M M
Untuk memaksimumkan ragam pada y maka harus dicari nilai
a
sehingga
a a
y
T
Σ =
dengan kendala
1 =
a a
T
. Dengan menggunakan pengganda Lagrange dibuat suatu fungsi
1 −
− Σ
= a
a a
a F
T T
λ
yang selanjutnya akan dimaksimumkan dengan cara menurunkan F terhadap parameter-parameternya dan turunannya sama
dengan 0, sehingga diperoleh:
a a
a a
a F
λ λ
δ δ
= Σ
= −
Σ =
2 2
Dimana Σ adalah matriks peragam covariance:
⎟ ⎟
⎟ ⎟
⎟
⎠ ⎞
⎜ ⎜
⎜ ⎜
⎜
⎝ ⎛
= Σ
pp p
p p
p
τ τ
τ τ
τ τ
τ τ
τ
K M
K M
M K
K
2 1
2 22
21 1
12 11
dengan
∑
=
− −
− =
p i
k ik
j ij
jk
grid grid
grid grid
n
1
1 1
τ
a
adalah vektor ciri eigenvectors, λ adalah akar ciri eigenvalue.
Setelah didapatkan matriks covariance Σ selanjutnya akan dicari vektor dan
akar ciri yang bersesuaian dengan matriks covariance tersebut, melalui persamaan berikut:
a a
λ =
Σ =
− Σ
= −
Σ a
I a
I a
λ λ
Dari persamaan tersebut dapat disimpulkan
= −
Σ I
λ
, dan akan diperoleh suatu persamaan polinom derajat p di dalam
λ. Persamaan polinom tersebut akan memiliki p akar, yaitu
p
λ λ
λ
, ,
,
2 1
L
yang merupakan akar ciri dari matriks covariance
Σ. Akar-akar ciri tersebut kemudian digunakan untuk menentukan vektor-vektor cirinya. Vektor-vektor ciri tersebut sebagai koefisien komponen
utama. Akar-akar ciri dengan vektor ciri yang bersesuaian tersebut kemudian
disusun terurut menurun sehingga memenuhi
3 2
1 ≥
≥ ≥
≥ ≥
p
λ λ
λ λ
K
. Penentuan proporsi dari nilai vektor-vektor ciri yang digunakan dapat
dihitung dengan persamaan:
∑ ∑
= =
=
n i
i q
i i
1 1
Proposi
λ λ
Pada akhirnya PCA ini hanyalah akan mentransfer variabel-variabel yang berkorelasi menjadi variabel-variabel yang tidak berkorelasi.
Tujuan metode PCA di atas adalah untuk menentukan faktor-faktor yang menunjukkan seluruh kemungkinan variasi pada keseluruhan data melalui
sebagian kecil faktor-faktor dari keseluruhan data Dillon dan Goldstein 1984.