Dekompozicija na singularne vrijednosti

3.9 Dekompozicija na singularne vrijednosti

Svaku matricu A ∈ R m×n moˇzemo zapisati kao (vidi primjerice Bj¨ orck (1996), Gill (1991), Golub (1996) ili Lawson (1996))

(3.29) gdje su U ∈ R m×m iV∈R n×n ortogonalne matrice, a S ∈ R m×n dijagonalna

A = USV T ,

matrica S = diag(σ 1 ,...,σ p ),

p = min(m, n),

σ 1 ≥σ 2 ≥, . . . , ≥ σ p ≥ 0. (3.30)

3.9 Dekompozicija na singularne vrijednosti

Nenegativne brojeve σ 1 ,...,σ p zovemo singularne vrijednosti matrice A, a rastav (3.29) rastav na singularne vrijednosti (Singular Value Decomposition).

Kako je A T

A = VS T SV T , kvadrati singularnih vrijednosti σ 2 i su svojstvene

A, a stupci matrice V su odgovaraju´ci ortonormirani svojstveni vektori. Analogno, kako je

vrijednosti 8 simetriˇcne pozitivno semidefinitne kvadratne matrice A T

i T takod¯er su i svojstvene vri- jednosti matrice AA , a stupci matrice U su odgovaraju´ci ortonormirani svojstveni vektori.

AA T = USS U T , kvadrati singularnih vrijednosti σ 2

i ∈R iv i ∈R oznaˇcimo stupce matrice U, odnosno V, i ako je rang A = k ≤ p, tada iz (3.29) slijedi

Ako s u

A T u i =σ i v i , i = 1, . . . , p. (3.31) Vektore u i zovemo lijevi, a vektore v i desni singularni vektori matrice A. Primjedba 3.8 Singularne vrijednosti matrice A ∈ R m×n mogu se interpretirati i

Av i =σ i u i

kao svojstvene vrijednosti matrice (A T A) 1/2 Nadalje, iz (3.29)-(3.30) lako dobivamo A T

A = VS T SV T . Zato SVD matrice A∈R m×n moˇzemo izraˇcunati tako da najprije naˇcinimo spektralnu dekompoziciju

A = VDV T √ m×n i definiramo dijagonalnu matricu S ∈ R , ˇciji je gornji (n × n) blok matrica +

D. Nakon toga matricu U moˇzemo dobiti iz jednadˇzbe US = AV. Naˇzalost, opisani postupak nije numeriˇcki stabilan. Numeriˇcki stabilni SVD algo- ritmi obiˇcno se provode u dvije faze: najprije se provede ortogonalna bidijagonal- izacija matrice A, a nakon toga se nad dobivenom bidijagonalnom matricom provede prilagod¯eni SVD postupak (vidi primjerice Golub (1996), Trefethen (1997)).

Primjer 3.12 (Bj¨ orck, 1996) Uzmimo primjerice da matrica A ima dva stupca a 1 ,

a 2 koji su ujedno jediniˇcni vektori, a kut izmed¯u njih je γ, tj. a T 1 a 2 = cos γ. Tada je

sa svojstvenim vrijednostima λ 1 = 2 cos 2γ 2 ,λ 2 = 2 sin 2γ 2 . Singularne vrijednosti matrice A su

2 cos ,σ 2 =

2 sin .

8 Kaˇ zemo da je λ ∈ C svojstvena vrijednost kvadratne matrice A ∈ R n×n iz R n tako da bude Ax = λx. Spomenuti vektor x nazivamo svojstveni vektor matrice A. Svaka

kvadratna matrica A ∈ R n ×n ima n (ne nuˇzno razliˇcitih) svojstvenih vrijednosti λ 1 ,...,λ n . Skup σ (A) = {λ 1 ,...,λ n } naziva se spektar, a broj ρ(A) = max{|λ i |:λ i ∈ σ(A)} spektralni radijus matrice A. Ako je A joˇs i simetriˇcna, onda su sve svojstvene vrijednosti λ i realne. U tom sluˇcaju moˇ ze se definirati ortogonalna matrica V ∈ R n×n ˇ ciji su stupci ortonormirani svojstveni vektori,

tako da je A = VDV T , gdje je D = diag(λ 1 , ..., λ n ). Rastav A = VDV T nazivamo spektralna dekompozicija matrice A. Spomenimo joˇs da vrijedi (vidi primjerice Gill (1991), Parlett (1980)): – matrica A ∈ R n ×n je pozitivno definitna onda i samo onda ako je σ(A) ⊂ R + ;

– Tr (A) := n a ii = λ i ;

i=1 i=1 n – % λ i = det A.

i=1

62 3.9 Dekompozicija na singularne vrijednosti

Svojstveni vektori matrice A T A

ujedno su desni singularni vektori matrice A. S numeriˇckog aspekta, ako je γ 2 2 manji od najmanjeg floating-point broja

= 1, matrica A raˇcunala, onda bi zbog cos γ ≈ 1 − T 2 A imala samo jednu svoj- √ stvenu vrijednost λ 1 = 2 i samo jednu singularnu vrijednost σ 1 =

2 razliˇcitu od nule. Manja singularna vrijednost bi se izgubila.

Zadatak 3.12 Izraˇcunaj lijeve singularne vektore u 1 ,u 2 , ..., u m iz prethodnog primjera. Formiraj matrice U i V i provjeri jednakost (3.29).

Primjenom SVD moˇzemo rijeˇsiti sustav linearnih jednadˇzbi Ax = b, gdje je A∈R n×n kvadratna regularna matrica, koja moˇze biti i loˇse uvjetovana. Koriˇste- njem rastava (3.29) polazni sustav moˇzemo pisati

USV T

x = b =⇒ SV T x=U T b,

na osnovi ˇcega, supstitucijom z = V T x, polazni sustav transformiramo u dijagonalni

Sz=U T b.

SVD–dekompoziciju matrice A moˇzemo dobiti koriˇstenjem programa Mathe- matica naredbom SingularValues[A] (vidi takod¯er BASIC program u Dodatku).

Primjedba 3.9 Broj uvjetovanosti proizvoljne matrice A ∈ R m×n ranga k < p = min{m, n} (vidi Gill (1991), Golub (1996)) moˇze se definirati na sljede´ci naˇcin:

gdje su σ >σ > 0 singularne vrijednosti matrice A, a A + = VS 1 + 2 >···>σ k U T pseudoinverzna matrica od A, pri ˇcemu je S + = diag(s 1 , ..., s p ), gdje je

Primjedba 3.10 Viˇse o raznim numeriˇckim metodama za rjeˇsavanje sustava line- arnih jednadˇzbi moˇze se na´ci u Bj¨ orck (1996), Dahlquist (1972), Gill (1991), Golub (1996), Schwarz (1986) itd, a odgovaraju´ca fortran-programska podrˇska moˇze se na´ci u Forsythe (1974), Press (1992), te posebno u The NAG-Library (Philips (1986), K¨ ockler (1990)). Mogu se takod¯er koristiti i gotovi Mathemati- ca-programi (Wolfram (1998)).

3.10 Zadaci