Linearni problemi najmanjih kvadrata

6.1 Linearni problemi najmanjih kvadrata

Pretpostavimo da je funkcija-model f linearna u svim parametrima a 1 ,...,a n

i da je op´cenito oblika

x∈R (6.8) gdje su ϕ i neprekidne funkcije. Primjerice za polinom-model, funkcije ϕ i su poten-

f (x; a 1 ,...,a n )=a 1 ϕ 1 (x) + · · · + a n ϕ n (x),

cije: ϕ i (x) = x i−1 , i = 1, . . . , n. Jacobijeva matrica za funkciju-model (6.8) ne ovisi o a. Naime, kako u ovom

sluˇcaju (6.1) glasi

r i (a) = a 1 ϕ 1 (x) + · · · + a n ϕ n (x) − y i

imamo ∂r i

Hessijan funkcije F takod¯er je bitno jednostavniji i takod¯er ne ovisi o a

H F =J T J.

(6.9) Vektor odstupanja r s komponentama r i =a 1 ϕ 1 (x i )+···+a n ϕ n (x i )−y i moˇzemo

pisati

r = Ja − y,

6.1 Linearni problemi najmanjih kvadrata 109

gdje je y = (y 1 ,...,y m ) T . Traˇzi se a ∈ R n tako da bude

F (a ) = min a n

F (a),

gdje je F (a) =

∈R

Cesto puta se u literaturi LPNK (6.11) oznaˇcava kao ˇ

Ja ≃ y.

(6.12) Primjerice, za podatke i funkciju-model iz Primjera 6.2 imamo: ϕ 1 (x) = 1,

6.1.1 Rjeˇ savanje LPNK preko sustava normalnih jednadˇ zbi Kritiˇcne toˇcke funkcije F dobit ´cemo rjeˇsavanjem jednadˇzbe (6.4)

(6.13) Hessijan H F ne ovisi o vektoru a i zadan je formulom (6.9). Sljede´ca lema pokazuje

grad F = J T r = 0.

kada ´ce Hessijan H F biti pozitivno definitan

Lema 6.1 Neka je J ∈ R m×n , m > n. Matrica J T J je pozitivno defi- nitna onda i samo onda ako je J punog ranga po stupcima (rang J = n).

Dokaz. (Nuˇznost) N eka je J T J pozitivno definitna. Pretpostavimo da je rang J < n, tj. da su stupci od J linearno zavisni. Tada bi za neki a 0 0 = 0, odakle bi slijedilo a T J T Ja 0 = 0, ˇsto bi znaˇcilo da J 0 T J nije pozitivno definitna.

(Dovoljnost) Pretpostavimo da je rang J = n, tj. da su stupci od J linearno nezavisni.

(H F a , a) = (J T Ja , a) = a T (J T Ja ) = (Ja) T 2 > 0. ✷

Dakle, LPNK, za koji je pripadna Jacobijeva matrica punog ranga (ˇsto je u praksi gotovo uvijek ispunjeno), rjeˇsiv je i postoji jedinstveno rjeˇsenje, koje moˇzemo dobiti tako da pronad¯emo kritiˇcne toˇcke funkcije F . Zato ´cemo (6.10) uvrstiti (6.13). Dobivamo jednadˇzbu

(6.14) Lako se vidi da je rjeˇsenje ove jednadˇzbe

Ja − J T y=0

a ∗ =J + y,

gdje je

J + = (J T J) −1 J T .

6.1 Linearni problemi najmanjih kvadrata

Jednadˇzbu (6.14) nazivamo sustav normalnih jednadˇzbi, a matricu J + pseudoinverzna

matrica ili Moore-Penroseov generalizirani inverz 2 matrice J.

Primjedba 6.3 U sluˇcaju ako je funkcija-model (6.8) polinom n-tog stupnja, a broj podataka m jednak (n + 1), rjeˇsavanjem odgovaraju´ceg LPNK dobivamo inter- polacijski polinom.

Primjedba 6.4 Kako je cond (J T J) = cond 2 (J) (vidi primjerice Gill (1991), ma- trica J T J bit ´ce vrlo loˇse uvjetovana ako je matrica J loˇse uvjetovana, a rjeˇsenje LPNK, dobiveno rjeˇsavanjem sustava normalnih jednadˇzbi (6.14), bit ´ce vrlo nepo- uzdano.

Primjer 6.6 Zadano je

i da je rjeˇsenje odgovaraju´ceg LPNK a ∗ = (1, 1) T

Moˇze se pokazati (vidi Primjedbu 3.9, str. 62) da je cond (J) ≈ 1.4 × 10 3

Ako bismo ovaj LPNK rjeˇsavali preko sustava normalnih jednadˇzbi na raˇcunalu s 6-znamenkastom floating-point aritmetikom, matrica f l(J T J )=

1 1 bila bi singu- 1 1 larna. U 7-znamenkastoj floating-point aritmetici rjeˇsenje bi bilo a ∗ = (2.000001, 0) T .

6.1.2 Rjeˇ savanje LPNK pomo´ cu QR-dekompozicije

Minimum funkcije F (a) = 1 2 2 iz (6.11) potraˇzit ´cemo na sljede´ci naˇcin. Kako je J ∈ R m×n , najprije ´cemo algoritmom opisanim u t.3.7, str. 52, naˇciniti dekompoziciju J = QR, gdje je Q ∈ R m×m ortogonalna, a R ∈ R m×n gornja trokutasta matrica. Vektor odstupanja r = Ja − y, sada moˇzemo ovako pisati

(6.15) Budu´ci da ortogonalna matrica ˇcuva normu, vrijedi

r = QRa − y

(6.16) pa je

a − (Q T y) n 2 T

y) m−n (m−n)

(n)

T y)

2 m−n (m−n) ,

gdje je R n matrica sastavljena od prvih n redaka matrice R, a (Q T y) n , odnosno (Q T y) m−n vektori sastavljeni od prvih n, odnosno posljednjih m − n komponenti

2 Viˇse o svojstvima i znaˇ cenju Moore-Penroseovog generaliziranog inverza moˇze se vidjeti prim- jerice u Gill (1991), Golub (1989) ili Lawson (1974)

6.1 Linearni problemi najmanjih kvadrata 111

originalnih vektora. Indeksi (n) i (m − n) oznaˇcavaju odgovaraju´ce vektorske L 2 norme u R n , odnosno R m−n . Zato se minimum funkcije F postiˇze na vektoru

a ∗ ∈R n , za koji je

(6.17) pri ˇcemu je

R n a ∗ = (Q T y) n .

(6.18) Primjer 6.7 LPNK iz Primjera 6.2

F (a )=

T y)

2 2 m−n (m−n) .

rijeˇsit ´cemo primjenom QR-dekompozicije. Primjenom Mathematica-naredbe QRDecomposition[J] (ili odgovaraju´ceg BASIC-

programa u Dodatku) dobivamo sustav (6.17)

odakle dobivamo a ∗ = (5.5, −.45) T

i F (a ∗ ) = 1.1068.

Primjer 6.8 U Primjeru 2.3, str. 20, pokazalo se da su posljednja dva koeficijenta u interpolacijskom polinomu zanemarivo malena, pa ima smisla potraˇziti polinom stupnja 2, koji ´ce u smislu najmanjih kvadrata najbolje aproksimirati zadane podatke

i dati funkcionalnu zavisnost α = P 2 (X). Primjenom QR-dekompozicije za rjeˇsavanje odgovaraju´ceg LPNK dobivamo

a 0 = 5.0467, a 1 = −0.0033, a 2 = 0.000023. Usporedite rezultate prikazane u Tablici 6.1 s Tablicom 3.2, str. 20.

6.1.3 Rjeˇ savanje LPNK pomo´ cu dekompozicije na singularne vrijednosti

Ako Jacobijeva matrica J nije punog ranga, prema Lemi 6.1, str. 109, Hesijan

H F odgovaraju´ceg LPNK Ja ≃ y nije pozitivno definitan. LPNK u tom sluˇcaju ima beskonaˇcno mnogo rjeˇsenja. Od svih tih rjeˇsenja potraˇzit ´cemo ono koje ima najmanju normu. U tom sluˇcaju i u sluˇcaju kada je Jacobijan J loˇse uvjetovana matrica koristit ´cemo rastav matrice na singularne vrijednosti (SVD).

6.1 Linearni problemi najmanjih kvadrata

Promatrajmo ponovo problem minimizacije (6.11) funkcije

F (a) =

gdje je r = Ja − y,

s time da je rang (J) = k ≤ n < m. Neka je J = USV T dekompozicije matrica J na singularne vrijednosti, gdje su U, S i V matrice definirane u t.3.9, str. 60. Budu´ci

da ortogonalna matrica ˇcuva normu, vrijedi

a−U T Zato, uz oznaku z = V T

a, imamo

z − (U T y) k 2 T

(k)

y) m−k (m−k)

gdje je S k matrica sastavljena od prvih k redaka dijagonalne matrice S, a (U T y) k , odnosno (U T y) m−k vektori sastavljeni od prvih k, odnosno posljednjih m−k kompo- nenti originalnih vektora. Indeksi (k) i (m − k) oznaˇcavaju odgovaraju´ce vektorske

L 2 norme u R k , odnosno R m−k . Zato se minimum funkcije F postiˇze na vektoru z ∗ ∈R n , za koji je

(6.19) Na taj naˇcin odred¯eno je prvih k komponenti vektora z ∗ ,

S k z ∗ = (U T y) k .

i = 1, . . . , k,

gdje su u 1 ,...,u k prvih k stupaca matrice U. Preostalih (n − k) komponenti z ∗ k+1 ,...,z n ∗ vektora z ∗ biramo tako da rjeˇsenje a ∗ ima minimalnu Euklidovu normu. Dakle,

gdje su v 1 ,...,v k prvih k stupaca matrice V. Minimalna vrijednost funkcije F je

F (a )=

T y)

2 m−k (m−k) =

(u T y) 2 i . (6.21)

2 i=k+1

Primjer 6.9 Promatramo LPNK Ja ≃ y, gdje je

11 a 2 2 Budu´ci da je rang J = k = 1, LPN K ima beskonaˇcno mnogo rjeˇsenja. SVD ove

matrice glasi J =

6.1 Linearni problemi najmanjih kvadrata 113

Primjenom formule (6.20) dobivamo rjeˇsenje (koje ima minimalnu L 2 normu !) 1

=− T 2 (−.707107, −.707107) · (1, 2) · (−.707107, −.707107) = (.75, .75) T . Isti rezultat moˇzemo dobiti i izravno, traˇze´ci minimum funkcije

2 − 1) + (a 1 +a 2 2 2 − 2) Lako se vidi da ova funkcija postiˇze globalni minimum F ∗ = 0.25 na beskonaˇcno mnogo

1 F (a ,a 2 )= (a 1 +a 2 2

vektora a ∗ = (a ∗ ,a ∗ ) T , ˇcije komponente a 1 ,a 2 zadovoljavaju jednadˇzbu pravca η = 1 3 2 2 − ξ. Med¯u njima vektor najmanje L 2 norme dobit ´cemo tako da potraˇzimo minimum funkcije

On se postiˇze za ξ = 3 . Dakle, vektor najmanje L 2 norme je a 4 ∗ = (0.74, 0.75) T i to je rjeˇsenje postavljenog LPNK.

Primjedba 6.5 Ako je rang A = k, onda dijagonalnu matricu S iz SVD rastava

(3.29), str. 60 moˇzemo pisati kao S = S i , gdje je S i dijagonalna matrica koja na

i=1

mjestu (i, i) ima element σ i , a sve ostale nule. Zato SVD matrice A moˇzemo pisati

A = USV T =U

US i V T =

σ i u i v T i . (6.22)

Najbolja L 2 aproksimacija ranga ρ < k matrice A, tada je (vidi Bj¨ orck (1996), Kalman (1996))

Zadatak 6.1 Kako izgleda rastav (6.22) za matricu A iz Primjera 3.12, str. 61? Ova ˇcinjenica moˇze se upotrijebiti u svrhu kompresije slike (vidi primjerice

Demel (1997), Kalman (1996), Trefethen (1997)). Crno-bijela slika lista (vidi Sliku 6.4.a) zapisana je u obliku matrice veliˇcine 100 × 100 s elementima iz intervala [0, 1], pri ˇcemu 0 znaˇci potpuno crno, a 1 potpuno bijelo. Aproksimiraju´ci ovu matricu koriste´ci redom prvih ρ = 5, 15, 25, 40, 50 singularnih vrijednosti u formuli (6.22) dobivamo slike aproksimacije originala 3

3 Navedeni primjer izradili su K. Petri´c i K. Sabo, studenti Pedagoˇskog fakulteta u Osijeku, smjer Matematika-informatika.

6.1 Linearni problemi najmanjih kvadrata

a) original

Slika 6.4 Kompresija slike

6.2 Nelinearni problemi najmanjih kvadrata 115