Metode Kuadrat Terkecil Analisis Regresi

n x x n x y x y b i i i i i i 2 2 1 ∑ ∑ ∑ ∑ ∑ − − = 2.18 Penduga persamaan regresi dapat ditulis x x b y x b x b y x b b y i i i i − + = + − = + = 1 1 1 1 ˆ 2.19 Sekarang perhatikan kesamaan berikut: i i i i y y y y y y ˆ ˆ − + − = − Ruas kiri dan kanan dikuadratkan dan dijumlahkan akan diperoleh { } ∑ ∑ ∑ ∑ ∑ = = = = = − − + − + − = − + − = − n i n i n i i i i i i n i n i i i i i y y y y y y y y y y y y y y 1 1 1 2 2 1 1 2 2 ˆ ˆ 2 ˆ ˆ ˆ ˆ 2.20 Perkalian silang yang terakhir pada persamaan 2.20 adalah ∑ ∑ ∑ − − − = − − i i i i i i i i y y y y y y y y y y ˆ ˆ ˆ ˆ ˆ Bagian kedua ruas kanan sama dengan nol menurut persamaan 2.15 adalah ˆ 1 = − − = − ∑ ∑ i i i i x b b y y y Bagian pertama ruas kanan juga sama dengan nol karena ˆ ˆ ˆ ˆ ˆ 1 1 1 1 = − − + = − + − = − + = − ∑ ∑ ∑ ∑ ∑ i i i i i i i i i i i i i i x x b b y b x y y b y y b y y x b b y y y Jadi persamaan 2.10 dapat ditulis kembali sebagai ∑ ∑ ∑ − + − = − 2 2 2 ˆ ˆ i i i i y y y y y y 2.21 PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI Persamaan 2.21 merupakan persamaan dasar dalam analisis regresi dan analisis variansi. Ruas kiri disebut Jumlah Kuadrat Total JKT menyatakan jumlah penyimpangan Y disekitar nilai rata-ratanya. Bagian pertama ruas kanan disebut Jumlah Kuadrat Regresi JKR, merupakan variansi respons disekitar nilai rata- ratanya. Bagian kedua ruas kanan disebut Jumlah Kuadrat Galat JKG, bagian ini mengukur galat dari variansi total JKT yang tidak dapat diterangkan oleh X atau bagian yang sifatnya acak. Jadi persamaan 2.21 dapat ditulis sebagai JKT=JKR+JKG Jika pengaruh X terhadap Y besar maka diharapkan JKR cukup besar dibandingkan dengan JKG. Bila JKR membesar maka JKG mengecil, dan sebaliknya, sedangkan JKT tetap. Untuk menentukan apakah pengaruh suatu variabel bebas X besar atau kecil terhadap variabel respon Y diperlukan pembanding baku. Pembanding tersebut tidak dipengaruhi oleh baik buruknya model yang digunakan. Pembanding baku tersebut adalah penduga tak bias dari 2 σ , variansi ε . Umumnya 2 σ tidak diketahui, jadi harus diduga dari sampel. Penduga 2 σ yang tidak bias dapat diperoleh dari jumlah kuadrat galat yaitu JKGn-2 disebut Rata-rata Kuadrat Galat. Rata-rata kuadrat galat hanya akan menduga tanpa bias bila model yang digunakan tepat. Bila model yang digunakan keliru maka akan menduga dengan bias. Jadi penggunaan rata-rata kuadrat galat sebagai penduga selalu dengan anggapan bahwa modelnya telah tepat. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI Tabel 2.9 Analisis Variansi untuk regresi Linier Sederhana Sumber Jumlah Kuadrat db Rata-rata kuadrat F Regresi ∑ − = 2 ˆ y y JKR i 1 RKR=JKR1 RKG RKR F = Galat ∑ − = 2 ˆ i i y y JKG n-2 RKG=JKGn-2 Total ∑ − = 2 y y JKT i n-1 Pada kolom keempat memberikan jumlah kuadrat dibagi dengan derajat bebas untuk regresi dan galat. Tidak dituliskan jumlahnya pada baris total karena hal itu tidak berlaku bagi JKT. Dalam praktek akan menghitung rasio RKRRKG. Bila rasio lebih besar dari 1 secara berarti significant maka disimpulkan bahwa ≠ β . Bila rasio sama dengan 1 maka kesimpulannya = β yaitu X tidak mempengaruhi respon Y . Dalam prakteknya kendati = β tidak mengharapkan RKRRKG tepat sama dengan 1 disebabkan fluktuasi sampel sehingga rata-rata RKRRKG akan berfluktuasi disekitar 1. Untuk menentukan apakah rasio ini sama atau lebih besar 1 digunakan bantuan tabel t atau tabel F. Rasio RKRRKG mempunyai distribusi F dengan derajat bebas 1 dan n-2. Yang pertama derajat bebas pembilang dan yang kedua derajat bebas penyebut. Dengan demikian dapat didefinisikan statistik uji ∑ ∑ − − − = = 2 ˆ 1 ˆ 2 2 n y y y y RKG RKR F i i i 2.22 Nilai F sering pula disebut F hitung, kemudian dibandingkan F tabel. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI 3. Model Regresi Berganda Dengan bertambah banyaknya variabel bebas yang disertakan dalam suatu model regresi berganda, notasi yang dipergunakan dalam menganalisis model ini akan menjadi bertambah kompleks. Oleh karena itu untuk memudahkan penulisan dan pemeriksaan sifat regresi berganda, pendekatan yang digunakan adalah dengan menggunakan notasi matriks. Definisi: Suatu model yang menghubungkan variabel tak bebas Y pada suatu himpunan varibel bebas { } k x ,..., x , x 2 1 yaitu ε β β β β + + + + + = k k x ... x x y 2 2 1 1 2.23 disebut statistik linier. Data yang diperoleh untuk menduga model berasal dari n individu dengan nilai pengamatan sebagai berikut: Nilai Pengamatan Pengamatan y 1 x 2 x … k x 1 1 y 11 x 12 x … k x 1 2 2 y 21 x 22 x … k x 2 Μ Μ Μ Μ Μ n n y 1 n x 2 n x … nk x Keseluruhan pengamatan diatas masing-masing memenuhi model 2.23 dan memberikan bentuk persamaan berikut: PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI 1 1 12 2 11 1 1 ... ε β β β β + + + + + = k k x x x y 2 2 22 2 21 1 2 ... ε β β β β + + + + + = k k x x x y 2.24 ………………………………………… n nk k n n n x x x y ε β β β β + + + + + = ... 2 2 1 1 Secara umun persamaan regresi berganda dapat diringkas menjadi i ki k i i i x ... x x y ε β β β β + + + + + = 2 2 1 1 2.25 Persamaan 2.25 dapat ditulis lebih sederhana dengan notasi matriks menjadi ε X β Y + = 2.26 atau ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ n y y y Μ 2 1 = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ nk n n k k x x x x x x x x x Λ Μ Μ Μ Μ Λ Λ 2 1 2 22 21 1 12 11 1 1 1 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ k β β β Μ 1 + ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ n ε ε ε Μ 2 1 Pendugaan nilai parameter β dilakukan dengan menggunakan metode kuadrat terkecil, yaitu dengan meminimumkan jumlah kuadrat simpangan antara nilai- nilai pengamatan n i Y i , ..... , 1 , = terhadap nilai-nilai harapannya, n i Y E i , ..... , 1 , = . Dengan Y E Y e − = maka jumlah kuadrat simpangan adalah ∑ = = n i 1 e e e 2 Y E Y Y E Y − ′ − = Xb Y Xb Y − ′ − = Xb Y X b Y − − = Xb X b Y X b - Xb Y Y Y + − = Xb X b Y X b Y X b Y Y + − − = karena Y X b adalah skalar maka Xb X b Y X 2b Y Y + − = Penentuan nilai-nilai dugaan b dari parameter-parameter yang meminimumkan e e dengan mencari turunan parsial pertama e e , terhadap setiap unsur dari β , dan menyamakan dengan nol, kemudian menyelesaikan persamaan yang diperoleh. = ∂ ∂ b e e = ∂ + − ∂ b Xb X b Y X 2b Y Y = ∂ ∂ + ∂ ∂ − ∂ ∂ b Xb X b b Y bX 2 b Y Y Proses penurunan terhadap b dapat dilihat pada lampiran 2. = + − X 2bX Y 2X Xb 2X Y 2X = Xb X Y X = Y X X X b 1 − = 2.27 Pendugaan terhadap 2 σ Dengan notasi β X Y ˆ ˆ = untuk menyatakan vektor nilai dugaan Y, maka dugaan simpangan itu disebut sebagai Galat. Jumlah kuadrat galat JKG adalah ∑ = − = n 1 i 2 Y Y ˆ JKG Y Y Y Y ˆ ˆ − ′ − = Y Y Y Y ˆ ˆ − − = Xb Y Xb Y − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ − = Xb Y X b Y − − = Y X X X X Y X Y X X X Y 1 1 − − − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ − = Y X X X X Y X X X X Y Y 1 1 − − − − = Y X X X X I X X X X I Y 1 1 − − − − = Y X X X X X X X X X X X 2X I Y 1 1 1 − − − + − = Y X X X X X X X 2X I Y 1 1 − − + − = Y X X X X I Y 1 − − = Y X X X X Y Y Y 1 − − = Y X b Y Y − = Akan ditunjukkan bahwa 1 1 2 − − = − − = k n JKG k n e e s adalah penduga tak bias untuk 2 σ . Karena JKG E k n k n e e JKG E 1 1 1 − − = − − = dengan menemukan JKG E maka akan terlihat bahwa 2 2 σ = s E Diketahui Xb Y E = dan Var-Cov Y = I 2 σ sehingga AXb X b I A tr AY Y E 2 + = σ PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI diperoleh Y X X X X I Y E JKG E 1 − − = { } Xb X X X X I X b I X X X X I tr 1 2 1 − − − + − = σ 2 1 + − = − I X X X X I r σ 2 σ X r n − = dimana 1 + = k X r 2 1 σ + − = k n disimpukan bahwa penduga 2 ˆ σ adalah 1 ˆ 2 + − = k n JKG E σ 1 1 − − − = + − = k n Y X b Y Y k n JKG Untuk selanjutnya 2 ˆ σ dinotasikan dengan 2 s

4. Pengujian Hipotesis

Untuk tujuan pengujian ini karena kita ingin mengetaui kesamaan dari penduga keseluruhan, maka dilakukan dengan metode analisis variansi. ... : 2 1 = = = = k H β β β : 1 ≠ ∃ j H β Tabel 2.10 Analisis Variansi untuk Regresi Berganda Sumber Variansi db Jumlah Kuadrat Kuadrat Tengah hitung F Regresi k JKR KTR KTG KTR f : = Galat 1 − − k n JKG KTG Total 1 − n JKT Dimana: 2 Y n JKR − = Y X b JKR JKT JKG − = 2 Y n JKT − = Y Y k Y n KTR 2 − = Y X b 1 − − − = k n JKR JKT KTG faktor koreksi = 2 Y n Statistik ini digunakan untuk menguji hipotesis dan pengujiannya disebut uji F. Jika 1 − − k n , k F F hitung α H diterima yang berarti bahwa 2 1 = = = ... β β 1 − − k n , k F F hitung α H ditolak berarti paling tidak ada satu yang tidak sama.

C. Matriks Tak Singular Definisi tak Singular :

Jika A adalah matriks bujur sangkar, dan jika terdapat matriks B yang berukuran sama sedemikian rupa sehingga I BA AB = = , maka A disebut dapat dibalik invertible atau matriks tak singular, dan B disebut sebagai invers dari A . Jika matriks B tidak dapat didefinisikan, maka A dinyatakan sebagai matriks singular. Definisi Basis : Jika V adalah suatu ruang vektor sebarang dan { } r v v v S , ... , , 2 1 = adalah suatu himpunan vektor-vektor pada V , maka S disebut basis untuk V jika dua syarat berikut berlaku : a. S bebas linier. b. S merentang V . Definisi Bebas Linier : Jika { } r v v v S , ... , , 2 1 = adalah himpunan takkosong vektor-vektor, maka persamaan vektor ... 2 2 1 1 = + + + r r v k v k v k Memiliki paling tidak satu solusi, yaitu PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI , ... , , 2 1 = = = r k k k Jika ini satu-satunya solusi, maka S disebut sebagai himpuan bebas linier linierly independent. Jika terdapat solusi-solusi lain maka S disebut sebagai himpunan tidak bebas linier linierly dependent. Definisi Merentang : Jika { } r v v v S , ... , , 2 1 = adalah himpunan vektor-vektor pada suatu ruang vektor V , maka subruang W dari V yang terdiri dari semua kombinasi linier vektor- vektor pada S disebut sebagai ruang yang direntang space spnned oleh r v v v , ... , , 2 1 dan vektor-vektor r v v v , ... , , 2 1 merentang span W . Untuk menyatakan bahwa W adalah ruang yang direntang oleh vektor-vektor pada himpunan { } r v v v S , ... , , 2 1 = ditulis dengan W = rentang S atau = rentang Definisi Kombinasi Linier : Suatu vektor w disebut suatu kombinasi linier linier combination dari vektor- vektor r v v v , ... , , 2 1 jika dapat dinyatakan dalam bentuk r r v k v k v k w + + + = ... 2 2 1 1 di mana r k k k ....., , , 2 1 adalah skalar. Definisi Dimensi : Dimensi dari ruang vector V yang berdimensi berhingga, dinotasikan dengan V dim , didefinisikan sebagai banyaknya vektor-vektor pada suatu basis untuk V . Selain itu mendefinisikan ruang vektor nol sebagai berdimensi nol. Definisi Rank : Dimensi umum dari ruang baris dan ruang kolom dari suatu matriks A disebut rank dari A dan dinyatakan sebagai A rank ; Dimensi ruang nol dari A disebut sebagai nulitas nullity dari A dan dinyatakan sebagai nulitasA.