Metode Kuadrat Terkecil Ordinary Least Square Method

18

2.3.3 Asumsi Model Regresi Linear

Asumsi-asumsi yang harus dipenuhi agar OLS dapat menghasilkan estimasi yang baik pada model regresi yaitu sebagai berikut. 1 Nilai rata-rata dari kasalahan pengganggu sama dengan nol E = 0 untuk i=1, 2, K , n. 2 Tidak ada autokorelasi antara kasalahan pengganggu yang satu dengan yang lainnya kov = 0 untuk . j i ≠ 3 Semua kesalahan penggangu mempunyai varian sama atau disebut dengan homoskedastisitas var = 2 σ untuk i=1, 2, K , n. 4 Variabel bebas X adalah suatu himpunan bilangan yang tetap dan bebas terhadap kesalahan pengganggu i ε . 5 Tidak terdapat hubungan antara variabel bebas X atau tidak terdapat multikolienaritas antara variabel bebas X. 6 Gangguan berdistribusi normal dengan rata-rata nol dan varians 2 σ .

2.4 Metode Kuadrat Terkecil Ordinary Least Square Method

Metode kuadrat terkecil pertama kali dikemukakan oleh Carl Freidrich Gauss, seorang ahli matematika Jerman. Metode kuadrat terkecil merupakan metode yang lebih banyak digunakan dalam pembentukan model regresi atau mengestimasi parameter-parameter regresi dibandingkan metode-metode lain. 19 Metode kuadrat terkecil adalah metode yang digunakan untuk mengestimasi nilai dengan cara meminimumkan jumlah kuadrat dari residu. Menurut Sembiring 1995:40, estimasi koefisien garis regresi dan pada n data pengamatan dengan metode kuadrat terkecil diperoleh dengan meminimumkan fungsi: . 1 2 1 2 ∑ ∑ = = − − = = n i i i n i i x y J β α ε 2.3 Pada persamaan 2.3, x i dan y i bilangan yang berasal dari pengamatan, sedangkan dan berubah bila garis regresinya berubah. Jika J diturunkan terhadap dan , kemudian menyamakannya dengan nol, maka diperoleh 2 1 = − − − = ∂ ∂ ∑ = n i i i x y J β α α atau, 1 1 = − − ∑ ∑ = − n i n i i i x n y β α 2.4 dan 2 1 = − − − = ∂ ∂ ∑ = i n i i i x x y J β α β atau, 1 1 2 1 = − − ∑ ∑ ∑ = = = n i n i i n i i i i x x x y β α 2.5 Jika nilai dan pada persamaan 2.4 dan 2.5 diganti dengan a dan b, maka persamaannya menjadi suatu sistem persamaan linear. Nilai a dan b merupakan estimasi taksiran dari dan  20 ∑ ∑ ∑ = = = = + n i n i i n i i y x b a 1 1 1 2.6 ∑ ∑ ∑ = = = = + n i n i i i n i i i x y x b x a 1 1 1 2 Dari persamaan 2.6 yang pertama diperoleh : , 1 1 x b y n x b n y a n i i n i i − = − = ∑ ∑ = = dengan n x x n i i ∑ = = 1 dan n y y n i i ∑ = = 1 . Persamaan 2.6 yang kedua menjadi ∑ ∑ ∑ ∑ ∑ = = = = = = − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎪ ⎪ ⎭ ⎪⎪ ⎬ ⎫ ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ − − n i n i i n i i n i i n i i i i x b x n x b n y x y 1 1 2 1 1 1 ∑ ∑ ∑ ∑ ∑ = = = = = = ⎪ ⎪ ⎭ ⎪ ⎪ ⎬ ⎫ ⎪ ⎪ ⎩ ⎪ ⎪ ⎨ ⎧ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − n i n i i n i i n i i n i i i i n x x b n x y x y 1 2 1 1 2 1 1 0 . Jadi, n x x n x y y x b n i i n i i n i i n i i n i i i 2 1 1 2 1 1 1 ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = ∑ ∑ ∑ ∑ ∑ = = = = = 21 Estimasi persamaan regresi i yˆ adalah i i bx a y + = ˆ dan nilai sisaan i i i y y e ˆ − = . Jadi taksiran persamaan regresi dapat ditulis sebagai i i bx a y + = ˆ = i bx x b y + − = . x x b y i − + Menurut Sembiring 1995:93, estimasi parameter dengan metode kuadrat terkecil untuk regresi berganda sebagai berikut. Dari persamaan regresi sederhana dapat ditulis . 1 2 1 1 1 2 ∑ ∑ = = − − − − = = n i ik k i i n i i X X y J β β β ε K 2.7 Untuk meminimumkan 2.7, dicari turunan J secara parsial terhadap j β , j = 0, 1, 2, K ,k dan disamakan dengan nol sehingga diperoleh 2 1 1 = − − − − − = ∂ ∂ ∑ = ik k i i n i i X X y J β β β β K 2 1 1 1 1 = − − − − − = ∂ ∂ ∑ = i ik k i i n i i x X X y J β β β β K , . 2 2 1 1 2 = − − − − − = ∂ ∂ ∑ = i ik k i i n i i x X X y J β β β β K , ⋮ 2 1 1 = − − − − − = ∂ ∂ ∑ = ik ik k i i n i i k x X X y J β β β β K . 2.8 Persamaan 2.8 menghasilkan p persaman normal berikut ini 22 ∑ ∑ ∑ ∑ = = = = = + + + + n i i n i ik k n i i n i i y x x x n 1 1 1 2 1 2 1 1 ˆ ˆ ˆ ˆ β β β β K ∑ ∑ ∑ ∑ ∑ = = = = = = + + + + n i i i n i ik i k n i i i n i i n i i y x x x x x x x 1 1 1 1 1 2 1 1 2 2 1 1 1 1 ˆ ˆ ˆ ˆ β β β β K ∑ ∑ ∑ ∑ ∑ = = = = = = + + + + n i i i n i ik i k n i i i n i i i n i i y x x x x x x x x 1 2 1 2 1 2 2 1 1 2 2 1 1 1 2 ˆ ˆ ˆ ˆ β β β β K ⋮ ∑ ∑ ∑ ∑ ∑ = = = = = = + + + + n i i ik n i ik k n i ik i n i ik i n i ik y x x x x x x x 1 1 2 1 2 1 2 1 1 1 . ˆ ˆ ˆ ˆ β β β β K 2.9 Jika disusun dalam bentuk matrik maka persamaan 2.9 menjadi Y X X X ′ = ′ β ˆ 2.10 dengan ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = n y y y Y M 2 1 , ⎟⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = nk n n k k x x x x x x x x x X L M O M M L K 2 1 2 22 21 1 12 11 1 1 1 1 , ⎟⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = k β β β β β ˆ ˆ ˆ ˆ ˆ 2 1 M ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ = = = = = = = = n i ik n i ik i n i ik n i ik i n i i n i i n i ik n i i x x x x x x x x x x n X X 1 2 1 1 1 1 1 1 2 1 1 1 1 1 1 L M O M M L L 23 ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = ⎟⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = ∑ ∑ ∑ = = = n i i ik n i i i n i n nk k k k y x y x y y y y x x x x x x Y X 1 1 1 1 1 2 1 2 1 2 21 11 1 1 1 M M L M O M M L L Untuk menyelesaikan persamaan 2.10 maka harus dikalikan dengan invers dari X X . Sehingga estimasi kuadrat terkecil dari β adalah Y X X X X X X X ˆ 1 1 − − = β . ˆ 1 Y X X X − = β Model persamaan regresi berganda dapat ditulis Penyelesaian estimasi parameter dengan metode kuadrat terkecil untuk regresi berganda dengan menggunakan matriks sebagai berikut. Dengan menggunakan notasi matriks, model persamaan regresi berganda dapat ditulis 2.11 Prinsip dari OLS adalah mengestimasi nilai dengan cara meminimumkan jumlah kuadrat error. Jumlah kuadrat error dalam aljabar matrik dinotasikan dengan . Dari persamaan 2.11, . Kemudian untuk meminimumkan jumlah kuadrat error dapat ditunjukkan sebagai berikut. ε β β β + + + + = k k X X Y K 1 1 24 2.12 Untuk meminimumkan 2.12, dicari turunan terhadap dan disamakan dengan nol sehingga diperoleh .

2.5 Pencilan Outlier