Analisis Regresi Linier Sederhana
Jika diasumsikan bahwa � sehingga | =
+
1
. Dengan kata lain secara rata-rata
dapat menerangkan . Tetapi jika terjadi
pelanggaran terhadap asumsi tersebut, misalnya � dengan sebagai
konstanta, maka | =
+
1
+ atau
| = � +
1
, � =
+ Akibatnya penaksir
1
memang masih tak bias, tetapi penaksir menjadi bias. Namun dalam prakteknya intersep
kurang begitu penting peranannya sehingga dapat diabaikan. Yang terpenting adalah koefisien regresi
1
yang dapat dipakai untuk mengukur besarnya pengaruh X terhadap Y secara kuantitatif. Koefisien regresi ini tidak terpengaruh walaupun asumsi
� = 0 tidak terpenuhi.
2. Tidak ada autokorelasi
� , � = � − � � − � =
� , � = 0
i ≠ j Hal ini menunjukkan, dengan
tertentu simpangan setiap dua Y yang manapun dari nilai rata-ratanya tidak berkorelasi. Asumsi ini dikenal tidak ada
autokorelasi. Jika asumsi ini tidak dipenuhi, maka penaksir OLS tidak efisien. 3.
Tidak ada Heteroskedastisitas � � = � − �
2
= �
2
= �
2
Asumsi tersebut menyatakan bahwa variansi � untuk tiap adalah suatu
angka konstan positif yang sama dengan �
2
. Secara teknis asumsi tersebut homoskedastisitas. Jika asumsi ini tidak terpenuhi, maka akan terjadi
Heteroskedastisitas. Heteroskedastisitas tidak merusak sifat ketidakbiasan dan konsekuensi dari penaksir OLS. Tetapi heteroskedastisitas menyebabkan penaksir
tidak lagi mempunyai variansi minimum atau efisien. b.
Untuk pengujian hipotesis dan penyusunan selang kepercayaan, diasumsikan residu berdistribusi normal
� ~ �0, �
2
. Alasan mengapa variabel gangguan berdistribusi normal adalah:
1 Variabel gangguan dapat dianggap sebagai gabungan dari sejumlah pengaruh
tambahan. Jika pengaruh tambahan ini semakin besar, maka distribusi variabel ini akan cenderung mendekati distribusi normal.
2 Uji statistik t dan F tidak dapat diterapkan jika variabel gangguan tidak
berdistribusi normal. c.
Uji Linieritas Uji linearitas dipergunakan untuk melihat apakah model yang dibangun
mempunyai hubungan linear atau tidak. Uji linearitas digunakan untuk mengkonfirmasikan apakah sifat linear antara dua variabel yang diidentifikasikan
secara teori sesuai atau tidak dengan hasil observasi yang ada. Metode kuadrat terkecil OLS dikemukakan oleh Carl Friedrich Gauss,
seorang ahli matematika asal Jerman. Metode kuadrat terkecil merupakan suatu metode penaksiran parameter yang meminimumkan
2
jumlah residual kuadrat sehingga diperoleh penaksir parameter
dan
1
. Dalam metode ini, pertamakali harus diingat mengenai PRP dua variabel:
= +
1
+ � 3.1.5
PRP tidak dapat diamati secara langsung, sehingga PRP ditaksir menggunakan PRS:
= +
1
+ = +
3.1.6 Persamaan 3.1.6 dapat diubah menjadi:
= −
= −
−
1
3.1.7 menunjukkan perbedaan residual antara nilai nyata dan nilai estimasi dari Y.
Prinsip kuadrat terkecil adalah memilih dan
1
sedemikian sehingga diperoleh
2
sekecil mungkin untuk suatu sampel tertentu. Penaksir parameter dan
1
dapat diperoleh dengan menurunkan � = −
−
1 2
terhapap dan
1
secara parsial dan menyamakan hasilnya masing-masing dengan nol, sehingga didapat:
∂K ∂
= 2
− −
1
−1 = 0 3.1.8
∂K ∂
1
= 2
− −
1
− = 0 3.1.9 Persamaan 3.1.8 dan 3.1.9 diatur, sedemikian rupa menjadi:
− n −
1
= 0 = n +
1
3.1.10 −
−
1 2
= 0
= +
1 2
3.1.11
Dari persamaan 3.1.10 dan 3.1.11, nilai dan
1
, dapat dicari dengan: = n
+
1
dibagi dengan n
=
n
+
1
= −
1
=
1
−
1
3.1.12 Untuk mendapatkan
1
, persamaan 3.1.12 disubstitusikan ke persamaan 3.1.11, menjadi:
= −
1
+
1 2
= −
1 2
+
1 2
− =
1 2
−
1 2
− =
1 2
−
2
n
− =
1 n
2
−
2
n −
∶
n n
2
−
2
=
1
1
=
n −
n
2
−
2
3.1.13 Persamaan 3.1.13 kemudian
dipecahkan secara simultan: bagian pembilang:
− =
− + −
= −
− +
2
= − − +
= − − +
= − − +
= − −
bagian penyebut:
2
−
2
=
2
− 2
2
+
2
=
2
− 2 +
2
=
2
− 2 + =
2
− 2 +
2
= −
2
sehingga diperoleh :
1
=
−
X
Y
i
−Y −
X
2
=
2
3.1.14 dimana
X dan Y adalah rata-rata sampel X dan Y, lalu didefinisikan
=
− X
dan
= Y
1
− Y
i
.
Sehingga persamaan 3.1.12 menjadi:
= Y −
1
X 3.1.15
Setelah asumsi-asumsi klasik terpenuhi maka penaksir-penaksir koefisien dengan OLS memiliki sifat-sifat sebagai berikut:
1 Penaksir-penaksir kuadrat terkecil merupakan fungsi linier dari Y
= 0 Seblumnya akan dibuktikan bahwa
= 0, yaitu
= –
=
1
− +
2
− + + − =
1
+
2
+ +
− =
−
= −
= 0 3.1.16
Selanjutnya akan dibuktikan
1
adalah penaksir linier dari Y, yaitu Berdasarkan persamaan 3.1.14
1
=
2
=
–
2
=
2
−
2
berdasarkan 3.1.16, = 0
1
=
2
1
= 3.1.17
di mana =
2
Jadi terbukti bahwa
1
merupakan fungsi linier dari Y. Lalu akan dibuktikan
merupakan fungsi linier dari Y: Berdasarkan persamaan 3.1.15
= −
1
= −
1
kemudian disubstitusi dengan persamaan 3.1.17 =
−
=
1
− 3.1.18 Jadi terbukti bahwa
merupakan fungsi linier dari Y.
2 Penaksir-penaksir tersebuat tidak bias,
= = 0
Terlebih dahulu akan dibuktikan = 0 , yaitu:
Berdasarkan definisi =
2
=
2
Berdasarkan 3.1.16, = 0
= 0 3.1.19
Setelah itu akan dibuktikan = 1, yaitu:
= +
= +
Berdasarkan 3.1.18, = 0
=
=
2
sesuai dengan definisi =
2 2
= 1 3.1.20
Akan dibuktikan
2
=
1
2
, yaitu:
2
=
2
2
=
2 2
=
2 2
1
2
=
2 2
1
2
2
=
1
2
3.1.21 Berdasarkan persamaan 3.1.18
=
1
−
=
1
− +
1
+ �
=
1
+
1
+ � −
+
1
+ �
= +
1
+
�
− −
1
− � Berdasarkan persamaan 3.1.19 dan 3.1.20, yaitu
= 0 , = 1
= +
1
+
�
−
1
− � =
+
�
− � 3.1.22 Selanjutnya , akan dibuktikan
= , yaitu:
= +
�
− �
= +
1
� − �
karena � = 0
= 3.1.23
Jadi terbukti bahwa =
Akan dibuktikan
1
=
1
= +
1
+ �
= +
1
+ �
Berdasarkan persamaan 3.1.19 dan 3.1.20, yaitu = 0 ,
= 1
1
=
1
+ �
3.1.24
Lalu akan dibuktikan
1
=
1
, yaitu:
1
=
1
+ �
=
1
+ �
karena � = 0
1
=
1
3.1.25 Jadi terbukti bahwa
1
=
1
3 Penaksir-penaksir tersebut memiliki varian minimum.
Terlebih dahulu ditentukan Var
1
dan Var Var
1
=
1
−
1 2
=
1
−
1 2
=
1
+ � −
1 2
= �
2
=
1 2
�
1 2
+
2 2
�
2 2
+ + 2
1 2
�
1
�
2
+ + 2
−1
�
−1
� =
2
�
2
+ 2 � �
=
2
�
2
+ 2 � �
berdasarkan asumsi 3 di mana �
2
= �
2
dan asumsi 2 � � = 0
Var
1
=
2
�
2
di mana
2
=
1
2
maka dapat ditulis Var
1
= �
2 1
2
3.1.26
Var =
−
2
= +
1
� − � −
2
=
1
� − �
2
= [
1
− � ]
2
= �
2 1
−
2
= �
2 1
2
−
2
+
2 2
= �
2 1
2
−
2
+
2 2
karena = 0 dan
2
=
1
2
Var =
�
2 1
+
2 2
= �
2
2
+
2 2
= �
2 −
2
+
2 2
= �
2
2
−2 +
2
+
2 2
= �
2
2
−2 +
2
+
2 2
= �
2
2
−2
2
+2
2 2
Var =
�
2
2 2
3.1.27 Untuk menentukan varians
dan
1
minimum perlu dibandingkan dengan varians dari beberapa penaksir yang tidak bias. Dimisalkan
1
= di mana
≠ tetapi = +
, sehingga
1 ∗
= +
1
+ �
= +
1
+ �
= +
1
+ �
1 ∗
= +
1
+ �
karena � = 0
1 ∗
= +
1
3.1.28
Karena penaksir yang tidak bias, maka pada persamaan 3.18 = 0 dan
= 1, dan diketahui =
+ , maka:
= +
karena = 0, maka haruslah = 0
= +
= +
= +
Karena = 1, maka haruslah
= +
= 0 sehingga = 1
1
memiliki varians yang minimum. Bukti :
Var
1
= [
1 ∗
−
1 2
] =
[ �
2
] =
�
2 2
= �
2
+
2
= �
2 2
+
2
+ 2 =
�
2 2
+
2
+ 2
2
karena =
= 0 Var
1 ∗
= �
2 2
+
2
Var
1 ∗
= �
2 2
+ �
2 2
= Var
1
+ �
2 2
3.1.29 Karena
2
selalu positif, maka Var
1 ∗
var
1
, hanya apabila
2
= 0 maka Var
1 ∗
= var
1
. Hal ini menunjukan bahwa
1
memiliki varians yang minimum.
memiliki varians yang minimum Misalkan
∗
=
1
− dan diketahui =
+
1
+ � , maka
∗
=
1
− +
1
+ �
∗
= 1
− +
1
− +
1
− �
∗
= 1
− +
1
− +
�
− �
∗
= 1
− +
1
− +
�
− � karena
� = 0
∗
= 1
− +
1
− − �
Agar
∗
= maka
= 0, = 1, dan
� = 0, diketahui =
+ sehingga
= 0 dan = 0.
Akan dibuktikan memiliki varians yang minimum, yaitu:
Var
∗
= [
∗
− ]
2
= [
1
− � ]
2
= �
2 1
−
2
= �
2 1
2
+
2 2
− 2
1
= �
2 1
+
2 2
−
2
karena =
+ dan
= 0 Var
∗
= �
2 1
+
2
+
2
= �
2 1
+
2 2
+
2 2
= �
2 1
+
2 2
+
2 2
= �
2 1
+
2 2
+ �
2 2
2
= �
2 1
+
2 1
2
+ �
2 2
2
Var
∗
= Var +
�
2 2
2
3.1.30
Karena
2
selalu positif, maka Var
∗
var , hanya apabila
2
= 0 maka Var
∗
= var . Hal ini menunjukan bahwa
memiliki varians yang minimum.
Persamaan 3.1.14 dan 3.1.15 merupakan bukti bahwa estimasi- estimasi dengan OLS adalah fungsi dari data sampel. Tetapi, karena data dari
sampel ke sampel kemungkinan berubah, maka penaksiran juga akan berubah sesuai dengan fakta yang ada. Sehingga ukuran atau ketepatan taksiran
dan
1
sangat diperlukan. Dalam statistik, standar error digunakan untuk mengukur ketepatan taksiran
dan
1
. Standar error adalah standar deviasi sebuah distribusi sampling dari sebuah estimator, maka standar error suatu penaksir merupakan akar
kuadrat dari varians suatu penaksir. Berdasarkan persamaan 3.1.26 dan 3.1.27 maka rumus untuk mencari standar error suatu penaksir adalah:
=
2 2
�
2
3.1.31
1
=
�
1 2
3.1.32
Semua besaran pada persamaan 3.1.31 dan 3.1.32 dapat ditaksir melalui data, kecuali
�
2
.
Tetapi dengan menggunakan rumus berikut,
�
2
dapat ditaksir: �
2
=
2
− +1
3.1.32 dengan k menyatakan jumlah variabel bebas dan n menyatakan jumlah
pengamatan. Setelah menaksir koefisien regresi, menentukan sifat-sifat penaksir dan
menentukan standar error selanjutnya ditentukan seberapa baik garis regresi sampel mencocokkan data. Apabila data hasil observasi terletak dalam garis
regresi maka akan diperoleh kecocokan yang sempurna. Tetapi umumnya hasil
observasi akan menyebar disekitar garis regresi sampel, sehingga dapat menghasilkan
yang positif maupun negatif. Yang diharapkan adalah bahwa gangguan disekitar garis regresi sampel sekecil mungkin.
Untuk menghitung
2
, sebelumnya, akan ditentukan bentuk simpangan dari persamaan 3.1.4
= +
1
+ , dimana X maupun Y dinyatakan
sebagai simpangan dari nilai rata-ratanya, dan dibuktikan bahwa residual tidak
berkorelasi dengan yang ditaksir. Pertama diketahui rata-rata = 0.
Bukti: dari persamaan 3.1.8 maka
−2 − +
1
= 0 karena persamaan 3.1.7 maka
−2 − = 0 −2 = 0
= 0 3.1.33 Untuk mengetahui bentuk simpangan dari persamaan
= +
1
+ , maka
persamaan tersebut dijumlahkan pada kedua sisinya sehingga =
+
1
+ karena
= 0, maka =
+
1
persamaan di atas dibagi dengan n, sehingga =
+
1
persamaan 3.1.4 dikurangi dengan =
+
1
, maka
− = −
+
1
−
1
+ − =
1
− + =
1
+ 3.1.34
= −
1
3.1.35 dimana
= − dan =
− . Persamaan 3.1.34 disebut sebagai bentuk simpangan. Dalam bentuk simpangan, PRF yang ditaksir dapat ditulis sebagai
=
1
3.1.36 sehingga persamaan 3.1.34 dapat ditulis
= + 3.1.37
Selanjutnya akan dibuktikan residual tak berkorelasi dengan , yaitu: dari persamaan 3.1.36 dapat ditulis
=
1
karena persamaan 3.1.35, maka dapat ditulis =
1
−
1
=
1
−
1 2
2
karena menurut persamaan 3.1.14 yaitu
1
=
2
,
maka
=
2
−
2
2 2
=
2
2
−
2
2
= 0 3.1.38 Untuk menghitung
2
,persamaan 3.1.37 dikuadratkan pada kedua sisi dan menjumlahkan untuk semua sampel, sehinga diperoleh:
2
=
2
+
2
+ 2 karena menurut persamaan 3.1.38, maka
2
=
2
+
2
menurut persamaan 3.1.36, maka
2
=
1 2
2
+
2
3.1.39 Persamaan 3.1.39 dapat digambarkan sebagai berikut
2
= −
2
, merupakan total variasi nilai Y sebenarnya di sekitar rata-rata sampel, dapat juga disebut sebagai jumlah kuadrat total TSS.
2
= −
2
=
1 2
2
merrupakan variasi nilai Y yang ditaksir disekitar rata-ratanya, dapat juga disebut sebagai jumlah kuadrat akibat regresi ESS.
2
merupakan residual atau variasi yang tidak dapat dijelaskan dari nilai Y di sekitar garis regresi, atau dapat
disebut sebagai jumlah kuadrat residu RSS. Jadi persamaan 3.1.39 dapat ditulis TSS = ESS + RSS, dan dapat digambarkan dalam Gambar 3.1.
Gambar 3.1 Pembagian variasi menjadi dua komponen
Dengan membagi TSS = ESS + RSS dengan TSS pada kedua sisi, maka diperoleh: 1 =
+
1 = −
2
−
2
+
2
−
2
Sehingga dapat didefinisikan
2
= −
2
−
2
= Sifat dari
2
: a.
2
merupakan besaran non negatif. b.
Batasannya adalah 0 ≤
2
≤ 1. Jika
2
= 1 berarti kecocokan sempurna, sedangkan
2
yang bernilai nol berarti tidak ada hubungan antara variabel tak bebas dengan variabel yang menjelaskan.
Contoh 3.1
Data dalam Tabel 3.1 menyatakan data banyaknya suatu senyawa kimia y yang larut dalam 100 gram air pada berbagai sumbu x.
Tabel 3.1 Data banyaknya seuatu senyawa kimia
X C
y gram 8
6 8
15 12
10 14
30 25
21 24
45 31
33 28
60 44
39 42
75 48
51 44
a. Berdasarkan data tabel 3.1, tentukan persamaan garis regresinya
Penyelesaian:
= 675 = 488
2
= 37125 = 25005
= 37,5 = 27,11
1
=
n −
n
2
−
2
=
18 25005 − 675 488
18 371,25 − 625
2
= 0,568
= Y −
1
X = 27,11 −0,568
37,5 = 5,825 Jadi model regresinya adalah
= 5,825 + 0,568X Untuk mencari residualnya menggunakan rumus
= −
1
=
1
−
1
= 8 – 5,825 + 0,568 0
= 2.17
2
=
2
−
2
= 6 – 5,825 + 0,568 0
= 0.17
18
=
18
−
18
= 44 – 5,825 + 0,568 75
= – 4.40
Tabel 3.2 Data residual
0.00 8.00
2.17 0.00
6.00 0.17
0.00 8.00
2.17 15.00
12.00 -2.34
15.00 10.00
-4.34 15.00
14.00 -0.34
30.00 25.00
2.15 30.00
21.00 -1.85
30.00 24.00
1.15 45.00
31.00 -0.37
45.00 33.00
1.63 45.00
28.00 -3.37
60.00 44.00
4.12 60.00
39.00 -0.88
60.00 42.00
2.12 75.00
48.00 -0.40
75.00 51.00
2.60 75.00
44.00 -4.40
Total | |
36.572