ANALISIS REGRESI LINIER SEDERHANA
namun mungkin saja salah satu garis tersebut merupakan garis regresi terbaik yang mewakili garis regresi yang sesungguhnya.
Untuk mengetahui garis mana yang terbaik yang sesuai dengan garis regresi yang sesungguhnya, dapat digunakan sebuah metode. Metode ini adalah Metode
Kuadrat Terkecil Biasa atau Ordinary Least Square OLS Methode. Metode ini digunakan untuk menaksir regresi populasi atas dasar regresi sampel seakurat
mungkin, dengan cara mengestimasi β
dan β
1
setepat mungkin.
Metode Kuadrat Terkecil Ordinary Least Square Methode
Jika ketiga asumsi di atas dipenuhi maka penaksir OLS memenuhi beberapa sifat statistik yang diinginkan, yaitu linier, tidak bias dan varians yang minimum.
Penaksir koefisien regresi tetap dapat ditentukan jika ketiga asumsi tidak dipenuhi, namun penaksir yang diperoleh tidak memiliki sifat statistik yang diinginkan tersebut.
Metode kuadrat terkecil merupakan salah satu metode yang digunakan untuk mengestimasi
β dan
β
1
. Dari persamaan =
+
1
+ , diperoleh;
= Ý + 3.6
= − Ý
Prinsip dari metode OLS adalah memilih fungsi regresi sampel sedemikian rupa sehingga jumlah residual sisa
2
= − Ý
2
sekecil mungkin.
2
= − Ý
2
= −
−
1 2
Agar memperoleh hasil yang minimum, langkah pertama adalah −
−
1 2
diturunkan secara parsial terhadap dan menyamakan hasil yang diperoleh sama
dengan nol, sehingga diperoleh
�
2 =1
�
=
� −
−
1 2
=1
� �
− −
1 2
=1
�
= 0
−2 − −
1 =1
= 0 −
−
1 =1
= 0 −
=1
−
=1 1
= 0
=1
−
=1
−
1
= 0
=1
= −
=1 1
=1
=
−
=1 1
=1
3.7
Demikian pula untuk mengestimasi β
1
− −
1 2
diturunkan secara parsial terhadap
1
, dan menyamakan hasilnya dengan nol seperti berikut ini,
�
2 =1
�
1
=
� −
−
1 2
=1
�
1
� −
−
1 2
=1
�
1
= 0
−2
=1
− −
1
= 0
=1
− −
1
= 0
=1
−
=1
−
=1 1
= 0
=1
−
=1
−
1 2
=1
= 0 3.8
Dari persamaan 3.7 di mana =
−
=1 1
=1
dan disubstitusikan ke persamaan 3.8, sehingga,
=1
− −
=1 1
=1 =1
−
1 2
=1
= 0
=1
− −
=1 1
=1 =1
−
1 2
=1
= 0
=1
−
=1
+
1 =1
2 =1
−
1 2
=1
= 0
=1
−
=1
+
1 =1
2
−
2 =1
=1
= 0
1 =1
2
−
2 =1
=
=1 =1
−
=1
1
=
=1 =1
−
=1 =1
2
−
2 =1
3.9
Dengan menyelesaikan bagian pembilang persamaan 3.9, didapat:
=1 =1
−
=1
=
=1
−
=1 =1
=
=1
−
=1 =1
+
=1
−
=1 =1
=1
=
=1
−
=1
=1
+
=1
=1
+
2
=1 =1
2
=
=1
−
=1
−
=1
+
=
=1
−
=1
−
=1
+
= − −
+
=1
=
=1
− − 3.10
Di mana = dan
= , dengan menyelesaikan bagian penyebut persamaan, didapat,
=1 2
−
2 =1
=
2 =1
−
=1 2
=
2 =1
− 2
=1 2
+
=1 2
=
2 =1
− 2
=1 =1
+
2 =1
=1
=
2 =1
− 2
=1 =1
+
=1 =1
=
2 =1
− 2
=1
+
=
2
− 2 +
=1
= −
2 =1
3.11 Maka dari persamaan 3.10 dan 3.11 diperoleh,
1
=
=1
– − −
2 =1
1
=
=1
– − −
2 =1
Di mana didefinisikan =
– dan = – , sehingga
1
=
=1 2
=1
3.12
Dan =
−
=1 1
=1
= −
1
= −
1
3.13 Menurut Teori Gauss-Markov yaitu estimator OLS merupakan estimator
terbaik jika memiliki sifat linier, tidak bias, dan memiliki varians yang minimum best linear unbiased estimator disingkat BLUE. Sifat-sifat tersebut dibuktikan
dengan langkah-langkah berikut: 1. Penaksir-penaksir kuadrat terkecil merupakan fungsi linier dari Y
Terlebih dahulu akan dibuktikan = 0
Dari definisi , di mana =
– maka; =
–
= –
=
1
+
2
+ +
−
= −
= −
= 0 3.14
Selanjutnya akan dibuktikan
1
adalah penaksir linier dari Y
Dari persamaan 3.12 di mana
1
=
=1 2
=1
Dari definisi di mana =
– , maka
1
=
=1 2
=1
=
–
2
=
2
−
2
Akibat dari persamaan 3.14 di mana = 0 maka;
=
2
−
2
=
2
3.15
1
= 3.16
di mana didefinisikan
2
, Jadi terbukti bahwa
1
merupakan fungsi linier dari Y
Akan dibuktikan merupakan fungsi linier dari Y
dari persamaan 3.13 di mana =
−
1
, maka;
= −
1
= −
1
Subtitusi persamaan 3.16 di mana
1
= sehingga;
= −
1
= −
=
1
− 3.17
Jadi terbukti bahwa merupakan fungsi linier dari Y.
2. Penaksir-penaksir tersebut tidak bias Sebelumnya akan dibuktikan
= 0, = 1,
2
=
1
2
= 0 Definisi di mana =
2
, maka; =
2
=
2
Karena dari persamaan 3.14 di mana = 0 , maka;
= 0 3.18
= +
= +
Karena dari persamaan 3.18 di mana = 0, maka;
= Definisi di mana =
2
, maka; =
2
=
2 2
= 1 3.19
Karena =
2
, maka;
2
=
2
2
=
2 2
=
2 2
1
2
=
2 2
1
2
2
=
1
2
3.20 Bentuk lain dari
yaitu; Dari persamaan 3.17 di mana
=
1
− , maka =
1
− substitusi persamaan 3.1 di mana
= +
1
+ =
1
− +
1
+ =
1
+
1
+ −
+
1
+ =
+
1
+ −
−
1
− Dari persamaan 3.18 di mana
= 0 dan persamaan 3.19 di mana = 1 ,
maka; =
+
1
+ −
1
−
= +
− 3.21
Selanjutnya akan dibuktikan =
substitusi persamaan 3.21 di mana =
+ −
, =
+ −
= +
1
− Karena asumsi 1 di mana
= 0, maka; =
+
1
− =
3.22 Jadi terbukti bahwa
= Bentuk lain dari
1
adalah; Dari persamaan 3.16, di mana
1
= , maka;
1
= Substitusi dengan persamaan 3.1 di mana
= +
1
+
1
= +
1
+ =
+
1
+ Karena persamaan 3.18 di mana
= 0 dan persamaan 3.19 di mana =
1, maka;
1
=
1
+ 3.23
Akan dibuktikan
1
=
1
Substitusi persamaan 3.23 di mana
1
=
1
+
1
=
1
+
=
1
+ Karena asumsi 1 di mana
= 0, maka;
1
=
1
3.24 3. Penaksir-penaksir tersebut memiliki varian yang minimum
Sebelumnya akan ditentukan terlebih dahulu varians
1
dan varians . Dari
persamaan 3.24 di mana
1
=
1
, maka; Var
1
=
1
−
1 2
=
1
−
1 2
Substitusi persamaan 3.23 di mana
1
=
1
+ =
1
−
1 2
=
1
+ −
1 2
=
2
=
1 2
1 2
+
2 2
2 2
+ + 2
1 2 1 2
+ + 2
−1 −1
=
2 2
+ 2 =
2 2
+ 2 dari asumsi 3 di mana
2
= �
2
dan asumsi 2 di mana = 0
=
2
�
2
Dari persamaan 3.20 di mana
2
=
1
2
, maka; Var
1
= �
2 1
2
3.25 Dari persamaan 3.22 di mana
= , maka;
Var =
−
2
Var =
−
2
Substitusi persamaan 3.21 di mana =
+ −
Var =
−
2
= +
1
− −
2
=
1
−
2
= [
1
− ]
2
= �
2 1
−
2
= �
2 1
2
−
2
+
2 2
Var =
�
2 1
2
−
2
+
2 2
Karena persamaan 3.18 di mana = 0 dan persamaan 3.20 di mana
2
=
1
2
, maka ; =
�
2 1
2
−
2
+
2 2
= �
2 1
+
2 2
= �
2
2
+
2 2
= �
2 −
2
+
2 2
= �
2
2
−2 +
2
+
2 2
= �
2
2
−2 +
2
+
2 2
= �
2
2
−2
2
+2
2 2
Var =
�
2
2 2
3.26 Untuk menentukan varians
dan
1
minimum perlu dibandingkan dengan varians dari beberapa penaksir yang tidak bias. Dimisalkan
1
= di mana
≠ tetapi = + , sehingga
1
= +
1
+ =
+
1
+ =
+
1
+
1
= +
1
+ Karena asumsi 1 di mana
= 0 , maka;
1
= +
1
+ =
+
1
3.27 Karena penaksir yang tidak bias, maka pada persamaan 3.18
= 0 dan
= 1, dan diketahui =
+ , maka, =
+ =
+ Karena pada persamaan 3.18
= 0, maka haruslah = 0 =
+ =
+ Karena
pada persamaan
3,19 = 1
,maka haruslah
= +
= 0 sehingga = 1
Selanjutnya akan dibuktikan
1
memiliki varians yang minimum. Bukti :
Var
1
= [
1 ∗
−
1 2
] = [
2
] =
�
2 2
= �
2
+
2
= �
2 2
+
2
+ 2 =
�
2 2
+
2
+ 2
2
karena =
= 0 Var
1
∗ = �
2 2
+
2
Var
1
= �
2 2
+ �
2 2
Dari persamaan 3.25 di mana Var
1
= �
2 1
2
Var
1
= �
2 2
+ �
2 2
= var
1
+ �
2 2
3.28 Oleh karena
2
selalu positif, maka Var
1
var
1
, hanya apabila
2
= 0 maka Var
1
= var
1
. Hal ini menunjukan bahwa
1
memiliki varians yang minimum.
Selanjutnya Akan dibuktikan bahwa memiliki varians yang minimum, namun
sebelumnya akan dilakakan langkah-langkah berikut ini, Dimisalkan
∗
=
1
− Substitusi persamaan 3,1 di mana
= +
1
+ , ke dalam persamaan
∗
;
∗
=
1
− +
1
+
∗
= 1
− +
1
− +
1
−
∗
= 1
− +
1
− +
−
∗
= 1
− +
1
− +
− Karena asumsi 1 di mana
= 0 , maka;
∗
= 1
− +
1
− +
−
∗
= 1
− +
1
− −
Agar
∗
= maka
= 0, = 1, dan
= 0, diketahui =
+ sehingga
= 0 dan = 0.
Akan dibuktikan memiliki varians yang minimum
Var
∗
= [
∗
−
∗
]
2
Dari persamaan 3.21 di mana =
, maka; Var
∗
= [
∗
− ]
2
= [
1
− ]
2
= �
2 1
−
2
= �
2 1
2
+
2 2
− 2
1
= �
2 1
+
2 2
−
2
karena definisi =
+ dan = 0, maka ;
= �
2 1
+
2 2
−
2
= �
2 1
+
2
+
2
= �
2 1
+
2 2
+
2 2
= �
2 1
+
2 2
+
2 2
= �
2 1
+
2 2
+ �
2 2
2
= �
2 1
+
2 1
2
+ �
2 2
2
Dari proses persamaan 3.26 di mana Var =
�
2 1
+
2 1
2
, maka; = var
+ �
2 2
2
3.29 Oleh karena
2
selalu positif, maka Var var
, hanya apabila
2
= 0 maka Var
= var . Hal ini menunjukan bahwa
memiliki varians yang minimum.
Data yang ada di dalam statistika cenderung berubah-ubah dari satu sampel ke sampel lainnya, maka estimasi akan berubah dengan sendirinya ipso facto,
karena hal tersebut diperlukan sebuah keakuratan dari sebuah estimator. Keakuratan sebuah estimator tersebut diukur berdasarkan standar error-nya. Standar error adalah
sebuah alat ukur keakuratan estimator. Standar error dapat dicari dengan cara sebagai berikut;
= � 3.30
Di mana Var =
�
2
2 2
dari persamaan 3.26, sehingga persamaan 3.30 menjadi,
= �
2
2 2
= �
2 2
3.31
1
= �
1
3.32
Di mana Var
1
= �
2 1
2
dari persamaan 3.25, sehingga persamaan 3.32 menjadi,
1
= �
2 1
2
1
= �
1
2
3.33
Di mana adalah standar error dan
� adalah varians. Standar error tidak lain adalah standar deviasi sebuah distribusi sampling dari sebuah estimator.
Kebaikan suatu garis regresi diukur dengan koefisien determinasi. Koefisien determinasi adalah ukuran ikhtisar yang mengatakan seberapa baik garis regresi
sampel mencocokan data. Koefisien determinasi untuk kasus dua variabel dilambangkan dengan
2
sedangkan untuk regresi berganda dilambangkan dengan
2
. Sebelum membahas lebih jauh mengenai koefisien determinasi, terlebih
dahulu akan dibahas mengenai bentuk simpangan regresi. Bentuk simpangan
merupakan bentuk alternatif di mana baik X maupun Y dinyatakan sebagai simpangan dari nilai rata-ratanya.
= +
1
+ 3.4
Kedua ruas dijumlahkan =
+
1
+ karena
= 0, maka =
+
1
+ =
+
1
kedua ruas dibagi dengan n =
+
1
= +
1
3.34 Dengan mengurangkan 3.34 dengan 3.4, diperoleh,
− = +
1
+ −
+
1
− =
1
− + dari definisi dan di mana
= − dan = − , sehingga;
− =
1
− + =
1
+ 3.35
Sehingga =
−
1
3.36 Persamaan 3.34 ini merupakan persamaan dalam bentuk simpangan.
Ý = +
1
3.5 Kedua ruas dijumlahkan
Ý = +
1
Kedua ruas dibagi dengan n
Ý
= +
1
Ý =
+
1
3.37 Dengan mengurangkan 3.37 dengan 3.5 diperoleh;
Ý − Ý =
+
1
− +
1
Ý − Ý =
1
− 3.38
didefinisikan Ý − Ý , dan dari definisi di mana = − ,sehingga persamaan
3.37 menjadi: =
1
3.39 akan dibuktikan
= 0 =
1
3.40 kedua ruas dikalikan dengan
=
1
=
1
kedua ruas dijumlahkan =
1
Substitusi persamaan 3.36 di mana =
−
1
=
1
=
1
−
1
=
1
−
1 2
=
1
2 2
−
1 2
2
=
1
2
2
−
1 2
2
Dari persamaan 3.12 di mana
1
=
=1 2
=1
, maka; =
1 1 2
−
1 2
2
=
1 2
2
−
1 2
2
= 0 3.41
Untuk menghitung
2
dilakukan langkah-langkah berikut ini: =
1
+ 3.35
Dari persamaan 3.39 di mana =
1
, maka; =
1
+ =
+ kedua ruas dikuadratkan,
2
=
2
+
2
+ 2 kedua ruas dijumlahkan
2
=
2
+
2
+ 2 Dari persamaan 3.41 di mana
= 0, maka; =
2
+
2
+ 2
2
=
2
+
2
=
1 2
+
2 2
=
1 2
2
+
2
3.42
Di mana
2
= −
2
adalah variasi total dari nilai Y nyata untuk rerata sampelnya yang dapat juga dinamakan total jumlah kuadrat total sum of
squares -TSS.
2
= Ý − Ý
2
= Ý −
2
=
1 2
2
adalah penjelasan atas jumlah kuadrat explained sum of squares-ESS.
2
adalah residual atau variasi nilai Y yang tidak terjelaskan di sekitar garis regresi, lebih dikenal RSS, sehingga
persamaan 3.42 dapat ditulis: TSS = ESS + RSS
3.43
2
didefinisikan sebagai berikut:
2
= =
1 2
2 2
3.44 Dari persamaan 3.42 di mana
2
=
1 2
2
+
2
maka,
1 2
2
=
2
−
2
Sehingga, =
1 2
2 2
=
2
−
2 2
=
2 2
−
2 2
2
= 1 −
2 2
3.45 atau dalam bentuk lain sebagai berikut;
2
= 1 −
3.46
Dari persamaan 3.45, jika taksiran memiliki ketepatan sempurna, maka:
2
= 0 , sehingga;
2
= 1 −
2 2
3.47 = 1
− 0
2
= 1 3.48
Nilai
2
= 1 menunjukan ketepatan terbaik best fit. Jika garis regresi sampel adalah garis horizontal
1
= 0 maka;
2
=
1 2
2
+
2
3.49 = 0 +
2 2
=
2
3.50 Akibat dari persamaan 3.50 adalah
2
= 1 −
2 2
3.51 = 1
−
2 2
= 1 − 1
2
= 0 3.52
Dari persamaan 3.45 di mana
2
=
1 2
2 2
dan 3.15 di mana
1
=
2
diperoleh:
2
=
2 2
2
2 2
2
=
2 2
2
3.53
Dari persamaan 3.51 dan 3.52 dapat disimpulkan bahwa batas-batas
2
adalah nol dan 1,
2
1. Berikut ini adalah sifat-sifat dari
2
: 1. Besarnya tidak pernah negatif
2. Batasannya adalah
2
1 Dari persamaan 3.53 dapat diperoleh nilai r, di mana r adalah koefisien
korelasi : =
2 2
3.54