Teori Regresi Linier dan Latihan Pemodel

STATISTIKA DESKRIPTIF
(2)

MATERI:
Teori Regresi Linier

Ir. GINANJAR SYAMSUAR, ME.

SEKOLAH TINGGI ILMU EKONOMI INDONESIA
(STEI) – JAKARTA
2017

REGRESI LINIER
A. PENGERTIAN REGRESI LINIER
Pengertian regresi secara umum adalah sebuah alat statistik yang memberikan
penjelasan tentang pola hubungan (model) antara dua variabel atau lebih. Dalam
analisis regresi dikenal 2 jenis variabel yaitu:
1. Variabel Respon disebut juga variabel dependen (terikat) yaitu variabel yang
keberadaannya dipengaruhi oleh variabel lainnya dan dinotasikan dengan
variabel Y.
2. Variabel Prediktor disebut juga dengan variabel independen yaitu variabel yang

bebas (tidak dipengaruhi oleh variabel lainnya) dan dinotasikan dengan X.
Untuk mempelajari hubugan–hubungan antara variabel bebas dengan variabel
terikat maka bentuk model regresi linier dibahas kedalam dua bentuk model, yaitu:
1. Model regresi linier sederhana (Simple linear regression models)
2. Model regresi linier berganda (Multiple linear regression models)

1. Model Regresi Linier Sederhana (Simple regression models)
a. Pemodelan
Regresi linier sederhana digunakan untuk mendapatkan bentuk model
hubungan matematis dalam bentuk suatu persamaan antara variabel tak
bebas tunggal Y dengan variabel bebas tunggal X. Jadi regresi linier
sederhana hanya memiliki satu peubah bebas (prediktor) yang dihubungkan
dengan satu peubah tidak bebas (respon).
Bentuk model umum dari model persamaan regresi linier sedrhana untuk
populasi didefinisikan sebagai berikut:

=

+


+�

Dimana:
Y: adalah variabel respon (variabel terikat) populasi
X: adalah variabel prediktor (variabel bebas) populasi
: adalah konstanta intersep
: adalah koefisien regresi sederhana populasi; dan
�: adalah kekeliruan pengukuran (error)

Sedangkan model persamaan regresi sederhana untuk sampel didefinisikan
sebagai:

̂=

+

Dimana:
̂ : adalah variabel respon (variabel terikat) sebagai penduga Y
X: adalah variabel prediktor (variabel bebas)
a: adalah konstanta intersep sebagai penduga , dan

b: adalah koefisien regresi sebagai penduga .
1|P a g e

Pemodelan regresi linier sederhana yaitu membentuk model persamaan
secara hubungan matematis diantara variabel terikat Y sebagai respon
dengan varibel bebasnya yaitu X sebagai prediktor. Dengan demikian dalam
hal ini adalah perlu untuk meng-estimasi besaran nilai  dan  pembentuk
modelnya yang disetimasi oleh a dan b.
Dengan menggunakan metode kuadrat terkecil biasa (Ordinary Least Square
Method ≈ OLS), yaitu dengan menghitung nilai kuadrat kekeliruannya (error
�) dimana dengan metode OLS akan diperoleh nilai kekeliruan yang paling
kecil sehingga metode OLS adalah merupakan metode terbaik.
Secara matematis besaran nilai kekeliruan pengukuran (error �)
didefinisikan sebagai:

�=(

−̂ )

� =(


−̂ )

Dengan metode OLS, yaitu dengan meminimalkan nilai kuadrat error
tersebut:
Maka besaran nilai a dan b sebagai penduga  dan  dapat dihitung dengan
rumus sebagai berikut:

=

=

� ∑�=
∑�=

Dimana:
∑�=
∑�=
∑�=


∑�=

� ∑�=





−(∑�=

−(∑�=



∑�=



)(∑�=
)


)

=̅−

∗̅

n: adalah banyaknya data pengamatan untuk masing-masing variabel
: adalah jumlah data variabel prediktor (variabel bebas)
: adalah jumlah data variabel respon (variabel terikat)
: adalah jumlah kuadrat variabel prediktor
: adalah jumlah hasil kali variabel prediktor dengan variabel respon
̅ : adalah rata-rata variabel respon
̅ : adalah rata-rata variabel prediktor

a: adalah konstanta intersep sebagai penduga , dan
b: adalah koefisien regresi sebagai penduga  .

Sehingga model regresi linier sederhana sebagai penduga model populasinya
adalah:


̂=

+
2|P a g e

b. Interpretasi Model Regresi Linier Sederhana
Untuk menginterpretasikan atau mengartikan suatu model regresi linier yang
diperoleh, pada umunya biasa ditinjau terhadap besaran nilai parameter
pembentuk modelnya yaitu dalam hal ini adalah menginterpretasikan
besaran nilai koefisien regresi liniernya (b) dan ditinjau terhadap besaran
nilai koefisien Determinasi.
(1) Interpretasi parameter Koefisien Regresi
Suatu model regresi linier sederhana yang diperoleh dari hasil
pemodelan, yaitu:

̂=

+


Maka model tersebut dapat di-interpretasikan sebagai:
Untuk peningkatan/penurunan satu satuan dalam X, diduga Y akan
meningkat/menurun sebesar b satuan . Atau: Perubahan nilai variabel Y
untuk setiap perubahan satu satuan X .
(Dalam hal ini, jika b0 maka diinterpretasikan sebagai peningkatan)
(2) Interpretasi Koefisien Determinasi
Koefisien determinasi digunakan untuk menjelaskan persentase variasi
dalam variabel tidak bebas (Y) sebagai respon yang disebabkan oleh
bervariasinya variabel bebas (X) sebagai prediktor. Hal ini untuk
menunjukkan bahwa variasi dalam variabel tak bebas (Y) tidak sematamata disebabkan oleh bervariasinya variabel bebas (X), bisa saja variasi
dalam variabel tak bebas tersebut juga disebabkan oleh bervariasinya
variabel bebas lainnya yang mempengaruhi variabel tak bebas tetapi
tidak dimasukkan dalam model persamaan regresinya.
Koefisien Determinasi adalah merupakan hasil kuadrat dari koefisien
korelasi antara varibel X dengan variabel Y, yaitu:

� =(

) =


(

√� ∑�

� ∑�

− ∑�

− ∑�

∑�

√� ∑�

− ∑�

)

Dalam analisis regresi, koefisien korelasi yang dihitung tidak untuk
diartikan sebagai ukuran keeratan hubungan variabel bebas (X) dengan

variabel tidak bebas (Y), sebab dalam analisis regresi asumsi normal
bivariat tidak terpenuhi.
Untuk itu, dalam analisis regresi agar koefisien korelasi yang diperoleh
dapat diartikan maka dihitung koefisien determinasinya, yaitu hasil
kuadrat dari koefisien korelasi seperti diatas.

3|P a g e

 Nilai koefisien Korelasi X dengan Y (

Nilai Besaran r adalah: − ≤

), dan koefisien Determinasi (� ):

≤+

Tanda + menunjukkan pasangan X dan Y dengan arah yang sama,
sedangkan tanda − menunjukkan pasangan X dan Y dengan arah
yang berlawanan.


rxy yang besarnya semakin mendekati 1 menunjukkan hubungan
X dan Y cenderung sangat erat. Jika mendekati 0 hubungan X dan
Y cenderung kurang kuat.
rxy = 0 menunjukkan tidak terdapat hubungan antara X dan Y
Sedangkan nilai besaran koefisien Determinasi adalah:

≤� ≤

 Apabila suatu model regresi linier sederhana yang diperoleh dari
hasil pemodelan, yaitu:

̂=

+

Lalu dihitung koefisien Determinasinya (� ), maka atas dasar nilai
(� ) model tersebut dapat di-interpretasikan sebagai:
Variasi variabel dependen ( � ) dapat dijelaskan oleh variasi variabel
bebas ( � ) adalah sebesar R2 %, sedangkan sisanya sebesar (1-R2)%
dijelaskan oleh variabel bebas lain ( �+ ) yang tidak diikutkan dalam
model .

4|P a g e

CONTOH KASUS:
Salah satu indikator yang digunakan untuk melihat keadaan perekonomian
secara makro adalah inflasi. Angka inflasi yang mempunyai fluktuasi tinggi dari
waktu ke waktu menandakan perekonomian suatu Negara tidak atau kurang
stabil.
Secara teoritis, semakin tinggi jumlah uang yang beredar maka akan
mengakibatkan semakin tinggi pula inflasi. Berdasarkan teori tersebut maka
akan dicoba untuk melihat besarnya pengaruh Uang Beredar (M1) terhadap
Inflasi di Indonesia pada periode waktu tertentu sebagai berikut:
Tabel 1.
Inflasi dan Uang Beredar (M1), Periode Agustus 1999 – Agustus 2001

No.

Bulan

INFLASI
(%)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

Aug-1999
Sep-1999
Oct-1999
Nov-1999
Dec-1999
Jan-2000
Feb-2000
Mar-2000
Apr-2000
May-2000
Jun-2000
Jul-2000
Aug-2000
Sep-2000
Oct-2000
Nov-2000
Dec-2000
Jan-2001
Feb-2001
Mar-2001
Apr-2001
May-2001
Jun-2001
Jul-2001
Aug-2001

5.58
1.08
1.42
1.58
2.01
0.35
-0.84
-1.10
0.15
1.27
2.14
4.56
6.11
6.79
7.97
9.12
9.35
8.28
9.14
10.62
10.51
10.82
12.11
13.04
12.23

UANG BEREDAR
(M1)
(Trilyun)
110
118
116
117
124
122
122
125
127
130
134
136
137
135
139
141
162
145
150
148
154
156
160
162
167

Sumber data: BPS dan BI dalam Nachrowi (diolah)
1) Tentukan bentuk model Regresi Linier Sederhana estimasi-nya berdasarkan data
empiris tersebut lalu buat interpretasi modelnya.
2) Interpretasikan model regresi linier yang diperoleh sesuai besaran nilai

parameter regresi dan juga sesuai koefisien Determinasinya.

5|P a g e

6|P a g e

Penyelesaian:
1) Estimasi parameter regresi linier sederhana
Model regresi linier sederhana yang akan di-estimasi adalah:
��̂ � =

Atau:

̂ =

+ �

+

Tabel Bantu Perhitungang:
−̅

i
(1)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


Ratarata

(2)
5.58
1.08
1.42
1.58
2.01
0.35
-0.84
-1.10
0.15
1.27
2.14
4.56
6.11
6.79
7.97
9.12
9.35
8.28
9.14
10.62
10.51
10.82
12.11
13.04
12.23

(3)
110
118
116
117
124
122
122
125
127
130
134
136
137
135
139
141
162
145
150
148
154
156
160
162
167

(4)
31.14
1.17
2.02
2.50
4.04
0.12
0.71
1.21
0.02
1.61
4.58
20.79
37.33
46.10
63.52
83.17
87.42
68.56
83.54
112.78
110.46
117.07
146.65
170.04
149.57

(5)
12100
13924
13456
13689
15376
14884
14884
15625
16129
16900
17956
18496
18769
18225
19321
19881
26244
21025
22500
21904
23716
24336
25600
26244
27889

(6)
613.80
127.44
164.72
184.86
249.24
42.70
-102.48
-137.50
19.05
165.10
286.76
620.16
837.07
916.65
1107.83
1285.92
1514.70
1200.60
1371.00
1571.76
1618.54
1687.92
1937.60
2112.48
2042.41

(7)
0.04
22.01
18.94
17.57
14.15
29.39
43.71
47.22
31.60
20.26
13.19
1.47
0.11
1.04
4.83
11.21
12.80
6.29
11.35
23.51
22.45
25.49
40.18
52.83
41.71

144.29

3437

1346.14

479073

21438.33

513.35

5.77

137.48

Sehingga diperoleh:

=

� ∑

�∑

−∑

− ∑



=̅− ̅ = .

=



.

.





.

.

=−

̂ =−

.

+ .

(8)
-0.94
1.01
0.52
0.77
2.48
1.99
1.99
2.72
3.21
3.94
4.92
5.41
5.65
5.16
6.14
6.63
11.76
7.61
8.83
8.34
9.80
10.29
11.27
11.76
12.98

.

+ .

− ̂)

(9)
42.57
0.00
0.81
0.66
0.22
2.68
7.99
14.59
9.35
7.14
7.72
0.72
0.21
2.65
3.35
6.21
5.80
0.45
0.10
5.20
0.50
0.28
0.71
1.64
0.56

122.11

= .
.

Maka model regresi linier sederhana estimasi-nya adalah:

̂ =−

(

7|P a g e

2. Interpretasi Model Regresi linier:
a) Koefisien regresi:
Interpretasi model regresi dugaan (̂ ) adalah:
Untuk peningkatan satu milyar jumlah uang beredar, diperkirakan inflasi
akan meningkat sebesar 0.24 % .
b) Koefisien Determinasi
� =(
� =

) =


√�(∑�

.



.

.

� ∑�

)−(∑�



−(∑�
)



.

)(∑�

√� ∑�

)

−(∑�

)

= .



Intepretasi:
Variasi Inflasi ( � ) dapat dijelaskan oleh variasi variable jumlah Uang Beredar
M1 ( � ) sebesar 76.21 %, sedangkan sisanya sebesar 23.79% dijelaskan oleh
variable lain diluar variable jumlah uang beredar (M1) yang tidak disertakan
dalam analisis.

3. Pemodel Regresi Linier Berganda (Multiple linear regression model)
Analisis regresi ganda merupakan pengembangan dari analisis regresi
sederhana. Kegunaannya yaitu untuk meramalkan nilai variabel terikat (Y)
apabila variabel bebasnya (X) dua atau lebih.
Analisis regresi ganda adalah alat untuk meramalkan nilai pengaruh dua variabel
bebas atau lebih terhadap satu variabel terikat (untuk membuktikan ada
tidaknya hubungan fungsional atau hubungan kausal antara dua atau lebih
variabel bebas X1, X2, …., Xi terhadap suatu variabel terikat Y.

Persamaan regresi ganda dirumuskan sebagai berikut :
1. Dua variabel bebas
:
Yˆ  a  b1 X 1  b2 X 2
Yˆ  a  b1 X 1  b2 X 2  b3 X 3
2. Tiga variabel bebas
:
Yˆ  a  b X  b X  .......  b X
3. n variabel bebas :
1

1

2

2

n

n

a. Pemodelan
Berbeda dengan regresi linier maka regresi berganda lebih kompleks (sulit)
untuk mencari persamaan regresi. Dengan melambangkan nilai dugaannya
dengan b , b , ….., bn, maka didapat penulisan persamaan dalam bentuk.

Yˆ  a  b1 X 1  b2 X 2  .......  bn X n

dengan dua peubah bebas, persamaannya menjadi :
8|P a g e

Yˆ  a  b1 X 1  b2 X 2

Nilai dugaan kuadrat terkecil ,
, dan
memecahkan persamaan linier stimultan.










=� +

� �

� �



=





=





+



+







+



+










+

dapat diperoleh dengan





Jika persamaan tersebut dibuat dalam bentuk persamaan model matriks maka
bentuknya adalah:

�̅ = ̅

Atau:










(∑



























)

( )=





(∑



� �

� �)

Untuk menyelesaikan sistim persamaan linier tersebut, bisa diselesaikan
dengan menggunakan metode Cramer sebagai berikut:

=

=

=

�⁡ �

�⁡ �

�⁡ �

�⁡ �

=

�⁡ �

�⁡ �

|� |

=
=

|�|

|� |
|�|

|� |
|�|

Dimana definisi masing-masing matriks A1, A2, dan A3 adalah sebagai berikut:

� = ∑


� = ∑


� = ∑








� �

� �




























� �














� �


























� �

� �

9|P a g e

b. Interpretasi Model Regresi Linier Ganda
 Interpretasi Koefisien Determinasi

Untuk Regresi Ganda rumus nilai Koefisien Determinasi (R2) yang
digunakan agar keputusan lebih tepat, terutama untuk membandingkan
regresi dengan variabel terikat yang sama, maka digunakan R2 yang
disesuaikan atau dikenal dengan sebutan R2 Adjusted yang dinotasikan
dengan ̅�̅̅̅. Rumus perhitungannya adalah sebagai berikut:

̅̅̅̅



=

∑(



−̂ ) ⁄ �−
−̅ ⁄ �−

Dimana k adalah menyatakan banyaknya parameter model regresi
termasuk kostanta  (intersept).

10 | P a g e

CONTOH KASUS:
Data pada table berikut merupakan suatu data penelitian hasil survey terhadap
Pegawai di suatu perusahaan PT. Bonafide tbk. Dimana data yang dihimpun
terdiri atas tiga (3) buah variable yaitu Kinerja Pegawai, Lingkungan kerja, dan
Penghargaan perusahaan terhadap pegawai. Si peneliti ingin mengetahui dan
menganalisis hubungan/pengaruh variable Lingkungan kerja dan Penghargaan
terhadap Kinerja.

i
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

X1i
(Lingkungan
Kerja)
5
6
7
8
8
8
8
9
10
11
11
12
12
14
14
14
14
15
15
15
15
15
16
17
17
18
18
18
18
18

X2i
(Penghargaan)

Yi
(Kinerja)

6
7
8
9
9
9
9
10
10
10
10
14
14
14
14
15
15
16
16
16
17
17
17
17
18
18
19
19
20
20

8
8
9
11
11
11
11
12
13
14
15
16
16
17
17
17
17
19
19
19
19
19
20
21
21
21
22
23
24
24

11 | P a g e

PENYELESAIAN:
1. Estimasi parameter regresi Ganda:
Nilai Konstanta α , Koefisien b1) dan (b2) di-estimasi oleh 3 persamaan sbb.:













= �+




=

=











+



+





+







+





……………………………………………………1a)


+

Atau dalam bentuk Matrix-nya sbb.:




(∑





Tabel bantu perhitungan:
i
X1i
X2i
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30



5.00
6.00
7.00
8.00
8.00
8.00
8.00
9.00
10.00
11.00
11.00
12.00
12.00
14.00
14.00
14.00
14.00
15.00
15.00
15.00
15.00
15.00
16.00
17.00
17.00
18.00
18.00
18.00
18.00
18.00

6.00
7.00
8.00
9.00
9.00
9.00
9.00
10.00
10.00
10.00
10.00
14.00
14.00
14.00
14.00
15.00
15.00
16.00
16.00
16.00
17.00
17.00
17.00
17.00
18.00
18.00
19.00
19.00
20.00
20.00

386.00
̅�= .

413.00
̅�= .











………………………………………(1b)



















…………………………………….……(1c)



� =







)

( )=





(∑









�)

X1i2

X2i2

X1iX2i

X1iYi

X2iYi

8.00
8.00
9.00
11.00
11.00
11.00
11.00
12.00
13.00
14.00
15.00
16.00
16.00
17.00
17.00
17.00
17.00
19.00
19.00
19.00
19.00
19.00
20.00
21.00
21.00
21.00
22.00
23.00
24.00
24.00

25
36
49
64
64
64
64
81
100
121
121
144
144
196
196
196
196
225
225
225
225
225
256
289
289
324
324
324
324
324

36
49
64
81
81
81
81
100
100
100
100
196
196
196
196
225
225
256
256
256
289
289
289
289
324
324
361
361
400
400

30
42
56
72
72
72
72
90
100
110
110
168
168
196
196
210
210
240
240
240
255
255
272
289
306
324
342
342
360
360

40
48
63
88
88
88
88
108
130
154
165
192
192
238
238
238
238
285
285
285
285
285
320
357
357
378
396
414
432
432

48
56
72
99
99
99
99
120
130
140
150
224
224
238
238
255
255
304
304
304
323
323
340
357
378
378
418
437
480
480

494.00

5440.00

6201.00

5799.00

6907.00

7372.00

Yi

̅� =

.

Sehingga nilai estimasi Konstanta ( ), Koefisien ( 1) dan ( 2) diperoleh dengan
Cramer’s Rule sbb.:

12 | P a g e

Keterangan:
TANDA SILANG Garis Warna artinya perhitungan Determinan Matriks, yaitu: Hasil Kali
Garis Merah DIKURANGI Hasil Kali Garis Hijau
=

|� |
|�|

=

=

|� |

=

|� |

|�|

|�|

=
=

=

=

=

∑ � |




� |

|



|

∑ �
� |
∑ �
|

� |

|
















|− ∑

|−



|−



|−







∑ �
∑ � �
|− ∑
∑ �













∑ �
∑ �

|−



|

|


|− ∑ � |




|

� |−



|�|


|

|�|



|




∑ �
|
∑ �

|







|+

|+





|�|



|+




|�|



|+









|

∑ �
∑ �







|

|












|+ ∑

|+ ∑






|




|

|

|

=




=


|+ ∑ � |

|


| �
∑ �



|+ ∑

|



|



=



















∑ �
∑ �













|












|



|

= .

= .







|

= .

Sehingga Persamaan regresi linier ganda antara Kinerja (dependent variable) dengan
Lingkungan kerja dan Penghargaan estimasinya diperoleh sbb.:

Ŷ = 1.2774 + 0.7794X1 + 0.3749X2

………………..………………(5a)

13 | P a g e

̅̅̅̅):
2. Koefisien Determinasi Adjusted (�
Nilai koefisien determinasi dihitung dengan rumus sbb.:

̅̅̅̅ =




−∑

− ̂ ⁄ �−
− ̅ ⁄ �−

Tabel bantu perhitungan:
i
X1i
X2i
Yi

1
5.00
6.00
8.00
2
6.00
7.00
8.00
3
7.00
8.00
9.00
4
8.00
9.00
11.00
5
8.00
9.00
11.00
6
8.00
9.00
11.00
7
8.00
9.00
11.00
8
9.00
10.00 12.00
9
10.00 10.00 13.00
10
11.00 10.00 14.00
11
11.00 10.00 15.00
12
12.00 14.00 16.00
13
12.00 14.00 16.00
14
14.00 14.00 17.00
15
14.00 14.00 17.00
16
14.00 15.00 17.00
17
14.00 15.00 17.00
18
15.00 16.00 19.00
19
15.00 16.00 19.00
20
15.00 16.00 19.00
21
15.00 17.00 19.00
22
15.00 17.00 19.00
23
16.00 17.00 20.00
24
17.00 17.00 21.00
25
17.00 18.00 21.00
26
18.00 18.00 21.00
27
18.00 19.00 22.00
28
18.00 19.00 23.00
29
18.00 20.00 24.00
30
18.00 20.00 24.00

386.00 413.00 494.00
Rata12.87 13.77 16.47
rata

̂ = .

+ .

+ .

7.42
8.58
9.73
10.89
10.89
10.89
10.89
12.04
12.82
13.60
13.60
15.88
15.88
17.44
17.44
17.81
17.81
18.97
18.97
18.97
19.34
19.34
20.12
20.90
21.28
22.05
22.43
22.43
22.80
22.80

−̂

0.3320
0.3342
0.5364
0.0128
0.0128
0.0128
0.0128
0.0017
0.0323
0.1602
1.9606
0.0147
0.0147
0.1915
0.1915
0.6602
0.6602
0.0011
0.0011
0.0011
0.1168
0.1168
0.0147
0.0099
0.0758
1.1126
0.1846
0.3252
1.4290
1.4290
9.9590

−̅

71.6844
71.6844
55.7511
29.8844
29.8844
29.8844
29.8844
19.9511
12.0178
6.0844
2.1511
0.2178
0.2178
0.2844
0.2844
0.2844
0.2844
6.4178
6.4178
6.4178
6.4178
6.4178
12.4844
20.5511
20.5511
20.5511
30.6178
42.6844
56.7511
56.7511
653.4667

14 | P a g e

Sehingga nilai koefisien determinasi-nya adalah:

̅̅̅̅
� =



−∑

− ̂ ⁄ �−
− ̅ ⁄ �−

=



.

.









=



.

.

= .

Interpretasi:
Variasi variable Kinerja pegawai dapat dijelaskan sebesar 98.36% oleh variasi
variable Lingkungan kerja dengan variable Penghargaan perusahaan terhadap
pegawai, sedangkan 1.64% lainnya dijelaskan oleh variable lain yang tidak
dimasukan kedalam model regresi ini.

15 | P a g e