6. Analisis Regresi
HUBUNGAN LINEAR ANTAR VARIABEL
Analisis regresi adalah studi mengenai ketergantungan suatu variabel yaitu
variabel dependen terhadap satu atau lebih variabel lainnya (variabel
independen), dengan tujuan untuk melakukan estimasi nilai rata-rata
variabel dependen dari nilai yang diketahui atau tetap.
Tujuan analisis regresi adalah melihat pola hubungan antar variabel, dimana
1 variabel dependen (terikat), dan yang lain merupakan variabel
indenpenden (bebas).
Analisis regresi, dibedakan menjadi 2;
1. Analisis regresi linear, hubungan antara variabel independen dan variabel
dependen bersifat linear (perubahan variabel indenpenden akan
menyebabkan perubahan variabel dependen secara proporsional).
2. Analisis regresi non-linear, hubungan antara variabel independen dan
variabel dependen bersifat non linear (regresi kuadrat, regresi
eksponensial, regresi log-linear, regresi semi log,dsb)
Regresi dengan 2 variabel, dimana terdapat 1 variabel dependen dan 1
varibael independen atau disebut regresi linear sederhana, sedangkan
regresi dengan 1 variabel dependen dan lebih dari 1 variabel indenpenden
disebut regresi linear berganda.
Regresi linear sederhana
Yi = A + BXi + μi
MODEL REGRESI LINEAR SEDERHANA
Yi = A + BXi + μi (Regresi populasi atau PRF/population regression function)
Yi = a + bXi + ei (Regresi sampel atau SRF/sample regression function)
Y
B = ΔY
/ΔX
ΔY
ΔX
A
0
X
PENDUGAAN PARAMETER A, B, DAN σε2
Carl Friedreich Gauss
Populasi
↔
Yi = A + BXi + μi
Sampel
↔
Yi = a + bXi + ei
^
= Yi + ei
atau
^
ei = Yi - Yi
OLS yaitu melakukan turunan pasial (partial differensiasi) dari Σei2 terhadap
a dan b, maka
^
Σe = Σ(Yi - Yi)
2
i
2
= Σ(Yi – a - bXi)2
n ΣXi Yi – ΣXi
∂(Σei2) / ΣY
∂ai = 22 Σ(Yi – a – b Xi) (-1)
n ΣXi –
2
∂(Σei ) / ∂b = 22 Σ(Yi – a – b Xi) (-Xi)
(ΣXi)
Varians dari a dan b
se2 = Σei2/(n – 2)
=
atau
=
[Σyi2 – b2
dimana yi = Yi – Y, dan xi = Xi – X
2
Σx(n
i ] – 2)
[Σyi2 – b
Σx(n
] 2)
iyi–
Varian b sb2 =
se2
Σxi2
se2 ΣXi2
Varian a sa2 =nΣx 2
i
Contoh;
X adalah kenaikan biaya promosi (dalam persen) dan Y adalah kenaikan
penjualan (dlm persen)
X
Y
1
3
2
5
4
7
6
8
7
10
Contoh;
X adalah kenaikan biaya promosi (dalam persen) dan Y adalah kenaikan
penjualan (dlm persen)
X
Y
1
3
2
5
4
7
6
8
7
10
^
a) Hitung a dan b dr regresi linear sederhana Y = a + bX
b) Berapa ramalan hasil penjualan jika biaya
promosi
menjadi 10%
n ΣX
i Yi – ΣXi
a = Y – bX
c) Hitung standar deviasi dari a dan b b =ΣY
X
Y
X2
Y2
XY
n iΣXi2 –
1
3
1
9
3
(ΣXi)2
= 6,6 –
5 (159) – 20
2
5
4
25
10
=(33)
1,04(4)
5
(106)
–
4
7
16
49
28
2
= (20)
1,04
= 2,44
6
8
36
64
48
7
10
49
100
70
20
33
106
247
159
a)
b)
Persamaan regresi Y = 2,44 + 1,04 X
Apabila X = 10, maka Y = 2,44 + 1,04 (10) = 12,84 (Jadi, apabila
biaya promosi akan dinaikkan sebesar 10%, maka jumlah penjualan
diperkirakan akan meningkat 12,84%
se2 = [Σyi2 – b2 Σxi2] / (n –
2)
= [29,2 – (1,04)2 26]/
3
= 0,37
2
se = s√0,37
e
= 0,61
2
Σxi
sb2 =
= 0,37/26
= 0,014
sb = √0,014
= 0,12
Σxi2 = [ΣXi2 – (ΣXi)2]/Σy
n i2 = [ΣYi2 – (ΣYi)2]/ n
= [106 – (20)2]/5 = [247 – (33)2]/5
= 26
= 29,2
s
2
a
=
se2 ΣXi2
nΣxi2
= 0,37 (106)/5(26)
= 0,3034
sa = √0,3034
= 0,56
PENGUJIAN HIPOTESIS dan PENDUGAAN INTERVAL PARAMETER A
dan B
Yi = A + BXi + μi
Yi = a + bXi + ei
Uji hipotesis
Tabel t untuk sampel besar, dan
Tabel Z untuk sampel besar.
Standarisasi
a–A
t/Z =
sa
=
b–B
sb
Pendugaan
a – tα/2 sa ≤ A ≤ a + tα/2 sa
b – tα/2 sb ≤ B ≤ b + tα/2 sb
Apabila; t/Z hitung > t/Z tabel, maka koefisien regresi tidak sama dengan nol
dan sebaliknya. Uji tersebut digunakan untuk melihat apakah koefisien
regresi signifikan atau tidak signifikan.
PENGUJIAN HIPOTESIS dan PENDUGAAN INTERVAL PARAMETER A
dan B
Pengujian Hipotesis intersep
Pendugaan interval
H0 : a = 0
Ha : a ≠ 0
α = 5%, dr tabel t0.25, 4 = 2,78 (dr tabel t)
2,44 – 0
a–A
0,56
t= s =
a – tα/2 sa ≤ A ≤ a + tα/2 sa
b – tα/2 sb ≤ B ≤ b + tα/2 sb
a
= 4,36
thitung > ttabel = H0 ditolak atau signifikan
Pengujian Hipotesis slope atau kemiringan
H0 : b = 0
Ha : b ≠ 0
α = 5%, dr tabel t0.25, 4 = 2,78 (dr tabel t)
b–B
1,04
–0
0,12
t = sb =
= 8,67
thitung > ttabel = H0 ditolak atau signifikan
PENGUJIAN HIPOTESIS KOEFISIEN dengan ANALISIS VARIANS
Pengujian koefisien dengan analisis varians mengikuti distribusi F dgn d.f. 1
dan n-2 atau F(1, n-2)
b2
2
Σx
i2
s
e
Pengujian F, dengan rumus
F=
Uji F digunakan untuk mengukur kemampuan model menjelaskan fenomena
atau digunakan untuk menentukan apakah model tersebut baik atau tidak.
Apabila F hitung > F tabel, maka model dinyatakan cukup baik dalam
menjawab fenomena atau model tersebut dapat digunakan untuk
memprediksi atau peramalan.
F = [(1,04)2 . 26] / 0,37
n-k
= 76,004
F5%,1,4 = 7,71 (tabel)
d.f. n1 = k - 1 dan n2 =
Mk dinyatakan bahwa model tsb cukup baik dalam menjawab fenomena dan
dapat digunakan untuk melakukan prediksi atau peramalan
KOEFISIEN KORELASI dan DETERMINASI
Koefisien korelasi mengukur tingkat kekuatan atau tingkat hubungan antar
variabel, semakin tinggi nilai koefisien tersebut maka semakin kuat
hubungan diantara kedua variabel tersebut. Koefisien korelasi disimbulkan r,
dimana besarnya koefisien korelasi -1 < r < 1. Nilai negatif menunjukkan
bahwa pola hubungan kedua variabel tersebut berbanding terbalik,
sedangka positif pola
kedua variabel tersebut berbanding lurus.
n ΣXhubungan
iYi - ΣXi
ΣYi 2
√n ΣXi2 – (ΣX
√n ΣYi2 –
i)
r=
(ΣYi)2
Koefisien determinasi sebagai ukuran goodness of fit, yaitu ukuran seberapa
6 (159)
baik sebuah
garis–regresi sesuai dengan datanya aktualnya. Koefisien
r=
(20)
. 33
determinasi
disimbulkan
r2, dimana besarnya koefisien korelasi 0 < r < 1.
√6 (106) – (20)2 √6 (247)
– (33)2
= 0,965
MODEL REGRESI LINEAR BERGANDA
Yi
= A + B1X1i + B2X2i + B3X3i + μi
PRF/population regression function)
Yi = a + b1X1i + b2X2i + b3X3i + ei
regression function)
(Regresi populasi atau
(Regresi sampel atau SRF/sample
2
Σx1i yi (Σxturunan
2i ) – (Σx1i
OLS yaitu melakukan
pasial (partial differensiasi) dari Σei2 terhadap
x )
a dan b1 danΣx
b21i, 2maka
Σx2i2i2 - (Σx1i x2i)
b1 =
Σx2i yi (Σx2i2) Σx1iyi –
(Σx x )2
Σx1i 2 Σx2i1i2 -2i(Σx1i x2i)
b2 =
b0 = Y – b1 X1 – b2 X2
Analisis regresi adalah studi mengenai ketergantungan suatu variabel yaitu
variabel dependen terhadap satu atau lebih variabel lainnya (variabel
independen), dengan tujuan untuk melakukan estimasi nilai rata-rata
variabel dependen dari nilai yang diketahui atau tetap.
Tujuan analisis regresi adalah melihat pola hubungan antar variabel, dimana
1 variabel dependen (terikat), dan yang lain merupakan variabel
indenpenden (bebas).
Analisis regresi, dibedakan menjadi 2;
1. Analisis regresi linear, hubungan antara variabel independen dan variabel
dependen bersifat linear (perubahan variabel indenpenden akan
menyebabkan perubahan variabel dependen secara proporsional).
2. Analisis regresi non-linear, hubungan antara variabel independen dan
variabel dependen bersifat non linear (regresi kuadrat, regresi
eksponensial, regresi log-linear, regresi semi log,dsb)
Regresi dengan 2 variabel, dimana terdapat 1 variabel dependen dan 1
varibael independen atau disebut regresi linear sederhana, sedangkan
regresi dengan 1 variabel dependen dan lebih dari 1 variabel indenpenden
disebut regresi linear berganda.
Regresi linear sederhana
Yi = A + BXi + μi
MODEL REGRESI LINEAR SEDERHANA
Yi = A + BXi + μi (Regresi populasi atau PRF/population regression function)
Yi = a + bXi + ei (Regresi sampel atau SRF/sample regression function)
Y
B = ΔY
/ΔX
ΔY
ΔX
A
0
X
PENDUGAAN PARAMETER A, B, DAN σε2
Carl Friedreich Gauss
Populasi
↔
Yi = A + BXi + μi
Sampel
↔
Yi = a + bXi + ei
^
= Yi + ei
atau
^
ei = Yi - Yi
OLS yaitu melakukan turunan pasial (partial differensiasi) dari Σei2 terhadap
a dan b, maka
^
Σe = Σ(Yi - Yi)
2
i
2
= Σ(Yi – a - bXi)2
n ΣXi Yi – ΣXi
∂(Σei2) / ΣY
∂ai = 22 Σ(Yi – a – b Xi) (-1)
n ΣXi –
2
∂(Σei ) / ∂b = 22 Σ(Yi – a – b Xi) (-Xi)
(ΣXi)
Varians dari a dan b
se2 = Σei2/(n – 2)
=
atau
=
[Σyi2 – b2
dimana yi = Yi – Y, dan xi = Xi – X
2
Σx(n
i ] – 2)
[Σyi2 – b
Σx(n
] 2)
iyi–
Varian b sb2 =
se2
Σxi2
se2 ΣXi2
Varian a sa2 =nΣx 2
i
Contoh;
X adalah kenaikan biaya promosi (dalam persen) dan Y adalah kenaikan
penjualan (dlm persen)
X
Y
1
3
2
5
4
7
6
8
7
10
Contoh;
X adalah kenaikan biaya promosi (dalam persen) dan Y adalah kenaikan
penjualan (dlm persen)
X
Y
1
3
2
5
4
7
6
8
7
10
^
a) Hitung a dan b dr regresi linear sederhana Y = a + bX
b) Berapa ramalan hasil penjualan jika biaya
promosi
menjadi 10%
n ΣX
i Yi – ΣXi
a = Y – bX
c) Hitung standar deviasi dari a dan b b =ΣY
X
Y
X2
Y2
XY
n iΣXi2 –
1
3
1
9
3
(ΣXi)2
= 6,6 –
5 (159) – 20
2
5
4
25
10
=(33)
1,04(4)
5
(106)
–
4
7
16
49
28
2
= (20)
1,04
= 2,44
6
8
36
64
48
7
10
49
100
70
20
33
106
247
159
a)
b)
Persamaan regresi Y = 2,44 + 1,04 X
Apabila X = 10, maka Y = 2,44 + 1,04 (10) = 12,84 (Jadi, apabila
biaya promosi akan dinaikkan sebesar 10%, maka jumlah penjualan
diperkirakan akan meningkat 12,84%
se2 = [Σyi2 – b2 Σxi2] / (n –
2)
= [29,2 – (1,04)2 26]/
3
= 0,37
2
se = s√0,37
e
= 0,61
2
Σxi
sb2 =
= 0,37/26
= 0,014
sb = √0,014
= 0,12
Σxi2 = [ΣXi2 – (ΣXi)2]/Σy
n i2 = [ΣYi2 – (ΣYi)2]/ n
= [106 – (20)2]/5 = [247 – (33)2]/5
= 26
= 29,2
s
2
a
=
se2 ΣXi2
nΣxi2
= 0,37 (106)/5(26)
= 0,3034
sa = √0,3034
= 0,56
PENGUJIAN HIPOTESIS dan PENDUGAAN INTERVAL PARAMETER A
dan B
Yi = A + BXi + μi
Yi = a + bXi + ei
Uji hipotesis
Tabel t untuk sampel besar, dan
Tabel Z untuk sampel besar.
Standarisasi
a–A
t/Z =
sa
=
b–B
sb
Pendugaan
a – tα/2 sa ≤ A ≤ a + tα/2 sa
b – tα/2 sb ≤ B ≤ b + tα/2 sb
Apabila; t/Z hitung > t/Z tabel, maka koefisien regresi tidak sama dengan nol
dan sebaliknya. Uji tersebut digunakan untuk melihat apakah koefisien
regresi signifikan atau tidak signifikan.
PENGUJIAN HIPOTESIS dan PENDUGAAN INTERVAL PARAMETER A
dan B
Pengujian Hipotesis intersep
Pendugaan interval
H0 : a = 0
Ha : a ≠ 0
α = 5%, dr tabel t0.25, 4 = 2,78 (dr tabel t)
2,44 – 0
a–A
0,56
t= s =
a – tα/2 sa ≤ A ≤ a + tα/2 sa
b – tα/2 sb ≤ B ≤ b + tα/2 sb
a
= 4,36
thitung > ttabel = H0 ditolak atau signifikan
Pengujian Hipotesis slope atau kemiringan
H0 : b = 0
Ha : b ≠ 0
α = 5%, dr tabel t0.25, 4 = 2,78 (dr tabel t)
b–B
1,04
–0
0,12
t = sb =
= 8,67
thitung > ttabel = H0 ditolak atau signifikan
PENGUJIAN HIPOTESIS KOEFISIEN dengan ANALISIS VARIANS
Pengujian koefisien dengan analisis varians mengikuti distribusi F dgn d.f. 1
dan n-2 atau F(1, n-2)
b2
2
Σx
i2
s
e
Pengujian F, dengan rumus
F=
Uji F digunakan untuk mengukur kemampuan model menjelaskan fenomena
atau digunakan untuk menentukan apakah model tersebut baik atau tidak.
Apabila F hitung > F tabel, maka model dinyatakan cukup baik dalam
menjawab fenomena atau model tersebut dapat digunakan untuk
memprediksi atau peramalan.
F = [(1,04)2 . 26] / 0,37
n-k
= 76,004
F5%,1,4 = 7,71 (tabel)
d.f. n1 = k - 1 dan n2 =
Mk dinyatakan bahwa model tsb cukup baik dalam menjawab fenomena dan
dapat digunakan untuk melakukan prediksi atau peramalan
KOEFISIEN KORELASI dan DETERMINASI
Koefisien korelasi mengukur tingkat kekuatan atau tingkat hubungan antar
variabel, semakin tinggi nilai koefisien tersebut maka semakin kuat
hubungan diantara kedua variabel tersebut. Koefisien korelasi disimbulkan r,
dimana besarnya koefisien korelasi -1 < r < 1. Nilai negatif menunjukkan
bahwa pola hubungan kedua variabel tersebut berbanding terbalik,
sedangka positif pola
kedua variabel tersebut berbanding lurus.
n ΣXhubungan
iYi - ΣXi
ΣYi 2
√n ΣXi2 – (ΣX
√n ΣYi2 –
i)
r=
(ΣYi)2
Koefisien determinasi sebagai ukuran goodness of fit, yaitu ukuran seberapa
6 (159)
baik sebuah
garis–regresi sesuai dengan datanya aktualnya. Koefisien
r=
(20)
. 33
determinasi
disimbulkan
r2, dimana besarnya koefisien korelasi 0 < r < 1.
√6 (106) – (20)2 √6 (247)
– (33)2
= 0,965
MODEL REGRESI LINEAR BERGANDA
Yi
= A + B1X1i + B2X2i + B3X3i + μi
PRF/population regression function)
Yi = a + b1X1i + b2X2i + b3X3i + ei
regression function)
(Regresi populasi atau
(Regresi sampel atau SRF/sample
2
Σx1i yi (Σxturunan
2i ) – (Σx1i
OLS yaitu melakukan
pasial (partial differensiasi) dari Σei2 terhadap
x )
a dan b1 danΣx
b21i, 2maka
Σx2i2i2 - (Σx1i x2i)
b1 =
Σx2i yi (Σx2i2) Σx1iyi –
(Σx x )2
Σx1i 2 Σx2i1i2 -2i(Σx1i x2i)
b2 =
b0 = Y – b1 X1 – b2 X2