Regresi Linear Statdas 20.11

Regresi Linear Sederhana
dan Korelasi
1. Model Regresi Linear dan Penaksir Kuadrat Terkecil
2. Prediksi Nilai Respons
3. Inferensi Untuk Parameter-parameter
p
Regresi
g
4. Kecocokan Model Regresi
5. Korelasi
Utriweni Mukhaiyar
y
MA 2081 Statistika Dasar
20 November 2012

2

Tujuan
j

1. Menentukan/

k / m enaksir
k i param eterparam eter yang terlibat dalam suatu
m odel m atem atik yang linear terhadap
param eter-param eter tersebut.
2. Melakukan prediksi terhadap nilai suatu
variabel m isalkan Y,
variabel,
Y berdasarkan nilai
variabel yang lain , m isalkan X, dengan
m enggunakan m odel regresi linier
(in te rp o las i).
i)

3

ILUSTRASI
f(x)

Gula yang
Dihasilkan (Y)

Suhu (X)
X menentukan Y

respons

prediktor
peubah
acak
bukan
peubah acak

Memiliki
distribusi

4

Observasi

1

2

3

…

n

X

X1

X2

X3

…

Xn

Y

Y1

Y2

Y3

…

Yn

1 Variabel yang nilainya mempengaruhi

variabel yang lainnya.
2

Mana yang
merupakan

prediktor ??
3

Variabel yang kejadiannya lebih
dahulu terjadi.
j

Variabel yang variansinya terkecil

5

MODEL REGRESI LINEAR SEDERHANA
Yi   0  1 X i  ei

- 1 dan 0 merupakan parameter-parameter
model y
yang
g akan ditaksir
- ei adalah galat pada observasi ke-i (acak)

6

Sumber Galat
1.

Ketidakm am puan m odel regresi dalam
m em odelkan hubungan prediktor dan
respons dengan tepat
2. Ketidakm am puan peneliti dalam
m elakukan
l k k pengukuran
k
dengan
d
tepat
t
t
3. Ketidakm am puan m odel untuk m elibatkan
sem ua variabel prediktor

7

Penaksir Kuadrat Terkecil
- 1 dan 0 ditaksir dengan
g metode kuadrat terkecil
(least square)
- Asumsi-asumsi :
1. Ada pengaruh X terhadap Y
2 Yi   0  1 X i  ei
2.

untuk i  1,2,..., n

3. Nilai harapan dari ei adalah 0, atau E[ ei ] = 0
4 V
4.
Variansi
i
id
darii ei, sama untuk

t k semua i = 1,
1 2,…,
2
n
5. ei berdistribusi normal untuk semua i = 1, 2,…, n
6. e1,e2,...,en saling bebas (independen)

8

Misalkan b1 adalah taksiran bagi 1 dan b0 adalah
taksiran bagi 0. Maka taksiran bagi model
regresi adalah


Yi  b0  b1 X i

Kriteria penaksiran kuadrat terkecil adalah
meminimumkan
2
e

i
n

i 1


terhadap b0 dan b1, dengan ei  Yi  Yi  Yi  b0  b1 X i

9

Diperoleh
p

 X
n

JK XY
b1 

JK XX

i 1

 X Yi  Y 

 X
i

n

i 1

i

b0  Y  b1 X

X

2

JK G  yi  yˆi 
JKYY  b1 JK XY
ˆ  s 


n2
n2
n2

S d
Sedangkan
k taksiran
t k i
untuk
t k variansi
i
i galat
l t acak
k adalah
d l h
2

2

2

10
Suhu (X)
Gula yg dihasilkan (Y)

1

1 1 1.2
1.1
1 2 1.3
1 3 1.4
1 4 1.5
1 5 1.6
16

17
1.7

1 8 1.9
1.8
19

2

8.1 7.8 8.5 9.8 9.5 8.9 8.6 10.2 9.3 9.2 10.5
Sumber: Walpole and Myers, 1989

ei

1 11
X   X i  1,5
n i 1

n = 11

 X
11

b1 

i 1

 X Yi  Y 

 X
i

11

i 1

i

X

2

1 11
Y   Yi  9,13
n i 1
 1,8091

b0  Y  b1 X  6, 4136


Yi  6,, 4136  1,8091
,
Xi
Model persamaan regresi

11

12

Prediksi Nilai Respons
yˆi

ei  yi  yˆi

Suhu (xi)

Gula yg dihasilkan (yi)

1

8.1

8.22

-0.12

1.1

7.8

8.40

-0.60

1.2

8.5

8.58

-0.08

1.3

9.8

8.77

1.03

1.4

9.5

8.95

0.55

1.5

8.9

9.13

-0.23

1.6

8.6

9.31

-0.71

1.7

10.2

9.49

0.71

1.8

9.3

9.67

-0.37

1.9

9.2

9.85

-0.65

2

10.5

10.03

0.47

Prediksi model

JK G
Taksiran variansi galat acak s 

n2
2

 yi  yˆi 
9

2

 0, 4

13

Prediksi Nilai Respons
Mi lk suhu
Misalkan
h proses (X) adalah
d l h 1.55 satuan suhu.
h
Maka prediksi banyaknya gula yang dihasilkan pada
suhu
h tersebut
t
b t adalah
d l h


Y  6,
6 4136  1,8091
1 8091X

 6, 4136  1,80911,55 
 9, 2177

14

ASUMSI KENORMALAN

1

• Asumsi ei berdistribusi normal
untuk semua i = 1, 2,…, n

2

• Yi beristribusi normal untuk
semua i = 1,
1 2,…,
2
n

3

• b0 dan b1 berdistribusi normal

15

INFERENSI UNTUK PARAMETER 0
b0   0

T0 

2
x
 i nJK XX
n

s

i 1

berdistribusi t dengan derajat kebebasan n-2.
Selang kepercayaan (1-ǂ) untuk 0 :

b0  t
2

2
x
 i nJK XX  0  b0  t
n

,n 2

s

i 1

2

2
x
 i nJK XX
n

,n 2

s

i 1

t/2;n-2 adalah nilai distribusi t dengan derajat kebebasan n-2

16

INFERENSI UNTUK PARAMETER 1
b1  1
T1 
s JK XX

berdistribusi t dengan derajat kebebasan n-2.
Selang kepercayaan (1-ǂ) untuk 1 :

b1 

t 2;n  2 s
JK XX

 1  b1 

t 2;n  2 s
JK XX

t/2 ; n-2 adalah nilai distribusi t dengan derajat kebebasan n-2

17

PENGUJIAN PARAMETER REGRESI
Tujuan : menentukan apakah parameter-parameter
ttersebut
b td
b ik atau
t tid
k
dapatt di
diabaikan
tidak.
Rumusan Hipotesis
H0 : β0 = 0
H1 : β0 ≠ 0

H0 : β1 = 0
H1 : β1 ≠ 0

t0 

t1 

b0

2
x
 i
n

ˆ

i 1

nJK XX

ˆ

b1
JK XX

18

SELANG PREDIKSI
Misalkan nilai respons
p
Y untuk X = X0 adalah Y0,
dan misalkan
adalah prediksi model regresi
bagi Y0. Maka
T 

ˆ -Y
Y
0
0

ˆ 1+(1/n)+[(x 0  x)2 / JK XX ]

b di ib i t dengan
berdistribusi
d
d
derajat
j kebebasan
k b b
n-2.
Selang prediksi (1 – ǂ) bagi y0 adalah
1 (x 0  x)2
1 (x 0  x)2
yˆ 0  t  / 2ˆ 1+ +
 y0  yˆ 0  t  / 2ˆ 1+ +
n
JK XX
n
JK XX

19

CONTOH 1 SELANG KEPERCAYAAN 1-
1
TINJAU CONTOH SEBELUMNYA

(2.26)(0.4)
(2.26)(0.4)
1.8091 
 1  1.8091 
1.1
1.1
Selang kepercayaan
95% untuk β1 :

b 1=1,80 91

b 0 =6,4136

6.4136  (2.26)(0.4)

Selang kepercayaan
95% untuk β0 :

25.85
25.85
 0  6.4136  (2.26)(0.4)
(11)(1.1)
(11)(1.1)

20

CONTOH 2 UJI HIPOTESIS

H0 : β0 = 0
H1 : β0 ≠ 0

derajat kebebasan
n – 2 = 9,
nilai kritis
t0.025 = 2.26
2 26

t0 > t0.025 &
t1 > t0.025
maka masingmasing H0 ditolak

H0 : β1 = 0
H1 : β1 ≠ 0

K i
Kesimpulan
l
ǃ0 dan ǃ1 tidak
dapat diabaikan

21

Kecocokan Model Regresi
Salah
S
l h satu alat
l ukur
k untuk
k melihat
lih apakah
k h model
d l
regresi yang diperoleh sudah memadai adalah
koefisien determinasi yaitu

  yˆ  y 
n

JK R
2

R 
JKT

i 1
n

i

i 1

i

 y  y 

2

i

,
2

d
dengan

0  R2  1

i

Besaran R2 menunjukkan proporsi variasi total dalam
respons Y yang diterangkan oleh model regresi yang
diperoleh

22

UJI KEBAIKAN MODEL
H0 : Model
M d l regresii yang diperoleh
di
l h tidak
id k memadai
d i
H1 : Model memadai
Statistik uji

  yˆi  yi 
n

JK R
f 

s

2

i 1

s

Tolak H0 pada tingkat keberartian ǂ jika f > f,(1,n-2),
dimana f,(1,n-2) adalah nilai distribusi F dengan
derajat kebebasan 1 dan n – 2.

23

CONTOH 3
Untuk contoh sebelumnya diperoleh R2 = 0,499.
Artinya
y p
proporsi
p
variasi total dalam respons
p
Y
yang diterangkan oleh model regresi yang
diperoleh adalah 49.9%
Uji kebaikan model

JK R
f 

s

  yˆi  yi 
11

i 1

s

2

 8,99

Untuk ǂ = 5%,, titik kritis f0.05,(1,9)
,
0 05 (1 9) = 5,12
f > f0.05,(1,9), model memadai.

24

Korelasi
• Mengukur hubungan linear dua peubah acak
• Misalkan X dan Y adalah dua peubah
acak m aka korelasi antara X dan Y
acak,
dinyatakan dengan

 XY 

E  X   X Y  Y  

2
2



E  X   X  E Y  Y  

 




C  X ,Y 
Cov

 XY

25

Jika nilai korelasi mendekati 1 maka
hubungan kedua peubah “sangat erat” dan
searah sedangkan jika nilai korelasi
mendekati –1
1 maka hubungan kedua
peubah “sangat erat” dan berlawanan arah.

Jika nilai korelasi sama dengan nol berarti
tidak terdapat hubungan linear antara
kedua peubah acak.

26

Gambar 1 Korelasi positif

Gambar 2 Korelasi negatif

Gambar 3 Korelasi nol

Gambar 4 Korelasi nol

27

KORELASI SAMPEL
Korelasi dapat ditaksir dengan koefisien
korelasi sam pel, yaitu
r

JK XY
JK XX JKYY

 X
n



i 1

i

 X Yi  Y 

n
2 
2
 n
   X i  X    Yi  Y  
 i 1
 i 1


28

CONTOH 4
Data berikut menggambarkan nilai kimia 12 mahasiswa
tingkat pertama yang diambil secara acak di suatu universitas
bersama nilai intelegensi yang dikur sewaktu mereka di SMA.
SMA
Mah as is N ilai In te le ge n s i N ilai Kim ia
( x)
( y)
wa
1
65
85
2
50
74
3
55
76
4
65
90
5
55
85
6
70
87
7
65
94
8
70
98
9
55
81
10
70
91
11
50
76
12
55
74

Rata-rata nilai intelegensi = 60,42 , Rata-rata nilai kimia = 84,25

29
110
10 0

N ilai K
Kim ia

90
80
70
60
50
40
40

45

50

55

60

65

70

75

N ilai In te le ge n s i

 X
12

r

JK XY

JK XX JKYY

i 1

 X
12

i 1

i

 X Yi  Y 

X
i

2

 Y  Y 
12

i 1

i

 0,863
2

30

TUGAS B
Lanjutan Tugas A (Kelompok)
 Terapkan minimal satu topik berikut, yang sudah dipelajari dalam
perkuliahan Statdas, ke dalam data kelompok Anda seperti pada
Tugas A.
 Topik Bahasan :
 Uji Hipotesis
 ANOVA
 Regresi
R
i Linier
Li i dan
d Korelasi
K l i
 Tugas diketik rapi dan lengkap (data dan analisisnya) dalam bentuk
laporan (style masing-masing) dalam format Mic. Word. Dengan
penamaan file
fil :
“Tugas B - Statdas02 - II.2012 – Kelompok ”
 Tugas dikumpulkan via email ke utriweni@math.itb.ac.id paling
l b S
lambat
Selasa,
l
11 Desember
D
b 2012.

31

Referensi
 Pasaribu, U.S., 2007, Catatan Kuliah Biostatistika.
 Walpole, Ronald E. Dan Myers, Raymond H., Ilmu
Peluang dan Statistika untuk Insinyur dan
Ilmuwan, Edisi 4, Bandung: Penerbit ITB, 1995.
 Walpole,
p
Ronald E., et.al, Statistic ffor Scientist and
Engineering, 8th Ed., 2007.