KORELASI and REGRESI PUSAT PENDIDIKAN DA (1)
KORELASI & REGRESI
Hari Sakti Wibowo
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
KORELASI
Tujuan :
• Untuk melihat ada tidaknya hubungan antara
dua buah variabel (minimal berskala ordinal)
• Melihat kuat lemahnya hubungan
• Melihat jenis hubungan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Melihat ada tidaknya hubungan
• Berdasarkan nilai koefiesien korelasi “ r “
-1 ≤ r ≤ 1
Nilai r ≈ 0 tidak ada hubungan
Nilai r ≈ -1 atau r ≈1 ada hubungan
Berdasarkan Uji Korelasi
HIPOTESA :
Ho : Tidak Ada Hubungan / Korelasi
H1 : Ada Hubungan / Korelasi
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
KUAT LEMAHNYA HUBUNGAN
• Kuat lemahnya hubungan dilihat melalui nilai
koefisien korelasi “ r “
• Jika nilai r ≈ 1 atau r ≈ -1 terjadi hubungan yg
kuat
• Jika nilai r ≈ 0 hubungannya lemah
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Kelemahan nilai koefisien
“ rkorelasi
“
• Nilai koefisien korelasi sangat tergantung pada
banyaknya data
• Untuk data yang jumlahnya banyak r = 0.2 ,
sudah dikatakan terjadi korelasi
• Untuk data yang berjumlah sedikit r = 0.4 ,
belum tentu terjadi korelasi
Nilai “r” merupakan besaran yang relatif
Lihat nilai Signifikansinya
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
CONTOH KELEMAHAN NILAI “ r “
Correlations
Correlations
y
y
x
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
1
3
.721
.488
3
x
.721
.488
3
1
3
el
el
org
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
1
245
.286**
.000
245
**. Correlation is significant at the 0.01 level
(2-tailed).
org
.286**
.000
245
1
245
JENIS HUBUNGAN
Dilihat dari nilai koefieien korelasi “ r “
Y
Y
X
Hubungan Positif
r=+
Hubungan Negatif
r=-
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
X
Prosedur analisa korelasi
• Parametrik Jenis datanya kuantitatif, korelasi
Pearson
• NonParametrik Jenis datanya Ordinal, Korelasi
Spearman & Kendall’s-tau b
HIPOTESA :
• H0 : Tidak Ada Korelasi/Hubungan
• H1 : Ada Korelasi/Hubungan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
ANALISA REGRESI
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
TUJUAN
• Melihat ada/tidak hubungan Linier antara
sebuah variabel Dependent (kuantitative)
dengan beberapa variabel Independent
(kuantitative) bersifat sistem
• Melihat kuat/lemahnya hubunga antar
variabel Dependent dengan variabel
Independent
• Memprediksi besarnya nilai variabel
Dependent berdasarkan variabel Independent
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
PERBEDAAN KORELASI & REGRESI
• Analisa korelasi merupakan hubungan
langsung antara dua buah variabel tampa
dipengaruhi oleh variabel lain ( Variabel lain
dianggap konstan/katerisparibus)
• Analisa Regresi merupakan analisa sistem,
dimana hubungan antar variabel dipengaruhi
oleh varibel lainnya (korelasi parsial).
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
METODE PENDUGAAN PARAMETER
Metode yg digunakan Metode Kuadrat Terkecil
Umum ( Ordinary Least Square Estimator)
Rata-rata
PEMBUTAN MODEL
• Hal-hal yang perlu diperhatikan dalam
pembuatan model:
– Penentuan Variabel dependent & independent
(berdasarkan hipotesis, mana yg lebih mudah
diukur)
– Model harus didasarkan pada konsep
(menghindari hubungan semu)
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
MODEL
Yi 0 1 X1i 2 X 2i .... p X pi i ,
Yi Dependent Variabel
p Parameter
Xp Independent Variabel
i
Error
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
i NID (0, 2 )
Langkah-langkah Analisa Regresi
•
•
•
•
•
•
Menguji apakah variabel independent berpengaruh terhadap variabel dependen
(harus berpengaruh)
– Hip : Ho: β = 0 ( Tidak berpengaruh)
Uji ANOVA
H1: β ≠ 0 (Berpengaruh)
Uji parsial Untuk menguji var independent mana saja yang berpengaruh pada
var dependent
– Hip : Ho: βi = 0 , p = 1,2,3 …p ( Tidak berpengaruh)
H1: βi ≠ 0 , p = 1,2,3 …p (Berpengaruh)
Uji t-test
Melihat asumsi Error ( untuk prediksi )
Melihat adanya tidaknya Multikololinieritas (korelasi antar var independent) Nilai
VIF < 10
Kehandalan model (persentase kemampuan var Indep mampu menjelaskan Var
Depent) R-square ≈ 1
Membuat model persamaan dan validasi model persamaan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Asumsi Error
• Error terdistribusi Normal (PP-Plot , Histogram)
• Antar error tidak saling berkorelasi / Autocorelation
(Durbin Watson)
• Variansi error homogen / Homokedatisitas (Scarter
Plot )
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
MULTIKOLOLINIERITAS #1
• Arti : Korelasi yg terjadi antar var Independent
• Penyebab :
– Mengukur indikator var X yg sama (pendapatan &
Pengeluaran)
– Jum var X > jum data
• Jenisnya ada dua : Multikol sempurna & Kurang
sempurna
• Akibat multikol :
– Sempurna : Koefisien regresi tdk dapt dihitung, variansinya
tak terhingga
– Kurang sempurna: Koefisien regresi dpt di hitung namun
variansi sangat besar
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
MULTIKOLOLINIERITAS #2
• Deteksi multikol: Nilai VIF > 10
• Mengatasinya :
– Buang salah satu variabel yg berkorelasi
– Menggabung variabel yg saling berkorelasi
– Trasformasi variabel
– Penambahan data
– Teknik regresi lain seperti PCA, Ridge regresion dll
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Heteroledastisitas/Homokedastisitas
Arti : Kesamaan variansi di setiap nilai prediksi
Penyebab :
◦
◦
◦
◦
Adanya proses pembelajaran
Adanya outlier
kemencengan dari beberapa var yg diukur
Kesalahan fungsi atau trasformasi
Deteksi
◦ Scarter plot
◦ Pengujian : Part test, Glejser test, Spearman Correlation
test, Goldfeld-quandt, Breusch-pagan-godfrey , White’s
General Heteroskedastisiti
Cara mengatasi : dengan trasformasi
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Autokoralasi
• Arti : error saling berkorelasi
• Penyebab :
– Data diambil dari sequance system
– Data time series
– Manipulasi data. Data bulanan dibuat kuartal,
semester atau tahunan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
KOEFISIEN DETERMINASI
Ukuran mengenai besarnya variabel Independent
berpengaruh terhadap variabel Dependent
JKR JKT JKE
r
JKT
JKT
2
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Metode Pembuatan Model
Enter : Semua variabel X dimasukan dalam model, yg
tidak signifikan dibuang secara manual
Forward : Varibel X dimasukan satu persatu dimulai dari
yang paling besar pengaruhnya terus sampai yg paling
kecil. Yg tdk berpengaruh tdk dimasukan dlm model
Backward : variabel X dimasukn semua dlm model,
kemudian var yg tak berpengaruh dibuang satu-persatu
dari yg paling tidak berpengaruh
Stepwise : Gabungan dari forward dan backward
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Kelemahan Regresi
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
REGRESI DUMMY
• Ada kalanya yang menjadi prediktor (variabel
independent/X) merupakan katagori
• Rubah variabel prediktor yang katagori
menjadi variabel dummy (variabel 0 & 1)
Cth : Laki2x = 0 (Katagori reference) Pengontrol
Perempuan = 1
• Banyaknya variabel dummy :
• Dummy = Banyaknya katagori - 1
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Reference Catagory
• Katagori dasar yang menjadi rujukan dalam
analisa.
• Contoh apakah semakin tinggi pendidikan
akan semakin baik tongkat ekonomi
seseoarang?
Reference Catagori Pendidikan SD = 0
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Hp : 081283735070
Email : hr_sw@Yahoo.com
Info Pelatihan : http:// research-indonesia.blogspot.com
Hari Sakti Wibowo
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
KORELASI
Tujuan :
• Untuk melihat ada tidaknya hubungan antara
dua buah variabel (minimal berskala ordinal)
• Melihat kuat lemahnya hubungan
• Melihat jenis hubungan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Melihat ada tidaknya hubungan
• Berdasarkan nilai koefiesien korelasi “ r “
-1 ≤ r ≤ 1
Nilai r ≈ 0 tidak ada hubungan
Nilai r ≈ -1 atau r ≈1 ada hubungan
Berdasarkan Uji Korelasi
HIPOTESA :
Ho : Tidak Ada Hubungan / Korelasi
H1 : Ada Hubungan / Korelasi
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
KUAT LEMAHNYA HUBUNGAN
• Kuat lemahnya hubungan dilihat melalui nilai
koefisien korelasi “ r “
• Jika nilai r ≈ 1 atau r ≈ -1 terjadi hubungan yg
kuat
• Jika nilai r ≈ 0 hubungannya lemah
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Kelemahan nilai koefisien
“ rkorelasi
“
• Nilai koefisien korelasi sangat tergantung pada
banyaknya data
• Untuk data yang jumlahnya banyak r = 0.2 ,
sudah dikatakan terjadi korelasi
• Untuk data yang berjumlah sedikit r = 0.4 ,
belum tentu terjadi korelasi
Nilai “r” merupakan besaran yang relatif
Lihat nilai Signifikansinya
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
CONTOH KELEMAHAN NILAI “ r “
Correlations
Correlations
y
y
x
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
1
3
.721
.488
3
x
.721
.488
3
1
3
el
el
org
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
1
245
.286**
.000
245
**. Correlation is significant at the 0.01 level
(2-tailed).
org
.286**
.000
245
1
245
JENIS HUBUNGAN
Dilihat dari nilai koefieien korelasi “ r “
Y
Y
X
Hubungan Positif
r=+
Hubungan Negatif
r=-
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
X
Prosedur analisa korelasi
• Parametrik Jenis datanya kuantitatif, korelasi
Pearson
• NonParametrik Jenis datanya Ordinal, Korelasi
Spearman & Kendall’s-tau b
HIPOTESA :
• H0 : Tidak Ada Korelasi/Hubungan
• H1 : Ada Korelasi/Hubungan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
ANALISA REGRESI
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
TUJUAN
• Melihat ada/tidak hubungan Linier antara
sebuah variabel Dependent (kuantitative)
dengan beberapa variabel Independent
(kuantitative) bersifat sistem
• Melihat kuat/lemahnya hubunga antar
variabel Dependent dengan variabel
Independent
• Memprediksi besarnya nilai variabel
Dependent berdasarkan variabel Independent
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
PERBEDAAN KORELASI & REGRESI
• Analisa korelasi merupakan hubungan
langsung antara dua buah variabel tampa
dipengaruhi oleh variabel lain ( Variabel lain
dianggap konstan/katerisparibus)
• Analisa Regresi merupakan analisa sistem,
dimana hubungan antar variabel dipengaruhi
oleh varibel lainnya (korelasi parsial).
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
METODE PENDUGAAN PARAMETER
Metode yg digunakan Metode Kuadrat Terkecil
Umum ( Ordinary Least Square Estimator)
Rata-rata
PEMBUTAN MODEL
• Hal-hal yang perlu diperhatikan dalam
pembuatan model:
– Penentuan Variabel dependent & independent
(berdasarkan hipotesis, mana yg lebih mudah
diukur)
– Model harus didasarkan pada konsep
(menghindari hubungan semu)
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
MODEL
Yi 0 1 X1i 2 X 2i .... p X pi i ,
Yi Dependent Variabel
p Parameter
Xp Independent Variabel
i
Error
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
i NID (0, 2 )
Langkah-langkah Analisa Regresi
•
•
•
•
•
•
Menguji apakah variabel independent berpengaruh terhadap variabel dependen
(harus berpengaruh)
– Hip : Ho: β = 0 ( Tidak berpengaruh)
Uji ANOVA
H1: β ≠ 0 (Berpengaruh)
Uji parsial Untuk menguji var independent mana saja yang berpengaruh pada
var dependent
– Hip : Ho: βi = 0 , p = 1,2,3 …p ( Tidak berpengaruh)
H1: βi ≠ 0 , p = 1,2,3 …p (Berpengaruh)
Uji t-test
Melihat asumsi Error ( untuk prediksi )
Melihat adanya tidaknya Multikololinieritas (korelasi antar var independent) Nilai
VIF < 10
Kehandalan model (persentase kemampuan var Indep mampu menjelaskan Var
Depent) R-square ≈ 1
Membuat model persamaan dan validasi model persamaan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Asumsi Error
• Error terdistribusi Normal (PP-Plot , Histogram)
• Antar error tidak saling berkorelasi / Autocorelation
(Durbin Watson)
• Variansi error homogen / Homokedatisitas (Scarter
Plot )
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
MULTIKOLOLINIERITAS #1
• Arti : Korelasi yg terjadi antar var Independent
• Penyebab :
– Mengukur indikator var X yg sama (pendapatan &
Pengeluaran)
– Jum var X > jum data
• Jenisnya ada dua : Multikol sempurna & Kurang
sempurna
• Akibat multikol :
– Sempurna : Koefisien regresi tdk dapt dihitung, variansinya
tak terhingga
– Kurang sempurna: Koefisien regresi dpt di hitung namun
variansi sangat besar
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
MULTIKOLOLINIERITAS #2
• Deteksi multikol: Nilai VIF > 10
• Mengatasinya :
– Buang salah satu variabel yg berkorelasi
– Menggabung variabel yg saling berkorelasi
– Trasformasi variabel
– Penambahan data
– Teknik regresi lain seperti PCA, Ridge regresion dll
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Heteroledastisitas/Homokedastisitas
Arti : Kesamaan variansi di setiap nilai prediksi
Penyebab :
◦
◦
◦
◦
Adanya proses pembelajaran
Adanya outlier
kemencengan dari beberapa var yg diukur
Kesalahan fungsi atau trasformasi
Deteksi
◦ Scarter plot
◦ Pengujian : Part test, Glejser test, Spearman Correlation
test, Goldfeld-quandt, Breusch-pagan-godfrey , White’s
General Heteroskedastisiti
Cara mengatasi : dengan trasformasi
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Autokoralasi
• Arti : error saling berkorelasi
• Penyebab :
– Data diambil dari sequance system
– Data time series
– Manipulasi data. Data bulanan dibuat kuartal,
semester atau tahunan
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
KOEFISIEN DETERMINASI
Ukuran mengenai besarnya variabel Independent
berpengaruh terhadap variabel Dependent
JKR JKT JKE
r
JKT
JKT
2
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Metode Pembuatan Model
Enter : Semua variabel X dimasukan dalam model, yg
tidak signifikan dibuang secara manual
Forward : Varibel X dimasukan satu persatu dimulai dari
yang paling besar pengaruhnya terus sampai yg paling
kecil. Yg tdk berpengaruh tdk dimasukan dlm model
Backward : variabel X dimasukn semua dlm model,
kemudian var yg tak berpengaruh dibuang satu-persatu
dari yg paling tidak berpengaruh
Stepwise : Gabungan dari forward dan backward
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Kelemahan Regresi
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
REGRESI DUMMY
• Ada kalanya yang menjadi prediktor (variabel
independent/X) merupakan katagori
• Rubah variabel prediktor yang katagori
menjadi variabel dummy (variabel 0 & 1)
Cth : Laki2x = 0 (Katagori reference) Pengontrol
Perempuan = 1
• Banyaknya variabel dummy :
• Dummy = Banyaknya katagori - 1
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Reference Catagory
• Katagori dasar yang menjadi rujukan dalam
analisa.
• Contoh apakah semakin tinggi pendidikan
akan semakin baik tongkat ekonomi
seseoarang?
Reference Catagori Pendidikan SD = 0
PUSAT PENDIDIKAN DAN PENGABDIAN MASYARAKAT
UNIVERSITAS INDONESIA
Hp : 081283735070
Email : hr_sw@Yahoo.com
Info Pelatihan : http:// research-indonesia.blogspot.com