PEMILIHAN MODEL TERBAIK pada REGRESI
REGRESI TERAPAN
(Pemilihan Model Regresi
Terbaik )
PEMBAHASAN
2.1 Kriteria Pemilihan Model Terbaik
Ada beberapa kriteria pemilihan model terbaik dalam analisis regresi, diantaranya :
A.Uji Fp
Uji Fp merupakan suatu kriteria pemilihan model terbaik dengan membandingkan
fungsi atau model yang memiliki jumlah variabel independen lebih sedikit dengan model
yang memiliki jumlah variabel independen lebih banyak. Syaratnya, model yang lbih
sederhana adalah anak gugus dari model yang lebih kompleks. Alat yang digunakan adalah
uji F. Uji F banyak digunakan untuk melihat manfaat penambahan variabel independen dalam
model.
Uji hipotesis :
Ho : kedua model tidak berbeda satu sama lain.
Hi : kedua model berbeda secara signifikan.
Statistik uji :
Fp=
(JKS a−JKSb )/(b−a)
JKS b /(n−b)
Dimana :
JKS a : jumlah kuadrat sesatan untuk model dengan a parameter
JKS b : jumlah kuadrat sesatan untuk model dengan b parameter
n
: banyaknya pengamatan
Daerah kritik :
Pada tingkat kepercayaan (1- φ ¿∗100 , Ho ditolak jika
φ¿
B. Kuadrat Rata-Rata Sesatan (KRS)
Fp
> F ((b-a);(n-b);
Misalkan terdapat m kemungkinan model yang dapat menggambarkan hubungan
antara variabel dependen dan beberapa variabel independen. Untuk setiap model dapat
dihitung nilai kuadrat rata-rata sesatannya yang didefinisikan sebagai berikut :
KRS m=
Dimana :
JKS m
(n−P)
KRS m : jumlah kuadrat rata-rata sesatan untuk model ke- k
JKS m : jumlah kuadrat sesatan untuk model ke- k
P : jumlah parameter model ke- k
Model terbaik adalah model yang memiliki nilai
KRS m
2
m
minimum. Kriteria lain
2
m
yang dapat digunakan koefisien korelasi berganda
disebut juga koefisien
r .r
determinasi yang dapat diartikan sebagai banyaknya proporsi keragaman variabel dependen
(Y) yang dapat diterangkan oleh model (0 ≤ r 2m ≤ 1 . Nilai r 2m akan cenderung bertambah
atau naik seiring bertambahnya jumlah variabel independen (X) atau bertambahnya jumlah
parameter dalam model.
C. Statistik Cp Mallows
Rumus statistik Cp mallows model ke-m adalah :
Cp=
JKSm
S2
−(n−2 p)
Dimana :
S 2=KRS=
n
1
(Y i−Y^ i )2 ; penduga tak bias dari σ 2
∑
( n− p) i=1
Nilai harapan dari Cp, adalah :
E( C p ¿=E
= E(
JKSm
S2
−(n−2 p)
JKSm
S2
¿−(n−2 p)
2
Karena E( JKS m ¿=( n− p ) E ( KRS m )=(n− p)σ
E( C p ¿=
( n− p ) σ 2
−(n− p)
σ2
=p
Dengan demikian model yang diharapkan (terbaik) adalah model yang memberikan nilai Cp
p.
D. Kriteria Informasi
Terdapat dua kriteria informasi yang sering digunakan, yaitu Akaike Information
criterion (AIC) dan Bayesian Infomation Criterion (BIC). Misalnya terdapat model m, maka
rumus-rumus AIC dan BIC medel ke-m berturut-turut dapat ditulis :
AIC m =−2 ln
JKS m
+2 p
n
BIC m =−2 ln
( JKSn )+ p ln n
m
Dimana :
JKS m : jumlah kuadrat sesatan untuk model ke-m
n
: jumlah data sampel
p
: jumlah parameter model ke-m
Baik AIC maupun BIC dengan formula 2p dan p ln(n) memberikan pinalti terhadap
penambahan jumlah parameter. Model terbaik adalah model yang memberikan nilai AIC dan
BIC minimum.
2.2 Metode Pemilhan Model Terbaik
Ada 5 metode yang biasa digunakan untuk pemilihan model terbaik dalam analisi
regresi, yaitu :
Metode seleksi maju(Forward Selection)
Eliminasi mundur (Backward Elimination)
Stepwise Regression
All Possible Regression
Prediction Sum of Squeres (PRESS)
2.2.1 Metode Seleksi Maju (Forward Selection )
Model seleksi maju merupakan metode yang populer pada saat komputer belum
berperan. Salah satu keuntungan metode ini adalah disajikannya melalui proses pembentukan
model setahap demi setahap. Pada metode ini, variabel independen dimasukan satu persatu
menurut urutan besar pengaruh terhadap variabel dependen. Metode ini dimulai dengan
menghitung koefisien korelasi variabel independen dengan variabel dependen
r
¿
YX
,
,,
i=1,2,
… , p ) , variabel independen yang memiliki koefisien korelasi terbesar
(¿
i
¿
(tanpa memperhatikan tanda korelasi + atau -) dimasukan pertama kali kedalam model.
Misalkan terdapat 3 buah variabel independen ( X 1 , X 2 , X 3 ¿ dan diketahui nilai koefisien
korelasi terbesar adalah r YX . Jadi variabel independen yang pertama kali dimasukan
kedalam model adalah X 2 dan diperoleh model awal :
2
Y^ = β^ 0 + ^β 2 X 2
Selanjutnya lakukan uji hipotesis dengan Ho : β 2 = 0 dengan H1 : β 2 ≠ 0 , jika
terima Ho makan proses analisis selesai dan dapat dipastikan variabel independen lainnya
tidak signifikan menjelaskan Y. Namun jika tolak Ho maka X 2 masuk kedalam model dan
langkah selanjutnya menghitung korelasi parsial variabel independen lainnya ( X 1 , X 3 ¿
dengan menganggap X 2 tertentu dan begitu selanjutnya sampai analisis selesai dan model
sudah terpilih.
Kelebihan dan Kekurangan Forward Selection
1. Kelebihan prosedur Forward selection diantaranya sebagai berikut:
Metode forward, backward, dan stepwise merupakan alternative untuk mengurangi
kemungkinan adanya multikolinearitas dalam model yang dihasilkan.
2. Kelemahan prosedur Forward Selection adalah diantaranya;
Lama dalam penghitungan , karena harus menghitung satu-satu dari peubah yang
ada, dari peubah yang memiliki F tersebar.
Dalam metode ini, ada kemungkinan untuk memasukkan lebih banyak variabel yang
tidak begitu signifikan ke dalam model dibanding metode backward dan stepwise,
karena MSE yang dihasilkan forward akan lebih kecil yang menyebabkan nilai Fobs
besar.
Prosedur ini tidak selalu mengarahkan ke model yang terbaik, mengingat kita hanya
mempertimbangkan sebuah subset kecil dari semua model-model yang mungkin.
Sehingga resiko melewatkan atau kehilangan model terbaik akan bertambah seiring
dengan penambahan jumlah variabel bebas.
2.2.2 Eliminasi Mundur (Backward Elimination)
Metode ini adalah kebalikan dari metode seleksi maju. Pertama masukan semua
variabel independen kedalam model. Misalkan terdapat 4 variabel independen (
X 1 , X 2 , X 3 , X 4 ¿ maka model awal dapat ditulis :
Y^ = β^ 0 + ^β 1 X 1 + ^β 2 X 2 + β^ 3 X 3 + ^β 4 X 4
Selanjutnya lakukan uji hipotesis untuk keseluruhan model, Ho :
β 1=β 2=β 3=β 4 =0 . jika terima Ho maka proses analisis selesai dan dapat disimpulkan
bahwa tidak ada variabel independen yang dapat menjelaskan Y secara signifikan. Namun
jika tolak Ho maka perhatikan koefisien regresi atau besarnya pengaruh setiap variabel
independen. Misalkan variabel independen yang memiliki pengaruh paling kecil adalah X 3,
ujilah apakah pengaruh variabel tersebut signifikan atau tidak. Jika pengaruhnya signifikan
maka proses analisis selesai dan model awal diatas merupakan model terpilih. Namun jika
pengaruhnya tidak signifikan maka X 3 harus dikeluarkan dari model.
• Jika FL < F0, maka X yang bersangkutan dikeluarkan dari model dan dilanjutkan dengan
pembuatan model baru tanpa variable tersebut
• Jika FL>F0, maka proses dihentikan dan persamaan terakhir tersebut yang digunakan atau
dipilih.
2.2.3 Stepwise Regression
Stepwise regression adalah satu cara untuk memperoleh model terbaik secara
sistematis, mulai dari model dengan satu variabel independen (X),kemudian menambah
variabel independen berikutnya sambil melihat kemungkinan membuang varibel independen
yang ada dalam model. Metode ini merupakan kombinasi dari metode forward selection dan
metode backward elimination. Metode ini populer pada tahun 70-an.
Pada metode forward selection kemungkinan untuk memasukan variabel independen
dengan kriteria besarnya korelasi atau korelasi parsial antara variabel independen dengan
variabel dependen. Perhatikan, setelah terdapat sedikitnya 2 variabel independen (X),
kemungkinan membuang X yang tidak signifikan dengan langkah mundur. Demikian
seterusnya sampai tidak ada lagi variabel independen (X) yang dapat dibuang ataupun
dimasukan. Metode stepwise regression hanya memberikan satu model terbaik tanpa model
alternatif lain jika model yang terpilih sulit diaplikasikan.
2.2.4 All Possible Regression
All possible regression atau semua kemungkinan regresi adalah metode pemilihan
model terbaik dengan cara menghitung semua kombinasi variabel independen yang mungkin.
Misal ada p variabel independen, maka akan ada sebanyak 2 p−1 persamaan regresi yang
perlu diperhatikan dengan kriteria tertentu.
Misalkan terdapat tiga variabel independen ( X 1 , X 2 , X 3 ¿
hitunglah kemungkinan
model!
p
3
2 −1=2 −1=8−1=7
Metode ini memungkinkan beberapa metode alternatif, namun jumlah variabel
independen relatif banyak sehingga banyaknya model yang harus dihitung bertambah dan
membutuhkan proses yang lama.
2.2.5 Prediction Sum of Squares (PRESS)
Tujuan utama pembentukan modal terhadap suatu permasalahan adalah untuk
memprediksi atau peramalan. Indikator prediksi yang baik adalah nilai prediksi sama atau
hampir sama dengan kenyataan. Prediction sum of squares (PRESS) atau penduga jumlah
kuadrat diusulkan oleh Allen pada tahun 1974 yaitu tentang penggunaan semua pegamatan,
kecuali pengamatan ke-i untuk memprediksi nilai variabel dependen (Yi). Misalkan ada n
pengamatan, langkah-langkah perhitungannya adalah :
Hilangkan atau buang data ke-i dari variabel dependen dan independennya.
Hitunglah semua kemungkinan model regresi.
Lakukan pendugaan nilai variabel dependen ( Y i ¿ untuk tiap model namakan
Y^
(¿¿ ip) untuk model dengan parameter p.
¿
Untuk tiap model hitung, khusus data ke-i yang dihilangkan :
n
M p=∑ (Y i−Y^ ip ) ²
i=1
Pilih model yang memberikan nilai
mengandung variabel independen.
Mp
terkecil tetapi tidak terlalu banyak
Metode PRESS merupakan kombinasi antara metode all possible regression, prediksi, dan
sisaan (residual). Kelebihan metode ini adalah memberikan informasi tambahan, yaitu
dengan memperhatikan besarnya besar ( Y i−Y^ ip ¿ ² untuk setiap pengamatan ke-i. Metode
PRESS banyak memberikan informasi yang teperinci tetapi tidak praktis karena perhitungan
yang dilakukan terlalu banyak.
Contoh Kasus
Tentang pengaruh kerja (X1) dan motivasi pimpinan (X2) terhadap produktivitas kerja (Y)
dengan ukuran sampel 15 pada suatu perusahaan.
Responden
X1
X2
1
10
7
2
12
3
3
4
2
4
6
4
5
8
6
6
7
5
7
14
5
8
6
3
9
7
4
10
5
5
11
15
7
12
10
2
13
3
5
14
17
4
15
20
8
Dari data tersebut akan dilakukan dianalisis dengan menggunakan SPSS.
Metode seleksi maju (forward selection)
Variables Entered/Removeda
Model
Variables
Variables
Entered
Removed
Method
1
Forward
VAR00002
.
(Criterion:
Probability-of-Fto-enter 0,05)
Sehinggga diperoleh model akhir yang digunakan metode seleksi maju (forward
selection) adalah :
Y^ =8,941+1,388 X 2
Metode Stepwise Regression
Variables Entered/Removeda
Model
Variables
Variables
Entered
Removed
Method
1
Stepwise
(Criteria:
Probability-of-FVAR00002
. to-enter = ,
100).
a. Dependent Variable: VAR00004
Model Summary
Model
R
.963a
1
R Square
Adjusted R
Std. Error of the
Square
Estimate
.927
.922
2.03392
a. Predictors: (Constant), VAR00002
ANOVAb
Model
1
Sum of Squares
Regression
Mean Square
685.155
1
685.155
53.779
13
4.137
738.933
14
Residual
Total
df
a. Predictors: (Constant), VAR00002
b. Dependent Variable: VAR00004
F
165.623
Sig.
.000a
Coefficientsa
Standardized
Unstandardized Coefficients
Model
1
B
Coefficients
Std. Error
(Constant)
8.941
1.161
VAR00002
1.388
.108
Beta
t
.963
Sig.
7.701
.000
12.869
.000
a. Dependent Variable: VAR00004
Excluded Variablesb
Collinearity
Statistics
Partial
Model
1
Beta In
VAR00003
-.029a
t
Sig.
-.331
Correlation
.747
-.095
Tolerance
.791
a. Predictors in the Model: (Constant), VAR00002
b. Dependent Variable: VAR00004
Sama seperti out put sebelumnya output pada stepwise regression juga terdiri atas 5 buah
tabel. Tabel pertama menerangkan bahwa metode yang digunakan adalah metode stepwise
regression yang dilakukan dalam satu tahap dengan kinerja kariawan sebagai variabel
dependen dan lingkungan kerja sebagai variabel independen yang pertama dimasukan ke
dalam model. Masih sama seeperti output pada forward selections. Jadi model akhir yang
digunakan untuk metode stepwise regression adalah :
Y^ =8,941+1,388 X 2
BAB III
PENUTUP
3.1 Kesimpulan
1. Ada empat kriteria dalam pemilihan model terbaik dalam analisis regresi, diantaranya:
Uji Fp
Kuadrat rata-rata sesatan(KRS)
Statistik Cp mallows
Kriteria informasi
2. Ada 5 metode yang biasa digunakan untuk pemilihan model terbaik dalam analisi
regresi, yaitu :
Metode seleksi maju(Forward Selection)
Eliminasi mundur (Backward Elimination)
Stepwise Regression
All Possible Regression
Prediction Sum of Squeres (PRESS)
(Pemilihan Model Regresi
Terbaik )
PEMBAHASAN
2.1 Kriteria Pemilihan Model Terbaik
Ada beberapa kriteria pemilihan model terbaik dalam analisis regresi, diantaranya :
A.Uji Fp
Uji Fp merupakan suatu kriteria pemilihan model terbaik dengan membandingkan
fungsi atau model yang memiliki jumlah variabel independen lebih sedikit dengan model
yang memiliki jumlah variabel independen lebih banyak. Syaratnya, model yang lbih
sederhana adalah anak gugus dari model yang lebih kompleks. Alat yang digunakan adalah
uji F. Uji F banyak digunakan untuk melihat manfaat penambahan variabel independen dalam
model.
Uji hipotesis :
Ho : kedua model tidak berbeda satu sama lain.
Hi : kedua model berbeda secara signifikan.
Statistik uji :
Fp=
(JKS a−JKSb )/(b−a)
JKS b /(n−b)
Dimana :
JKS a : jumlah kuadrat sesatan untuk model dengan a parameter
JKS b : jumlah kuadrat sesatan untuk model dengan b parameter
n
: banyaknya pengamatan
Daerah kritik :
Pada tingkat kepercayaan (1- φ ¿∗100 , Ho ditolak jika
φ¿
B. Kuadrat Rata-Rata Sesatan (KRS)
Fp
> F ((b-a);(n-b);
Misalkan terdapat m kemungkinan model yang dapat menggambarkan hubungan
antara variabel dependen dan beberapa variabel independen. Untuk setiap model dapat
dihitung nilai kuadrat rata-rata sesatannya yang didefinisikan sebagai berikut :
KRS m=
Dimana :
JKS m
(n−P)
KRS m : jumlah kuadrat rata-rata sesatan untuk model ke- k
JKS m : jumlah kuadrat sesatan untuk model ke- k
P : jumlah parameter model ke- k
Model terbaik adalah model yang memiliki nilai
KRS m
2
m
minimum. Kriteria lain
2
m
yang dapat digunakan koefisien korelasi berganda
disebut juga koefisien
r .r
determinasi yang dapat diartikan sebagai banyaknya proporsi keragaman variabel dependen
(Y) yang dapat diterangkan oleh model (0 ≤ r 2m ≤ 1 . Nilai r 2m akan cenderung bertambah
atau naik seiring bertambahnya jumlah variabel independen (X) atau bertambahnya jumlah
parameter dalam model.
C. Statistik Cp Mallows
Rumus statistik Cp mallows model ke-m adalah :
Cp=
JKSm
S2
−(n−2 p)
Dimana :
S 2=KRS=
n
1
(Y i−Y^ i )2 ; penduga tak bias dari σ 2
∑
( n− p) i=1
Nilai harapan dari Cp, adalah :
E( C p ¿=E
= E(
JKSm
S2
−(n−2 p)
JKSm
S2
¿−(n−2 p)
2
Karena E( JKS m ¿=( n− p ) E ( KRS m )=(n− p)σ
E( C p ¿=
( n− p ) σ 2
−(n− p)
σ2
=p
Dengan demikian model yang diharapkan (terbaik) adalah model yang memberikan nilai Cp
p.
D. Kriteria Informasi
Terdapat dua kriteria informasi yang sering digunakan, yaitu Akaike Information
criterion (AIC) dan Bayesian Infomation Criterion (BIC). Misalnya terdapat model m, maka
rumus-rumus AIC dan BIC medel ke-m berturut-turut dapat ditulis :
AIC m =−2 ln
JKS m
+2 p
n
BIC m =−2 ln
( JKSn )+ p ln n
m
Dimana :
JKS m : jumlah kuadrat sesatan untuk model ke-m
n
: jumlah data sampel
p
: jumlah parameter model ke-m
Baik AIC maupun BIC dengan formula 2p dan p ln(n) memberikan pinalti terhadap
penambahan jumlah parameter. Model terbaik adalah model yang memberikan nilai AIC dan
BIC minimum.
2.2 Metode Pemilhan Model Terbaik
Ada 5 metode yang biasa digunakan untuk pemilihan model terbaik dalam analisi
regresi, yaitu :
Metode seleksi maju(Forward Selection)
Eliminasi mundur (Backward Elimination)
Stepwise Regression
All Possible Regression
Prediction Sum of Squeres (PRESS)
2.2.1 Metode Seleksi Maju (Forward Selection )
Model seleksi maju merupakan metode yang populer pada saat komputer belum
berperan. Salah satu keuntungan metode ini adalah disajikannya melalui proses pembentukan
model setahap demi setahap. Pada metode ini, variabel independen dimasukan satu persatu
menurut urutan besar pengaruh terhadap variabel dependen. Metode ini dimulai dengan
menghitung koefisien korelasi variabel independen dengan variabel dependen
r
¿
YX
,
,,
i=1,2,
… , p ) , variabel independen yang memiliki koefisien korelasi terbesar
(¿
i
¿
(tanpa memperhatikan tanda korelasi + atau -) dimasukan pertama kali kedalam model.
Misalkan terdapat 3 buah variabel independen ( X 1 , X 2 , X 3 ¿ dan diketahui nilai koefisien
korelasi terbesar adalah r YX . Jadi variabel independen yang pertama kali dimasukan
kedalam model adalah X 2 dan diperoleh model awal :
2
Y^ = β^ 0 + ^β 2 X 2
Selanjutnya lakukan uji hipotesis dengan Ho : β 2 = 0 dengan H1 : β 2 ≠ 0 , jika
terima Ho makan proses analisis selesai dan dapat dipastikan variabel independen lainnya
tidak signifikan menjelaskan Y. Namun jika tolak Ho maka X 2 masuk kedalam model dan
langkah selanjutnya menghitung korelasi parsial variabel independen lainnya ( X 1 , X 3 ¿
dengan menganggap X 2 tertentu dan begitu selanjutnya sampai analisis selesai dan model
sudah terpilih.
Kelebihan dan Kekurangan Forward Selection
1. Kelebihan prosedur Forward selection diantaranya sebagai berikut:
Metode forward, backward, dan stepwise merupakan alternative untuk mengurangi
kemungkinan adanya multikolinearitas dalam model yang dihasilkan.
2. Kelemahan prosedur Forward Selection adalah diantaranya;
Lama dalam penghitungan , karena harus menghitung satu-satu dari peubah yang
ada, dari peubah yang memiliki F tersebar.
Dalam metode ini, ada kemungkinan untuk memasukkan lebih banyak variabel yang
tidak begitu signifikan ke dalam model dibanding metode backward dan stepwise,
karena MSE yang dihasilkan forward akan lebih kecil yang menyebabkan nilai Fobs
besar.
Prosedur ini tidak selalu mengarahkan ke model yang terbaik, mengingat kita hanya
mempertimbangkan sebuah subset kecil dari semua model-model yang mungkin.
Sehingga resiko melewatkan atau kehilangan model terbaik akan bertambah seiring
dengan penambahan jumlah variabel bebas.
2.2.2 Eliminasi Mundur (Backward Elimination)
Metode ini adalah kebalikan dari metode seleksi maju. Pertama masukan semua
variabel independen kedalam model. Misalkan terdapat 4 variabel independen (
X 1 , X 2 , X 3 , X 4 ¿ maka model awal dapat ditulis :
Y^ = β^ 0 + ^β 1 X 1 + ^β 2 X 2 + β^ 3 X 3 + ^β 4 X 4
Selanjutnya lakukan uji hipotesis untuk keseluruhan model, Ho :
β 1=β 2=β 3=β 4 =0 . jika terima Ho maka proses analisis selesai dan dapat disimpulkan
bahwa tidak ada variabel independen yang dapat menjelaskan Y secara signifikan. Namun
jika tolak Ho maka perhatikan koefisien regresi atau besarnya pengaruh setiap variabel
independen. Misalkan variabel independen yang memiliki pengaruh paling kecil adalah X 3,
ujilah apakah pengaruh variabel tersebut signifikan atau tidak. Jika pengaruhnya signifikan
maka proses analisis selesai dan model awal diatas merupakan model terpilih. Namun jika
pengaruhnya tidak signifikan maka X 3 harus dikeluarkan dari model.
• Jika FL < F0, maka X yang bersangkutan dikeluarkan dari model dan dilanjutkan dengan
pembuatan model baru tanpa variable tersebut
• Jika FL>F0, maka proses dihentikan dan persamaan terakhir tersebut yang digunakan atau
dipilih.
2.2.3 Stepwise Regression
Stepwise regression adalah satu cara untuk memperoleh model terbaik secara
sistematis, mulai dari model dengan satu variabel independen (X),kemudian menambah
variabel independen berikutnya sambil melihat kemungkinan membuang varibel independen
yang ada dalam model. Metode ini merupakan kombinasi dari metode forward selection dan
metode backward elimination. Metode ini populer pada tahun 70-an.
Pada metode forward selection kemungkinan untuk memasukan variabel independen
dengan kriteria besarnya korelasi atau korelasi parsial antara variabel independen dengan
variabel dependen. Perhatikan, setelah terdapat sedikitnya 2 variabel independen (X),
kemungkinan membuang X yang tidak signifikan dengan langkah mundur. Demikian
seterusnya sampai tidak ada lagi variabel independen (X) yang dapat dibuang ataupun
dimasukan. Metode stepwise regression hanya memberikan satu model terbaik tanpa model
alternatif lain jika model yang terpilih sulit diaplikasikan.
2.2.4 All Possible Regression
All possible regression atau semua kemungkinan regresi adalah metode pemilihan
model terbaik dengan cara menghitung semua kombinasi variabel independen yang mungkin.
Misal ada p variabel independen, maka akan ada sebanyak 2 p−1 persamaan regresi yang
perlu diperhatikan dengan kriteria tertentu.
Misalkan terdapat tiga variabel independen ( X 1 , X 2 , X 3 ¿
hitunglah kemungkinan
model!
p
3
2 −1=2 −1=8−1=7
Metode ini memungkinkan beberapa metode alternatif, namun jumlah variabel
independen relatif banyak sehingga banyaknya model yang harus dihitung bertambah dan
membutuhkan proses yang lama.
2.2.5 Prediction Sum of Squares (PRESS)
Tujuan utama pembentukan modal terhadap suatu permasalahan adalah untuk
memprediksi atau peramalan. Indikator prediksi yang baik adalah nilai prediksi sama atau
hampir sama dengan kenyataan. Prediction sum of squares (PRESS) atau penduga jumlah
kuadrat diusulkan oleh Allen pada tahun 1974 yaitu tentang penggunaan semua pegamatan,
kecuali pengamatan ke-i untuk memprediksi nilai variabel dependen (Yi). Misalkan ada n
pengamatan, langkah-langkah perhitungannya adalah :
Hilangkan atau buang data ke-i dari variabel dependen dan independennya.
Hitunglah semua kemungkinan model regresi.
Lakukan pendugaan nilai variabel dependen ( Y i ¿ untuk tiap model namakan
Y^
(¿¿ ip) untuk model dengan parameter p.
¿
Untuk tiap model hitung, khusus data ke-i yang dihilangkan :
n
M p=∑ (Y i−Y^ ip ) ²
i=1
Pilih model yang memberikan nilai
mengandung variabel independen.
Mp
terkecil tetapi tidak terlalu banyak
Metode PRESS merupakan kombinasi antara metode all possible regression, prediksi, dan
sisaan (residual). Kelebihan metode ini adalah memberikan informasi tambahan, yaitu
dengan memperhatikan besarnya besar ( Y i−Y^ ip ¿ ² untuk setiap pengamatan ke-i. Metode
PRESS banyak memberikan informasi yang teperinci tetapi tidak praktis karena perhitungan
yang dilakukan terlalu banyak.
Contoh Kasus
Tentang pengaruh kerja (X1) dan motivasi pimpinan (X2) terhadap produktivitas kerja (Y)
dengan ukuran sampel 15 pada suatu perusahaan.
Responden
X1
X2
1
10
7
2
12
3
3
4
2
4
6
4
5
8
6
6
7
5
7
14
5
8
6
3
9
7
4
10
5
5
11
15
7
12
10
2
13
3
5
14
17
4
15
20
8
Dari data tersebut akan dilakukan dianalisis dengan menggunakan SPSS.
Metode seleksi maju (forward selection)
Variables Entered/Removeda
Model
Variables
Variables
Entered
Removed
Method
1
Forward
VAR00002
.
(Criterion:
Probability-of-Fto-enter 0,05)
Sehinggga diperoleh model akhir yang digunakan metode seleksi maju (forward
selection) adalah :
Y^ =8,941+1,388 X 2
Metode Stepwise Regression
Variables Entered/Removeda
Model
Variables
Variables
Entered
Removed
Method
1
Stepwise
(Criteria:
Probability-of-FVAR00002
. to-enter = ,
100).
a. Dependent Variable: VAR00004
Model Summary
Model
R
.963a
1
R Square
Adjusted R
Std. Error of the
Square
Estimate
.927
.922
2.03392
a. Predictors: (Constant), VAR00002
ANOVAb
Model
1
Sum of Squares
Regression
Mean Square
685.155
1
685.155
53.779
13
4.137
738.933
14
Residual
Total
df
a. Predictors: (Constant), VAR00002
b. Dependent Variable: VAR00004
F
165.623
Sig.
.000a
Coefficientsa
Standardized
Unstandardized Coefficients
Model
1
B
Coefficients
Std. Error
(Constant)
8.941
1.161
VAR00002
1.388
.108
Beta
t
.963
Sig.
7.701
.000
12.869
.000
a. Dependent Variable: VAR00004
Excluded Variablesb
Collinearity
Statistics
Partial
Model
1
Beta In
VAR00003
-.029a
t
Sig.
-.331
Correlation
.747
-.095
Tolerance
.791
a. Predictors in the Model: (Constant), VAR00002
b. Dependent Variable: VAR00004
Sama seperti out put sebelumnya output pada stepwise regression juga terdiri atas 5 buah
tabel. Tabel pertama menerangkan bahwa metode yang digunakan adalah metode stepwise
regression yang dilakukan dalam satu tahap dengan kinerja kariawan sebagai variabel
dependen dan lingkungan kerja sebagai variabel independen yang pertama dimasukan ke
dalam model. Masih sama seeperti output pada forward selections. Jadi model akhir yang
digunakan untuk metode stepwise regression adalah :
Y^ =8,941+1,388 X 2
BAB III
PENUTUP
3.1 Kesimpulan
1. Ada empat kriteria dalam pemilihan model terbaik dalam analisis regresi, diantaranya:
Uji Fp
Kuadrat rata-rata sesatan(KRS)
Statistik Cp mallows
Kriteria informasi
2. Ada 5 metode yang biasa digunakan untuk pemilihan model terbaik dalam analisi
regresi, yaitu :
Metode seleksi maju(Forward Selection)
Eliminasi mundur (Backward Elimination)
Stepwise Regression
All Possible Regression
Prediction Sum of Squeres (PRESS)