Regresi pertama kali diperkenalkan pada tahun 1877 oleh Sir Francis Galton, pada penelitiannya terhadap manusia. Penelitian tersebut membandingkan antara tinggi
anak laki-laki dan tinggi badan orang tuanya. Istilah regresi pada mulanya bertujuan untuk membuat perkiraan nilai suatu variabel tinggi badan anak terhadap suatu
variabel yang lain tinggi orangtua. Pada perkembangan selanjutnya, analisa regresi digunakan sebagai alat untuk membuat perkiraan nilai suatu variabel dengan
menggunakan beberapa variabel lain yang berhubungan dengan variabel tersebut Algifari,2000.
Secara umum, model regresi sederhana dapat dituliskan dalam bentuk : 2.4
Model regresi sederhana 2.4 untuk populasi di atas dapat ditaksir berdasarkan sampel acak yang berukuran n dengan model regresi untuk sampel yaitu:
2.5 Dengan :
Variabel Tak bebas Variabel bebas explanatory variable
Nilai intercept koefisien Regresi
penduga parameter sisaan
2.7.1 Analisis Regresi Berganda
Dalam analisis regresi berganda terdapat satu variabel tak bebas dan dua atau lebih variabel bebas. Secara umum, persamaan regresi berganda dapat dibuat dalam bentuk
berikut: untuk populasi
2.6 untuk sampel
2.7
Universitas Sumatera Utara
2.7.2 Metode Matriks
2.7.2.1 Konsep Dasar dan Definisi Matriks
Pangeran Sianipar, 2008. Aljabar Linier Matriks ialah susunan berbentuk empat persegi panjang dari elemen-elemen bilangan-bilangan yang terdiri dari beberapa
baris dan kolom dibatasi dengan tanda kurung, seperti bentuk :
Atau disingkat dengan :
Disebut matriks tingkat , karena terdiri dari baris dan kolom. Setiap
disebut unsur elemen dari matriks, sedangkan dan berturut-turut menyatakan baris dan kolom. Jadi elemen
terdapat pada baris ke- dan kolom ke- . Pasangan bilangan
disebut ukuran atau bentuk dari matriks .
2.7.2.2 Transpos Suatu Matriks
Jika baris-baris dan kolom-kolom dari suatu matriks dipertukarkan baris
pertama menjadi kolom pertama dan seterusnya , maka diperoleh suatu matriks yang disebut transpos matriks.
Transpos suatu matriks A, dilambangkan dengan , ialah matriks yang diperoleh
dari A dengan mempertukarkan baris dengan lajurnya. Jadi bila
Universitas Sumatera Utara
A = maka
=
2.7.2.3 Penjumlahan dan Pengurangan Matriks
Dua matriks yang berukuran sama dapat dijumlahkan maupun dikurangkan dengan menambahkan ataupun mengurangkan unsur yang sesuai. sebagai contoh bila
A= dan B=
Maka
Sedangakan
2.7.2.4 Perkalian Matriks
Perkalian dua matriks hanya dapat dikerjakan bila keduanya memenuhi sifat tertentu dan perkalian itu dikerjakan dengan cara yang tertentu pula. Dua matriks bujur
sangkar yang berukuran sama selalu dapat diperkalikan. Sedangkan perkalian AB hanya memenuhi arti bila banyaknya lajur A sama dengan banyaknya baris B. Jadi
bila A dinyatakan dengan a
ij
dan unsur B dinyatakan dengan b
jk
maka unsur C=AB adalah
Perhatikan bahwa pada umumnya AB ≠BA
Bila A=
dan B= Maka
AB =
Universitas Sumatera Utara
Dalam perkalian ini, BA tidak dapat dilakukan tidak terdefenisi . akan tetapi bila A dan B setangkup dan perkalian AB terdefenisi maka AB=BA. Perkalian suatu matriks
dengan matriks satuan akan menghasilkan matriks itu sendiri.
2.7.2.5 Invers Suatu Matriks
Misalkan A suatu matriks bujur sangkar p×p. Suatu matriks B ukuran p×p disebut inversi balikan dari A bila dipenuhi
. Lambang yang biasa digunakan untuk inversi adalah
, jadi .
Tidak mudah menghitung inversi suatu matriks kecuali bila ukurannya kecil seperti 2×2, atau bila bentuknya amat sederhana. Untuk matriks dengan ukuran yang lebih
besar dan bentuknya tidak sederhana biasanya perhitungan inversnya dikerjakan dengan komputer.
2.7.2.6 Determinan Matriks
Determinan adalah suatu skalar angka yang diperoleh dari suatu matriks bujur sangkar selalui operasi khusus. Disebut operasi khusus karena dalam proses
penurunan determinan dilakukan perkalian-perkalian. Determinan dinotasikan dengan tanda | |.
Salah satu cara dalam perhitungan determinan, adalah dengan menggunakan metode Pivot.
Bila A=
Maka
Dengan banyakny kolom
Universitas Sumatera Utara
2.7.2.7 Minor dan Kofaktor suatu Determinan
Diketahui suatu determinan dari suatu matriks A tingkat n. Jika elemen-elemen dari baris ke- dan kolom ke- semuanya dikeluarkan akan terdapat suatu determinan dari
matriks tingkat , yang disebut minor pertama dari matriks A yang ditulis
dengan . Harga dari minor ditulis dengan
, disingkat dengan dari
elemen , jadi :
Contoh.
Bila A=
Minor dari A adalah
dan seterusnya sampai
Sehingga kofaktornya adalah
dan seterusnya sampai
Universitas Sumatera Utara
2.7.3 Penaksiran Parameter
Untuk mendapatkan taksiran parameter dari sampel dapat dilakukan dengan taksiran OLS ordinary least square, yaitu dengan cara meminimumkan nilai sisaan .
Persamaan 2.6 ditulis kembali yaitu 2.8
2.9
Untuk mencari dilakukan dengan meminimumkan jumlah kuadrat
galat
Dengan menurunkan S secara parsial terhadap dan samakan dengan
nol maka:
2.10
Setelah disusun kembali dan mengganti semua parameter dengan penaksirnya, sistem persamaan ini dapat ditulis dalam persamaan normal yaitu:
Universitas Sumatera Utara
2.11
Jika persamaan normal dibentuk dalam bentuk matriks maka persamaan 2.11 menjadi :
2.12 Dengan menyelesaikan persamaan 2.12 diperoleh :
Dalam bentuk matriks dapat dituliskan
Dalam persamaan regresi linear jika terdapat selisih Y dan maka selisih tersebut disebut dengan kesalahan penggangu atau kekeliruan yaitu kesalahan yang
disebabkan oleh faktor-faktor lain selain X
i
yang mempengaruhi Y akan tetapi belum
Universitas Sumatera Utara
diperhitungkan tidak dimasukkan dalam persamaan ukuran tersebut dapat dihitung oleh kekeliruan baku taksiran
, yang dapat ditentukan dengan rumus : 2.13
Dengan : nilai data hasil pengamatan
nilai hasil regresi banyak sampel
banyak variabel bebas
2.7.4 Regresi dengan Variabel Dummy
Dalam analisis regresi, seringkali variabel penjelas tidak hanya dipengaruhi oleh variabel yang bersifat kuantitaf, tetapi bisa juga dipengaruhi oleh variabel yang
bersifat kualitatif. Variabel yang bersifat seperti : jenis kelamin, suku, agama, kejadian politik dan lain-lain tersebut perlu dibuat kuantitatif dengan membentuk variabel baru
yang bernilai 0 dan 1. Dimana 0 menunjukkan ketidakhadiran ciri tersebut, sedangkan 1 menunjukkan adanya ciri tersebut. sedangkan untuk pemberian 0 dan 1 untuk setiap
kategori diberikan sembarang arbitrary.
Variabel dummy dapat digunakan dalam model regresi semudah variabel kuantitatif. Dalam sebuah model regresi, bisa saja semua variabel prediktor
merupakan variabel dummy , atau gabungan dari variabel kuantitatif dan dummy, sebagaimana dituliskan dalam persamaan regresi berikut:
Dengan mengasumsikan bahwa , maka diperoleh nilai ekspektasi dari
variabel respon untuk masing-masing sebagai berikut :
untuk D=0 dan
Universitas Sumatera Utara
untuk D=1
Dengan kata lain bahwa fungsi dalam hubungannya dengan mempunyai kemiringan yang sama
tetapi intersep berbeda untuk tiap-tiap
Dalam regresi dengan variabel dummy, jika suatu variabel kualitatif mempunyai m kategori, maka digunakan hanya m-1 variabel dummy. Jika tidak
dipenuhi, maka akan terjadi multikolinearitas perfect multicolinearity.
2.7.5 Membandingkan Dua Regresi
