course 9 linear regression with

Reference
•

https://www.analyticsvidhya.com/blog/2016/01/complete-tutorial-ridge-lassoregression-python/

•

Andrew Rosenberg, 2009, Lecture 5: Linear Regression with Regularization
CSC 84020 - Machine Learning

•

Hastie T., Tibshirani R., Friedman J.,

Linear Regression

Example Model
1

3
Manakah model yang

paling baik?

2

4

Bias-Variance Trade Off
•

Suatu model, ketika terjadi
overfitting: bias kecil, variansi besar

•

Ketika underfitting: bias besar,
variansi kecil

•

Semakin kompleks suatu model,

maka akan terjadi overfitting

Overfitting terjadi ketika suatu model menggambarkan
setiap input dari data, daripada meng-generalisasi-kan

Avoid Overfitting

Subset selection

Subset Selection
Solution

Problem
•

Methods:
•

•

Stepwise Selection
•
•
•

1. Akurasi prediksi: memiliki bias kecil, tapi variansi besar. Dapat ditingkatkan
dengan menyusutkan beberapa koefisien ke 0, sehingga akan mengurangi
variansi.
2. Interpretasi: dengan variabel yang sedikit, ingin memperoleh prediksi
optimal.

Best Subset Selection
Forward
Backward
Hybrid Approach

Regularization
Nilai koefisien pada
example model. Dimana
�� merupakan estimasi

parameter

Ridge Regression

Rumus error ketika regresi tidak diregulasi

Rumus error ketika regresi diregulasi
dengan � norm (Ridge Regression)

� merupakan parameter regulasi

Example
•

Contoh hasil regulasi

Nilai error

Nilai ln �

Regulasi dengan nilai
ln � = − 8
� = �− 8

Regulasi dengan nilai
ln � =
�=� =

Lasso Regression
•

Penambahan � norm

Summary
Summary:
1. Subset Selection, Ridge and LASSO are decreasing complexity,

decreasing

variance, increasing bias (slower), and increasing interpretability of a model.

2. Ridge does

’t perfor

a varia le sele tio , ut LASSO does (regresi ridge tidak

menyeleksi variabel. Regresi lasso menyeleksi variabel dengan memberi nilai 0

pada variabel yang tidak signifikan.)
3. LASSO can handle p>n easily when it has a proper penalty term