View of ESTIMASI PARAMETER DAN UJI HIPOTESIS PADA MODEL LINEAR MULTIVARIAT DENGAN METODE LDL
ESTIMASI PARAMETER DAN UJI HIPOTESIS
PADA MODEL LINEAR MULTIVARIAT DENGAN METODE LDL
Makkulau (makkulau@statistika.its.ac.id) Jurusan Matematika, FMIPA Universitas Haluoleo, Kendari
Susanti Linuwih, Purhadi, Muhammad Mashuri Jurusan Statistika, Institut Teknologi Sepuluh Nopember
Rahmawati Pane Jurusan Matematika, FMIPA Universitas Sumatera Utara, Medan
ABSTRACT
Outliers are observations (data) that lies in an abnormal distance from other observations. Outliers can be distinguished into outliers of univariate or multivariate observation and outliers of univariate or multivariate linear models. Multivariate linear model is a linear model with more than one dependent (response) variables. This research studied parameter estimation and hypothesis test for multivariate linear model using Likelihood Displacement Statistic-Lagrange Method called as LDL method for detecting outlier observations in multivariate linear models with the LDL statistical test.Am Keywords : estimation of parameter, likelihood displacement statistic-lagrange, multivariate linear models, outlier detection.
Pencilan (outlier) dibedakan atas outlier pada pengamatan (data) univariat atau multivariat dan outlier pada model linear univariat atau multivariat. Pendeteksian outlier pada pengamatan telah dilakukan antara lain oleh Hawkins (1980), Barnett dan Lewis (1994), Peña dan Prieto (2001), Filzmoser (2005), dan lain-lain. Pendeteksian outlier pada model linear telah dilakukan antara lain oleh Cook (1977), Rousseeuw (1984), Peña dan Guttman (1993), Srivastava dan von Rosen (1998), Diaz-Garcia, Gonzalez-Farias, dan Alvarado-Castro (2007), dan lain-lain. Outlier yang merupakan pengamatan yang menyimpang sedemikian jauh dari pengamatan lain, dapat mempunyai efek bagi pengambilan suatu kesimpulan atau keputusan pada penelitian.
Xu, Abraham, dan Steiner (2005) mengembangkan jarak univariat Cook untuk mendeteksi
outlier pada model linear multivariat dengan Metode Likelihood Displacement Statistic disingkat
Metode LD, seperti pada Makkulau, Linuwih, Purhadi, dan Mashuri (2007a), prosedurnya dapat dilihat pada Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2008) dan aplikasinya dapat dilihat pada Makkulau, Linuwih, Purhadi, dan Mashuri (2009); Metode lain yang digunakannya adalah Metode
Likelihood Ratio Statistic for a Mean Shift disingkat Metode LR, seperti pada Makkulau, Linuwih, S.,
Purhadi, & Mashuri, M. (2007b); dan Metode Multivariate Leverage yang menggunakan elemen dari
the average diagonal Q disingkat ADQ untuk mengukur keekstriman dari m pengukuran pada A m
variabel independen. Xu, Abraham, dan Steiner (2005) dalam mengestimasi parameter dengan Metode LD dan Metode LR dari model linear multivariat tidak menggunakan fungsi pengganda
Lagrange. Penelitian ini mengkaji estimasi parameter dan uji hipotesis pada model linear multivariat
dengan Metode LDL.Jurnal Matematika, Sains, dan Teknologi, Volume 10, Nomor 1, Maret 2010, 1-9 Model Linear Multivariat
nxq ih
adalah:
Σ
(2) Estimasi dari parameter
X X X Y
B
T T
ˆ
1
1, 2, , . h q Dengan mengestimasi parameter B pada (1), maka diperoleh
1, 2, , i n dan
E merupakan matriks acak, dimana
Pada model linear multivariat matriks error [ ]
T n
2
p nx p
X X
X
X
1
1
E Estimasi Parameter dan Uji Hipotesis Model Linear Multivariat
β ,β , β , , β , q
p xq
B dan
1 2 ε , ε , , ε . nxq q
1 ˆ ˆ ˆ
1
dan
I X B E :
dimana: adalah perkalian Kronecker
Vec ~ ,
p n N E
Σ I
Vec ~ Vec ,
nq q n N
Y
I
X B Σ IY
q
Σ Y XB Y XB ;
S Y XB Y XB
ˆΣ merupakan estimator bias untuk
Σ .
1 ˆ ˆ rank( )
T n
X
Vec Vec Vec
; S merupakan estimator tak bias untuk
Σ .
Vektorisasi matriks variabel dependen pada (1) ditulis Vec(
Y
) (Christensen, 1991) adalah
1, , , , ,
2
Misalkan
dimana , , , 2 ,
, , ,
2
1
1, 2, , , h q dan misalkan
dimana
X X X
iq h h i h i ph ip h y
ε
2
2
1
1
1 n i atau
i i iq
y y y
, maka dapat ditulis sebagai β ε ,
adalah variabel independen (variabel prediktor) dan
1
2
, , ,
p
X X
X
1
, , ,
2
, , ,
q
Y Y Y adalah variabel dependen (variabel respon), jika dilakukan n pengamatan yang diambil
pada setiap variabel dependen yang ditulis
1
2
T h h h nh Y y y y
h h h h Y
1
XB E
1
2
ε , , ,
T h h h nh
Model linear multivariat yang terdiri dari q model linear secara simultan dapat ditulis sebagai:
Y
(1) Dengan
adalah vektor parameter berukuran (p+1)x1 dan
1
2
, , , ,
nxq q Y Y Y
Y
X
dimana:
1
2
0 0
h q
T h h h h ph
X X
X X
adalah matriks berukuran nx(p+1)
1
2
β , , , ,
. (3)
Makkulau, Estimasi Parameter dan Uji Hipótesis pada Model Linear Multivariat dengan Metode LDL
Dengan menggunakan sifat hasil kali kronecker diperoleh:
- 1
1 T T T T B ˆ
I X
I X
I X Y
I X X
X Y
Vec Vec Vec( )
q q q q
1 T
ˆ dan distribusi adalah B ˆ B X X .
Vec B Vec ~ N Vec ,
Σ q p 1
Prosedur uji hipotesis parameter pada model linear multivariat adalah:
T T
terhadap
H : B H : B
1 T T
dimana dan P adalah matriks ortogonal (Christensen, 1991). Hipotesis nol ditolak jika P X nilai maksimum dari likelihood di bawah lebih besar dari nilai maksimum keseluruhan. Statistik uji
H rasio likelihood sering diarahkan pada .
Wilk’s Metode Pendeteksian Outlier pada Model Linear Multivariat
Outlier adalah pengamatan yang menyimpang sedemikian jauh dari pengamatan lain
(Hawkins, 1980). Outlier dapat dibedakan atas outlier pada pengamatan univariat atau multivariat dan outlier pada model linear univariat atau multivariat. Outlier pada model linear multivariat dapat dibagi atas 3 kategori, yaitu outlier terhadap nilai X (leverage outlier); outlier terhadap nilai Y (residual outlier); dan outlier terhadap nilai X dan Y (outlier berpengaruh).
Rousseeuw dan Hubert (1997) mengklasifikasikan outlier ke dalam empat kelompok berdasarkan penyebabnya, yaitu observasi umum (regular observations); titik leverage baik (good
leverage points); outlier vertikal (vertical outliers); dan titik leverage jelek (bad leverage points atau X-
Y-outliers).Untuk mendeteksi outlier pada model linear multivariat, Xu, Abraham, dan Steiner, (2005) mengembangkan jarak univariat Cook. Metode yang digunakan adalah Metode LD, yaitu suatu metode yang menghilangkan pengamatan yang diduga outlier pada model seperti pada Makkulau, Linuwih, Purhadi, dan Mashuri (2007a) prosedurnya dapat dilihat pada Makkulau, Linuwih, Purhadi, dan Mashuri (2008) dan aplikasinya dapat dilihat pada Makkulau, Linuwih, Purhadi, dan Mashuri (2009); Metode LR, yaitu suatu metode dengan cara pergeseran rata-rata pada model seperti pada Makkulau, Linuwih, Purhadi, dan Mashuri (2007b); dan Metode Multivariate Leverage yang menggunakan elemen dari the average diagonal disingkat ADQ untuk mengukur keekstriman dari
Q
A
m
m pengukuran pada variabel independen. Fungsi likelihood dalam model linear multivariat ditulissebagai berikut (Christensen, 1991 serta Rencher dan Schaalje, 2008):
1 n nq T
1
1
2
B,
2 exp tr . (4)
Σ Σ Σ Y XB Y XB
2 L
2
Pendeteksian outlier pada model linear multivariat dengan Metode LD dilakukan dengan cara menghilangkan pengamatan yang diduga outlier pada model. Misalkan ada m pengamatan dikumpulkan pada himpunan tertentu, dengan m pengamatan diduga outlier. Indeks adalah
A m
kumpulan dari m pengamatan yang diduga outlier. Dengan kata lain, indeks artinya ada outlier,
A m
sehingga:
Y Y adalah himpunan dengan pengamatan yang ada outlier.
A m
C Y adalah himpunan Y dengan pengamatan tanpa outlier. A m
Jurnal Matematika, Sains, dan Teknologi, Volume 10, Nomor 1, Maret 2010, 1-9 Definisi 1 (Christensen, 1991) Likelihood Displacement Statistic (LD) dengan pengamatan yang ada outlier adalah:
C C
ˆ ˆ ˆ ˆ LD
B, 2 ln L ln L
(5)
A Σ B,Σ B ,Σ A A m m m
Definisi 2 (Christensen, 1991)
LD dengan pengamatan yang ada outlier dan bersyarat adalah:
C C C C C C
ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ
B ,
(6) LD 2 ln L ln L ,
A 1 Σ B ,Σ
1
2
2 B,Σ B ,Σ
1 A
1 A B ,Σ
2 A
2 A B ,Σ A
1 A m m m m m m m
dimana menotasikan suatu fungsi.
C
ˆ Estimator dari B dengan pengamatan tanpa outlier yaitu B adalah:
A m
1 1
1 C T T T T T
ˆ ˆ ˆ
B B
X X X dimana ;
ˆ ; Q
X X X
X E Y X B ˆ. Ι Q E
A A A A A A A A A A m m m m m m m m m m
C
ˆ dan estimator dari dengan pengamatan tanpa outlier yaitu adalah:
Σ Σ A m
1 n
1 C T
ˆ ˆ ˆ ˆ ,
Σ Σ E Q E A A A A m m m m
n m n m
sehingga fungsi likelihood dalam model linear multivariat dengan pengamatan tanpa outlier adalah
C C
ˆ ˆ ˆ ˆ ). LD
B, 2(ln L ln ( L B Σ B,Σ B , A A A m m m
Cara lain pendeteksian outlier pada model linear multivariat dengan Metode LR dilakukan dengan cara pergeseran rata-rata pada model, yang ditulis dalam bentuk model:
C C Z Y
XB Z z z z , dan z , j i i , , , i A
Ψ E ; dimana: A i 1 i 2 im j
1 2 m m m : yaitu matriks pergeseran yang berhubungan dengan pengamatan di himpunan A .
Ψ mxq m
C Y
XB Z
E adalah pergeseran rata-rata. Menurut Xu et al. (2005), untuk sampel besar:
Ψ A m
2
ˆ ˆ
n n Σ Σ
H H
2 n
Jika , maka 2ln n ln ~
Λ Λ q
ˆ ˆ ˆ ˆ ˆ ˆ
n n n n Σ Σ Σ Σ Σ Σ
H H H H
METODE ANALISIS
Estimasi parameter dan uji hipotesis pada model linear multivariat dengan Metode LDL, berdasarkan langkah-langkah sebagai berikut: i. Mengumpulkan m pengamatan yang diduga outlier. ii. Mendeteksi outlier pada pengamatan dalam model linear multivariat dengan asumsi
Vec E ~ N , dimulai dengan membuat fungsi likelihood L B, , lalu
Σ I Σ
p n
menentukan ˆB dan dengan menggunakan Metode Maximum Likelihood Estimate disingkat ˆΣ
ˆ ˆ Metode MLE untuk mendapatkan .
L B, Σ
Makkulau, Estimasi Parameter dan Uji Hipótesis pada Model Linear Multivariat dengan Metode LDL
iii. Memaksimumkan fungsi likelihood dengan kendala jika ada m buah pengamatan
L B, Σ
adalah outlier menggunakan pengganda Lagrange, lalu membuat ln L B, dan menentukan
Σ C C C C
ˆ ˆ ˆ ˆ B untuk mendapatkan L B , .
,
A Σ A A Σ A m m m m
iv. Menentukan LDL .
A m
HASIL DAN PEMBAHASAN
Penelitian ini dibatasi hanya pada pendeteksian outlier pada model linear multivariat dengan Metode LDL. Pendeteksian outlier pada model linear multivariat dimulai dengan memisalkan ada m pengamatan yang diduga outlier A dari , sehingga Y adalah himpunan
Y Y , , , Y , , Y m
1 2 h q A m
C
Y dengan pengamatan yang ada outlier dan Y adalah himpunan Y dengan pengamatan tanpa
A
m
outlier. Sebelumnya, jika dipunyai variabel independen sebanyak p dan variabel dependen sebanyak
q, maka model linear multivariat (1) secara simultan dapat ditulis sebagai:Y J
X B E
X B E (7)
nxq nx
1 1 nxq nxq p 1 xq nx p 1 p 1 xq nx p
1
Pendeteksian outlier pada model linear multivariat dengan asumsi Vec E ~ N , seperti pada (3) dimulai dengan membuat fungsi likelihood untuk
Σ I p n
populasi , lalu menentukan dan . Untuk mengestimasi parameter B pada (7) dengan
L B, ˆB Σ
ˆΣ fungsi likelihood seperti pada (4), maka estimasi (7) dengan Metode MLE dimulai dengan me-ln-kan (4), sehingga:
T nq n
1
1
(8) ln L
B, ln 2 ln tr Σ Σ Σ Y XB Y XB
2
2
2 Kemudian (8) diturunkan terhadap B :
ln L
1
1
1 T
1 T
B, Σ
ˆ ˆ diperoleh:
tr 2 tr 2 ,
Σ Y XB X Σ X Y XB
B
2
2
1 T T
ˆ
B
X X
X Y
Kemudian (8) diturunkan terhadap , maka:
Σ
T
ln L
1
1
1
1
B, Σ
ˆ ˆ ˆ ˆ ˆ
, diperoleh: tr n
Σ Σ Σ Y XB Y XB
2
Σ T
1 ˆ ˆ ˆ
Σ Y XB Y XB n
Dari (7) diperoleh pula Y ~ N
XB , dan dalam bentuk vektor ditulis: Σ I p
Y I
X B E dengan Vec E ~ N , .
Vec Vec Vec , Σ I
q p n
Jurnal Matematika, Sains, dan Teknologi, Volume 10, Nomor 1, Maret 2010, 1-9
Untuk memaksimumkan fungsi likelihood dengan kendala
L B, Σ
T
- 1
ˆ ˆ
B B ( ) B B jika ada m buah variabel dependen
Vec Vec Var Vec B Vec Vec
adalah outlier dengan menggunakan pengganda Lagrange, dimulai dengan membuat dan ln L B,
Σ C C C C
ˆ ˆ ˆ ˆ menentukan B , , sehingga didapat L B , . Kemudian membuat
Σ A Σ A A A m m m m
C C
ˆ ˆ ˆ ˆ LDL 2 ln L B, ln L .
A Σ B ,Σ A A m m m
C
ˆ Fungsi likelihood untuk B yaitu (4), sehingga fungsi likelihood untuk B adalah:
A m n m
1
1 C C C C C C C C C C
1 T n m p
2
2
ˆ ˆ
L B ,
2 exp tr
A Σ A Σ A Σ A Y X B A A A Y X B A A A m m m m m m m m m m
2
C C
ˆ Setelah didapatkan ˆB dan seperti di atas, selanjutnya ditentukan dan B ˆ .
ˆΣ
Σ A A m m
Berdasarkan (5) dan (6) diperoleh:
C C C C C C C C B ˆ , ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ
ln L , max ln L ,
1 A Σ
1 A B ,Σ
2 A
2 A B ,Σ
1 A
1 A B ,Σ
1 A
1 A B ,Σ
2
2 m m m m m m β ,Σ m m
2 2
C C C C
ˆ ˆ ˆ ˆ ˆ ˆ dengan B , , maka dan .
Σ B ,Σ B B Σ Σ
1 1
1 A
1 A
1 A
1 A m m m m
C C C C C
Berdasarkan (7), maka Y
X B E dan Y
0 I , dan dari (2)
Vec ~ N ,
A A A A A p n m Σ m m m m
m
1 T T T C C C C C C C T T ˆ
diperoleh B
X X
X Y dimana
X
XA A A A A A A A A m m m m m
m m m m
X X X X .
T C C T T Dengan demikian dapat ditulis: .
X Y
X Y X Y
A A A A m m m m
C
ˆ
B
Estimasi dari setelah outlier dikeluarkan B adalah:
A m
1 1 1
1 C T T T T T T T
ˆ ˆ
B ˆ
X X X X
X Y X Y
B X X X
Ι Ι Q Q Y Ι Q
X B A A A A A A A A A A A m m m m m m m m m m m
1
1 C T T
ˆ ˆ ˆ Sehingga:, B B
X X X Ι Q E
A A A m m m m
A A m
1 T T T
ˆ ˆ dimana Q
X X X X ; E Y
X B A A A A A A m m m m m m
T
1
1 1
1
1
C T T T T T
ˆ ˆ
B B X X
diperoleh pula ~ N , Var
Σ X X X Ι Q E
X X X Ι Q A p A A A A A m m m m m m
Permasalahan di atas bersifat umum, sehingga nilai optimal yang diperoleh bisa saja bukan nilai yang paling optimal. Oleh karena itu digunakan pengganda Lagrange, sehingga nilai optimal yang diperoleh diharapkan merupakan nilai yang paling optimal pada daerah kepercayaan yang telah ditentukan.
Untuk kasus spesial dari , maka LD dapat dimodifikasi sebagai:
θ 1 θ
C C
ˆ ˆ ˆ ˆ LDL 2 ln L ln L ,
θ θ θ θ θ θ A
1
2
1 A
2
1 A m m m
Makkulau, Estimasi Parameter dan Uji Hipótesis pada Model Linear Multivariat dengan Metode LDL
dimana
Fungsi likelihood dengan kendala sebanyak m pengamatan yang diduga outlier adalah:
ˆ ˆ B , B
m m C C A A
L
L
1
1
2
2
2
1
C C C C C A A A A A m m m m m m tr n mn C
Σ B Y X B Y X B Σ B
m m C C A A
θ β θ Σ
,
θ β Σ
,
1
2
,
, sehingga
ˆ ˆ 1n B , B
ˆ ˆ ˆ ,
θ β Σ
ˆ ˆ LDL 2(ln ,
m A
L B Σ B Σ
2 T
2 , , , . m
, sehingga
Z
m A i i i
λ
1 LDL
2
didekati dengan
m A
Jika LDL
1
, dimana
C didapat
m A
Selanjutnya menentukan nilai eigen dari
C Ι Q Q Ι Q .
A A A A
1 m m m m
1
dimana
E C E
2 LDL ~ A v
. ; v mq
ii h
E C E
m m m m T A A A A n
n
n nLDL ln ˆ
1 ˆ ˆ ˆ
Statistik uji yang dipakai untuk mendeteksi adanya outlier dalam model linear multivariat dengan Metode LDL adalah:
X .
H X X X
1 T
elemen diagonal ke-i dari H dimana
;
2
ii ii h h
1
2
, dimana
A q Z
2 LDL . ~ .
2
maka
i q Z
~
2
m m m T A A A n n n n
A e
T A A A A n
1
m C A
ˆB
sehingga diperoleh
X X B B .
E E B B
T T T A A n
1 ˆ ˆ ˆ ˆ ˆ ˆ m m
Y X B Y X B
1 ˆ ˆ m m m m
1 ˆ ˆ ˆ m m m m m
m C A
ˆB
X Ι Q E
X X
B B
m m m m C T T A A A A
ˆ ˆ ˆ
1
1
1
T A A A A A n
ˆ
ˆ LDL 2( ln 2 ln ln 2 ln
1 ˆ ˆ ˆ ln
)
m C A
2
n ˆB
A mn n n mn n
2 m
2
2
2
2
B pada persamaan (9), maka diperoleh:
m A
Dengan me-ln-kan dan membuang ˆ
(9)
m m C C A A
ˆ ˆ 1n B , B
B Σ B Σ
A A L
ˆ ˆ LDL LDL 2(ln , m m
dan
Σ E Ι Q Q Ι Q E
L
Jurnal Matematika, Sains, dan Teknologi, Volume 10, Nomor 1, Maret 2010, 1-9
2 Penentuan outlier dilakukan dengan membandingkan dengan dimana:
LDL
A v m : bukan outlier dan : adalah outlier.
H A H A
1 m m
2 Jika maka tolak artinya pengamatan tersebut adalah outlier.
LDL . , H ,
A hitung tabel KESIMPULAN
Estimasi parameter dan uji hipotesis pada model linear multivariat dengan Metode LDL dapat digunakan untuk mendeteksi outlier pada model linear multivariat dengan statistik uji 1
T
ˆ ˆ ˆ
n E C E A A A
m m m
n
2
. Jika maka pengamatan tersebut adalah LDL n ln LDL . ,
A A hitung tabel m
ˆ
n
outlier.
REFERENSI rd
Barnett, V. & Lewis, T. (1994). Outliers in statistical data. ( 3 ed). Great Britain: John Wiley. Christensen, R. (1991). Linear model for multivariate, time series, and spatial data. New York: Springer-Verlag.
Cook, R.D. (1977). Detection of influential observation in linear regression. Technometrics, Februari 2000, 42, no. (1), 65-68. Diaz-Garcia, J.A., Gonzalez-Farias, G. & Alvarado-Castro, V. (2007). Exact distributions for sensitivity analysis in linear regression. Applied Mathematical Sciences, 22;1083-1100. Filzmoser, P. (2005). Identification of multivariate outliers: A performance study. Austrian Journal of Statistics. 2;127-138. Hawkins, D.M. (1980). Identifications of outliers. New York: Chapman and Hall. Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2007a). Outlier detection for the value of Y variable
(residual outlier) in multivariate regression models. Proceeding International Conference and Workshop on Basic and Applied Science, Universitas Airlangga, Agustus 2007, Surabaya. Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2007b). Pendeteksian outlier pada model linear multivariat dengan pergeseran rata-rata. Prosiding Seminar Nasional Statis-tika VIII, Jurusan
Statistika FMIPA ITS, November 2007, Surabaya. Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2008). Prosedur pendeteksian outlier pada model linear multivariat dengan metode likelihood displacement statistic. Prosiding Seminar Nasional
Matematika IV, Jurusan Matematika FMIPA ITS, Desember 2008, Surabaya.
Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2009). Pendeteksian outlier model linear multivariat pada produksi gula dan tetes tebu. Prosiding Seminar Nasional Matematika, Jurusan Matematika FMIPA Universitas Jember, Februari 2009, Jember. Peña, D. & Guttman, I. (1993). Comparing probabilistic methods for outlier detection in linear models.
Biometrika, Technometrics, August 2001. 3;603-610.
Peña, D. & Prieto, F.J. (2001). Multivariate outlier detection and robust covariance matrix estimation.
American Statistical Association and the American Society for Quality, Technometrics. 43, no (3).
Makkulau, Estimasi Parameter dan Uji Hipótesis pada Model Linear Multivariat dengan Metode LDL
Rencher, A.C. & Schaalje, G.B. (2008). Linear models in Statistics, (2
nd
ed). John Wiley & Sons: New York. Rousseeuw, P.J. (1984). Least median of squares regression. Journal of the American Statistical Association. 79, 871-880. Rousseeuw, P.J. & Hubert, M. (1997). Recent developments in PROGRESS, dalam L1-Statistical procedure and related topics, edited by Y. Dodge, Institute of Mathematical Statistics Lecture
Notes and Monograph Series, Hayward, California, Vol. 31, 201-214.
Srivastava, M.S. & von Rosen, D. (1998). Outliers in multivariate regression models, Journal of Multivariate Analysis. 65, 195-208. Xu, J., Abraham, B., & Steiner, S.H. (2005). Outlier detection methods in multivariate regression
models. Diambil tanggal 4 April 2007, dari http://www.bisrg.uwaterloo.ca/archive/RR-06-07.pdf.