reliabilitas antar rater

Reliabilitas Antar Rater
Wahyu Widhiarso

Cara Mengestimasi
• 2 Rater (data nomimal)
– Formula Kappa

• Lebih dari 2 rater (data ordinal)
– Estimasi Reliabilitas melalui Anava

Menghitung Kappa
Dua orang rat er menilai keakt if an 150 orang siswa.
Lembar checklist dengan dua buah pilihan (akt if at au
pasif ) diberikan kepadanya. Hasilnya penilaian dapat
dilihat pada t abel dibawah ini. Rat er 1 menilai 21 orang
akt if sedangkan yang pasif 40 orang. Rat er 2 menilai ada
89 orang yang pasif dan 61 yang akt if .
Hit unglah berapa nilai reliabilit as (kesepakat an) kedua
rat er t ersebut .

Rater 1

(+)
(-)
Total

(+)
3
3
6

Rater 2
(-)
Total
3
6
91
94
94
100

Menghitung Kappa

Rater 1

(+)

(+)
A

(-)

C

Rater 2
Total
(-)
B
D

Total

(A + B) (A + C) (C + D) (B + D ( )
Pc =
( A + B + C + D) 2

Pa − Pc
κ=
1 − Pc

(A + D)
Pa =
( A + B + C + D)

Ouput SPSS
ANOVA

Between People
Within People

Total
G

dM

Between Items
Residual a
Total

Sum of
Squares
223,500
26,667
24,000
50,667
274,167

9
2
18
20
29

(SSbetween people − SSresidual )

6 17

rxx ' = 1 −

df

SSbetween people

24.833 − 1.33
= 1−
24.833
= 0.946

Mean Square
24,833
13,333
1,333

2,533
9,454

F
10,000

Sig
,001