indikator D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,35.
Artinya 35 penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian yang dipakai. Jika penilai menggunakan dua
indikator D study design nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,52 begitu
seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,62. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat
observasi yang dapat diterima untuk faset yang lebih luas, penilai harus menggunakan indikator yang ada dan ditambah lagi indikator lain untuk melengkapi jabaran konstruk
yang ada sehingga dapat dicapai tingkat kesepahaman dan kesepakatan yang lebih tinggi.
Secara umum hasil analisis D study telah memberi petunjuk dan alternatif penggunaan alat penilaian kepada pengguna instrumen penilaian kualitas karya seni
lukis untuk mempertimbangkan penggunaan indikator-indikator penilaian yang relevan dengan sasaran yang dinilai dan mempertimbangkan tingkat reliabilitas kebermaknaan
hasil penilaian. Berdasarkan analisis yang telah dilakukan dapat diketahui bahwa ada beberapa rancangan dari hasil D study yang mereferensikan perlunya penambahan
indikator untuk komponen penilaian tertentu yaitu untuk komponen-komponen penilaian produk untuk sasaran penilaian kelompok tertentu.
d. Data Uji Coba Koefisien Interrater
Konfirmasi data hasil uji coba dari hasil Anava, berikut ini disajikan hasil analisis koefisien interrater. Koefisien interrater merupakan salah satu sarana untuk
melihat tingkat konsistensi atau keajegan antar penilai dalam memberikan rating terhadap unjuk kerja karya seni lukis siswa. Untuk keperluan ini, peneliti
menggunakan koefisien Cohen’s Kappa.
1 Koefisien Interrater Pada Penilaian Proses
Ada 3 tiga orang rater UD, ST, DI yang memberikan rating pada penilaian proses instrumen pendidikan seni lukis anak untuk kelas 1, kelas 2, dan kelas 3. Pada
penilaian proses ini, ada 7 tujuh item yang menjadi objek penilaian. Rangkuman hasil perhitungan konsistensi dan kesepakatan tiga rater tersebut disajikan pada Tabel 10
untuk kelas 1, Tabel 11 untuk kelas 2, dan Tabel 12 untuk kelas 3.
28
Tabel 10 memberi gambaran bahwa koefisien
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketujuh item yang dirating
tersebut, yaitu 0,75. Kemudian antara ST dengan DI sebesar 0,71 , dan antara UD dengan DI sebesar 0,73. Tingkat konsistensi dan kesepakatan penilai secara
keseluruhan dalam menilai proses kelas 1 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,73.
Tabel 10 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai
Pada Penilaian Proses Kelas 1
Penilai ST
UD 1
2 3
4 5
6 7
1 2
3 4
5 6
7
UD 1
0,72
2 0,72
3 0,84
4 0,81
5 0,78
6 0,78
7 0,63
DI 1
0,75 0,74
2 0,68
0,77
3 0,81
0,71
4 0,70
0,67
5 0,68
0,65
6 0,70
0,79
7 0,68
0,82
Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 73 . Nilai koefisien
tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut
memenuhi syarat koefisien reliabilitas. Tabel 11 di bawah ini, memberi gambaran bahwa koefisien
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketujuh item yang
dirating tersebut, yaitu 0,67. Kemudian antara ST dengan DI sebesar 0,70, dan antara UD dengan DI sebesar 0,64. Tingkat konsistensi dan kesepakatan penilai secara
keseluruhan dalam menilai proses kelas 2 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,67. Nilai tersebut memberi
gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 67. Nilai koefisien
tersebut mendekati kriteria minimal yang digunakan, yaitu 0,70 Nunally, 1978:245 Linn, 1989:106, sehingga
instrumen tersebut mendekati syarat koefisien reliabilitas.
29
Tabel 11 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai
Pada Penilaian Proses Kelas 2
Penilai ST
UD 1
2 3
4 5
6 7
1 2
3 4
5 6
7
UD 1
0,61
2 0,64
3 0,81
4 0,77
5 0,69
6 0,6
7 0,57
DI 1
0,66 0,64
2 0,9
0,56
3 0,66
0,7
4 0,67
0,63
5 0,65
0,55
6 0,75
0,73
7 0,61
0,65
tersebut mendekati kriteria minimal yang digunakan, yaitu 0,70 Nunally, 1978:245 Linn, 1989:106, sehingga instrumen tersebut mendekati syarat koefisien reliabilitas.
Tabel 12 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai
Pada Penilaian Proses Kelas 3
Penilai ST
UD 1
2 3
4 5
6 7
1 2
3 4
5 6
7
UD 1
0,63
2 0,69
3 0,81
4 0,76
5 0,68
6 0,85
7 0,73
DI 1
0,67 0,75
2 0,68
0,46
3 0,70
0,76
4 0,62
0,74
5 0,56
0,71
6 0,59
0,62
7 0,57
0,71
30
Tabel 12 memberi gambaran bahwa koefisien
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketujuh item yang dirating
tersebut, yaitu 0,74. Kemudian antara ST dengan DI sebesar 0,63, dan antara UD dengan DI sebesar 0,68. Tingkat konsistensi dan kesepakatan penilai secara
keseluruhan dalam menila proses kelas 1 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,73. Nilai tersebut memberi
gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 73. Nilai koefisien
tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat
koefisien reliabilitas.
2 Koefisien Interrater Pada Penilaian Produk
Ada 3 tiga orang rater UD, ST, DI yang memberikan rating pada penilaian proses instrumen pendidikan seni lukis anak untuk kelas 1, kelas 2, dan kelas 3. Pada
penilaian produk ini, ada 3 tiga item yang menjadi objek penilaian. Rangkuman hasil perhitungan konsistensi dan kesepakatan tiga rater tersebut disajikan pada Tabel 13
untuk kelas 1, Tabel 30 untuk kelas 2, dan Tabel 31 untuk kelas 3. Tabel 13 memberi gambaran bahwa koefisien
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketiga item yang dirating
tersebut, yaitu 0,88. Kemudian antara ST dengan DI sebesar 0,88, dan antara UD dengan DI sebesar 0,88. Tingkat konsistensi dan kesepakatan penilai secara
keseluruhan dalam menilai produk kelas 1 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,88.
Tabel 13 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai
Pada Penilaian Produk Kelas 1
Penilai ST
UD 1
2 3
1 2
3 UD
1 0,85
2 0,92
3 0,88
DI 1
0,85 0,85
2 0,92
0,92
31
3 0,88
0,88
Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 88. Nilai koefisien
tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien reliabilitas.
Pada Tabel 14 menunjukkan koefisien
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketiga item yang dirating
tersebut, yaitu 0,96. Kemudian antara ST dengan DI sebesar 0,97, dan antara UD dengan DI sebesar 0,97. Tingkat konsistensi dan kesepakatan penilai secara keseluruhan
dalam menilai produk kelas 2 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,97. Nilai tersebut memberi gambaran
bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 97. Nilai koefisien
tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien
reliabilitas. Tabel 14
Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai Pada Penilaian Produk Kelas 2
Penilai ST
UD 1
2 3
1 2
3 UD
1 0,98
2 0,98
3 0,93
DI 1
0,98 0,95
2 0,98
0,98
3 0,95
0,98
Tabel 15 memberi gambaran bahwa koefisien
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketiga item yang dirating
tersebut, yaitu 0,94. Kemudian antara ST dengan DI sebesar 0,93, dan antara UD dengan DI sebesar 0,89. Tingkat konsistensi dan kesepakatan penilai secara
keseluruhan dalam menilai produk kelas 3 dapat diketahui dengan mengambil rata-
32
rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,92. Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman yang sama
terhadap kostruk penilaian sebesar 92. Nilai koefisien
tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi
syarat koefisien reliabilitas.
Tabel 15 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai
Pada Penilaian Produk Kelas 3
Penilai ST
UD 1
2 3
1 2
3 UD
1 0,95
2 0,95
3 0,93
DI 1
0,98 0,93
2 0,93
0,93
3 0,90
0,82
3. Revisi Produk Instrumen
