229 persepsi dan pemahaman yang sama terhadap kostruk penilaian. Nilai koefisien
κ
tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0.64 Cohen Swerdlik, 2005: 143, sehingga instrumen tersebut memenuhi syarat reliabel.
d. Koefisien Interrater pada Penilaian Kelompok
Ada 3 tiga orang rater yang memberikan rating pada penilaian kelompok instrumen pendidikan seni lukis anak untuk kelas 1, kelas 2, dan kelas 3. Pada
penilaian kelompok ini, ada 5 lima item yang menjadi objek penilaian. Rangkuman hasil perhitungan konsistensi dan kesepakatan tiga rater tersebut
disajikan pada Tabel 34 untuk kelas 1, Tabel 35 untuk kelas 2, dan Tabel 36 untuk kelas 3.
Tabel 34 memberi gambaran bahwa koefisien
κ
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa kelima item yang
dirating tersebut, yaitu 0,44. Kemudian antara ST dengan DI sebesar 0,59, dan antara UD dengan DI sebesar 0,48. Tingkat konsistensi dan kesepakatan penilai
secara keseluruhan dalam penilaian kelompok kelas 1 dapat diketahui dengan mengambil rata-rata koefisien kappa ketiga pasangan tersebut, yaitu sebesar 0,51.
Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 51. Nilai
koefisien
κ
tersebut lebih kecil dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut belum memenuhi syarat koefisien reliabilitas.
230 Tabel 34
Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai pada Penilaian Kelompok Kelas 1
Penilai ST
UD 1 2 3 4 5 1 2 3 4 5
1 0,29
2 0,37
3 0,52
4 0,48
U D
5 0,55
1 0,49
0,38 2
0,53 0,49
3 0,69
0,54 4
0,67 0,56
D I
5 0,61
0,46 Tabel 35 memberi gambaran bahwa koefisien
κ
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa kelima item yang
dirating tersebut, yaitu 0,34. Kemudian antara ST dengan DI sebesar 0,37, dan antara UD dengan DI sebesar 0,29. Tingkat konsistensi dan kesepakatan penilai
secara keseluruhan dalam penilaian kelompok kelas 2 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,33.
Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 33. Nilai
koefisien
κ
tersebut lebih kecil dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut belum memenuhi syarat koefisien reliabilitas.
231 Tabel 35
Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai pada Penilaian Kelompok Kelas 2
Penilai ST
UD 1 2 3 4 5 1 2 3 4 5
1 0,48
2 0,45
3 0,20
4 0,14
U D
5 0,42
1 0,41
0,46 2
0,20 0,27
3 0,21
0,26 4
0,32 0,11
D I
5 0,68
0,39
Tabel 36 memberi gambaran bahwa koefisien
κ
kappa antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa kelima item yang
dirating tersebut, yaitu 0,74. Kemudian antara ST dengan DI sebesar 0,75, dan antara UD dengan DI sebesar 0,69. Tingkat konsistensi dan kesepakatan penilai
secara keseluruhan dalam penilaian kelompok kelas 3 dapat diketahui dengan Tabel 36
Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai pada Penilaian Kelompok Kelas 3
Penilai ST
UD 1 2 3 4 5 1 2 3 4 5
1 0,79
2 0,82
3 0,76
4 0,76
U D
5 0,55
1 0,78
0,83 2
0,76 0,71
3 0,72
0,62 4
0,86 0,77
D I
5 0,65
0,57
232 mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,73.
Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 73. Nilai koefisien
κ
tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien reliabilitas.
C.
Revisi Produk
Bagian revisi produk dalam pengembangan instrumen penilaian seni lukis dalam disertasi ini mengikuti revisi produk dalam setiap tahap pengembangan.
Tahap revisi dalam setiap tahap pengembangan berkaitan dengan revisi indikator, deskripsi, kriteria dan rubrik, dan pedoman penggunaan instrumen penilaian seni
lukis pada tahap focus group discussion FGD dan seminar.
D. Kajian Produk
Hasil analisis tingkat kesepahaman dan kesepakatan rater reliabilitas interrater dengan menggunakan koefisien Genova dan koefisien Cohen Kappa
menunjukkan bahwa instrumen penilaian seni lukis telah memenuhi syaratkriteria minimal reliabilitas yang digunakan. Namun demikian, perbandingan kedua
pendekatan tersebut disajikan berikut.
1. Penilaian Proses
Penilaian proses instrumen penilaian seni lukis dilakukan oleh 3 tiga orang rater terhadap 60 orang siswa dengan 7 tujuh indikator instrumen.
Berdasarkan hasil penelitian yang telah dibahas pada bagian sebelumnya, analisis kesepakatan dan kesepahaman rater terhadap konstruk instrumen digunakan dua
