dituntut untuk bisa melakukan penilaian yang benar sesuai konstruk yang dikandung oleh alat penilaian yang dikembangkan.
Sumber variansi komponen yang lain yakni murid P, interaksi murid dengan penilai PR, interaksi murid dan item nested pada penilai PI:R proporsinya tampak
lebih kecil terhadap seluruh komponen variansi hasil penilaian proses kualitas karya seni lukis dibanding proporsi komponen varians penilai R dan kriteria penilaian yang
nested pada penilai I:R. Hasil uji coba ini menunjukkan bahwa pada penerapan alat penilaian karya seni
lukis untuk komponen proses, peranan penilai R merupakan sumber variansi kesalahan pengukuran terbesar. Latihan dan pengalaman bagi penilai dalam
menggunakan alat penilaian untuk menilai kualitas karya seni lukis merupakan cara untuk mengurangi kesalahan pengukuran dan untuk meningkatkan tingkat konsistensi
dan keajegan hasil penilaian.
2. Analisis Estimasi Komponen Varian Komponen Penilaian Produk
Rangkuman analisis G study dari data uji coba komponen penilaian produk dapat disajikan sebagaimana pada Tabel 2.
Tabel 2. Estimasi Komponen Variansi Siswa, Penilai, Kriteria Penilaian dari Uji Kelompok
Siswa
180
n
untuk Penilaian Produk
Sumber Variansi Kelas JK1
JK2 db
KR Varian
Total Varian
Murid P 1
118655,00 6421,25
59 108,83
7,15 1,95
2
121393,00 4733,80
59 80,23
4,45 1,16
3
113876,89 5104,86
59 86,52
5,27 1,48
Penilai R 1
207726,25 95492,50
2 47746,25
233,64 63,67
2
213078,27 96419,07
2 48209,54
232,24 60,64
3
199841,26 91069,23
2 45534,61
221,08 62,07
I:R 1
241766,02 34039,77
6 5673,29
94,12 25,65
2
251512,65 38434,38
6 6405,73
106,09 27,70
3
234248,77 34407,51
6 5734,59
95,03 26,68
PR Interaksi Murid dan Penilai
1
219396,33 5248,83
118 44,48
6,21 1,69
2
222531,67 4719,60
118 40,00
0,00 0,00
3
209554,00 4607,89
118 39,05
2,13 0,60
PI:R Interaksi Murid dan Item
Nested pada Penilai 1
262591,00 9154,90
354 25,86
25,86 7,05
2
275197,00 14230,96
354 40,20
40,20 10,50
3
255520,00 11558,49
354 32,65
32,65 9,17
Total 1
1050134,6 150357,25
539 53598,71
366,98 100,00
2
1083712,6 158537,81
539 54775,70
382,98 100,00
3
1013040,9 146747,98
539 51427,42
356,16 100,00
Catatan: JK1 = sums of squares for mean scores; JK2 = sums of squares for score effects.
20
Hasil rangkuman analisis G study untuk penilaian produk di kelas 1, kelas 2 dan di kelas 3 menunjukkan bahwa estimasi varian true skor yang terbesar dari faset yang berkaitan
dengan objek pengukuran universe of admissible observations adalah sumber variansi kesalahan pengukuran komponen penilai R dengan proporsi komponen varians di
kelas 1 sebesar 63,67; di kelas 2 sebesar 60,64, dan di kelas 3 sebesar 62,07. Kemudian berikutnya adalah sumber varians kesalahan untuk komponen item yang
bersarang pada penilai I:R dengan proporsi komponen varians di kelas 1 sebesar 25,65, di kelas 2 sebesar 27,70, dan di kelas 3 sebesar 26,68.
Hasil analisis di atas menunjukkan bahwa faset yang berkaitan dengan objek pengukuran untuk penilaian produk, faset yang dominan sebagai variansi kesalahan
pengukuran adalah penilai R dan item yang bersarang pada penilai I:R. Sumber variansi yang lain tidak begitu besar proporsinya sebagai komponen varians untuk
penilaian produk. Sumber variansi komponen yang lain yakni murid P, interaksi murid dengan
penilai PR, interaksi murid dan item bersarang pada penilai PI:R proporsinya tampak lebih kecil terhadap variansi hasil penilaian proses kualitas karya seni lukis dibanding
pengaruh kedua sumber variansi penilai R dan kriteria penilaian yang bersarang pada penilai I:R.
Berdasarkan analisis ini penerapan alat penilaian karya seni lukis untuk komponen produk, peranan penilai R tetap merupakan sumber varians kesalahan
pengukuran yang terbesar seperti halnya pada penilaian proses. Untuk itu masih dibutuhkan juga latihan dan pengalaman bagi penilai dalam menggunakan instrumen
penilaian produk untuk menilai kualitas karya seni lukis siswa agar dapat meningkatkan tingkat konsistensi dan keajegan hasil penilaian serta tingkat kesepakatan pemahaman
terhadap konstruk sasaran penilaian karya seni lukis untuk komponen produk di antara para penilai.
Hasil analisis komponen varians untuk penilaian proses, produk, di atas memberi petunjuk bahwa pengembangan alat penilaian kualitas karya seni lukis sudah
menunjukkan indikasi kebermaknaan untuk digunakan sebagai sarana melakukan observasi. Untuk mengetahui apakah hasil pengembangan tersebut telah memenuhi
standar minimal, dipakai persyaratan minimal koefisien G Sebesar 0,70 Nunnaly, 1978: 245, Linn,1989:106 agar memenuhi syarat bagi penggunaan pada faset yang
lebih luas. Untuk maksud tersebut dilakukan analisis lanjut terhadap hasil Genova
21
koefisien G dan analisis tingkat perubahan koefisien G pada level analisis hasil D study. Hasil Analisis dipaparkan pada uraian berikut.
3. Analisis Data Hasil G Study Koefisien G
