a. Data Uji Coba
Bagian ini mendeskripsikan tentang hasil uji coba penggunaan instrumen penilaian yang diujicobakan kepada tiga orang guru sebagai rater atau penilai terhadap
penilaian karya seni lukis. Komponen-komponen yang digunakan sebagai acuan untuk melakukan rating oleh para rater telah diperoleh dari hasil pengembangan pada tahap
sebelumnya dan dikenal dengan produk tentatif instrumen penilaian karya seni lukis. Instrumen penilaian ini terdiri atas tiga komponen utama yakni penilaian
proses, penilaian produk, dan pada pengguna di lapangan. Hasil ujicoba instrumen ini disajikan pada bagian analisis data. Kegiatan uji coba ini dipaparkan data hasil uji coba
pada keempat kawasan tersebut. Data uji coba terdiri dari 2 dua komponen yaitu 1 data uji coba komponen penilaian proses, 2 data uji coba komponen penilaian produk.
Hasil analisis G study digunakan untuk mengetahui koefisien reliabilitas alat penilaian yang dikembangkan serta estimasi komponen variansi kesalahan yang
diakibatkan oleh berbagai sumber variansi, dalam pengembangan ini yakni sumber variansi murid P, penilai R dan item kriteria penilaian I. Setelah koefisien G dapat
diketahui, maka pada tahapan analisis lanjut analisis D study akan didapatkan informasi tentang keputusan seberapa jauh penggunaan instrumen yang telah diuji
memiliki keberlakuan pada faset yang lebih luas terutama menyangkut kesamaan kondisi pengukuran, dan dapat diterimanya kondisi faset tersebut bagi rater atau penilai
yang lain.
b. Hasil Analisis Genova Untuk Estimasi Komponen Variansi 1. Analisis Estimasi Komponen Varians Komponen Penilaian Proses
Rangkuman analisis G study dari data uji coba komponen penilaian proses dapat disajikan sebagaimana pada Tabel 9. Hasil rangkuman analisis G study untuk
penilaian proses di kelas 1, kelas 2 dan di kelas 3 menunjukkan bahwa estimasi variance true skor yang terbesar dari faset yang berkaitan dengan objek pengukuran
universe of admissible observations di kelas 1 adalah sumber variansi kesalahan pengukuran komponen item yang nested pada penilai I:R dengan proporsi 86,27 dari
seluruh komponen varian harapan. Hal yang sama untuk di kelas 2 dan kelas 3, dan
Tabel 1. 18
Estimasi Komponen Variansi Siswa, Penilai, Kriteria Penilaian dari Uji Kelompok Siswa
180
n
untuk Penilaian Proses
Sumber Variansi Kelas
JK1 JK2
db KR
Varian Total
Varian Murid P
1
6004,76 193,3
59 3,28
0,14 4,58
2
413296,33 7823,63
59 132,60
4,23 0,93
3
381079,14 7701,29
59 130,53
4,15 0,98
Penilai R 1
5874,04 62,59
2 31,29
0,00 0,00
2
631942,66 226469,95
2 113235,0
242,43 53,04
3
581347,72 207969,86
2 103984,9
222,38 52,77
I:R 1
8728,20 2854,16
18 158,56
2,64 86,27
2
836923,95 204981,29
18 11387,85
189,51 41,46
3
771345,40 189997,68
18 10555,43
175,67 41,69
PR Interaksi Murid dan Penilai
1
6092,29 24,94
118 0,21
0,00 0,00
2
644940,43 5174,14
118 43,85
3,83 0,84
3
594179,71 5130,71
118 43,48
4,04 0,96
PI:R Interaksi Murid dan Item
Nested pada Penilai 1
9244,00 297,56
1062 0,28
0,28 9,15
2
868049,00 18127,28
1062 17,07
17,07 3,73
3
800302,00 16124,60
1062 15,18
15,18 3,60
Total 1
35943,29 3432,55
1259 193,62
3,06 100,00
2
3395152,40 457402,15
1259 124816,4
457,07 100,00
3
31282540,00 426924,14
1259 114729,6
421,42 100,00
Catatan: JK1 = sums of squares for mean scores; JK2 = sums of squares for score effects.
yang terbesar adalah sumber variansi penilai R dengan proporsi masing-masing 53,04 dan 52,77.
Kondisi yang demikian berarti bahwa faset yang berkaitan dengan objek pengukuran untuk penilaian proses, yang dominan mempengaruhi variansi kesalahan
pengukuran adalah item yang bersarang pada penilai I:R dan untuk uji coba di kelas 2 dan di kelas 3 adalah penilai R. Sumber variansi item yang bersarang pada penilai
I:R merupakan komponen varian yang paling dominan; hal ini diduga karena guru yang menjadi rater atau penilai baru mengenal model dan konstruk alat penilaian yang
dikembangkan. Selain itu penggunaan alat penilaian yang dikembangkan ini merupakan cara baru yang berbeda dengan cara-cara konvensional sebagaimana yang lazim
digunakan oleh para guru sebelum cara penilaian ini dikenalkan. Pada uji coba di kelas 2 dan di kelas 3, kondisi semacam itu telah bergeser yakni
bukan lagi komponen varians item yang bersarang pada penilai I:R yang dominan sebagai penentu varians kesalahan pengukuran melainkan penilai atau rater. Hal ini
dapat dipahami karena faktor pemahaman dan latihan atau pengalaman guru sangat
19
dituntut untuk bisa melakukan penilaian yang benar sesuai konstruk yang dikandung oleh alat penilaian yang dikembangkan.
Sumber variansi komponen yang lain yakni murid P, interaksi murid dengan penilai PR, interaksi murid dan item nested pada penilai PI:R proporsinya tampak
lebih kecil terhadap seluruh komponen variansi hasil penilaian proses kualitas karya seni lukis dibanding proporsi komponen varians penilai R dan kriteria penilaian yang
nested pada penilai I:R. Hasil uji coba ini menunjukkan bahwa pada penerapan alat penilaian karya seni
lukis untuk komponen proses, peranan penilai R merupakan sumber variansi kesalahan pengukuran terbesar. Latihan dan pengalaman bagi penilai dalam
menggunakan alat penilaian untuk menilai kualitas karya seni lukis merupakan cara untuk mengurangi kesalahan pengukuran dan untuk meningkatkan tingkat konsistensi
dan keajegan hasil penilaian.
2. Analisis Estimasi Komponen Varian Komponen Penilaian Produk
Kategori