Berdasarkan analisis komponen varians untuk dapat terbentuknya faset pengukuran yang berkaitan dengan objek pengukuran universe of admisible
observations kualitas karya seni lukis di kelas 3 pada semua komponen penilaian penilaian diri dan penilaian kelompok, dapat disimpulkan bahwa komponen penilai
R atau guru dan kriteria penilaian yang nested pada penilai I:R merupakan sumber varians komponen varians kesalahan pengukuran yang utama. Oleh sebab itu dalam
pengembangan ini, kedua sumber variansi ini harus diperhatikan secara seksama dalam usaha menyempurnakan alat penilaian kualitas karya seni lukis.
Hasil analisis komponen varians untuk penilaian proses, produk, penilaian diri dan penilaian kelompok, di atas memberi petunjuk bahwa pengembangan alat
penilaian kualitas karya seni lukis sudah menunjukkan indikasi kebermaknaan untuk digunakan sebagai sarana melakukan observasi. Untuk mengetahui apakah hasil
pengembangan tersebut telah memenuhi standar minimal, dipakai persyaratan minimal koefisien G Sebesar 0,70 Linn,1989:106 agar memenuhi syarat bagi penggunaan
pada faset yang lebih luas. Untuk maksud tersebut dilakukan analisis lanjut terhadap hasil Genova koefisien G dan analisis tingkat perubahan koefisien G pada level
analisis hasil D study. Hasil Analisis dipaparkan pada uraian berikut.
b. Analisis Data Hasil G Study Koefisien G
Hasil G study untuk mengetahui tingkat kebermaknaan penggunaan alat penilaian kualitas karya seni lukis dari uji coba di lapangan dapat dirangkum pada Tabel
4. Koefisien G dari komponen-komponen penilaian kualitas karya seni lukis hasil uji coba menunjukkan bahwa secara keseluruhan pengembangan model instrumen
penilaian kualitas karya seni lukis dapat diterima untuk digunakan melakukan penilaian pada faset yang lebih luas atau dengan kata lain telah memenuhi untuk
26
kepentingan faset pengukuran yang berkaitan dengan objek pengukuran universe of admissible observations pada kualitas karya seni lukis anak yakni ditunjukkan oleh
indeks koefisien G sebesar 0,71. Jika dilihat dari karakteristik faset uji coba untuk Tabel 4
Rangkuman Hasil G Study dan Koefisien G Pada Berbagai Komponen dan Berbagai Faset Terapan Uji Coba
Komponen Sasaran
Uji Faset
Jumlah Item
Koefisien G Keterangan
Linn ≥ 0,70 Penilaian Diri
Kelas 3 5
0,76
persyaratan Penilaian Kelompok
Kelas 3 5
0,74
persyaratan
memenuhi syarat menurut kriteria standard minimal Linn, 0,70.
semua komponen, maka terapan model penilaian pada faset di kelas 3 masih memerlukan penyempurnaan dalam hal administrasi penyelenggaraan yakni harus
meningkatkan keterampilan guru sebagai penilai atau rater agar ada peningkatan pemahaman, keterampilan dan pengalaman agar diperoleh hasil pengukuran yang
konsisten. Jika ditilik pada rerata komponen penilaian pada masing-masing kelompok
ternyata untuk penilaian diri dan penilaian kelompok telah memenuhi standar yang disyaratkan untuk mencapai reliabilitas instrumen yaitu 0,70. Dengan demikian, kedua
instrumen penilaian ini dapat digunakan pada faset yang lebih luas.
c. Analisis Data Hasil D Study
Tujuan analisis D study adalah untuk menjawab pertanyaan rancangan D study yang mana harus dipilih dan seberapa banyak butir komponen penilaian harus
dicakup sebagai sarana mengukur dan menilai kualitas karya lukis sehingga dapat menunjukkan kebermaknaan untuk faset yang lebih luas. Dengan mencermati setiap
tahap rancangan D study pada komposisi besar sampel tertentu maka akan dapat diperoleh informasi koefisien G dan juga diperoleh informasi berapa kenaikan indeks
27
kebermaknaan pada koefisien G setelah satu butir komponen penilaian dilibatkan untuk mengukur atau menilai. Untuk menjawab pertanyaan ini dan tujuan tersirat didalamnya
analisis pada setiap hasil D study dapat digunakan. Uraian berikut memaparkan hasil- hasil analisis D study ini.
1 D Study untuk Penilaian Diri
Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian diri berberturut- turut dapat disajikan pada Tabel 5.
Tabel 5. Estimasi Koefisien Generalizability Penilaian Diri
dan Tingkat Perubahan pada Kelas 3
D STUDY DESIGN NO
SAMPEL SIZE GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,38162 0,03369
001-002 60
3 2
0,51820 0,04534
001-003 60
3 3
0,58839 0,05125
001-004 60
3 4
0,63114 0,05482
001-005 60
3 5
0,65991 0,05721
Tabel 5 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian diri di kelas 3 hanya dengan satu indikator rancangan D study nomor 001-
001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,38. Artinya 38 penilai memiliki tingkat
kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian diri yang dipakai. Jika penilai menggunakan dua indikator rancngan D study nomor 001-
002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,52 begitu seterusnya untuk design 001-003
didapatkan koefisien sebesar 0,59. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima
28
0,14 0,07
0,04 0,03
untuk faset yang lebih luas 0,70, penilai paling tidak harus menggunakan semua indikator yang ada.
2 D Study untuk Penilaian Kelompok
Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian kelompok berturut-turut dapat disajikan pada Tabel 6.
Tabel 6 Estimasi Koefisien Generalizability Penilaian Kelompok
dan Tingkat Perubahan pada Kelas 3
D STUDY DESIGN NO
SAMPEL SIZE GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,35993 0,10883
001-002 60
3 2
0,52934 0,19630
001-003 60
3 3
0,62784 0,26813
001-004 60
3 4
0,69224 0,32818
001-005 60
3 5
0,73765 0,37912
Tabel 6 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian kelompok di kelas 3 hanya dengan satu indikator rancangan D
study nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,36. Artinya tingkat
kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian kelompok yang dipakai sebesar 36 . Jika penilai menggunakan dua
indikator rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,53 begitu
seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,63. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat
observasi yang dapat diterima untuk faset yang lebih luas 0,70, penilai sudah cukup hanya menggunakan butir indikator 1, 2, 3 dan 4 saja, tetapi jika ingin mendapatkan
29
0,17 0,10
0,06 0,05
tingkat kebermaknaan yang lebih tinggi dianjurkan menggunakan semua butir indikator yang ada.
Secara umum hasil analisis D study telah memberi petunjuk dan alternatif penggunaan alat penilaian kepada pengguna instrumen penilaian kualitas karya seni
lukis untuk mempertimbangkan penggunaan indikator-indikator penilaian yang relevan dengan sasaran yang dinilai dan mempertimbangkan tingkat reliabilitas kebermaknaan
hasil penilaian. Berdasarkan analisis yang telah dilakukan dapat diketahui bahwa ada beberapa rancangan dari hasil D study yang mereferensikan perlunya penambahan
indikator untuk komponen penilaian tertentu yaitu untuk komponen-komponen penilaian produk dan penilaian diri untuk sasaran penilaian kelompok tertentu.
2. Data Uji Coba Koefisien Interrater
Konfirmasi data hasil uji coba dari hasil Anava, berikut ini disajikan hasil analisis koefisien interrater. Koefisien interrater merupakan salah satu sarana untuk
melihat tingkat konsistensi atau keajegan antar penilai dalam memberikan rating terhadap unjuk kerja karya seni lukis siswa. Untuk keperluan ini, peneliti
menggunakan koefisien Cohen’s Kappa.
a. Koefisien Interrater pada Penilaian Diri
