Jika ditilik pada rerata komponen penilaian pada masing-masing kelompok ternyata untuk komponen penilaian proses telah memenuhi syarat untuk digunakan pada
faset yang lebih luas, sedangkan untuk komponen penilaian produk masih memerlukan upaya penyempurnaan. Berdasarkan elaborasi sumber variansi komponen variansi
kesalahan pengukuran sebagaimana telah dibahas di atas, maka tindakan untuk melatih guru agar berpengalaman dalam menggunakan alat penilaian ini merupakan salah satu
cara untuk meningkatkan kebermaknaan penggunaan model ini pada faset yang lebih luas.
c. Analisis Data Hasil D Study
Tujuan analisis D study adalah untuk menjawab pertanyaan rancangan D study yang mana harus dipilih dan seberapa banyak butir komponen penilaian harus dicakup
sebagai sarana mengukur dan menilai kualitas karya lukis sehingga dapat menunjukkan kebermaknaan untuk faset yang lebih luas. Dengan mencermati setiap tahap rancangan
D study pada komposisi besar sampel tertentu maka akan dapat diperoleh informasi koefisien G dan juga diperoleh informasi berapa kenaikan indeks kebermaknaan pada
koefisien G setelah satu butir komponen penilaian dilibatkan untuk mengukur atau menilai. Untuk menjawab pertanyaan ini dan tujuan tersirat didalamnya analisis pada
setiap hasil D study dapat digunakan. Uraian berikut memaparkan hasil-hasil analisis D study ini.
1 D Study untuk Penilaian Proses
Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian proses berturut-turut dapat disajikan pada Tabel 14 sampai dengan Tabel 16.
Tabel 4 Estimasi Koefisien Generalizability pada Penilaian Proses Kelas 1
dan Tingkat Perubahannya
D STUDY DESIGN
NO SAMPLE SIZE
GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,60437 0,12791
001-002 60
3 2
0,75341 0,22681
001-003 60
3 3
0,82088 0,30556
001-004 60
3 4
0,85936 0,36976
001-005 60
3 5
0,88424 0,42308
001-006 60
3 6
0,90163 0,46809
001-007 60
3 7
0,91448 0,50659
23
0,15 0,07
0,02
0,
02 0,04
0,01
Tabel 4 berturut-turut memberi gambaran tentang perubahan koefisien Generalizability untuk berbagai komposisi ukuran sampel P, R, dan I. Untuk komponen
penilaian proses di kelas 1 jika komposisinya hanya menggunakan satu indikator D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1 maka tingkat atau
koefisien kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,60, Artinya penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan
konstruk instrumen penilaian yang dipakai sebesar 60. Jika penilai menggunakan dua indikator rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni
indikator 1 dan 2 dapat dilihat pada Tabel 6, maka tingkat atau koefisien kesepahaman dan kesepakatan sebesar 0,75; demikian seterusnya untuk rancangan 001-003
didperoleh kaoefisien sebesar 0,82. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk mencapai kesepahaman dan kesepakatan yang memenuhi tingkat
observasi yang dapat diterima untuk faset yang lebi h luas, yaitu 0,70, penilai cukup
Tabel 5 Estimasi Koefisien Generalizability pada Penilaian Proses Kelas 2
dan Tingkat Perubahannya
D STUDY DESIGN
NO SAMPLE SIZE
GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,37765 0,02724
001-002 60
3 2
0,50637 0,03500
001-003 60
3 3
0,57128 0,03868
001-004 60
3 4
0,61040 0,04082
001-005 60
3 5
0,63655 0,04223
001-006 60
3 6
0,65527 0,04322
001-007 60
3 7
0,66933 0,04396
Tabel 5 memberi gambaran bahwa penilai dalam menggunakan komponen menggunakan indikator 1 dan 2 saja. Tetapi jika ingin meningkatkan tingkat
kesepahaman dan kesepakatan yang lebih tinggi maka indikator penilaian harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan, dalam konteks
ini jika 7 tujuh indikator digunakan maka akan dicapai koefisien kesepahaman dan kesepakatan sebesar 91,45. Penilaian proses hanya dengan satu indikator D study
design nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,38. Artinya penilai memiliki
tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen 24
0,13 0,06
0,02 0,03
0,04
0,01
penilaian yang dipakai sebesar 38. Jika penilai menggunakan dua indikator D study design nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2
memiliki tingkat kesepahaman dan kesepakatan sebesar 0,51. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk mencapai tingkat kesepahaman dan kesepakatan
yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, minimal 0,70, penilai harus menggunakan indikator 1, 2, 3, 4 dan 5 sekaligus. Jika ingin
meningkatkan tingkat kesepahaman dan kesepakatan yang lebih tinggi maka Tabel 6
Estimasi Koefisien Generalizability pada Penilaian Proses Kelas 3 dan Tingkat Perubahannya
D STUDY DESIGN
NO SAMPLE SIZE
GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,39277 0,02894
001-002 60
3 2
0,51665 0,03720
001-003 60
3 3
0,57735 0,04111
001-004 60
3 4
0,61338 0,04339
001-005 60
3 5
0,63724 0,04489
001-006 60
3 6
0,65421 0,04594
001-007 60
3 7
0,66689 0,04673
jumlah indikator penilaian harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan
.Pada Tabel 6 memberi gambaran bahwa penilai dalam menggunakan komponen penilaian proses di kelas 3 jika hanya dengan satu indikator D study design nomor 001-
001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,39. Jika penilai menggunakan dua indikator
rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,52; begitu seterusnya
untuk design 001-003 didapatkan kaoefisien sebesar 0,58. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk penggunaan komponen penilaian agar dicapai
kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai harus menggunakan indikator 1 sampai dengan 6
secara simultan. Jika ingin meningkatkan tingkat kesepahaman dan kesepakatan yang lebih tinggi maka penggunaan indikator penilaian harus ditambah, jumlahnya
tergantung pada kondisi faset yang bersangkutan, dalam konteks ini jika 7 tujuh
25
0,12 0,06
0,02 0,02
0,04
0,01
indikator digunakan semua dicapai koefisien kesepahaman dan kesepakatan mencapai 66,69.
2 D Study untuk Penilaian Produk
Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian produk berturut-turut dapat disajikan pada Tabel 7 sampai dengan Tabel 9
Tabel 7. Estimasi Koefisien Generalizability pada Penilaian Produk Kelas 1
dan Tingkat Perubahannya
D STUDY DESIGN NO
SAMPLE SIZE GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,51678 0,18733
001-002 60
3 2
0,68142 0,31555
001-003 60
3 3
0,76238 0,40882
Tabel 7 memberi gambaran bahwa penilai dalam menggunakan komponen penilaian produk di kelas 1 jika hanya menggunakan satu indikator D study design
nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,52. Artinya tingkat kesepahaman
dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 52. Jika penilai menggunakan dua indikator rancangan D study
nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,68; begitu seterusnya untuk rancangan
001-003 didapatkan kaoefisien sebesar 0,76. Menurut kenyataan ini maka dapat dikatakan bahwa untuk penggunaan komponen penilaian produk agar dicapai
kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai cukup menggunakan indikator 1 dan 2 saja. Tetapi
jika ingin diperoleh tingkat kesepahaman dan kesepakatan yang lebih tinggi maka penggunaan indikator 1 dan 2 bersama sekaligus dengan indikator nomor 3 sangat
dianjurkan. Tabel 18 memberi gambaran bahwa jika penilai dalam menggunakan komponen
penilaian produk di kelas 2 hanya dengan satu indikator D study design nomor 001-001
26
0,16 0,08
dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,25.
Tabel 8 Estimasi Koefisien Generalizability pada Penilaian Produk Kelas 2
dan Tingkat Perubahannya
D STUDY DESIGN NO
SAMPLE SIZE GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,24922 0,08359
001-002 60
3 2
0,39900 0,15429
001-003 60
3 3
0,49896 0,21486
Artinya tingkat kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 25. Jika penilai menggunakan dua indikator
rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,40 begitu seterusnya
untuk rancangan 001-003 didapatkan kaoefisien sebesar 0,50, Kenyataan ini menunjukkan bahwa untuk penggunaan komponen penilaian agar dicapai kesepahaman
dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai harus menggunakan semua indikator yang ada dan dianjurkan untuk
menambah indikator lain yang sejenis untuk melengkapi jabaran konstruk yang ada sehingga
Tabel 9. Estimasi Koefisien Generalizability pada Penilaian Produk Kelas 3
dan Tingkat Perubahannya
D STUDY DESIGN
NO SAMPLE SIZE
GENERALIZABILITY
Selisih Koefisien Genova
P INF.
R INF
I INF.
COEF. PHI
001-001 60
3 1
0,35483 0,12330
001-002 60
3 2
0,52380 0,21953
001-003 60
3 3
0,62263 0,29672
dapat dicapai tingkat kesepahaman dan kesepakatan yang lebih tinggi. Penambahan indikator sejenis yang relevan untuk meningkatkan kebermaknaan penilaian produk di
kelas 2 memerlukan telaah lanjut tersendiri.Tabel 9 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian produk di kelas 3 hanya dengan satu
27
0,15 0,10
0,17 0,10
indikator D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,35.
Artinya 35 penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian yang dipakai. Jika penilai menggunakan dua
indikator D study design nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,52 begitu
seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,62. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat
observasi yang dapat diterima untuk faset yang lebih luas, penilai harus menggunakan indikator yang ada dan ditambah lagi indikator lain untuk melengkapi jabaran konstruk
yang ada sehingga dapat dicapai tingkat kesepahaman dan kesepakatan yang lebih tinggi.
Secara umum hasil analisis D study telah memberi petunjuk dan alternatif penggunaan alat penilaian kepada pengguna instrumen penilaian kualitas karya seni
lukis untuk mempertimbangkan penggunaan indikator-indikator penilaian yang relevan dengan sasaran yang dinilai dan mempertimbangkan tingkat reliabilitas kebermaknaan
hasil penilaian. Berdasarkan analisis yang telah dilakukan dapat diketahui bahwa ada beberapa rancangan dari hasil D study yang mereferensikan perlunya penambahan
indikator untuk komponen penilaian tertentu yaitu untuk komponen-komponen penilaian produk untuk sasaran penilaian kelompok tertentu.
d. Data Uji Coba Koefisien Interrater
