208 Tabel 13
Estimasi Koefisien Generalizability Penilaian Proses dan Tingkat Perubahan pada Kelas 1
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,60437 0,12791
001-002 60 3 2 0,75341 0,22681
001-003 60 3 3 0,82088 0,30556
001-004 60 3 4 0,85936 0,36976
001-005 60 3 5 0,88424 0,42308
001-006 60 3 6 0,90163 0,46809
001-007 60 3 7 0,91448 0,50659
Tabel 13 berturut-turut memberi gambaran tentang perubahan koefisien Generalizability untuk berbagai komposisi ukuran sampel P, R, dan I. Untuk
komponen penilaian proses di kelas 1 jika komposisinya hanya menggunakan satu indikator D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1 maka
tingkat atau koefisien kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,60, Artinya penilai memiliki tingkat kesepahaman dan kesepakatan
terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 60. Jika penilai menggunakan dua indikator rancangan D study nomor 001-002,
dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2 dapat dilihat pada Tabel
6, maka tingkat atau koefisien kesepahaman dan kesepakatan sebesar 0,75;
demikian seterusnya untuk rancangan 001-003 diperoleh koefisien sebesar 0,82. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk mencapai
kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, yaitu 0,70, penilai cukup
menggunakan indikator 1 dan 2 saja Jika ingin meningkatkan tingkat kesepahaman dan kesepakatan yang lebih tinggi maka jumlah indikator penilaian
0,15 0,07
0,02
0,
02 0,04
0,01
209 harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan
Tabel 14 Estimasi Koefisien Generalizability Penilaian Proses
dan Tingkat Perubahan pada Kelas 2
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,37765 0,02724
001-002 60 3 2 0,50637 0,03500
001-003 60 3 3 0,57128 0,03868
001-004 60 3 4 0,61040 0,04082
001-005 60 3 5 0,63655 0,04223
001-006 60 3 6 0,65527 0,04322
001-007 60 3 7 0,66933 0,04396
dalam konteks ini jika 7 tujuh indikator digunakan maka akan dicapai koefisien kesepahaman dan kesepakatan sebesar 91,45.
Tabel 14 memberi gambaran bahwa penilai dalam menggunakan komponen penilaian proses hanya dengan satu indikator D study design
nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,38. Artinya penilai
memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 38. Jika penilai
menggunakan dua indikator D study design nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2 memiliki tingkat kesepahaman dan
kesepakatan sebesar 0,51. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk mencapai tingkat kesepahaman dan kesepakatan yang memenuhi
tingkat observasi yang dapat diterima untuk faset yang lebih luas, minimal 0,70, penilai harus menggunakan indikator 1, 2, 3, 4 dan 5 sekaligus. Jika ingin
meningkatkan tingkat kesepahaman dan kesepakatan yang lebih tinggi maka
0,13 0,06
0,02 0,03
0,04 0,01
210 Tabel 15
Estimasi Koefisien Generalizability Penilaian Proses dan Tingkat Perubahan pada Kelas 3
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,39277 0,02894
001-002 60 3 2 0,51665 0,03720
001-003 60 3 3 0,57735 0,04111
001-004 60 3 4 0,61338 0,04339
001-005 60 3 5 0,63724 0,04489
001-006 60 3 6 0,65421 0,04594
001-007 60 3 7 0,66689 0,04673
jumlah indikator penilaian harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan
Pada Tabel 15 memberi gambaran bahwa penilai dalam menggunakan komponen penilaian proses di kelas 3 jika hanya dengan satu indikator D study
design nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,39. Jika
penilai menggunakan dua indikator rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan
kesepakatan sebesar 0,52; begitu seterusnya untuk design 001-003 didapatkan kaoefisien sebesar 0,58. Berdasarkan kenyataan ini maka dapat dikatakan bahwa
untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset
yang lebih luas, penilai harus menggunakan indikator 1 sampai dengan 6 secara simultan. Jika ingin meningkatkan tingkat kesepahaman dan kesepakatan yang
lebih tinggi maka penggunaan indikator penilaian harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan, dalam konteks ini jika 7 tujuh
0,12 0,06
0,02 0,02
0,04 0,01
211 indikator digunakan semua dicapai koefisien kesepahaman dan kesepakatan
mencapai 66,69.
2 D Study untuk Penilaian Produk
Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian produk berturut-turut dapat disajikan pada Tabel 16 sampai dengan Tabel 18.
Tabel 16 Estimasi Koefisien Generalizability Penilaian Produk
dan Tingkat Perubahannya pada Kelas 1
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,51678 0,18733
001-002 60 3 2 0,68142 0,31555
001-003 60 3 3 0,76238 0,40882
Tabel 16 memberi gambaran bahwa penilai dalam menggunakan komponen penilaian produk di kelas 1 jika hanya menggunakan satu indikator D
study design nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,52.
Artinya tingkat kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 52. Jika penilai
menggunakan dua indikator rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan
kesepakatan sebesar 0,68; begitu seterusnya untuk rancangan 001-003 didapatkan koefisien sebesar 0,76. Menurut kenyataan ini maka dapat dikatakan bahwa
untuk penggunaan komponen penilaian produk agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset
yang lebih luas, penilai cukup menggunakan indikator 1 dan 2 saja. Tetapi jika
0,16 0,08
212 ingin diperoleh tingkat kesepahaman dan kesepakatan yang lebih tinggi maka
penggunaan indikator 1 dan 2 bersama sekaligus dengan indikator nomor 3 sangat dianjurkan.
Tabel 17 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian produk di kelas 2 hanya dengan satu indikator D study
design nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,25.
Tabel 17 Estimasi Koefisien Generalizability Penilaian Produk
dan Tingkat Perubahan pada Kelas 2
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,24922 0,08359
001-002 60 3 2 0,39900 0,15429
001-003 60 3 3 0,49896 0,21486
Artinya tingkat kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 25. Jika penilai
menggunakan dua indikator rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan
kesepakatan sebesar 0,40 begitu seterusnya untuk rancangan 001-003 didapatkan koefisien sebesar 0,50, Kenyataan ini menunjukkan bahwa untuk penggunaan
komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai harus
menggunakan semua indikator yang ada dan dianjurkan untuk menambah indikator lain yang sejenis untuk melengkapi jabaran konstruk yang ada sehingga
0,15 0,10
213 Tabel 18
Estimasi Koefisien Generalizability Penilaian Produk dan Tingkat Perubahan pada Kelas 3
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,35483
0,12330 001-002 60 3 2
0,52380 0,21953
001-003 60 3 3 0,62263
0,29672
dapat dicapai tingkat kesepahaman dan kesepakatan yang lebih tinggi. Penambahan indikator sejenis yang relevan untuk meningkatkan kebermaknaan
penilaian produk di kelas 2 memerlukan telaah lanjut tersendiri.Tabel 18 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian produk di
kelas 3 hanya dengan satu indikator D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas
dalam koefisien G sebesar 0,35. Artinya 35 penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian
yang dipakai. Jika penilai menggunakan dua indikator D study design nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki
tingkat kesepahaman dan kesepakatan sebesar 0,52 begitu seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,62. Untuk penggunaan komponen
penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai harus
menggunakan indikator yang ada dan ditambah lagi indikator lain untuk melengkapi jabaran konstruk yang ada sehingga dapat dicapai tingkat
kesepahaman dan kesepakatan yang lebih tinggi.
0,17 0,10
214
3 D Study untuk Penilaian Diri
Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian diri berberturut-turut dapat disajikan pada Tabel 19 sampai dengan Tabel 21. Tabel 19
Tabel 19 Estimasi Koefisien Generalizability Penilaian Diri
dan Tingkat Perubahan pada Kelas 1
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien
Genova
001-001 60 3 1 0,46320
0,05585 001-002 60 3
2 0,58001 0,07412
001-003 60 3 3 0,63325
0,08319 001-004 60 3
4 0,66370 0,08861
001-005 60 3 5 0,68342
0,09222
memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian diri di kelas 1 hanya dengan satu indikator rancangan D study nomor 001-001
dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,46. Artinya 46 penilai memiliki
tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian diri. Jika penilai menggunakan dua indikator rancangan D study
nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,58 begitu seterusnya untuk
design 001-003 didapatkan koefisien sebesar 0,63. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat
observasi yang dapat diterima untuk faset yang lebih luas 0,70, penilai paling tidak harus menggunakan indikator 1, 2, 3 dan 4. Untuk mencapai tingkat
kesepahaman dan kesepakatan yang lebih tinggi seyogianya semua indikator yang ada digunakan secara simultan.
0,12 0,05
0,03 0,02
215 Tabel 20 memberi gambaran bahwa jika penilai dalam menggunakan
komponen penilaian diri di kelas 2 hanya dengan satu indikator rancangan D study nomor 001-001 dengan P = 60, R = 3 dan I = 1
Tabel 20. Estimasi Koefisien Generalizability Penilaian Diri
dan Tingkat Perubahan pada Kelas 2
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN
NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3
1 0,32649 0,02095
001-002 60 3
2 0,45963 0,02818
001-003 60 3
3 0,53194 0,03184
001-004 60 3
4 0,57735 0,03495
001-005 60 3
5 0,60852 0,03553
memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,33. Artinya penilai memiliki tingkat kesepahaman dan kesepakatan
terhadap penggunaan konstruk instrumen penilaian diri sebesar 33. Jika penilai menggunakan dua indikator rancangn D study nomor 001-002, dengan P = 60, R
= 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,46 begitu seterusnya untuk design 001-003 didapatkan
koefisien sebesar 0,53. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat
diterima untuk faset yang lebih luas 0,70, penilai paling tidak harus menggunakan semua indikator yang ada. Untuk mencapai tingkat
kesepahaman dan kesepakatan yang lebih tinggi semua indikator yang ada dipakai dan jika memngkinkan ditambah lagi indikator lain dan digunakan secara
simultan.
0,13 0,07
0,05 0,03
216 Tabel 21.
Estimasi Koefisien Generalizability Penilaian Diri dan Tingkat Perubahan pada Kelas 3
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,38162 0,03369
001-002 60 3 2 0,51820 0,04534
001-003 60 3 3 0,58839 0,05125
001-004 60 3 4 0,63114 0,05482
001-005 60 3 5 0,65991 0,05721
Tabel 21 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian diri di kelas 3 hanya dengan satu indikator rancangan D
study nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,38.
Artinya 38 penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian diri yang dipakai. Jika penilai
menggunakan dua indikator rancngan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan
kesepakatan sebesar 0,52 begitu seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,59. Untuk penggunaan komponen penilaian agar dicapai
kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas 0,70, penilai paling tidak harus
menggunakan semua indikator yang ada.
4 D Study untuk Penilaian Kelompok
Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian kelompok berturut-turut dapat disajikan pada Tabel 22 sampai dengan Tabel 24.
0,14 0,07
0,04 0,03
217 Tabel 22
Estimasi Koefisien Generalizability Penilaian Kelompok dan Tingkat Perubahan pada Kelas 1
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1
0,55058 0,19211 001-002 60 3
2 0,71016 0,32230
001-003 60 3 3
0,78611 0,41635 001-004 60 3
4 0,83052 0,48748
001-005 60 3 5
0,85966 0,54316
Tabel 22 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian kelompok di kelas 1 hanya dengan satu indikator rancangan
D study nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,55.
Artinya tingkat kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian kelompok yang dipakai sebesar 55. Jika penilai
menggunakan dua indikator rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan
kesepakatan sebesar 0,71 begitu seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,79. Untuk penggunaan komponen penilaian agar dicapai
kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas 0,70, penilai sudah cukup hanya
menggnakan butir indikator 1 dan 2 saja, tetapi jika ingin mendapatkan tingkat kebermaknaan yang lebih tinggi penggunaan semua butir indikator yang ada lebih
dianjurkan.
0,16 0,08
0,04 0,03
218 Tabel 23
Estimasi Koefisien Generalizability Penilaian Kelompok dan Tingkat Perubahan pada Kelas 2
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1 0,47823
0,10856 001-002 60 3
2 0,64703 0,19586
001-003 60 3 3 0,73331
0,26759 001-004 60 3
4 0,78569 0,32757
001-005 60 3 5 0,82088
0,37840
Tabel 23 memberi gambaran bahwa jika penilai menggunakan komponen penilaian kelompok di kelas 2 hanya dengan satu indikator rancangan D study
nomor 001-001 dengan P = 60, R = 3 dan I = 1, maka besarnya koefisien reliabilitas dalam koefisien G adalah sebesar 0,48. Artinya tingkat kesepahaman
dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian kelompok yang dipakai sebesar 48. Jika penilai menggunakan dua indikator
rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,65
begitu seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,73. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang
memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas 0,70, penilai sudah cukup hanya menggnakan butir indikator 1 dan 2 saja, tetapi
jika ingin mendapatkan tingkat kebermaknaan yang lebih tinggi dianjurkan menggunakan semua butir indikator yang ada.
Tabel 24 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian kelompok di kelas 3 hanya dengan satu indikator rancangan
D study nomor 001-001 dengan P = 60, R = 3 dan I = 1 memiliki tingkat kesepahaman dan kesepakatan reliabilitas dalam koefisien G sebesar 0,36.
0,17 0,09
0,05 0,04
219 Tabel 24
Estimasi Koefisien Generalizability Penilaian Kelompok dan Tingkat Perubahan pada Kelas 3
SAMPLE SIZE GENERALIZABILITY
D STUDY DESIGN NO
P INF.
R INF
I INF.
COEF. PHI
Selisih Koefisien Genova
001-001 60 3 1
0,35993 0,10883 001-002 60 3
2 0,52934 0,19630
001-003 60 3 3
0,62784 0,26813 001-004 60 3
4 0,69224 0,32818
001-005 60 3 5
0,73765 0,37912
Artinya tingkat kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian kelompok yang dipakai sebesar 36 Jika penilai
menggunakan dua indikator rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2 yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan
kesepakatan sebesar 0,53 begitu seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,63. Untuk penggunaan komponen penilaian agar dicapai
kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas 0,70, penilai sudah cukup hanya
menggunakan butir indikator 1, 2, 3 dan 4 saja, tetapi jika ingin mendapatkan tingkat kebermaknaan yang lebih tinggi dianjurkan menggunakan semua butir
indikator yang ada. Secara umum hasil analisis D study telah memberi petunjuk dan alternatif
penggunaan alat penilaian kepada pengguna instrumen penilaian kualitas karya seni lukis untuk mempertimbangkan penggunaan indikator-indikator penilaian
yang relevan dengan sasaran yang dinilai dan mempertimbangkan tingkat reliabilitas kebermaknaan hasil penilaian. Berdasarkan analisis yang telah
dilakukan dapat diketahui bahwa ada beberapa rancangan dari hasil D study yang
0,17 0,10
0,06 0,05
220 mereferensikan perlunya penambahan indikator untuk komponen penilaian
tertentu yaitu untuk komponen-komponen penilaian produk dan penilaian diri untuk sasaran penilaian kelompok tertentu.
2. Data Uji Coba Koefisien Interrater
