KOMPARASI METODE STANDARD SETTING UNTUK PENENTUAN KKM MATA PELAJARAN MATEMATIKA KELAS VIII SMP

Susi Anto, 2) Djemari Mardapi

LPMP Daerah Istimewa Yogyakarta, 2) Universitas Negeri Yogyakarta

susianto.lpmpjogja@gmail.com, 2) djemarimardapi@yahoo.co.id

Abstrak

Tujuan penelitian ini adalah menemukan skor batas Kriteria Ketuntasan Minimum (KKM) dengan memanfaatkan metode yang ada dalam standard setting. Metode yang digunakan adalah metode Extended Angoff dan metode Ebel. Penelitian ini merupakan penelitian deskriptif kuantitatif yang diperkuat dengan data kualitatif. Data kuantitatif yang digunakan dalam penelitian ini adalah pola respon peserta didik atas soal UKK SMP/MTs Kelas VIII Mapel Matematika Kabupaten Sleman 2011/2012. Selain itu, dalam penentuan cut of score, juga digunakan data kuantitatif yang diperoleh dari expert judgement. Sementara expert judgement yang bersifat kualitatif digunakan untuk menilai kualitas pelaksanaan pertemuan standard setting. Hasil penelitian ini menunjukkan bahwa cutscore yang diperoleh dengan menggunakan metode Extended Angoff maupun Ebel masing-masing 59 dan 50,98 pada skala 100. Cutscore ini berbeda cukup signifikan dengan KKM sekolah yang ditentukan dengan menggunakan metode konvensional. Berdasarkan analisis validitas standard setting, metode Extended Angoff memberikan hasil cutscore yang relatif lebih valid dibanding metode Ebel. Validitas standard setting yang diukur dalam penelitian ini adalah validitas internal yang meliputi method consistency, decision consistency, intra-judge consistency, dan inter-judge consistency.

Kata kunci: standard setting, KKM, validitas standard setting

COMPARISON OF STANDARD SETTING METHOD FOR DETERMINING MINIMUM MASTERY CRITERIA

Susi Anto, 2) Djemari Mardapi

LPMP Daerah Istimewa Yogyakarta, 2) Universitas Negeri Yogyakarta

susianto.lpmpjogja@gmail.com, 2) djemarimardapi@yahoo.co.id

Abstract

The objective of the research is to find cutscore of Minimum Mastery Criteria (KKM) by utilizing methods existing in standard setting. The methods used are Extended Angoff and Ebel methods. This research is quantitative descriptive one supported by qualitative data. Quantitati ve data used in this research are the pattern of students’ responses against the problems of Mathematics at the End of the Year Examination for SMP/MTs for eight graders in Kabupaten Sleman 2011/2012. In addition, quantitative data obtained from expert judgement are also used for determining cut of score. Meanwhile, qualitative expert judgement is used to assess the quality of standard setting meeting. The result of this research shows that cutscore gained using both Extended Angoff and Ebel methods is 59 and 50,98 respectively on a scale of 100. This cutscore is significantly different from school KKM defined using conventional method. Based on analysis of standard setting, Extended Angoff method would provide cutscore result that is relatively more valid compared to Ebel. The validity of standard setting measured in this research is the internal validity including method consistency, decision consistency, intra-judge consistency, and inter-judge consistency. Keywords: standard setting, minimum mastery criteria, standard setting validity

Komparasi Metode Standard Setting untuk Penentuan KKM − 369

Pendahuluan menimbulkan masalah yang cukup serius Standard setting

terutama berkenaan dengan masalah reliabi- adalah proses penetap-

litas, sebab menentukan nilai intake siswa, an suatu titik dalam skala skor tes tertentu daya dukung, dan kompleksitas membawa yang digunakan untuk menentukan level

konsekuensi tingginya variabilitas nilai yang performa suatu kebijakan atau untuk mem- mungkin muncul dari para penilai. Permasa- buat klasifikasi (Sireci dalam Wells, 2007).

lahan reliabilitas ini bisa dieliminasi, bahkan Dalam dunia pendidikan, standard setting dianulir jika KKM ditentukan dengan banyak digunakan untuk menentukan skor

menggunakan standard setting. batas kelulusan atau biasa disebut sebagai

skor minimum kelulusan. Namun lebih dari Penelitian ini memilih metode Ex- itu, standard setting sesungguhnya dapat di-

tended Angoff dan Ebel dengan alasan seba- gunakan sebagai alat bantu untuk memeta-

gai berikut. Pertama, metode ini relatif mu- kan mutu pendidikan, sebab dengan standard

dah jika diterapkan pada guru. Kedua, me- setting kita bisa membuat suatu klasifikasi

tode ini tidak memerlukan persyaratan ana- rendah-sedang-tinggi kompetensi seseorang

lisis butir yang rumit, tetapi cukup dengan atau prestasi suatu wilayah tertentu (Athana-

menggunakan teori tes klasik yang sudah sou dan Lamprianou, 2009, p.272).

cukup dikenal di kalangan para guru. Secara garis besar, standard setting di-

Penelitian ini bertujuan untuk: (1) bedakan menjadi dua golongan. Pertama

mengetahui karakteristik perangkat soal yang menggunakan acuan norma sementara

UKK jenjang SMP/MTs kelas VIII mata kedua yang menggunakan acuan kriteria.

pelajaran Matematika Kabupaten Sleman ta- Dalam interpretasi nilai beracuan norma,

hun pelajaran 2011/2012, (2) mengetahui kemampuan peserta tes diperbandingkan

skor KKM bidang studi Matematika untuk dengan kemampuan orang lain dalam ke-

siswa SMP/MTs kelas VIII di Kabupaten lompok acuan. Sementara dalam interpretasi

Sleman jika ditentukan dengan mengguna- nilai beracuan kriteria, kemampuan peserta

kan metode standard setting berbasis tes (test- tes diperbandingkan dengan level kemam-

centered ) yaitu metode Extended Angoff dan puan tertentu (Reynolds, Livingston, dan

metode Ebel, (3) mengetahui persentase ke- Willson, 2010, pp.62-64).

tuntasan siswa kelas VIII jenjang SMP/MTs untuk mata pelajaran Matematika di Kabu-

Penentuan skor minimal kelulusan di paten Sleman jika menggunakan KKM yang

Indonesia belum menerapkan kedua pende- ditentukan dengan metode Extended Angoff katan di atas, tapi ditetapkan berdasarkan dan metode Ebel, (4) mengetahui deskripsi kesepakatan dan masukan dari lapangan. kemampuan siswa kelas VIII jenjang SMP/ Begitu pula dalam menilai ketuntasan suatu MTs di Kabupaten Sleman untuk mata mata pelajaran. Penentuan Kriteria Ketun- pelajaran Matematika yang telah dikatakan tasan Minimum (KKM) selama ini dilaku- tuntas jika menggunakan skor KKM ber- kan oleh masing-masing sekolah dengan dasarkan metode Extended Angoff, (5) menggunakan metode di luar standard setting membuat interpretasi terhadap perbedaan atau ditetapkan oleh Dinas Pendidikan di skor KKM yang dihasilkan dengan meng- tingkat kabupaten/kota dengan tujuan ter- gunakan metode standard setting yang ber- tentu yang terkadang justru kontraproduktif beda, (6) mengetahui metode yang mampu dengan tujuan pendidikan secara luas. menghasilkan cutscore dengan validitas Dalam hal penentuan KKM, metode

terbaik, (7) mengetahui kompatibilitas me- yang selama ini dikenal oleh guru adalah de-

tode Extended Angoff dan metode Ebel bagi ngan menentukan subskornya berdasarkan

para guru untuk menentukan KKM, dan (8) intake siswa, daya dukung, dan kompleksi-

mengetahui metode yang lebih mudah tas. Dari ketiga subskor tersebut selanjutnya

dalam penentuan KKM diantara 2 metode diambil rata-rata yang kemudian digunakan

yaitu metode konvensional dan metode sebagai KKM. Penggunaan teknik ini tentu

standard setting (Extended Angoff dan Ebel).

370 − Jurnal Penelitian dan Evaluasi Pendidikan Tahun 17, Nomor 2, 2013

Metode Penelitian

Tabel 1. Sumber Data Penentuan KKM Menggunakan Metode Extended

Penelitian ini merupakan penelitian Angoff

deskriptif kuantitatif yang diperkuat dengan data kualitatif. Data kuantitatif yang di-

Nilai gunakan dalam penelitian ini adalah pola

Jumlah

Rata- respon peserta didik atas soal UKK SMP/

Sekolah

siswa Rata MTs Kelas VIII Mapel Matematika Kabu-

paten Sleman 2011/2012. Selain itu, dalam

129 8,35 penentuan cut of score, juga digunakan data kuantitatif yang diperoleh dari expert judge-

1 SMPN 1 Godean

201 6,22 ment . Sementara expert judgement yang bersifat

2 SMPN 1 Minggir

143 5,08 kualitatif digunakan untuk menilai kualitas

3 SMPN 1 Mlati

pelaksanaan pertemuan standard setting.

104 4,51 Penelitian ini mengambil tempat di

4 SMPN 2 Pakem

108 4,41 Kabupaten Sleman. Alasan penentuan loka-

5 SMPN 1 Berbah

si penelitian ini adalah: (1) Sleman memiliki 6 SMPN 2 Ngemplak 207 4,16 wilayah yang cukup luas, (2) Sleman memiliki kondisi sosial ekonomi yang cukup

203 3.80 lengkap yang mewakili tiga kondisi yang

7 SMPN 1 Ngaglik

146 3,67 berbeda, yaitu urban, suburban, dan rural.

8 MTsN Godean

188 3,41 April hingga Agustus 2012. Serangkaian ke-

Penelitian dilaksanakan pada bulan

9 SMPN 2 Moyudan

160 3,25 giatan persiapan dilakukan pada bulan April

10 MTsN Tempel

2012, sementara pengambilan data respon

89 3,02 siswa dilakukan pada bulan Juni 2012. Pada bulan Juli 2012 dilakukan analisis butir soal

11 SMPN 3 Turi

12 SMP Muh. 1 Gamping 85 2,76 berdasarkan data respon siswa untuk me-

1763 52,64 ngetahui karakteristik perangkat tes. Kegiat-

Jumlah

an selanjutnya adalah pengambilan data Nilai rata-rata sampel 4,39 kuantitatif dan kualitatif melalui panel ber- sama expert dalam bentuk focused group dis-

Nilai rata-rata populasi 4,36 cussion (FGD) yang dilaksanakan pada bulan

Agustus 2012. Sumber data kuantitatif dalam pene- Data set dalam penelitian ini berupa

litian ini dapat dilihat pada Tabel 1 dan respon peserta didik SMP/MTs kelas VIII

Tabel 2. Selain pertimbangan pola distribusi Kabupaten Sleman tahun pelajaran 2011/

skor siswa, pemilihan sekolah sampel juga 2012 sebanyak 3504 siswa. Siswa tersebut

memperhatikan letak sekolah secara geo- terdistribusi dalam 24 SMP/MTs yang di-

grafis. Dengan pertimbangan tersebut dipilih mengikuti distribusi perolehan nilai

harapkan sampel merepresentasikan seluruh UKK jenjang SMP/MTs kelas VIII Kabu-

kondisi daerah yang ada, baik secara geo- paten Sleman tahun pelajaran 2011/2012

grafi maupun secara sosial ekonomi. Secara bidang studi Matematika. Dengan demikian,

geografi, sampel diharapkan mampu mewa- sekolah yang dipilih sebagai sampel me-

kili wilayah Sleman Barat, Sleman Tengah, wakili kelompok-kelompok perolehan nilai

dan Sleman Timur. Sementara secara sosial baik tinggi, sedang, maupun rendah.

ekonomi, sampel diharapkan mampu mewakili daerah urban, suburban, maupun

rural.

Komparasi Metode Standard Setting untuk Penentuan KKM − 371

Susi Anto, Djemari Mardapi

Tabel 2. Sumber Data Penentuan KKM mengampu pelajaran Matematika di kelas Menggunakan Metode Ebel

VIII.

Banyaknya panelis yang digunakan

dalam penelitian ini untuk masing-masing No

metode adalah 12 untuk menjaga agar vali-

Rata

ditas intra judge dan inter judge tetap tinggi

(Fowell, S.L., Fewtrell, R., & McLaughlin, 1 SMPN 4 Pakem P.J., 2008, p.11). Selain itu, panelis untuk

2 SMPN 1 Turi

metode Angoff dibedakan dengan panelis untuk metode Ebel untuk menghindarkan

3 SMPN 2 Kalasan

bias dan interferensi dalam estimasi mereka. Data yang diperlukan dalam peneli-

4 SMPN 4 Ngaglik

tian ini dikumpulkan dengan menggunakan 5 SMPN 1 Cangkringan

teknik dokumentasi dan melalui focused group discussion (FGD). Instrumen pengumpul

6 SMP Muh. 3 Depok

data yang digunakan adalah lembar jawab siswa, lembar kerja panelis, dan angket

7 SMPN 3 Mlati

Karakteristik perangkat tes perlu di- 8 SMPN 2 Gamping

analisis terlebih dahulu untuk memutuskan 9 SMP Muh. 1 Berbah

apakah butir-butir yang ada memenuhi syarat untuk digunakan sebagai basis penentu-

10 SMP Muh. 1 Minggir

an cutscore. Untuk mengetahui karakteristik butir, respon jawaban peserta akan dikaji

11 MTsN Seyegan

secara kuantitatif melalui analisis empirik dengan mengacu pada teori tes klasik. Pe-

SMP Muh. 2

rangkat bantu yang digunakan dalam analisis Gamping

tersebut adalah program Iteman versi 3.0. Jumlah

Selanjutnya untuk menentukan cutscore , penelitian ini menggunakan dua metode, ya-

Nilai rata-rata sampel

itu metode Extended Angoff dan metode Ebel. Impara dan Plake dalam Stahl (2008,

Nilai rata-rata populasi

p.7) mengusulkan suatu modifikasi untuk lebih menyederhanakan proses pada metode

Sumber data kualitatif dan kuantitatif Original Angoff. Modifikasi tersebut mengusulkan agar panelis memutuskan apakah

lainnya adalah guru-guru pengampu bidang studi Matematika kelas VIII yang bertugas

peserta ujian secara individual mampu atau tidak mampu menjawab butir soal dengan

di 24 SMP/MTs yang digunakan sebagai benar. Cara ini dinamakan prosedur Ya/

sampel data set yang memenuhi kualifikasi Tidak. Jawaban diskor 1 bila Ya dan diskor tertentu. Kualifikasi dimaksud berkenaan

0 jika Tidak. Skor yang diperoleh dari tiap dengan latar belakang pendidikan dan pe- butir soal pada masing-masing panelis ke- ngalaman mengajar guru yang bersangkutan.

mudian dijumlahkan. Hasil penjumlahan itu Guru-guru yang ditunjuk sebagai panelis merupakan kriteria kelulusan minimum atau harus memiliki latar belakang pendidikan minimum passing level dari panelis. Nilai rata- yang sesuai dan memiliki pengalaman rata minimum passing level dari masing-masing mengajar bidang studi Matematika jenjang

panelis inilah yang merupakan final cutting SMP/MTs sekurang-kurangnya 10 tahun

score perangkat tes.

dan sekurang-kurangnya 5 tahun terakhir

372 − Jurnal Penelitian dan Evaluasi Pendidikan Tahun 17, Nomor 2, 2013

Metode kedua yang digunakan dalam akan diukur melalui validitas internal yang penelitian ini adalah metode Ebel. Metode

meliputi: method consistency, decision consistency, yang dikemukakan Ebel mengusulkan suatu

intra-judge consistency, dan inter-judge consistency. prosedur yang mirip dengan Angoff, namun

Konsistensi metode akan diukur me- dengan pertimbangan keterkaitan menyang-

lalui standard error of judgement (SEj) atau kesa- kut relevansi isi tiap butir dan tingkat ke-

lahan baku penjurian (Norcini et al., 1987, sukarannya dapat mempengaruhi pertim-

p.60). Menurut Cohen et al., (1999, p.362), bangan tentang bagaimana kualifikasi mini-

konsistensi metode dapat dikatakan meme- mal peserta tes yang diharapkan untuk me-

nuhi jika nilai SEj sama dengan atau lebih ngerjakan suatu butir (Ebel, 1979, p.340).

kecil dari setengah nilai standar error of Teknik ini menggunakan suatu jaringan dua

measurement (SEM) tes.

dimensi untuk membuat kategori setiap Konsistensi keputusan akan diukur butir. Dimensi satu menyangkut tingkat

dengan menggunakan persamaan: relevansi isi butir, sementara dimensi dua

menyangkut tingkat kesukaran butir. Ting- |Z| = (C x – M – 0,5) / S x kat relevasi butir dibedakan menjadi empat

kategori yang meliputi essential (sangat pen- Artinya C x adalah cutscore tes, M ada- ting), important (penting), acceptable (dapat

lah rata-rata skor peserta tes, dan S x adalah diterima), dan questionable (dipertanyakan).

simpangan baku skor peserta tes (Cizek & Tingkat kesukaran dibedakan menjadi tiga

Bunch, 2007, p.307). Harga mutlak Z kemu- kategori yang meliputi mudah, sedang, dan

dian digunakan untuk menentukan estimasi sulit.

koefisien kesepakatan (p 0 ) dan nilai kappa Setelah cutscore ditentukan, langkah se-

(k) dari dua tabel Subkoviak yang tercantum lanjutnya adalah menganalisis persentase

pada Cizek & Bunch (2007, pp.310-311). dan deskripsi ketuntasan siswa kelas VIII

Semakin tinggi koefisien kesepakatan (p 0 ) jenjang SMP/MTs di Kabupaten Sleman

maka semakin tinggi pula proporsi keputus- untuk mata pelajaran Matematika. Analisis

an konsisten yang diharapkan jika prosedur ini penting karena beberapa alasan. Per-

pengujian ulang dilakukan. Begitu pula se- tama, untuk mengetahui peta pencapaian

makin besar nilai kappa (k) mengindikasikan siswa kelas VIII jenjang SMP/MTs di Ka-

makin besarnya pengaruh prosedur penguji- bupaten Sleman dalam pembelajaran Mate-

an terhadap konsistensi keputusan. Rendah- matika. Kedua, untuk membantu membuat

nya nilai kappa (k) menunjukkan bahwa cut- proyeksi persentase kelulusan siswa kelas

score yang dihasilkan terletak jauh dari area

VIII jenjang SMP/MTs di Kabupaten distribusi skor dengan tingkat densitas ter- Sleman setahun yang akan datang pada

tinggi dan estimasi reliabilitas tes rendah mata pelajaran Matematika. Ketiga, untuk

(Cizek & Bunch, 2007, p.312). membantu membuat proyeksi terhadap des-

Intra-judge consistency yang akan diukur kripsi kemampuan yang betul-betul sudah

adalah intra-judge consistency baik di dalam dikuasai siswa atau masih perlu upaya keras

putaran maupun antar putaran. Intra-judge baik oleh guru maupun siswa untuk me-

consistency across rounds akan dilihat dari nguasainya. Keempat, untuk membuat pe-

magnitudo perubahan rating butir dari nilaian terhadap estimasi panelis tentang

putaran ke putaran dan banyaknya rating kemampuan siswa-siswinya, apakah estimasi

butir yang berubah dari putaran ke putaran tersebut sudah tepat ataukah under atau

(Loomis et al., 2000, p.13). Intra-judge consis- bahkan over-estimate.

tency within rounds akan ditentukan berdasar- Validitas cutscore yang dihasilkan juga

kan pemetaaan keputusan rating setiap butir akan dihitung untuk menentukan cutscore

pada tabel tingkat kesulitan item (Loomis et manakah dari kedua metode yang diguna-

al., 2000, p.15). Pemetaan itu akan diuji kan (Extended Angoff dan Ebel) yang memi-

melalui nilai korelasinya. Nilai korelasi yang liki tingkat validitas terbaik. Validitas cutscore

tinggi mengindikasikan tingkat konsistensi Komparasi Metode Standard Setting untuk Penentuan KKM − 373

Susi Anto, Djemari Mardapi Susi Anto, Djemari Mardapi

perangkat tes yang terstandar. Definisi ter- untuk panelis yang telah expert sekalipun,

standar ini mencakup terstandar tahapan maka nilai korelasi di atas 0,30 sudah di-

penyusunannya, terstandar cakupan dan ke- anggap memuaskan (Alderson, 1993, p.55).

dalaman materinya, maupun terstandar ka- Inter-judge consistency merupakan kriteria

rakteristik tiap butir penyusunnya. yang penting untuk menilai apakah suatu

Dilihat dari sisi tahapan penyusunan- proses standard setting memiliki alasan yang

nya, perangkat tes dimaksud sudah bisa di- cukup memadai atau tidak (Loomis et al.,

katakan terstandar karena disusun melalui 2000, p.13). Inter-judge consistency akan dilihat

prosedur yang telah terstandar oleh tim di dari simpangan baku cutscore. Secara umum

bawah Musyawarah Kerja Kepala Sekolah simpangan baku antar putaran akan sema-

(MKKS) jenjang SMP/MTs di Kabupaten kin mengecil untuk cutscore pada level cakap

Sleman. Begitu pula dari sisi cakupan dan dan ahli, dan akan membesar untuk cutscore

kedalaman materinya, perangkat tes dimak- pada level dasar (Loomis et al., 2000, p.13).

sud juga sudah bisa dikatakan terstandar ka- Untuk menjawab pertanyaan apakah

rena disusun berdasarkan SK dan KD yang metode Extended Angoff dan metode Ebel

sesuai dengan kelas dan jenjangnya sebagai- cukup kompatibel digunakan oleh guru un-

mana termaktub dalam Standar Isi. Semen- tuk menentukan KKM serta pertanyaan

tara dari karakteristik tiap butir penyusun- apakah metode Extended Angoff dan me-

nya, perlu dilakukan analisis untuk menyim- tode Ebel lebih mudah digunakan untuk

pulkan apakah perangkat tes tersebut sudah menentukan KKM jika dibandingkan de-

bisa dikatakan terstandar atau belum. ngan metode konvensional akan digunakan

Berdasarkan analisis butir mengguna- analisis statistik deskriptif. Data yang di-

kan program Iteman tersebut, diperoleh ke- analisis merupakan feedback panelis atas

simpulan bahwa seluruh butir yang terdapat penyelengaraan pertemuan standard setting

dalam instrumen tes dapat digunakan dalam yang telah dilakukan. Data tersebut diper-

penentuan cutscore, karena semua indikator oleh dari respon panelis atas instrumen

memberikan informasi yang bagus. Indika- angket yang disebarkan setelah putaran

tor-indikator itu adalah tingkat kesulitan bu- penentuan standard setting dilakukan.

tir, daya beda butir, efektivitas distraktor, dan keberfungsian kunci jawaban.

Hasil Penelitian dan Pembahasan

Metode Extended Angoff Sebagaimana telah diungkap pada ba-

Putaran pertama metode Extended gian sebelumnya, karakteristik butir soal pe- Angoff menghasilkan cutscore sebesar 23 bu- rangkat tes perlu diketahui terlebih dahulu

tir benar dari 40 butir soal UKK atau sebe- sebelum digunakan dalam penentuan cut- sar 58%. Dengan menggunakan final cutscore score . Karakteristik butir tersebut digunakan

1 ini sebagai KKM, ternyata ada 22% siswa sebagai dasar keputusan apakah instrumen di sekolah sampel yang bisa dikatakan telah tes dimaksud memenuhi syarat atau tidak

tuntas dalam mengikuti materi pembelajaran untuk digunakan sebagai basis penentuan matematika SMP/MTs kelas VIII. Sementa- cutscore , sebab kelayakan instrumen menjadi

ra pada putaran kedua, menghasilkan cutscore prasyarat utama yang harus dipenuhi dalam sebesar 24 butir benar dari 40 butir soal penentuan cutscore yang berbasiskan alat tes

UKK atau sebesar 60%. Dengan meng- (test-centered models). gunakan final cutscore 2 ini sebagai KKM,

Penentuan cutscore yang berbasiskan tingkat ketuntasan turun menjadi 19%.

alat tes (test-centered models) mengasumsikan

374 − Jurnal Penelitian dan Evaluasi Pendidikan Tahun 17, Nomor 2, 2013

Tabel 3. Rekapitulasi Cutscore Metode Extended Angoff Cutscore Panelis

No. Panelis Perubahan Keputusan

1,5 3,75% KKM Final

Tabel 3 menampilkan rekapitulasi cut- ngan menggunakan KKM ini, ada 682 dari score para panelis pada putaran pertama dan

3504 (sekitar 19%) siswa di sekolah sampel kedua metode Extended Angoff. Rata-rata

yang bisa dikatakan telah tuntas dalam estimasi para panelis pada putaran pertama

mengikuti materi pembelajaran matematika dan kedua menunjukkan perbedaan angka

SMP/MTs kelas VIII.

yang sudah dapat diterima yaitu 1,5 butir Setelah menentukan cutscore pada pu- dari 40 butir soal (3,75%). Oleh karena itu

taran pertama, para panelis mendiskusikan tidak diperlukan adanya putaran ketiga pa-

deskriptor dari cutscore yang ditetapkan de-

da metode Extended Angoff ini. ngan metode Extended Angoff. Deskriptor yang digunakan merupakan kompetensi

Tabel 4. Hasil Penentuan KKM Bidang yang diukur oleh tiap butir soal hasil disku- Studi Matematika Jenjang SMP/

si dan disesuaikan dengan frekuensi panelis MTs Kelas VIII di Kabupaten

yang menjawab Ya. Hasil diskusi menun- Sleman Menggunakan Metode

jukkan ada 38 deskriptor yang memperoleh Extended Angoff

minimal 1 jawaban Ya dari panelis. Itu berarti populasi siswa yang telah melampaui

Banyak Persentase Banyak Persentase skor KKM atau siswa yang telah tuntas da- Putaran Butir

pat dikatakan setidaknya memiliki 38 kom- Benar

Benar Tuntas Tuntas petensi sebagaimana diukur oleh ke-38 bu- Pertama

tir tersebut.

Metode Ebel

Rata-Rata 23,5 59%

Putaran pertama metode Ebel menghasilkan cutscore sebesar 19,93 atau 49,82 KKM sesungguhnya diperoleh de-

pada skala 100. Dengan menggunakan final ngan mengambil rata-rata cutscore dari pu-

cutscore 1 ini sebagai KKM, ada 32% siswa di taran pertama dan kedua. Tabel 4 menun-

sekolah sampel yang bisa dikatakan telah jukkan skor KKM akhir sebesar 59%. De-

tuntas dalam mengikuti materi pembelajar- Komparasi Metode Standard Setting untuk Penentuan KKM − 375

Susi Anto, Djemari Mardapi Susi Anto, Djemari Mardapi

panelis pada putaran pertama dan kedua cutscore dengan metode Ebel menghasilkan

menunjukkan perbedaan angka yang sudah cutscore sebesar 20,85 atau 52,13 pada skala

dapat diterima yaitu 1,82 butir dari 40 butir 100. Dengan menggunakan final cutscore 2 ini

soal (4,55%). Oleh karena itu tidak diperlu- sebagai KKM, tingkat ketuntasan menurun

kan adanya putaran ketiga pada metode menjadi 28%.

Ebel ini.

Tabel 5 menampilkan rekapitulasi cutscore para panelis pada putaran pertama dan

Tabel 5. Rekapitulasi Cutscore Metode Ebel Cutscore Panelis

No. Panelis Perubahan Keputusan

1,82 4,55% KKM Final

Tabel 6 memberi informasi yang Tabel 6. Hasil Penentuan KKM Bidang lengkap hasil perhitungan KKM dengan

Studi Matematika Jenjang menggunakan metode Ebel berikut persen-

SMP/MTs Kelas VIII di tase tingkat ketuntasan siswa di sekolah

Kabupaten Sleman Menggunakan sampel. KKM sesungguhnya diperoleh de-

Metode Ebel ngan mengambil rata-rata skor KKM pada putaran pertama dan kedua. Dari nilai rata-

Persentase Banyak Persentase rata itu diperoleh KKM akhir sebesar

Skor

Skor Siswa Siswa 50,97%. Dengan menggunakan KKM ini,

Putaran

KKM

KKM Tuntas Tuntas ada 972 dari 3504 (sekitar 28%) siswa di se-

kolah sampel yang bisa dikatakan telah tun- Pertama 19,93 49,82% 1134

32% tas dalam mengikuti materi pembelajaran

matematika SMP/MTs kelas VIII. Kedua 20,85 52,13% 972 28% Rata-Rata 20,39 50,97%

376 − Jurnal Penelitian dan Evaluasi Pendidikan Tahun 17, Nomor 2, 2013

Metode Extended Angoff dan Ebel setiap selnya. Hal ini membawa implikasi pada penelitian ini masing-masing mengha-

nilai proporsi pada metode Ebel lebih bias silkan nilai cutscore 59 dan 50,98 pada skala

dibanding nilai proporsi pada metode Ex- 100. Ini berarti kedua metode menghasil-

tended Angoff.

kan nilai cutscore yang berbeda. Perbedaan itu Metode Extended Angoff pada peneli- muncul sebagai implikasi logis dari per-

tian ini menghasilkan nilai cutscore 59 pada bedaan konsep yang melatarbelakangi me-

skala 100. Pada nilai cutscore 59 ini banyak- tode-metode tersebut. Beberapa hal yang

nya siswa yang tuntas belajarnya adalah 19% bisa diuraikan untuk menjelaskan perbeda-

dari 3504 siswa sampel. Sementara pa-da an itu adalah sebagai berikut.

metode Ebel dihasilkan skor cutscore 50,98 Pertama, pada metode Extended An-

dan tingkat ketuntasan siswa di angka 28%. goff, baik tingkat kesulitan soal maupun

Rendahnya persentase ketuntasan siswa ini tingkat kemampuan peserta tes berpenga-

menunjukkan baik panelis metode Extended ruh secara dependen satu sama lain terha-

Angoff maupun Ebel, keduanya telah over dap keputusan Ya/Tidak panelis. Sementa-

estimate dalam memberikan penilaian atas ra pada metode Ebel tingkat kesulitan soal

kemampuan peserta didiknya. Jika estimasi dan tingkat kemampuan peserta tes ber-

mereka tepat, maka akan dihasilkan skor pengaruh secara independen satu sama lain

KKM yang lebih rendah dan persentase terhadap keputusan panelis. Selain itu di

ketuntasan yang lebih tinggi. samping tingkat kesulitan soal, pada meto-

de Ebel ada juga parameter lain yang ikut Validitas Standard Setting berpengaruh terhadap keputusan panelis

Validitas cutscore yang dihasilkan baik yaitu tingkat relevansi soal. Pada metode

oleh metode Extended Angoff maupun oleh Ebel tingkat kesulitan dan tingkat relevansi

metode Ebel akan diukur melalui validitas butir berpengaruh pada keputusan jumlah

internalnya. Validitas internal yang hendak butir yang tersarang dalam tiap-tiap sel. Se-

diukur tersebut meliputi method consistency, mentara tingkat kemampuan peserta tes

decision consistency, intra-judge consistency, dan berpengaruh kepada persentase jawaban

inter-judge consistency.

benar yang tersarang dalam tiap-tiap sel. Kedua, metode Ebel membutuhkan

Tabel 7. Kesalahan Baku Penjurian (SEj) lebih banyak estimasi dibanding metode

Metode Extended Angoff dan Extended Angoff. Jika pada metode Extended

Metode Ebel Angoff panelis hanya diminta mem-buat

satu jenis estimasi, maka tidak demikian hal- Kesalahan Baku (SEj) Referens

Putaran

nya pada metode Ebel. Sebab ada tiga para- i Ext. Angoff Ebel meter yang mesti diestimasi oleh para pane-

1,148 1,870 ≤ 1.3885 lis pada metode Ebel. Parameter itu adalah

Pertama

1,225 1,657 ≤ 1.3885 tir, dan tingkat kemampuan peserta tes. Ba-

tingkat kesulitan butir, tingkat relevansi bu-

Kedua

0,828 1,225 ≤ 1.3885 nyaknya parameter yang mesti diestimasi ini akan berbanding lurus dengan banyaknya

Putaran 1 & 2

Konsistensi metode dapat diukur keraguan yang mungkin muncul dari para

melalui standard error of judgement (SEj) atau panelis. Semakin banyak parameter yang

kesalahan baku penjurian. Sebagaimana di- mesti diestimasi, semakin tinggi pula fre-

tunjukkan oleh Tabel 7, baik pada putaran kuensi munculnya ragu panelis.

pertama maupun pada putaran kedua, nilai Ketiga, nilai proporsi metode Ex-

kesalahan baku (standard error) pada metode tended Angoff bisa dikatakan lebih detail

Ebel selalu lebih tinggi dibanding pada dibanding metode Ebel. Sebab pada meto-

metode Extended Angoff. Tabel 7 juga me-

de Extended Angoff proporsi ditentukan nunjukkan bahwa nilai Sej metode Ebel untuk setiap butirnya sementara pada me-

baik pada putaran 1 maupun pada putaran 2 tode Ebel, nilai proporsi ditentukan untuk

selalu di atas nilai referensi yang disyarat- Komparasi Metode Standard Setting untuk Penentuan KKM − 377

Susi Anto, Djemari Mardapi Susi Anto, Djemari Mardapi

proporsi ditentukan untuk setiap selnya. Hal wa method consistency pada metode Ebel pu-

ini membawa implikasi nilai proporsi pada taran 1 dan putaran 2 belum memenuhi

metode Ebel lebih bias dibanding ni-lai syarat. Syarat konsistensi metode Ebel ini

proporsi pada metode Extended Angoff. baru terpenuhi ketika rating cutscore indivi-

Konsistensi keputusan ditentukan de- dual digabung antara putaran 1 dan putaran

ngan cara menghitung nilai harga mutlak Z

2. Itupun juga masih lebih besar dibanding terlebih dahulu. Harga mutlak Z kemudian metode Extended Angoff.

digunakan untuk menentukan estimasi koe- Berangkat dari premis-premis terse-

fisien kesepakatan (p 0 ) dan nilai kappa (k) but dapat disimpulkan bahwa method consis-

dari dua tabel Subkoviak. Tabel 8 menun- tency metode Extended Angoff lebih bagus

jukkan harga |Z|, alpha, p 0 , dan k untuk dibanding metode Ebel. Atau dengan kata

masing-masing metode dan masing-masing lain dapat diungkapkan bahwa metode Ex-

putaran. Berdasarkan tabel Subkoviak nilai tended Angoff mampu memberikan konsis-

maksimum p 0 adalah 0,98 dan nilai maksi- tensi penjurian yang lebih baik dibanding

mum untuk k adalah 0,71. Oleh karena itu metode Ebel. Hal ini bisa menjadi petunjuk

dapat disimpulkan bahwa berdasar Tabel 8, bahwa bias estimasi pada metode Ebel le-

konsistensi keputusan kedua metode pada bih tinggi dibanding pada metode Extended

penelitian ini sudah cukup memuaskan se- Angoff.

perti ditunjukkan oleh harga p 0 dan k. Metode Ebel memungkinkan muncul-

Sebagaimana diketahui bahwa sema- nya lebih banyak kesalahan dibanding meto-

kin tinggi koefisien kesepakatan (p 0 ) maka

de Extended Angoff. Hal tersebut disebab- semakin tinggi pula proporsi keputusan kan metode Ebel membutuhkan lebih ba-

konsisten yang diharapkan jika prosedur nyak estimasi dibanding metode Extended

pengujian ulang dilakukan. Oleh karena itu, Angoff. Banyaknya parameter yang harus

harga p 0 yang di atas 0,8 (maksimum 0,98) diestimasi ini berbanding lurus dengan ba-

menunjukkan bahwa munculnya proporsi nyaknya keraguan yang mungkin muncul

keputusan konsisten yang diharapkan cukup dari para panelis. Semakin banyak para-

tinggi jika prosedur pengujian ulang dilaku- meter yang mesti diestimasi, semakin tinggi

kan baik pada metode Extended Angoff pula frekuensi munculnya ragu panelis. Ke-

maupun pada metode Ebel. Tabel 8 juga raguan inilah yang sering membawa im-

menunjukkan bahwa nilai p 0 metode Exten- plikasi pada munculnya bias estimasi. Bias

ded Angoff selalu lebih tinggi dibanding estimasi inilah yang terbaca pada nilai stan-

Ebel baik itu pada putaran 1, putaran 2, dard error sebagaimana ditunjukkan Tabel 7.

maupun gabungan putaran 1 dan 2. Hal ini Selain itu, tingkat akurasi nilai pro-

mengindikasikan bahwa harapan mun- porsi pada metode Extended Angoff bisa

culnya proporsi keputusan yang konsisten dikatakan lebih tinggi dibanding pada me-

jika pengujian ulang dilakukan selalu lebih tode Ebel. Sebab pada metode Extended

tinggi pada metode Extended Angoff diban- Angoff proporsi ditentukan untuk setiap

ding pada Metode Ebel. Tabel 8. Nilai Koefisien Kesepakatan (p 0 ) dan Kappa (k) Metode Extended Angoff

dan Metode Ebel

Extended Angoff

Put. 2 Total

0,84 0,83 Kappa (k)

378 − Jurnal Penelitian dan Evaluasi Pendidikan Tahun 17, Nomor 2, 2013

Jika diperbandingkan nilai kappanya, wa sebagian besar skor peserta tes terletak maka metode Extended Angoff selalu meng-

di bagian bawah (skor rendah) dari hasilkan nilai kappa yang lebih rendah di-

distribusi skor. Selain itu juga diketahui bandingkan metode Ebel, baik pada putaran

bahwa nilai kurtosis skor tes berharga

1, putaran 2, maupun gabungan putaran 1 positif. Nilai kur-tosis yang berharga positif dan 2. Hal ini menunjukkan bahwa cutscore

menunjukkan distribusi yang lebih lancip yang dihasilkan metode Extended Angoff se-

(memuncak) yang berarti sebagian besar lalu terletak lebih jauh dari area distribusi

skor peserta mengumpul di sekitar nilai skor dengan tingkat densitas tertinggi diban-

modus (modus = 37,5 ) yang condong ke ding dengan cutscore yang dihasilkan metode

sebelah kiri dari kur-va distribusi. Oleh Ebel.

karena itu, bisa dipahami jika nilai kappa Sebagaimana telah diuraikan di depan,

yang dihasilkan metode Ebel selalu lebih metode Extended Angoff dan Ebel pada pe-

tinggi dibanding nilai kappa yang dihasilkan nelitian ini masing-masing menghasilkan ni-

metode Extended Angoff, karena cutscore lai cutscore 59 dan 50,98 pada skala 100. Di

yang dihasilkan metode Ebel selalu lebih samping itu, berdasarkan statistik deskriptif

dekat ke nilai modus (modus = 37,5 ) skor dapat diketahui bahwa nilai skew skor tes

peserta tes dibanding cutscore yang di- yang dihasilkan berharga positif. Nilai skew

hasilkan metode Extended Angoff sebagai- yang berharga positif mengindikasikan bah-

mana ditunjukkan oleh Tabel 9.

Tabel 9. KKM Metode Extended Angoff dan Metode Ebel vs Modus Skor Tes

KKM Extended Angoff

Modus Skor Tes Skor

KKM Ebel

n benar

Skor

n benar

Skor n benar

Intra-judge consistency diukur melalui Tabel 10 menunjukkan kepada kita intra-judge consistency baik di dalam maupun

bahwa magnitudo perubahan rating cutscore antar putaran. Intra-judge consistency across

individual panelis dari putaran 1 ke putaran rounds atau konsistensi intra-judge antarpu-

2 metode Extended Angoff lebih kecil di- taran dapat dilihat dari magnitudo perubah-

banding metode Ebel. Rata-rata perubahan an rating cutscore individual panelis dari pu-

untuk metode Extended Angoff adalah 1,5 taran ke putaran dan banyaknya rating butir

(3,75%) sementara untuk metode Ebel ada- yang berubah dari putaran ke putaran

lah 1,82 (4,54%). Ini berarti pada metode (Loomis et al., 2000, p.13). Tabel 10 me-

Extended Angoff setiap panelis rata-rata nunjukkan magnitudo perubahan rating

membuat perubahan keputusan sebesar cutscore individual panelis dari putaran 1 ke

3,75% dari keputusan sebelumnya. Semen- putaran 2 sementara Tabel 11 menunjuk-

tara pada metode Ebel setiap panelis rata- kan banyaknya butir yang rating cutscore

rata membuat perubahan keputusan sebe- butirnya berubah dari putaran 1 ke putaran

sar 4,54% dari keputusan sebelumnya.

2. Kedua tabel tersebut menggunakan basis Angka-angka ini menunjukkan bahwa intra- perhitungan banyaknya butir tes yaitu 40.

judge consistency across rounds pada metode Extended Angoff lebih baik dibanding pada

Komparasi Metode Standard Setting untuk Penentuan KKM − 379

Susi Anto, Djemari Mardapi Susi Anto, Djemari Mardapi

da metode Extended Angoff lebih konsisten sama sekali tidak melakukan perubahan atas dalam membuat keputusan atau penjurian

keputusan butir.

antar putaran dibanding panelis pada meto- Sementara itu, dibanding metode

de Ebel. Extended Angoff konsistensi panelis pada metode Ebel bisa dikatakan lebih buruk.

Tabel 10. Magnitudo Perubahan Rating Hampir seluruh panelis pada metode Ebel

Cutscore dari Putaran 1 ke Putaran melakukan perubahan di atas 20% dari bu-

2 Metode Extended Angoff dan tir yang ada. Hanya ada seorang panelis Metode Ebel

yaitu Panelis 1 yang melakukan perubahan sebanyak 1 digit. Sementara ada 4 panelis

Magnitudo Perubahan Rating Cutscore

yang melakukan perubahan 50% atau lebih

(Skala 40)

yaitu Panelis 3, Panelis 4, Panelis 7, dan Pa- Ext. Angoff

Ebel

nelis 10. Bahkan ada 2 panelis yang melakukan perubahan terhadap lebih dari 60%

1 3 butir yang ada, yaitu Panelis 2 dan Panelis 9. Panelis 2

Panelis 1

Tabel 11. Banyak Butir yang Berubah dari Putaran 1 ke Putaran 2 Metode Panelis 3

Extended Angoff dan Metode Ebel Panelis 4

Banyak Butir yang Berubah

Panelis 5

Ext. Angoff Ebel

2 10 Tabel 11 menunjukkan banyaknya

Panelis 8

butir yang rating cutscore butirnya berubah

10 30 dari putaran 1 ke putaran 2. Sebagaimana

Panelis 9

0 22 Tabel 10, Tabel 11 juga menggunakan basis

Panelis 10

perhitungan banyaknya butir tes yaitu 40.

2 13 Secara umum seluruh panelis baik pada

Panelis 11

metode Extended Angoff maupun metode

10 15 Ebel dapat dikatakan tidak konsisten karena melakukan perubahan terhadap kepu-

tusan butir. Hanya ada seorang panelis di metode Extended Angoff yang bisa dika-

380 − Jurnal Penelitian dan Evaluasi Pendidikan Tahun 17, Nomor 2, 2013

Jika dilihat rata-ratanya banyak kepu- rendah mengindikasikan rendahnya konsis- tusan butir yang berubah untuk metode

tensi intra-judge dalam putaran. Extended Angoff adalah 5,7 butir (14%)

Tabel 12 menunjukkan hasil pemeta- sementara untuk metode Ebel adalah 18

an antara tingkat kesulitan butir statistik dan butir (45%). Ini berarti pada metode Ex-

representasi tingkat kesulitan butir empirik tended Angoff banyaknya butir yang beru-

metode Extended Angoff dan metode Ebel. bah keputusannya pada putaran 2 untuk

Pada tabel tersebut, pemetaan dilakukan setiap panelis adalah 14% dari butir yang

dengan terlebih dahulu mengurutkan butir ada. Sementara pada metode Ebel banyak-

berdasar tingkat kesulitannya (p) secara sta- nya butir yang berubah keputusannya pada

tistik dari mudah ke sulit. Urutan repre- putaran 2 untuk setiap panelis adalah 45%

sentasi tingkat kesulitan butir empirik ke- dari butir yang ada. Angka-angka ini me-

dua metode dibuat mengikuti urutan ting- nunjukkan bahwa intra-judge consistency across

kat kesulitan butir secara statistik. Peng- rounds pada metode Extended Angoff lebih

urutan dengan cara itu memungkinkan kita baik dibanding pada metode Ebel. Dengan

mengukur masing-masing nilai korelasinya. kata lain panelis pada metode Extended

Tingkat kesulitan butir statistik me- Angoff lebih konsisten dalam membuat ke-

rupakan proporsi siswa yang menjawab be- putusan atau penjurian antar putaran di-

nar butir tersebut yang diperoleh dari Item banding panelis pada metode Ebel.

Analysis . Sementara representasi tingkat ke- Fenomena ini sekali lagi membukti-

sulitan butir empirik untuk metode Ex- kan premis yang telah dituliskan di depan

tended Angoff diperoleh dari banyaknya bahwa banyaknya estimasi yang mesti dila-

jawaban panelis yang bernilai 1 untuk tiap kukan oleh panelis berbanding lurus de-

butirnya atau bisa juga disebut rating cutscore ngan besarnya ragu yang mungkin muncul

butir. Untuk mendapatkan representasi dari para panelis. Oleh karena itu angka-

tingkat kesulitan butir empirik metode Ebel, angka tersebut bisa dijelaskan dengan cara

terlebih dahulu butir mudah diberi skor 3, menelusuri tahapan-tahapan yang ada pada

butir sedang diberi skor 2, dan butir sulit masing-masing metode. Disparitas yang cu-

diberi skor 1. Jumlah skor tingkat kesulitan kup tinggi antara kedua metode (14% versus

dari semua panelis untuk setiap bu-tirnya 45%) menunjukkan perbedaan potensi ra-

itulah yang merupakan representasi tingkat gu yang cukup signifikan. Angka itu bisa

kesulitan butir empirik untuk metode Ebel. mengatakan bahwa metode Ebel memiliki

Tabel 12 menunjukkan adanya nilai potensi ragu 3 kali lebih besar dari potensi

korelasi yang cukup tinggi antara tingkat ragu yang mungkin timbul pada metode

kesulitan butir statistik dan representasi Extended Angoff. Meski masih perlu dibuk-

tingkat kesulitan butir empirik baik pada tikan lagi, tapi angka itu sebanding dengan

metode Extended Angoff maupun pada proporsi banyaknya estimasi antara kedua

metode Ebel. Keseluruhan nilai korelasi metode. Jika metode Extended Angoff ha-

tersebut sudah jauh di atas angka yang di- nya membutuhkan satu jenis estimasi maka

persyaratkan Alderson yaitu 0,3. Ini me- pada metode Ebel dibutuhkan tiga jenis

nunjukkan bahwa para panelis baik pada estimasi.

metode Extended Angoff maupun metode Intra-judge consistency within rounds di-

Ebel, baik pada putaran 1 maupun putaran tentukan berdasarkan pemetaaan keputus-

2 telah memiliki nilai intra-judge consistency an rating setiap butir pada tabel tingkat ke-

within rounds yang memuaskan. Atau dengan sulitan item. Pemetaan itu akan diuji melalui

kata lain, tingkat konsistensi penjurian para nilai korelasinya. Nilai korelasi yang tinggi

panelis dalam tiap putaran sudah memuas- mengindikasikan tingkat konsistensi yang

kan.

memuaskan, sebaliknya nilai korelasi yang

Komparasi Metode Standard Setting untuk Penentuan KKM − 381

Susi Anto, Djemari Mardapi

Tabel 12. Pemetaan Tingkat Kesulitan Butir Statistik dan Representasi Tingkat Kesulitan Butir Empirik Metode Extended Angoff dan Metode Ebel

Representasi Tingkat Kesulitan Butir Empirik No Urut No Butir

Kategori

Putaran I

Putaran II

Ext. Angf

Ebel

Ext. Angf Ebel

382 − Jurnal Penelitian dan Evaluasi Pendidikan Tahun 17, Nomor 2, 2013

Tabel 12 juga memberi informasi ten- Kesimpulan di atas juga terlihat jelas tang kekurangtepatan estimasi beberapa bu-

pada Gambar 1 dan Gambar 2. Pada kedua tir oleh para panelis. Kekurangtepatan esti-

gambar tersebut sumbu aksis menunjukkan masi butir oleh para panelis itu terlihat

nomor urut berdasar tingkat kesulitan butir kongruen baik pada metode Extended An-

secara statistik. Sumbu ordinat mayor me- goff maupun pada metode Ebel. Butir-butir

nunjukkan representasi tingkat kesulitan bu- tersebut adalah butir nomor13, 19, 21, 31,

tir secara empirik untuk metode Extended

32, dan 36. Para panelis baik pada pada me- Angoff dan metode Ebel, sementara sumbu tode Extended Angoff maupun metode Ebel

ordinat minor menunjukkan tingkat kesulit- menganggap butir nomor 13, 19, 21, 31,

an butir secara statistik (p). dan 32 sulit sementara secara statistik butir

Pada kedua gambar, baik Gambar 1 terse-but termasuk dalam tingkat kesulitan

maupun Gambar 2 terlihat bahwa grafik se-dang. Begitu pula sebaliknya, para panelis

tingkat kesulitan butir secara statistik berge- baik pada pada metode Extended Angoff

rak secara tenang (garis tidak putus-putus) maupun metode Ebel menganggap butir

sementara grafik representasi tingkat ke- no-mor 36 mudah sementara secara statistik

sulitan butir secara empirik baik pada me- bu-tir tersebut termasuk dalam butir yang

tode Extended Angoff maupun metode Ebel sulit.

bergerak secara fluktuatif (garis putus-putus Jika kita bandingkan nilai korelasinya,

pendek dan panjang). Namun demikian, terlihat bahwa metode Extended Angoff me-

dari kedua gambar tersebut terlihat juga miliki nilai korelasi lebih tinggi dibanding

bahwa grafik nilai representasi tingkat ke- metode Ebel baik pada putaran 1 maupun

sulitan butir secara empirik pada metode putaran 2. Ini menunjukkan bahwa konsis-

Ebel selalu lebih fluktuatif dibanding me- tensi intra-judge dalam masing-masing putar-

tode Extended Angoff. Hal inilah yang an pada metode Extended Angoff lebih baik

menjelaskan mengapa nilai korelasi pada dibanding metode Ebel. Atau dengan kata

metode Ebel selalu lebih rendah dibanding lain, panelis pada metode Extended Angoff

nilai korelasi pada metode Extended Angoff. lebih konsisten dalam melakukan penjurian

Fluktuasi nilai ini berbanding terbalik de- di dalam setiap putaran dibanding panelis

ngan tingkat konsistensi penjurian. Semakin pada metode Ebel.

fluktuatif berarti semakin tidak konsisten.

Gambar 1. Pemetaan Tingkat Kesulitan Gambar 2. Pemetaan Tingkat Kesulitan Butir Statistik dan Representasi

Butir Statistik dan Representasi Tingkat Kesulitan Butir Empirik

Tingkat Kesulitan Butir Empirik Metode Extended Angoff dan

Metode Extended Angoff dan Metode Ebel Putaran 1

Metode Ebel Putaran 2

Komparasi Metode Standard Setting untuk Penentuan KKM − 383

Susi Anto, Djemari Mardapi

Inter-judge consistency dilihat dari sim- yang tersarang pada tiap selnya, baru pangan baku cutscore. Tabel 13 memperlihat-

kemudian menjumlahkan hasil perkalian kan simpangan baku cutscore panelis pada

dari 12 sel yang ada tersebut. metode Extended Angoff dan metode Ebel.

Kedua, metode Extended Angoff Tabel 13 tersebut menunjukkan bahwa sim-

membutuhkan waktu yang relatif lebih sedi- pangan baku cutscore metode Extended An-

kit dibandingkan metode Ebel. Pada meto- goff selalu lebih kecil dibanding metode

de Extended Angoff para panelis hanya di- Ebel baik pada putaran 1, putaran 2, mau-

minta membuat estimasi satu kali banyak pun gabungan putaran 1 dan 2. Hal itu

butir soal. Estimasi itu hanya mengenai mengindikasikan bahwa inter-judge consistency

mampu atau tidaknya siswa dalam men- metode Extended Angoff selalu lebih baik

jawab benar suatu butir. Sementara pada dibanding metode Ebel. Dengan kata lain

metode Ebel para panelis diminta setidak- rating cutscore individual masing-masing pa-

nya membuat estimasi dua kali jumlah butir nelis pada metode Extended Angoff selalu

soal. Dua jenis estimasi itu mengenai tingkat lebih konsisten dibanding rating cutscore indi-

kesulitan dan tingkat relevansi butir. Di vidual masing-masing panelis pada metode

samping itu panelis juga masih harus me- Ebel baik pada putaran 1 maupun putaran

nentukan estimasi proporsi butir terjawab

2. benar untuk 12 sel yang ada. Selain itu Tabel 13. Simpangan Baku Penjurian

tahapan sesudah estimasi pada metode Ebel Metode Extended Angoff dan

membutuhkan waktu yang lebih banyak Metode Ebel

dibanding metode Extended Angoff. Ketiga, tingkat akurasi nilai proporsi

Simpangan Baku Putaran

metode Extended Angoff cenderung lebih Ext. Angoff

tinggi dibanding metode Ebel. Sebab pada Pertama

Ebel

metode Extended Angoff proporsi ditentu- Kedua

3,977

6,476

kan untuk setiap butirnya sementara pada Total

metode Ebel, nilai proporsi ditentukan untuk setiap selnya. Hal ini membawa implika-

Jika kedua metode tersebut diban- si nilai proporsi pada metode Ebel kemung- dingkan, manakah yang lebih disarankan

kinan lebih bias dibanding nilai proporsi atau direkomendasikan untuk digunakan?

pada metode Extended Angoff. Penelitian ini menyimpulkan metode Ex- tended Angoff lebih disarankan dibanding

Umpan Balik Panelis

metode Ebel. Argumen yang mendasari Dengan menggunakan metode Exten- rekomendasi itu adalah sebagai berikut:

ded Angoff diperoleh cutscore 59 sementara Pertama, metode Extended Angoff

KOMPARASI METODE STANDARD SETTING UNTUK PENENTUAN KKM MATA PELAJARAN MATEMATIKA KELAS VIII SMP