Final Modul Statistik Kuis
DAFTAR ISI
PENGANTAR ............................................................................................................................................ 2
A.
HASIL QUIZ ..................................................................................................................................... 4
B.
GRADES........................................................................................................................................... 5
B.1 Regrades ................................................................................................................................... 7
B.2 Mengunduh Nilai Mahasiswa ................................................................................................. 12
B.3 Persebaran Nilai ...................................................................................................................... 14
B.4 Memilih Berdasarkan Nama ................................................................................................... 15
C.
RESPONSES ................................................................................................................................... 16
C.1 Mengunduh Responses ........................................................................................................... 18
C.2 Persebaran Responses ............................................................................................................ 20
C.3 Memilih Berdasarkan Nama ................................................................................................... 20
D.
STATISTICS .................................................................................................................................... 21
D.1 Analisis Butir Soal ................................................................................................................... 21
D.1.1 Jenis Analisis Butir soal ................................................................................................................................... 22
1.Analisis Butir soal secara Kualitatif.................................................................................................................... 22
2.Analisis Butir soal secara Kuantitatif ................................................................................................................ 22
D.2 Statistics Di SCeLE ................................................................................................................... 27
1
DAFTAR GAMBAR
Gambar 1. File Quiz ....................................................................................................................4
Gambar 2. Tampilan kuis saat diklik ..........................................................................................5
Gambar 3. Grades Bagian Pertama............................................................................................6
Gambar 4. Grades Bagian Kedua ...............................................................................................6
Gambar 5. Menu Administration ...............................................................................................8
Gambar 6. Memilih Pertanyaan .................................................................................................9
Gambar 7. Mengubah Nilai Menjadi 100% Untuk Semua Pilihan Jawaban ..............................9
Gambar 8. Grade 100 % ...........................................................................................................10
Gambar 9. Grade pada Menu Administration .........................................................................10
Gambar 10. Regrades All..........................................................................................................11
Gambar 11. Processing Regrades All .......................................................................................11
Gambar 12. Hasil Regrades ......................................................................................................12
Gambar 13. Memilih Format Data ...........................................................................................13
Gambar 14. Memilih Excel Spreadsheet ..................................................................................13
Gambar 15. Data Persebaran Nilai Mahasiswa .......................................................................14
Gambar 16. Klik Review Attempt pada Daftar Sebaran Nilai Mahasiswa ...............................15
Gambar 17. Responses pada Menu Administration ................................................................17
Gambar 18. Tampilan Responses.............................................................................................18
Gambar 19. Memilih Format Data ...........................................................................................19
Gambar 20. Memilih Excel Spreadsheet ..................................................................................19
Gambar 21. Tampilan Responses.............................................................................................20
Gambar 22. Respon dari Mahasiswa .......................................................................................21
Gambar 23. Statistics pada Menu Administration ..................................................................27
Gambar 24. Tampilan Statistics Saat diklik ..............................................................................28
Gambar 25. Memilih Format untuk Download........................................................................28
Gambar 26. Informasi Statistik Quiz ........................................................................................29
Gambar 27. Laporan Statistik Quiz ..........................................................................................30
Gambar 28. Analisis Setiap Butir Soal ......................................................................................31
Gambar 29. Detail Analisis dari Setiap Butir Soal ....................................................................32
Gambar 30. Hasil Analis dari Butir Soal ...................................................................................34
2
DAFTAR GRAFIK
Grafik 1. Sebaran Nilai Mahasiswa
Grafik 2. Facility Index dengan Discriminative Efficiency
7
33
3
PENGANTAR
Setelah melakukan evaluasi pembelajaran melalui fitur quiz di dalam SCeLE, kita dapat
melakukan beberapa hal terhadap hasil quiz yang telah dilakukan, antara lain melihat persebaran
skor setiap butir soal dan nilai total yang didapatkan Mahasiswa, serta melihat detail respon atau
jawaban dari setiap Mahasiswa. Selain itu, hal yang sangat penting dalam pengembangan evaluasi
pembelajaran adalah melakukan analisis butir soal, yaitu melakukan pengecekan apakah setiap butir
soal merupakan butir soal yang baik atau tidak. Analisis butir soal secara lebih spesifik digunakan
untuk melihat bagaimana tingkat kesulitan setiap butir soal, apakah setiap butir soal dapat
membedakan individu Mahasiswa yang memiliki kemampuan tinggi dan rendah, serta apakah setiap
pilihan jawaban dipilih secara merata.
Oleh karena itu, setelah quiz telah selesai dikerjakan oleh Mahasiswa, kita perlu melihat fitur
statistic quiz. Berikut ini akan dijelaskan secara lebih rinci mengenai langkah-langkah melihat fitur
statistic quiz yang terdiri dari :
A. Hasil Quiz
B. Grades
C. Responses
D. Statistics
HASIL QUIZ
Berikut ini adalah langkah-langkah untuk melihat hasil quiz yang telah dikerjakan oleh
Mahasiswa :
1. Masuk ke kelas yang telah dibuat di SCeLE yang terdapat kuis di dalamnya. Sebagai contoh,
pada sesi ini akan digunakan salah satu kelas yang ada di SCeLE yaitu kelas Psikologi Belajar
(D).
2. Klik kuis yang telah dibuat dan telah dikerjakan oleh Mahasiswa.
Gambar 1. File Quiz
3. Pada menu
yang terletak disebelah kanan, kemudian klik Result .
4
Gambar 2. Tampilan kuis saat diklik
Di dalam fitur result terdiri dari Grades, Responses, Statictic dan Manual Grading. Masingmasing fitur tersebut memiliki kegunaan untuk mengolah hasil kuis yang telah dikerjakan oleh
Mahasiswa.
GRADES
Grades merupakan nilai yang diperoleh oleh mahasiswa yang telah mengerjakan kuis. Fitur
grades digunakan untuk melihat sebaran nilai yang didapatkan oleh mahasiswa dalam mengerjakan
soal kuis. Tampilan berikut merupakan sebaran nilai dari hasil kuis yang telah dikerjakan mahasiswa.
5
Gambar 3. Grades Bagian Pertama
Gambar 4. Grades Bagian Kedua
6
Untuk melihat gambaran nilai dari kuis ini, SCeLE menyedikan Grafik sebaran nilai
mahasiswa, seperti tampilan berikut:
Grafik 1. Sebaran Nilai Mahasiswa
Berdasarkan grafik di atas dapat dilihat bahwa:
a. Nilai tertinggi berada pada range 85 - 90, yang diperoleh oleh 2 orang mahasiswa.
b. Nilai terendah berada pada range 40 – 45, yang diperoleh oleh 1 orang mahasiswa.
c. Nilai terbanyak yang diperoleh oleh mahasiswa berada pada range 60 – 65, sebanyak 11
orang.
B.1 Regrades
Regrades atau menilai ulang, terjadi apabila ada pertanyaan memiliki kunci jawaban yang
salah atau pertanyaan yang dianulir atau tidak sah. Langkah-langkah dalam proses regrades
adalah sebagai berikut:
a. Pada menu Ad i istratio , klik Edit quiz .
7
Gambar 5. Menu Administration
b. Maka tampilan akan seperti berikut ini, kemudian pilih pertanyaan yang akan dianulir
yang terletak pada menu Questio
Ba k Co te ts [Hide] . Pada contoh ini kita
melakukan perubahan kunci jawaban pada pertanyaan pertama, yaitu terdapat soal
yang akan dijadikan bonus soal. Untuk melakukan perubahan tersebut dengan cara
meng-klik tanda berbentuk pensil.
8
Gambar 6. Memilih Pertanyaan
c. Ganti semua option menjadi 100%.
Gambar 7. Mengubah Nilai Menjadi 100% Untuk Semua Pilihan Jawaban
9
Gambar 8. Grade 100 %
d. Setelah kita melakukan pengaturan terhadap Grades, selanjutnya simpan perubahan
dengan meng-klik
.
e. Setelah selesai, kembali ke Grades yang ada dalam menu Result .
Gambar 9. Grade pada Menu Administration
10
f.
Kemudian klik ͞Regrades all͟.
Gambar 10. Regrades All
g. Maka tampilannya akan seperti berikut, kemudian klik continue.
Gambar 11. Processing Regrades All
h. Contoh hasil setelah dilakukan proses regrades, yaitu nilai mahasiswa setelah diregrades berubah dari 46, 30 menjadi 48,15.
11
Gambar 12. Hasil Regrades
Catatan: pada kasus ini, terlihat hanya mahasiswa pertama yang nilainya berubah
sedangkan mahasiswa yang kedua tidak. Hal ini terjadi karena soal dalam kuis ini di setting
secara acak, sehingga pertanyaan pertama pada mahasiswa pertama belum tentu sama
dengan pertanyaan pertama pada mahasiswa kedua.
B.2 Mengunduh Nilai Mahasiswa
Untuk mengunduh nilai mahasiswa, dilakukan dengan cara memilih Download table data.
Download table data berfungsi untuk menyimpan hasil kuis ke komputer lokal sehingga kita
dapat melihat hasil kuis tanpa membuka SCeLE. Umumnya data disimpan dalam bentuk Excel.
Berikut ini langkah-langkah dalam Do
a. Pada Do
load ta le data ;
load ta le data as pilih Excel spreadsheet, seperti tampilan berikut;
12
Gambar 13. Memilih Format Data
Gambar 14. Memilih Excel Spreadsheet
b. Kemudian klik
, simpan hasil download pada drive lokal komputer kita.
13
B.3 Persebaran Nilai
Pada tampilan sebaran nilai mahasiswa terdapat beberapa kolom dan satu baris
overall average. Kolom terdiri dari First name/surname, NPM, email address, State,
Started on, Completed Time Taken, Grades/100.00 dan nomor pertanyaan (Q.1, Q.2
dan seterusnya). Berikut ini merupakan penjelasan dari masing-masing kolom tersebut:
Gambar 15. Data Persebaran Nilai Mahasiswa
First name/surname : merupakan nama mahasiswa.
NPM : merupakan nomor pokok mahasiswa.
Email address : merupakan email mahasiswa.
State : merupakan status dari pengerjaan kuis.
Started on : merupakan kapan kuis dibuka oleh mahasiswa.
Completed Time Taken : merupakan berapa lama waktu yang dibutuhkan mahasiswa
dalam mengerjakan kuis.
14
Grades/100.00 : merupakan nilai yang diperoleh oleh mahasiswa dalam mengerjakan
kuis, nilai maksimum 100.
Q.1/1.85, Q.2/1.85 dan seterusnya : merupakan nomor urut pertanyaan soal, yaitu Q.1
memiliki makna pertanyaan pertama, Q.2 memiliki makna pertanyaan kedua dan
seterusnya. Sedangkan 1.85 memiliki makna bobot nilai yang diberikan jika satu
pertanyaan dijawab dengan benar.
Overall average : merupakan nilai rata-rata mahasiswa dalam kuis tersebut.
B.4 Memilih Berdasarkan Nama
Untuk melihat hasil kuis berdasarkan nama mahasiswa. Berikut ini langkah-langkah dalam
melihat kuis berdasarkan nama:
a. Pilih salah satu mahasiswa, dengan cara klik re ie
atte pt yang berada dibawah
nama mahasiswa pada kolom First Name/Surname.
Gambar 16. Klik Review Attempt pada Daftar Sebaran Nilai Mahasiswa
b. Kemudian tampilan akan seperti berikut
15
Penjelasan atas point-point di atas:
Point 1, merupakan banyaknya pertanyaan dalam kuis, dimana jumlah
pertanyaan dalam kuis ini ada 54 pertanyaan. Pertanyaan yang berwarna hijau
bermakna pertanyaan yang dijawab dengan benar sedangkan yang warna pink,
bermakna jawaban yang diberikan salah.
Point 2, berisi data diri (foto dan nama mahasiswa), started on (waktu dimulai
kuis), state (status dari kuis), Time taken (waktu lamanya mengerjakan kuis),
Marks (jawaban yang benar dari total pertanyaan) dan Grades (nilai yang
diperoleh dari maksimum 100).
Point 3, merupakan pertanyaan dari kuis.
Point 4, Feedback dari jawaban yang diberikan.
Point 5, merupakan detail dari response pertanyaan.
RESPONSES
Fitur Responses digunakan untuk melihat sebaran respon jawaban tiap mahasiswa untuk setiap
butir soal. Berikut langkah-langkahnya menggunakan fitur responses:
a. Pada Menu Administration pilih Result → Responses
16
Gambar 17. Responses pada Menu Administration
b. Maka tampilannya akan seperti berikut ini. Pada tabel pertanyaan, terlihat jawaban
yang diberikan dalam bentuk text.
17
Gambar 18. Tampilan Responses
C.1 Mengunduh Responses
Untuk mengunduh respon mahasiswa dapat dilakukan dengan cara memilih
Download table data. Download table data berfungsi untuk menyimpan hasil respon
kuis ke komputer lokal sehingga kita dapat melihat respon kuis tanpa membuka SCeLE.
Umumnya data disimpan dalam bentuk excel spreadsheet. Berikut ini langkah-langkah
dalam Do
load ta le data ;
a. Pada Do
load ta le data as pilih Excel spreadsheet, seperti tampilan berikut;
18
Gambar 19. Memilih Format Data
Gambar 20. Memilih Excel Spreadsheet
b.
kemudian klik
, simpan hasil download pada drive lokal komputer
kita.
19
C.2 Persebaran Responses
Persebaran response digunakan untuk melihat response yang diberikan oleh setiap
Mahasiswa di setiap pertanyaan. Response yang berwarna hijau berarti jawaban tersebut benar
sesuai dengan kunci jawaban, sementara response yang berwarna pink berarti jawaban tersebut
salah dan tidak sesuai dengan kunci jawaban yang sudah dibuat.
Gambar 21. Tampilan Responses
C.3 Memilih Berdasarkan Nama
Respon juga dapat dilihat berdasarkan nama Mahasiswanya, sehingga dapat dilihat secara
detail respon jawaban Mahasiswa untuk setiap soalnya.
20
Gambar 22. Respon dari Mahasiswa
STATISTICS
Sebelum membahas lebih jauh mengenai fitur statistic quiz yang terdapat di menu Result, kita
perlu memahami terlebih dahulu mengenai analisis butir soal yang dilakukan di dalam SCeLE.
D.1 Analisis Butir Soal
Suatu butir soal tes yang baik adalah apabila berfungsi sama dengan tes, yaitu membedakan
individu. Untuk mengetahui apakah butir soal berfungsi dengan baik maka perlu dilakukan
analisis butir soal. Secara umum tujuan dilakukan analisis butir soal adalah untuk menentukan
apakah setiap butir soal di dalam tes merupakan butir soal yang baik. Lebih lanjut lagi, tujuan
analisis butir soal adalah sebagai berikut:
a. Meningkatkan reliabilitas tes;
b. Meningkatkan validitas tes;
c. Membuat urutan butir soal yang lebih baik berdasarkan derajat kesukaran;
d. Membuat distribusi skor yang lebih baik;
e. Meningkatkan fungsi butir soal untuk mampu membedakan setiap orang; dan
21
f.
Memperoleh informasi tentang kualitas distractor (pilihan jawaban pengecoh) untuk
butir soal er e tuk multiple choice .
D.1.1 Jenis Analisis Butir soal
Menurut Anastasi dan Urbina (1997), butir soal dapat dianalisis secara kualitatif (melalui
content dan form) dan secara kuantitatif (melalui indeks statistik). Dalam analisis butir soal,
untuk menentukan suatu butir soal dibuang, direvisi, atau dipertahankan, jangan hanya
bergantung dari hasil perhitungan (analisis kuantitatif), tetapi perlu dilakukan juga analisis
kualitatif terhadap setiap butir soal, begitu pula sebaliknya. Berikut ini penjelasan lebih
lanjut mengenai setiap jenis analisis butir soal :
1. Analisis Butir soal secara Kualitatif
Isi (content)
Dilakukan untuk melihat apakah butir soal-butir soal yang dipilih sudah sesuai
dengan dimensi-dimensi atau indikator yang akan diukur (content validity).
Bentuk (form)
Dilakukan untuk melihat apakah butir soal-butir soal ditulis dengan prosedur
penulisan yang efektif.
2. Analisis Butir soal secara Kuantitatif
Item-Difficulty
Analisis kesulitan butir soal digunakan pada maximal performance test yang
memiliki butir soal yang di-skor benar atau salah.
Asumsi dasar dari analisis ini adalah bahwa individu yang kemampuannya
lebih baik diharapkan lebih banyak menjawab butir soal secara benar
dibandingkan individu yang kemampuannya kurang baik, serta individu yang
kemampuannya lebih baik diharapkan menjawab benar pada butir soal yang
tidak dapat dijawab oleh individu yang kemampuannya kurang baik (butir
soal yang sulit).
Tes perlu memiliki indeks kesulitan yang bervariasi untuk dapat
membedakan kemampuan individu. Di bagian awal tes perlu diberikan butir
soal yang mudah kemudian semakin sulit agar penempuh tes memiliki
kepercayaan diri mengerjakan tes dan mengurangi membuang waktu pada
butir soal yang sulit.
22
Indeks kesulitan butir soal dilambangkan dengan p, p1 untuk difficulty index
butir soal 1, p2 untuk difficulty index butir soal 2, dst.
Cara paling umum menghitung indeks kesulitan butir soal (p) adalah melalui
proporsi penempuh tes yang menjawab suatu butir soal dengan benar.
■
Jika pada butir soal nomor 1, ada 50 dari 100 orang menjawab dengan
benar, maka p1=0,50 lalu pada butir soal nomor 2, 80 dari 100 menjawab
dengan benar, maka p2=0,80. Dengan demikian, dapat disimpulkan bahwa
butir soal 2 lebih mudah dari butir soal 1.
Nilai p adalah ,
p
, , di a a se aki
esar ilai p artinya semakin
mudah butir soal. Berikut ini kategori indeks kesulitan butir soal :
p
: Sangat mudah
,6 p < 0,8
: Mudah
0,4 p < 0,6
: Sedang
,
,8
p < 0,4
p < 0,2
: Sukar
: Sangat Sukar
Jika setiap penempuh tes menjawab benar pada butir soal tertentu, maka
butir soal tersebut terlalu mudah. Jika setiap penempuh tes menjawab salah
pada butir soal tertentu, maka butir soal tersebut terlalu sulit.
Item difficulty index di dalam SCeLE istilahnya adalah Facility Index.
Selanjutnya, dalam menilai item difficulty index, kita harus juga
memperhitungkan kemungkinan subyek menjawab dengan menebak saja
(guessing). Untuk itu, kita perlu menghitung nilai optimal test difficulty
index, yaitu probabilitas subyek menjawab benar dengan menebak + 1
dibagi 2. Contoh:
Pada ujian dengan pilihan benar-salah (2 pilihan jawaban),
maka test difficulty index yang optimal = (0,5+1)/2 = 0,75.
Pada ujian pilihan ganda A-E (5 pilihan jawaban) maka test
difficulty index yang optimal = (0,20+1)/2 = 0,6.
Tes yang baik jika memiliki item difficulty index berkisar 0,3 - 0,8 & test
difficulty index mendekati nilai optimal.
23
Item-Discrimination
Dari suatu butir soal di dalam tes, bagaimana kita dapat mengetahui butir soal
tersebut mampu membedakan individu yang memiliki kemampuan yang tinggi
dengan individu yang memiliki kemampuan yang rendah? Yaitu dengan
melakukan analisis diskriminasi butir soal.
Asumsi dasar dari analisis diskriminasi item adalah bahwa butir soal harus
dapat membedakan individu yang memiliki kemampuan/karakteristik yang
berbeda. Pada butir soal maximal performance (ability) test (misalnya UTS
bentuk pilihan ganda), individu-individu yang berkemampuan tinggi haruslah
menjawab benar sedangkan individu-invidu berkemampuan rendah
menjawab salah.
Menurut Crocker dan Algina (1986) ada sejumlah cara untuk melakukan
analisis diskriminasi butir soal, antara lain:
Extreme Group Method
Analisis dilakukan dengan melihat perbedaan kemampuan antara
kelompok individu berskor total tinggi (upper group) dengan kelompok
individu berskor total rendah (lower group). Analisis dengan dilakukan
melalui indeks diskriminasi / daya beda D.
Pembagian upper group dan lower group didasarkan pada skor total,
ditentukan berdasarkan 27%-33% skor tertinggi/ terendah (Anastasi &
Urbina, 1997). SCeLE menggunakan 1/3 (33%) subyek kelompok upper &
1/3 (33%) subyek di kelompok lower.
Ite ’s dis ri i atio
i dex (D) diukur dengan menghitung selisih
proporsi subyek yang menjawab benar antara subyek dengan nilai skor
total yang tinggi dengan yang rendah.
Dengan rumus:
D = pU – pL
dimana:
pU = proporsi subyek di kelompok upper yang menjawab butir soal
dengan benar
24
pL = proporsi subyek di kelompok lower yang
menjawab butir soal
dengan benar.
Butir soal dianggap berfungsi baik bila dapat membedakan kelompok
upper dan kelompok lower.
Nilai D adalah -1 sd +1, dimana nilai D yang besar menunjukkan
butir soal tersebut mampu membedakan subyek yang memiliki
kemampuan tinggi dan rendah.
Butir soal dengan nilai D negatif menunjukkan kemampuan
diskriminasi butir soal yang buruk, karena justru subyek yang
kurang mengerti materi yang diuji yang menjawab benar pada butir
soal tersebut. Istilah di dalam SCeLE yaitu Discrimination index.
Berikut ini adalah kategorisasi Nilai D menurut Ebel (dalam Crocker
& Algina, 1986)
1) D > .40 : the item is functioning quite satisfactorily
2) .30 < D < .39 : little or no revision is required
3) .20 < D < .29 : the item is marginal and needs revision
4) D < .19 : the item should be eliminated or completely revised
Metode korelasi (correlation indices method)
Asumsi dasar dari metode ini adalah bahwa subyek berkemampuan
tinggi (memiliki skor tes tinggi) diharapkan memiliki skor lebih tinggi
pada setiap butir soal (menjawab benar), dibandingkan subyek
berkemampuan rendah (skor tes rendah). Dilakukan dengan
menghitung korelasi skor butir soal dengan rIT (kriterianya internal)
dan rIC (kriterianya eksternal)
Item-total correlation cenderung over-estimate karena pada skor
total tes terkandung skor butir soal (terutama apabila jumlah butir
soal di dalam tes sedikit). Dengan demikian, diperoleh korelasi butir
soal-total yang tinggi namun sebenarnya kemampuan diskriminasi
butir soal rendah. Untuk itu, diatasi dengan corrected item-total
correlation Pada skor total, skor dari butir soal yang akan
dianalisis tidak dimasukkan dalam perhitungan, kemudian dihitung
korelasi skor butir soal dengan skor total yang sudah dikoreksi.
25
Intepretasi item-discriminat analysis melalui metode korelasi:
apabila korelasi yang didapatkan signifikan, maka dapat dianggap
butir soal memiliki kemampuan mendiskriminasi yang baik.
Rumus korelasi lain yang dapat digunakan: Pearson, Biserial, Point
Biserial, Phi Coefficient, Tetrachoric.
Istilah di dalam SCeLE yaitu Discrimative Efficiency.
Distractor-Power
Distraktor adalah pilihan jawaban yang salah (pengecoh) dalam sebuah butir
soal pilihan ganda.
Asumsi dasar dari analisis distraktor adalah bahwa subjek yang memiliki
kemampuan tinggi akan memilih pilihan jawaban benar, sedangkan subjek
yang memiliki kemampuan rendah akan memilih jawaban secara acak pada
pilihan distraktor.
Ciri-ciri distraktor yang baik, antara lain:
dipilih oleh individu yang memiliki kemampuan rendah (lower)
dipilih relatif merata oleh individu-individu yang menjawab salah
Analisis distraktor dapat dilakukan dengan membandingkan expected
distractor power dengan actual distractor power (Friedenberg, 1995)
Expected Distractor Power (EDP) adalah jumlah individu ideal yang
diharapkan memilih setiap distraktor pada butir soal yang dianalisis. EDP
didapat dengan cara membagi jumlah subjek yang menjawab salah dengan
jumlah distraktor.
Actual Distractor Power (ADP) adalah jumlah individu yang memilih setiap
distraktor pada butir soal yang dianalisis.
Apabila ADP kurang lebih sesuai dengan EDP, dapat dikatakan distraktor
dalam butir soal tersebut sudah baik, sebaliknya jika ADP tidak sesuai atau
jauh melenceng dari EDP dapat dikatakan distraktor dalam butir soal
tersebut masih perlu diperbaiki.
Pilihan distraktor yang terlalu banyak dipilih atau yang terlalu sedikit dipilih
oleh subyek adalah contoh distraktor yang tidak baik.
26
Lalu, bagaimanakah cara melakukan analisis butir soal di dalam SCeLE? Berikut ini
akan dijelaskan langkah-langkah melakukan analisis butir soal di dalam SCeLE, yaitu
melalui fitur statistics.
D.2 Statistics Di SCeLE
Fitur Statistics digunakan untuk melihat hasil analisis setiap butir soal dalam kuis yang sudah
dikerjakan oleh mahasiswa. Untuk mengaksesnya, pada fitur Administration, pilih Result, lalu klik
Statistics seperti gambar di bawah ini.
Gambar 23. Statistics pada Menu Administration
Sebelum melihat hasil analisis setiap butir soal, kita dapat memilih bagaimana pengaturan
pengolahan data statistiknya dilakukan, misalnya dihitung berdasarkan nilai tertinggi,
first
attempt, atau last attempt, dengan cara mengklik Statistics Calculation Setting, seperti contoh
berikut ini.
27
Gambar 24. Tampilan Statistics Saat diklik
Selanjutnya, kita dapat mengunduh laporan statistik lengkap dari kuis tersebut dengan cara
mengklik download full report pada bagian quiz information seperti tampil pada gambar di
bawah ini. Kita dapat memilih untuk mengunduh dalam format Excel, dan berbagai format
lainnya.
Gambar 25. Memilih Format untuk Download
Dalam quiz information juga akan disajikan informasi-informasi statistik terkait kuis tersebut,
antara lain:
Quiz name : yaitu nama kuis tersebut
Course name : yaitu nama mata kuliah yang dimaksud.
28
Open the quiz : yaitu kapan kuis dibuka.
Close the quiz : yaitu kapan kuis ditutup.
Open for : yaitu berapa lama kuis dibuka.
Number of complete Grades first attempt : yaitu jumlah Mahasiswa yang menyelesaikan
percobaan pertama.
Total number of complete Gradesd attempts : yaitu jumlah Mahasiswa yang
menyelesaikan kuis dan mendapatkan nilai.
Average Grades of first attempt : yaitu nilai rata-rata Mahasiswa dalam percobaan / sesi
pertama.
Average Grades of all attempt : yaitu nilai rata-rata Mahasiswa dalam semua percobaan
/ sesi.
Average Grades of last attempt : yaitu nilai rata-rata Mahasiswa dalam percobaan / sesi
terakhir.
Average Grades of highest Grades attempt : yaitu nilai rata-rata Mahasiswa dari nilai
yang paling tinggi.
Selanjutnya, pada halaman quiz information, jika kita klik Lihat “e ua maka akan muncul
informasi statistik secara mendetail untuk setiap butir soal seperti contoh di bawah ini.
Gambar 26. Informasi Statistik Quiz
catatan: arti dari indeks di atas akan dijelaskan pada bagian berikutnya.
29
Selanjutnya, kita dapat mengunduh laporan statistik lengkap dari setiap butir soal di dalam
quiz tersebut dengan cara mengklik download table data pada bagian quiz structure analysis
seperti tampil pada gambar di bawah ini. Kita dapat memilih untuk mengunduh dalam format
Excel, dan berbagai format lainnya.
Gambar 27. Laporan Statistik Quiz
Dari tabel analisis setiap butir soal, ada beberapa hal yang bisa kita analisis, antara lain
Facility Index, Standard Deviation, Discrimination Index, dan Discriminative Efficiency. Berikut
adalah tampilan hasil analisis butir soal secara keseluruhan.
30
Gambar 28. Analisis Setiap Butir Soal
Dari tabel di atas, ada beberapa informasi mengenai butir soal yang dapat kita ketahui
antara lain:
Facility Index, sama dengan item difficulty index yaitu informasi mengenai indeks
kesulitan butir soal. Besaran facility index berkisar 0% sd 100%, dimana semakin besar
nilainya artinya butir soal semakin mudah.
Standard Deviation, yaitu informasi mengenai standar deviasi dari setiap butir soal.
Standar deviasi merupakan rata-rata penyimpangan baku setiap skor terhadap mean di
dalam butir soal yang dimaksud. Semakin besar nilainya menunjukkan semakin besar
variasi jawaban pada butir soal tersebut.
Discrimination Index, sama dengan nilai D, yaitu informasi mengenai indeks diskriminasi
item, kemampuan item membedakan individu yang memiliki kemampuan tinggi dan
rendah. Nilai D adalah -1 sd +1 (dalam SCeLE ditampilkan dalam bentuk persentase),
dimana nilai D yang besar menunjukkan butir soal tersebut mampu membedakan
subyek yang memiliki kemampuan tinggi dan rendah dengan baik.
Discriminative Efficiency, sama dengan nilai rit, yaitu informasi mengenai korelasi antara
skor butir soal dengan skor total. Nilai rit berkisar -1 sd +1 (dalam SCeLE ditampilkan
dalam bentuk persentase), dimana nilai rit yang besar menunjukkan butir soal tersebut
mampu membedakan subyek yang memiliki kemampuan tinggi dan rendah dengan baik.
31
Jika kita ingin melihat detail analisis setiap butir soal termasuk persebaran jawaban subyek
pada setiap pilihan jawaban untuk bentuk quiz pilihan ganda, kita dapat mengklik di setiap
question name sehingga muncul tampilan seperti contoh di bawah ini.
Gambar 29. Detail Analisis dari Setiap Butir Soal
Dari tabel di atas, kita dapat melihat informasi mengenai analisis butir soal pada nomor
pertanyaan yang dimaksud, antara lain informasi mengenai facility index, discrimination index,
dan discriminative efficiency. Selain itu, dari tampilan di atas di bagian analysis of responses kita
juga dapat melakukan analisis kekuatan distraktor (pengecoh) dari pilihan-pilihan jawaban yang
disediakan. Pada bagian analysis of response ada beberapa hal yang perlu diperhatikan:
Model response, yaitu pilihan-pilihan jawaban yang disediakan untuk butir soal tersebut.
Actual response, yaitu pilihan-pilihan jawaban yang ditampilkan pada halaman quiz
Mahasiswa.
Partial credit, yaitu bobot yang diberikan jika menjawab pilihan jawaban tertentu.
Pilihan jawaban dengan partial credit sebesar 100% merupakan pilihan jawaban yang
menjadi kunci jawaban. Pilihan jawaban dengan partial credit sebesar 0% merupakan
pilihan jawaban yang merupakan distraktor (pilihan jawaban yang salah). Dari contoh
soal di atas, ku i jawa a
adalah piliha jawa a
ya adalah piliha jawa a
8 % , 4 % , da
% , sehi gga distractor-nya
Tidak dapat dite tuka .
Count, yaitu banyaknya Mahasiswa yang memilih pilihan jawaban tertentu.
32
Frequency, yaitu persentase Mahasiswa yang memilih pilihan jawaban tertentu (nilainya
sama dengan nilai pada facility index).
Untuk setiap butir soal, kita dapat melihat grafik perbandingan antara facility index dengan
discriminative efficiency, seperti tampil pada gambar di bawah ini.
Grafik 2. Facility Index dengan Discriminative Efficiency
Berikut ini adalah contoh butir soal yang baik berdasarkan hasil analisis butir soal.
Perhatikanlah butir soal yang diberikan tanda merah pada gambar di bawah ini.
33
Gambar 30. Hasil Analis dari Butir Soal
Dari gambar di atas, diketahui nilai facility index sebesar 47,62% (p =0,47) sehingga masuk
dalam kategori soal dengan tingkat kesulitan yang sedang. Nilai discrimination index sebesar
55.88% (D = 0,55) menunjukkan bahwa butir soal dapat membedakan peserta kemampuan
tinggi dan rendah dengan baik. Nilai discriminative efficiency sebesar 47,29% (rit = 0,47)
menunjukkan bahwa skor butir soal berkorelasi positif dengan skor total yang berarti butir soal
dapat membedakan peserta kemampuan tinggi dan rendah dengan baik.
Selanjutnya, hasil analisis butir soal dapat dijadikan rujukan / rekomendasi untuk
pelaksanaan quiz berikutnya, apakah butir soal tertentu dipertahankan dan dapat digunakan
kembali pada quiz berikutnya atau disimpan dalam bank soal, atau butir soal direvisi, atau
dihapus. Dalam analisis butir soal, untuk menentukan suatu butir soal dipertahankan, direvisi,
atau dihapus, jangan hanya bergantung dari hasil perhitungan (analisis kuantitatif), tetapi perlu
dilanjutkan dengan analisis kualitatif terhadap setiap butir soal yang dikaitkan dengan tujuan
tes. Misalnya saja, soal untuk tujuan mengetahui prestasi belajar mahasiswa (misalnya UTS)
perlu memiliki tingkat kesulitan yang bervariasi (mulai dari yang sangat mudah sampai sangat
sulit), sehingga kemampuan mahasiswa akan tergambar dengan lebih baik. Umumnya, dalam
soal yang sangat mudah (ataupun sangat sulit) indeks diskriminasi soalnya akan rendah karena
soal tidak akan mampu membedakan kemampuan Mahasiswa (pada soal sangat mudah, hampir
semua Mahasiswa dapat mengerjakan soal tersebut sementara pada soal sangat sulit, hampir
semua Mahasiswa tidak dapat mengerjakan soal tersebut). Oleh karena itu, jika kita hanya
melihat berdasarkan indeks diskriminasi butir soal dan indeks kesulitan soal, bisa saja soal
34
seperti itu dihapus padahal jika dikaitkan dengan tujuan tes, soal tersebut masih perlu untuk
dipertahanlan. Untuk itu, rekomendasi terhadap suatu butir soal harus merupakan hasil analisis
gabungan dari analisis-analisis yang dilakukan terhadap butir soal tersebut, baik secara
kuantitatif maupun secara kualitatif.
Demikian modul Statistic Quiz di SCeLE. Modul SCeLE lainnya dapat diakses melalui tautan
scele.ui.ac.id.
35
PENGANTAR ............................................................................................................................................ 2
A.
HASIL QUIZ ..................................................................................................................................... 4
B.
GRADES........................................................................................................................................... 5
B.1 Regrades ................................................................................................................................... 7
B.2 Mengunduh Nilai Mahasiswa ................................................................................................. 12
B.3 Persebaran Nilai ...................................................................................................................... 14
B.4 Memilih Berdasarkan Nama ................................................................................................... 15
C.
RESPONSES ................................................................................................................................... 16
C.1 Mengunduh Responses ........................................................................................................... 18
C.2 Persebaran Responses ............................................................................................................ 20
C.3 Memilih Berdasarkan Nama ................................................................................................... 20
D.
STATISTICS .................................................................................................................................... 21
D.1 Analisis Butir Soal ................................................................................................................... 21
D.1.1 Jenis Analisis Butir soal ................................................................................................................................... 22
1.Analisis Butir soal secara Kualitatif.................................................................................................................... 22
2.Analisis Butir soal secara Kuantitatif ................................................................................................................ 22
D.2 Statistics Di SCeLE ................................................................................................................... 27
1
DAFTAR GAMBAR
Gambar 1. File Quiz ....................................................................................................................4
Gambar 2. Tampilan kuis saat diklik ..........................................................................................5
Gambar 3. Grades Bagian Pertama............................................................................................6
Gambar 4. Grades Bagian Kedua ...............................................................................................6
Gambar 5. Menu Administration ...............................................................................................8
Gambar 6. Memilih Pertanyaan .................................................................................................9
Gambar 7. Mengubah Nilai Menjadi 100% Untuk Semua Pilihan Jawaban ..............................9
Gambar 8. Grade 100 % ...........................................................................................................10
Gambar 9. Grade pada Menu Administration .........................................................................10
Gambar 10. Regrades All..........................................................................................................11
Gambar 11. Processing Regrades All .......................................................................................11
Gambar 12. Hasil Regrades ......................................................................................................12
Gambar 13. Memilih Format Data ...........................................................................................13
Gambar 14. Memilih Excel Spreadsheet ..................................................................................13
Gambar 15. Data Persebaran Nilai Mahasiswa .......................................................................14
Gambar 16. Klik Review Attempt pada Daftar Sebaran Nilai Mahasiswa ...............................15
Gambar 17. Responses pada Menu Administration ................................................................17
Gambar 18. Tampilan Responses.............................................................................................18
Gambar 19. Memilih Format Data ...........................................................................................19
Gambar 20. Memilih Excel Spreadsheet ..................................................................................19
Gambar 21. Tampilan Responses.............................................................................................20
Gambar 22. Respon dari Mahasiswa .......................................................................................21
Gambar 23. Statistics pada Menu Administration ..................................................................27
Gambar 24. Tampilan Statistics Saat diklik ..............................................................................28
Gambar 25. Memilih Format untuk Download........................................................................28
Gambar 26. Informasi Statistik Quiz ........................................................................................29
Gambar 27. Laporan Statistik Quiz ..........................................................................................30
Gambar 28. Analisis Setiap Butir Soal ......................................................................................31
Gambar 29. Detail Analisis dari Setiap Butir Soal ....................................................................32
Gambar 30. Hasil Analis dari Butir Soal ...................................................................................34
2
DAFTAR GRAFIK
Grafik 1. Sebaran Nilai Mahasiswa
Grafik 2. Facility Index dengan Discriminative Efficiency
7
33
3
PENGANTAR
Setelah melakukan evaluasi pembelajaran melalui fitur quiz di dalam SCeLE, kita dapat
melakukan beberapa hal terhadap hasil quiz yang telah dilakukan, antara lain melihat persebaran
skor setiap butir soal dan nilai total yang didapatkan Mahasiswa, serta melihat detail respon atau
jawaban dari setiap Mahasiswa. Selain itu, hal yang sangat penting dalam pengembangan evaluasi
pembelajaran adalah melakukan analisis butir soal, yaitu melakukan pengecekan apakah setiap butir
soal merupakan butir soal yang baik atau tidak. Analisis butir soal secara lebih spesifik digunakan
untuk melihat bagaimana tingkat kesulitan setiap butir soal, apakah setiap butir soal dapat
membedakan individu Mahasiswa yang memiliki kemampuan tinggi dan rendah, serta apakah setiap
pilihan jawaban dipilih secara merata.
Oleh karena itu, setelah quiz telah selesai dikerjakan oleh Mahasiswa, kita perlu melihat fitur
statistic quiz. Berikut ini akan dijelaskan secara lebih rinci mengenai langkah-langkah melihat fitur
statistic quiz yang terdiri dari :
A. Hasil Quiz
B. Grades
C. Responses
D. Statistics
HASIL QUIZ
Berikut ini adalah langkah-langkah untuk melihat hasil quiz yang telah dikerjakan oleh
Mahasiswa :
1. Masuk ke kelas yang telah dibuat di SCeLE yang terdapat kuis di dalamnya. Sebagai contoh,
pada sesi ini akan digunakan salah satu kelas yang ada di SCeLE yaitu kelas Psikologi Belajar
(D).
2. Klik kuis yang telah dibuat dan telah dikerjakan oleh Mahasiswa.
Gambar 1. File Quiz
3. Pada menu
yang terletak disebelah kanan, kemudian klik Result .
4
Gambar 2. Tampilan kuis saat diklik
Di dalam fitur result terdiri dari Grades, Responses, Statictic dan Manual Grading. Masingmasing fitur tersebut memiliki kegunaan untuk mengolah hasil kuis yang telah dikerjakan oleh
Mahasiswa.
GRADES
Grades merupakan nilai yang diperoleh oleh mahasiswa yang telah mengerjakan kuis. Fitur
grades digunakan untuk melihat sebaran nilai yang didapatkan oleh mahasiswa dalam mengerjakan
soal kuis. Tampilan berikut merupakan sebaran nilai dari hasil kuis yang telah dikerjakan mahasiswa.
5
Gambar 3. Grades Bagian Pertama
Gambar 4. Grades Bagian Kedua
6
Untuk melihat gambaran nilai dari kuis ini, SCeLE menyedikan Grafik sebaran nilai
mahasiswa, seperti tampilan berikut:
Grafik 1. Sebaran Nilai Mahasiswa
Berdasarkan grafik di atas dapat dilihat bahwa:
a. Nilai tertinggi berada pada range 85 - 90, yang diperoleh oleh 2 orang mahasiswa.
b. Nilai terendah berada pada range 40 – 45, yang diperoleh oleh 1 orang mahasiswa.
c. Nilai terbanyak yang diperoleh oleh mahasiswa berada pada range 60 – 65, sebanyak 11
orang.
B.1 Regrades
Regrades atau menilai ulang, terjadi apabila ada pertanyaan memiliki kunci jawaban yang
salah atau pertanyaan yang dianulir atau tidak sah. Langkah-langkah dalam proses regrades
adalah sebagai berikut:
a. Pada menu Ad i istratio , klik Edit quiz .
7
Gambar 5. Menu Administration
b. Maka tampilan akan seperti berikut ini, kemudian pilih pertanyaan yang akan dianulir
yang terletak pada menu Questio
Ba k Co te ts [Hide] . Pada contoh ini kita
melakukan perubahan kunci jawaban pada pertanyaan pertama, yaitu terdapat soal
yang akan dijadikan bonus soal. Untuk melakukan perubahan tersebut dengan cara
meng-klik tanda berbentuk pensil.
8
Gambar 6. Memilih Pertanyaan
c. Ganti semua option menjadi 100%.
Gambar 7. Mengubah Nilai Menjadi 100% Untuk Semua Pilihan Jawaban
9
Gambar 8. Grade 100 %
d. Setelah kita melakukan pengaturan terhadap Grades, selanjutnya simpan perubahan
dengan meng-klik
.
e. Setelah selesai, kembali ke Grades yang ada dalam menu Result .
Gambar 9. Grade pada Menu Administration
10
f.
Kemudian klik ͞Regrades all͟.
Gambar 10. Regrades All
g. Maka tampilannya akan seperti berikut, kemudian klik continue.
Gambar 11. Processing Regrades All
h. Contoh hasil setelah dilakukan proses regrades, yaitu nilai mahasiswa setelah diregrades berubah dari 46, 30 menjadi 48,15.
11
Gambar 12. Hasil Regrades
Catatan: pada kasus ini, terlihat hanya mahasiswa pertama yang nilainya berubah
sedangkan mahasiswa yang kedua tidak. Hal ini terjadi karena soal dalam kuis ini di setting
secara acak, sehingga pertanyaan pertama pada mahasiswa pertama belum tentu sama
dengan pertanyaan pertama pada mahasiswa kedua.
B.2 Mengunduh Nilai Mahasiswa
Untuk mengunduh nilai mahasiswa, dilakukan dengan cara memilih Download table data.
Download table data berfungsi untuk menyimpan hasil kuis ke komputer lokal sehingga kita
dapat melihat hasil kuis tanpa membuka SCeLE. Umumnya data disimpan dalam bentuk Excel.
Berikut ini langkah-langkah dalam Do
a. Pada Do
load ta le data ;
load ta le data as pilih Excel spreadsheet, seperti tampilan berikut;
12
Gambar 13. Memilih Format Data
Gambar 14. Memilih Excel Spreadsheet
b. Kemudian klik
, simpan hasil download pada drive lokal komputer kita.
13
B.3 Persebaran Nilai
Pada tampilan sebaran nilai mahasiswa terdapat beberapa kolom dan satu baris
overall average. Kolom terdiri dari First name/surname, NPM, email address, State,
Started on, Completed Time Taken, Grades/100.00 dan nomor pertanyaan (Q.1, Q.2
dan seterusnya). Berikut ini merupakan penjelasan dari masing-masing kolom tersebut:
Gambar 15. Data Persebaran Nilai Mahasiswa
First name/surname : merupakan nama mahasiswa.
NPM : merupakan nomor pokok mahasiswa.
Email address : merupakan email mahasiswa.
State : merupakan status dari pengerjaan kuis.
Started on : merupakan kapan kuis dibuka oleh mahasiswa.
Completed Time Taken : merupakan berapa lama waktu yang dibutuhkan mahasiswa
dalam mengerjakan kuis.
14
Grades/100.00 : merupakan nilai yang diperoleh oleh mahasiswa dalam mengerjakan
kuis, nilai maksimum 100.
Q.1/1.85, Q.2/1.85 dan seterusnya : merupakan nomor urut pertanyaan soal, yaitu Q.1
memiliki makna pertanyaan pertama, Q.2 memiliki makna pertanyaan kedua dan
seterusnya. Sedangkan 1.85 memiliki makna bobot nilai yang diberikan jika satu
pertanyaan dijawab dengan benar.
Overall average : merupakan nilai rata-rata mahasiswa dalam kuis tersebut.
B.4 Memilih Berdasarkan Nama
Untuk melihat hasil kuis berdasarkan nama mahasiswa. Berikut ini langkah-langkah dalam
melihat kuis berdasarkan nama:
a. Pilih salah satu mahasiswa, dengan cara klik re ie
atte pt yang berada dibawah
nama mahasiswa pada kolom First Name/Surname.
Gambar 16. Klik Review Attempt pada Daftar Sebaran Nilai Mahasiswa
b. Kemudian tampilan akan seperti berikut
15
Penjelasan atas point-point di atas:
Point 1, merupakan banyaknya pertanyaan dalam kuis, dimana jumlah
pertanyaan dalam kuis ini ada 54 pertanyaan. Pertanyaan yang berwarna hijau
bermakna pertanyaan yang dijawab dengan benar sedangkan yang warna pink,
bermakna jawaban yang diberikan salah.
Point 2, berisi data diri (foto dan nama mahasiswa), started on (waktu dimulai
kuis), state (status dari kuis), Time taken (waktu lamanya mengerjakan kuis),
Marks (jawaban yang benar dari total pertanyaan) dan Grades (nilai yang
diperoleh dari maksimum 100).
Point 3, merupakan pertanyaan dari kuis.
Point 4, Feedback dari jawaban yang diberikan.
Point 5, merupakan detail dari response pertanyaan.
RESPONSES
Fitur Responses digunakan untuk melihat sebaran respon jawaban tiap mahasiswa untuk setiap
butir soal. Berikut langkah-langkahnya menggunakan fitur responses:
a. Pada Menu Administration pilih Result → Responses
16
Gambar 17. Responses pada Menu Administration
b. Maka tampilannya akan seperti berikut ini. Pada tabel pertanyaan, terlihat jawaban
yang diberikan dalam bentuk text.
17
Gambar 18. Tampilan Responses
C.1 Mengunduh Responses
Untuk mengunduh respon mahasiswa dapat dilakukan dengan cara memilih
Download table data. Download table data berfungsi untuk menyimpan hasil respon
kuis ke komputer lokal sehingga kita dapat melihat respon kuis tanpa membuka SCeLE.
Umumnya data disimpan dalam bentuk excel spreadsheet. Berikut ini langkah-langkah
dalam Do
load ta le data ;
a. Pada Do
load ta le data as pilih Excel spreadsheet, seperti tampilan berikut;
18
Gambar 19. Memilih Format Data
Gambar 20. Memilih Excel Spreadsheet
b.
kemudian klik
, simpan hasil download pada drive lokal komputer
kita.
19
C.2 Persebaran Responses
Persebaran response digunakan untuk melihat response yang diberikan oleh setiap
Mahasiswa di setiap pertanyaan. Response yang berwarna hijau berarti jawaban tersebut benar
sesuai dengan kunci jawaban, sementara response yang berwarna pink berarti jawaban tersebut
salah dan tidak sesuai dengan kunci jawaban yang sudah dibuat.
Gambar 21. Tampilan Responses
C.3 Memilih Berdasarkan Nama
Respon juga dapat dilihat berdasarkan nama Mahasiswanya, sehingga dapat dilihat secara
detail respon jawaban Mahasiswa untuk setiap soalnya.
20
Gambar 22. Respon dari Mahasiswa
STATISTICS
Sebelum membahas lebih jauh mengenai fitur statistic quiz yang terdapat di menu Result, kita
perlu memahami terlebih dahulu mengenai analisis butir soal yang dilakukan di dalam SCeLE.
D.1 Analisis Butir Soal
Suatu butir soal tes yang baik adalah apabila berfungsi sama dengan tes, yaitu membedakan
individu. Untuk mengetahui apakah butir soal berfungsi dengan baik maka perlu dilakukan
analisis butir soal. Secara umum tujuan dilakukan analisis butir soal adalah untuk menentukan
apakah setiap butir soal di dalam tes merupakan butir soal yang baik. Lebih lanjut lagi, tujuan
analisis butir soal adalah sebagai berikut:
a. Meningkatkan reliabilitas tes;
b. Meningkatkan validitas tes;
c. Membuat urutan butir soal yang lebih baik berdasarkan derajat kesukaran;
d. Membuat distribusi skor yang lebih baik;
e. Meningkatkan fungsi butir soal untuk mampu membedakan setiap orang; dan
21
f.
Memperoleh informasi tentang kualitas distractor (pilihan jawaban pengecoh) untuk
butir soal er e tuk multiple choice .
D.1.1 Jenis Analisis Butir soal
Menurut Anastasi dan Urbina (1997), butir soal dapat dianalisis secara kualitatif (melalui
content dan form) dan secara kuantitatif (melalui indeks statistik). Dalam analisis butir soal,
untuk menentukan suatu butir soal dibuang, direvisi, atau dipertahankan, jangan hanya
bergantung dari hasil perhitungan (analisis kuantitatif), tetapi perlu dilakukan juga analisis
kualitatif terhadap setiap butir soal, begitu pula sebaliknya. Berikut ini penjelasan lebih
lanjut mengenai setiap jenis analisis butir soal :
1. Analisis Butir soal secara Kualitatif
Isi (content)
Dilakukan untuk melihat apakah butir soal-butir soal yang dipilih sudah sesuai
dengan dimensi-dimensi atau indikator yang akan diukur (content validity).
Bentuk (form)
Dilakukan untuk melihat apakah butir soal-butir soal ditulis dengan prosedur
penulisan yang efektif.
2. Analisis Butir soal secara Kuantitatif
Item-Difficulty
Analisis kesulitan butir soal digunakan pada maximal performance test yang
memiliki butir soal yang di-skor benar atau salah.
Asumsi dasar dari analisis ini adalah bahwa individu yang kemampuannya
lebih baik diharapkan lebih banyak menjawab butir soal secara benar
dibandingkan individu yang kemampuannya kurang baik, serta individu yang
kemampuannya lebih baik diharapkan menjawab benar pada butir soal yang
tidak dapat dijawab oleh individu yang kemampuannya kurang baik (butir
soal yang sulit).
Tes perlu memiliki indeks kesulitan yang bervariasi untuk dapat
membedakan kemampuan individu. Di bagian awal tes perlu diberikan butir
soal yang mudah kemudian semakin sulit agar penempuh tes memiliki
kepercayaan diri mengerjakan tes dan mengurangi membuang waktu pada
butir soal yang sulit.
22
Indeks kesulitan butir soal dilambangkan dengan p, p1 untuk difficulty index
butir soal 1, p2 untuk difficulty index butir soal 2, dst.
Cara paling umum menghitung indeks kesulitan butir soal (p) adalah melalui
proporsi penempuh tes yang menjawab suatu butir soal dengan benar.
■
Jika pada butir soal nomor 1, ada 50 dari 100 orang menjawab dengan
benar, maka p1=0,50 lalu pada butir soal nomor 2, 80 dari 100 menjawab
dengan benar, maka p2=0,80. Dengan demikian, dapat disimpulkan bahwa
butir soal 2 lebih mudah dari butir soal 1.
Nilai p adalah ,
p
, , di a a se aki
esar ilai p artinya semakin
mudah butir soal. Berikut ini kategori indeks kesulitan butir soal :
p
: Sangat mudah
,6 p < 0,8
: Mudah
0,4 p < 0,6
: Sedang
,
,8
p < 0,4
p < 0,2
: Sukar
: Sangat Sukar
Jika setiap penempuh tes menjawab benar pada butir soal tertentu, maka
butir soal tersebut terlalu mudah. Jika setiap penempuh tes menjawab salah
pada butir soal tertentu, maka butir soal tersebut terlalu sulit.
Item difficulty index di dalam SCeLE istilahnya adalah Facility Index.
Selanjutnya, dalam menilai item difficulty index, kita harus juga
memperhitungkan kemungkinan subyek menjawab dengan menebak saja
(guessing). Untuk itu, kita perlu menghitung nilai optimal test difficulty
index, yaitu probabilitas subyek menjawab benar dengan menebak + 1
dibagi 2. Contoh:
Pada ujian dengan pilihan benar-salah (2 pilihan jawaban),
maka test difficulty index yang optimal = (0,5+1)/2 = 0,75.
Pada ujian pilihan ganda A-E (5 pilihan jawaban) maka test
difficulty index yang optimal = (0,20+1)/2 = 0,6.
Tes yang baik jika memiliki item difficulty index berkisar 0,3 - 0,8 & test
difficulty index mendekati nilai optimal.
23
Item-Discrimination
Dari suatu butir soal di dalam tes, bagaimana kita dapat mengetahui butir soal
tersebut mampu membedakan individu yang memiliki kemampuan yang tinggi
dengan individu yang memiliki kemampuan yang rendah? Yaitu dengan
melakukan analisis diskriminasi butir soal.
Asumsi dasar dari analisis diskriminasi item adalah bahwa butir soal harus
dapat membedakan individu yang memiliki kemampuan/karakteristik yang
berbeda. Pada butir soal maximal performance (ability) test (misalnya UTS
bentuk pilihan ganda), individu-individu yang berkemampuan tinggi haruslah
menjawab benar sedangkan individu-invidu berkemampuan rendah
menjawab salah.
Menurut Crocker dan Algina (1986) ada sejumlah cara untuk melakukan
analisis diskriminasi butir soal, antara lain:
Extreme Group Method
Analisis dilakukan dengan melihat perbedaan kemampuan antara
kelompok individu berskor total tinggi (upper group) dengan kelompok
individu berskor total rendah (lower group). Analisis dengan dilakukan
melalui indeks diskriminasi / daya beda D.
Pembagian upper group dan lower group didasarkan pada skor total,
ditentukan berdasarkan 27%-33% skor tertinggi/ terendah (Anastasi &
Urbina, 1997). SCeLE menggunakan 1/3 (33%) subyek kelompok upper &
1/3 (33%) subyek di kelompok lower.
Ite ’s dis ri i atio
i dex (D) diukur dengan menghitung selisih
proporsi subyek yang menjawab benar antara subyek dengan nilai skor
total yang tinggi dengan yang rendah.
Dengan rumus:
D = pU – pL
dimana:
pU = proporsi subyek di kelompok upper yang menjawab butir soal
dengan benar
24
pL = proporsi subyek di kelompok lower yang
menjawab butir soal
dengan benar.
Butir soal dianggap berfungsi baik bila dapat membedakan kelompok
upper dan kelompok lower.
Nilai D adalah -1 sd +1, dimana nilai D yang besar menunjukkan
butir soal tersebut mampu membedakan subyek yang memiliki
kemampuan tinggi dan rendah.
Butir soal dengan nilai D negatif menunjukkan kemampuan
diskriminasi butir soal yang buruk, karena justru subyek yang
kurang mengerti materi yang diuji yang menjawab benar pada butir
soal tersebut. Istilah di dalam SCeLE yaitu Discrimination index.
Berikut ini adalah kategorisasi Nilai D menurut Ebel (dalam Crocker
& Algina, 1986)
1) D > .40 : the item is functioning quite satisfactorily
2) .30 < D < .39 : little or no revision is required
3) .20 < D < .29 : the item is marginal and needs revision
4) D < .19 : the item should be eliminated or completely revised
Metode korelasi (correlation indices method)
Asumsi dasar dari metode ini adalah bahwa subyek berkemampuan
tinggi (memiliki skor tes tinggi) diharapkan memiliki skor lebih tinggi
pada setiap butir soal (menjawab benar), dibandingkan subyek
berkemampuan rendah (skor tes rendah). Dilakukan dengan
menghitung korelasi skor butir soal dengan rIT (kriterianya internal)
dan rIC (kriterianya eksternal)
Item-total correlation cenderung over-estimate karena pada skor
total tes terkandung skor butir soal (terutama apabila jumlah butir
soal di dalam tes sedikit). Dengan demikian, diperoleh korelasi butir
soal-total yang tinggi namun sebenarnya kemampuan diskriminasi
butir soal rendah. Untuk itu, diatasi dengan corrected item-total
correlation Pada skor total, skor dari butir soal yang akan
dianalisis tidak dimasukkan dalam perhitungan, kemudian dihitung
korelasi skor butir soal dengan skor total yang sudah dikoreksi.
25
Intepretasi item-discriminat analysis melalui metode korelasi:
apabila korelasi yang didapatkan signifikan, maka dapat dianggap
butir soal memiliki kemampuan mendiskriminasi yang baik.
Rumus korelasi lain yang dapat digunakan: Pearson, Biserial, Point
Biserial, Phi Coefficient, Tetrachoric.
Istilah di dalam SCeLE yaitu Discrimative Efficiency.
Distractor-Power
Distraktor adalah pilihan jawaban yang salah (pengecoh) dalam sebuah butir
soal pilihan ganda.
Asumsi dasar dari analisis distraktor adalah bahwa subjek yang memiliki
kemampuan tinggi akan memilih pilihan jawaban benar, sedangkan subjek
yang memiliki kemampuan rendah akan memilih jawaban secara acak pada
pilihan distraktor.
Ciri-ciri distraktor yang baik, antara lain:
dipilih oleh individu yang memiliki kemampuan rendah (lower)
dipilih relatif merata oleh individu-individu yang menjawab salah
Analisis distraktor dapat dilakukan dengan membandingkan expected
distractor power dengan actual distractor power (Friedenberg, 1995)
Expected Distractor Power (EDP) adalah jumlah individu ideal yang
diharapkan memilih setiap distraktor pada butir soal yang dianalisis. EDP
didapat dengan cara membagi jumlah subjek yang menjawab salah dengan
jumlah distraktor.
Actual Distractor Power (ADP) adalah jumlah individu yang memilih setiap
distraktor pada butir soal yang dianalisis.
Apabila ADP kurang lebih sesuai dengan EDP, dapat dikatakan distraktor
dalam butir soal tersebut sudah baik, sebaliknya jika ADP tidak sesuai atau
jauh melenceng dari EDP dapat dikatakan distraktor dalam butir soal
tersebut masih perlu diperbaiki.
Pilihan distraktor yang terlalu banyak dipilih atau yang terlalu sedikit dipilih
oleh subyek adalah contoh distraktor yang tidak baik.
26
Lalu, bagaimanakah cara melakukan analisis butir soal di dalam SCeLE? Berikut ini
akan dijelaskan langkah-langkah melakukan analisis butir soal di dalam SCeLE, yaitu
melalui fitur statistics.
D.2 Statistics Di SCeLE
Fitur Statistics digunakan untuk melihat hasil analisis setiap butir soal dalam kuis yang sudah
dikerjakan oleh mahasiswa. Untuk mengaksesnya, pada fitur Administration, pilih Result, lalu klik
Statistics seperti gambar di bawah ini.
Gambar 23. Statistics pada Menu Administration
Sebelum melihat hasil analisis setiap butir soal, kita dapat memilih bagaimana pengaturan
pengolahan data statistiknya dilakukan, misalnya dihitung berdasarkan nilai tertinggi,
first
attempt, atau last attempt, dengan cara mengklik Statistics Calculation Setting, seperti contoh
berikut ini.
27
Gambar 24. Tampilan Statistics Saat diklik
Selanjutnya, kita dapat mengunduh laporan statistik lengkap dari kuis tersebut dengan cara
mengklik download full report pada bagian quiz information seperti tampil pada gambar di
bawah ini. Kita dapat memilih untuk mengunduh dalam format Excel, dan berbagai format
lainnya.
Gambar 25. Memilih Format untuk Download
Dalam quiz information juga akan disajikan informasi-informasi statistik terkait kuis tersebut,
antara lain:
Quiz name : yaitu nama kuis tersebut
Course name : yaitu nama mata kuliah yang dimaksud.
28
Open the quiz : yaitu kapan kuis dibuka.
Close the quiz : yaitu kapan kuis ditutup.
Open for : yaitu berapa lama kuis dibuka.
Number of complete Grades first attempt : yaitu jumlah Mahasiswa yang menyelesaikan
percobaan pertama.
Total number of complete Gradesd attempts : yaitu jumlah Mahasiswa yang
menyelesaikan kuis dan mendapatkan nilai.
Average Grades of first attempt : yaitu nilai rata-rata Mahasiswa dalam percobaan / sesi
pertama.
Average Grades of all attempt : yaitu nilai rata-rata Mahasiswa dalam semua percobaan
/ sesi.
Average Grades of last attempt : yaitu nilai rata-rata Mahasiswa dalam percobaan / sesi
terakhir.
Average Grades of highest Grades attempt : yaitu nilai rata-rata Mahasiswa dari nilai
yang paling tinggi.
Selanjutnya, pada halaman quiz information, jika kita klik Lihat “e ua maka akan muncul
informasi statistik secara mendetail untuk setiap butir soal seperti contoh di bawah ini.
Gambar 26. Informasi Statistik Quiz
catatan: arti dari indeks di atas akan dijelaskan pada bagian berikutnya.
29
Selanjutnya, kita dapat mengunduh laporan statistik lengkap dari setiap butir soal di dalam
quiz tersebut dengan cara mengklik download table data pada bagian quiz structure analysis
seperti tampil pada gambar di bawah ini. Kita dapat memilih untuk mengunduh dalam format
Excel, dan berbagai format lainnya.
Gambar 27. Laporan Statistik Quiz
Dari tabel analisis setiap butir soal, ada beberapa hal yang bisa kita analisis, antara lain
Facility Index, Standard Deviation, Discrimination Index, dan Discriminative Efficiency. Berikut
adalah tampilan hasil analisis butir soal secara keseluruhan.
30
Gambar 28. Analisis Setiap Butir Soal
Dari tabel di atas, ada beberapa informasi mengenai butir soal yang dapat kita ketahui
antara lain:
Facility Index, sama dengan item difficulty index yaitu informasi mengenai indeks
kesulitan butir soal. Besaran facility index berkisar 0% sd 100%, dimana semakin besar
nilainya artinya butir soal semakin mudah.
Standard Deviation, yaitu informasi mengenai standar deviasi dari setiap butir soal.
Standar deviasi merupakan rata-rata penyimpangan baku setiap skor terhadap mean di
dalam butir soal yang dimaksud. Semakin besar nilainya menunjukkan semakin besar
variasi jawaban pada butir soal tersebut.
Discrimination Index, sama dengan nilai D, yaitu informasi mengenai indeks diskriminasi
item, kemampuan item membedakan individu yang memiliki kemampuan tinggi dan
rendah. Nilai D adalah -1 sd +1 (dalam SCeLE ditampilkan dalam bentuk persentase),
dimana nilai D yang besar menunjukkan butir soal tersebut mampu membedakan
subyek yang memiliki kemampuan tinggi dan rendah dengan baik.
Discriminative Efficiency, sama dengan nilai rit, yaitu informasi mengenai korelasi antara
skor butir soal dengan skor total. Nilai rit berkisar -1 sd +1 (dalam SCeLE ditampilkan
dalam bentuk persentase), dimana nilai rit yang besar menunjukkan butir soal tersebut
mampu membedakan subyek yang memiliki kemampuan tinggi dan rendah dengan baik.
31
Jika kita ingin melihat detail analisis setiap butir soal termasuk persebaran jawaban subyek
pada setiap pilihan jawaban untuk bentuk quiz pilihan ganda, kita dapat mengklik di setiap
question name sehingga muncul tampilan seperti contoh di bawah ini.
Gambar 29. Detail Analisis dari Setiap Butir Soal
Dari tabel di atas, kita dapat melihat informasi mengenai analisis butir soal pada nomor
pertanyaan yang dimaksud, antara lain informasi mengenai facility index, discrimination index,
dan discriminative efficiency. Selain itu, dari tampilan di atas di bagian analysis of responses kita
juga dapat melakukan analisis kekuatan distraktor (pengecoh) dari pilihan-pilihan jawaban yang
disediakan. Pada bagian analysis of response ada beberapa hal yang perlu diperhatikan:
Model response, yaitu pilihan-pilihan jawaban yang disediakan untuk butir soal tersebut.
Actual response, yaitu pilihan-pilihan jawaban yang ditampilkan pada halaman quiz
Mahasiswa.
Partial credit, yaitu bobot yang diberikan jika menjawab pilihan jawaban tertentu.
Pilihan jawaban dengan partial credit sebesar 100% merupakan pilihan jawaban yang
menjadi kunci jawaban. Pilihan jawaban dengan partial credit sebesar 0% merupakan
pilihan jawaban yang merupakan distraktor (pilihan jawaban yang salah). Dari contoh
soal di atas, ku i jawa a
adalah piliha jawa a
ya adalah piliha jawa a
8 % , 4 % , da
% , sehi gga distractor-nya
Tidak dapat dite tuka .
Count, yaitu banyaknya Mahasiswa yang memilih pilihan jawaban tertentu.
32
Frequency, yaitu persentase Mahasiswa yang memilih pilihan jawaban tertentu (nilainya
sama dengan nilai pada facility index).
Untuk setiap butir soal, kita dapat melihat grafik perbandingan antara facility index dengan
discriminative efficiency, seperti tampil pada gambar di bawah ini.
Grafik 2. Facility Index dengan Discriminative Efficiency
Berikut ini adalah contoh butir soal yang baik berdasarkan hasil analisis butir soal.
Perhatikanlah butir soal yang diberikan tanda merah pada gambar di bawah ini.
33
Gambar 30. Hasil Analis dari Butir Soal
Dari gambar di atas, diketahui nilai facility index sebesar 47,62% (p =0,47) sehingga masuk
dalam kategori soal dengan tingkat kesulitan yang sedang. Nilai discrimination index sebesar
55.88% (D = 0,55) menunjukkan bahwa butir soal dapat membedakan peserta kemampuan
tinggi dan rendah dengan baik. Nilai discriminative efficiency sebesar 47,29% (rit = 0,47)
menunjukkan bahwa skor butir soal berkorelasi positif dengan skor total yang berarti butir soal
dapat membedakan peserta kemampuan tinggi dan rendah dengan baik.
Selanjutnya, hasil analisis butir soal dapat dijadikan rujukan / rekomendasi untuk
pelaksanaan quiz berikutnya, apakah butir soal tertentu dipertahankan dan dapat digunakan
kembali pada quiz berikutnya atau disimpan dalam bank soal, atau butir soal direvisi, atau
dihapus. Dalam analisis butir soal, untuk menentukan suatu butir soal dipertahankan, direvisi,
atau dihapus, jangan hanya bergantung dari hasil perhitungan (analisis kuantitatif), tetapi perlu
dilanjutkan dengan analisis kualitatif terhadap setiap butir soal yang dikaitkan dengan tujuan
tes. Misalnya saja, soal untuk tujuan mengetahui prestasi belajar mahasiswa (misalnya UTS)
perlu memiliki tingkat kesulitan yang bervariasi (mulai dari yang sangat mudah sampai sangat
sulit), sehingga kemampuan mahasiswa akan tergambar dengan lebih baik. Umumnya, dalam
soal yang sangat mudah (ataupun sangat sulit) indeks diskriminasi soalnya akan rendah karena
soal tidak akan mampu membedakan kemampuan Mahasiswa (pada soal sangat mudah, hampir
semua Mahasiswa dapat mengerjakan soal tersebut sementara pada soal sangat sulit, hampir
semua Mahasiswa tidak dapat mengerjakan soal tersebut). Oleh karena itu, jika kita hanya
melihat berdasarkan indeks diskriminasi butir soal dan indeks kesulitan soal, bisa saja soal
34
seperti itu dihapus padahal jika dikaitkan dengan tujuan tes, soal tersebut masih perlu untuk
dipertahanlan. Untuk itu, rekomendasi terhadap suatu butir soal harus merupakan hasil analisis
gabungan dari analisis-analisis yang dilakukan terhadap butir soal tersebut, baik secara
kuantitatif maupun secara kualitatif.
Demikian modul Statistic Quiz di SCeLE. Modul SCeLE lainnya dapat diakses melalui tautan
scele.ui.ac.id.
35