Pengukuran Pemodelan Rasch pada assessment pendidikan
Pengukuran Pemodelan
Rasch pada assessment
pendidikan
Bambang Sumintono
Institute of Educational Leadership - Universiti
Malaya
email: [email protected] dan [email protected]
blog: http://deceng2.wordpress.com
http://deceng3.wordpress.com
Apakah
Skor =
Pengukuran?
11:37:13 PM
2
Stevens (1946) menyatakan
pengukuran
adalah menempatkan
angka (nomor) kepada
objek atau kejadian
sesuai dengan aturan
yang ditetapkan
bahwa:
3
Contoh: Ujian Bahasa
Indonesia
Seorang guru memberikan 40 soal:
A = benar 30 soal
◦ Kemampuan A: (30/40) x 100% = 75% (?)
B
= benar 25 soal dan C = benar 25 soal
◦ Mana yang lebih pintar? C atau B?
D
= salah 40 soal
◦ D: tidak bisa berbahasa Indonesia?
Setiap pengukuran menggunakan instrumen
Properti Instrumen:
validitas konsep & reliabel
1. titik tolak
2. interval yang sama
3. unit/satuan
4. linier (garis lurus)
Pengukuran dalam Fisika
Pengukuran dalam fisika menggunakan
sistem metrik, contohnya: panjang
1. Definisi : panjang satu meter adalah
jarak yang ditempuh oleh cahaya dalam
waktu 1/299 792 428 detik
2. Instrumen: Penggaris kayu/plastik/metal,
pita pengukur dll
3. Unit: centimeter/inci/meter/km
Pengukuran dalam Psikometri
Bagaimana mengukur kecantikan?
Pemahaman tentang jenis
data
9
Pemahaman tentang jenis data
10
Pengukuran dalam Psikologi
Stevens (1946) menyatakan bahwa: pengukuran
adalah menempatkan angka (nomor) kepada
objek atau kejadian sesuai dengan aturan yang
ditetapkan
Kritik: atribut yang diukur harus lah bersifat
kuantitatif (scientific); secara instrumental
prosedur penentuan untuk estimasi angka
menunjukkan besarannya (Michell, 1997)
[measurement is the numerical estimation and
expression of the magnitude of one quantity relative
to another]
Penilaian (assessment)
dan Ujian
Penilaian
adalah cara untuk
menempatkan pembelajar dalam
konteks yang dapat menyatakan apa
yang dia ketahui dan mampu lakukan
(juga menjelaskan apa yang dia belum
tahu dan belum mampu dia lakukan)
Ujian adalah prosedur evaluasi yang
dilakukan oleh seorang guru terhadap
pengetahuan dan keterampilan siswa
untuk mengetahui kinerjanya dengan
menggunakan instrumen tertentu
11:37:19 PM
13
Skor dan Pengukuran
Skor
dalam ujian adalah
jumlah jawaban benar, tidak
berarti itu suatu hasil
pengukuran.
Pengukuran:
harus memenuhi
syarat kualitas instrument dalam
fisika
11:37:19 PM
14
Rasch Model-1
Skor Data frekuensi Probabilitas
40 soal Bahasa Indonesia:
A =benar 30
B =benar 25 C =benar
10
Odd Ratio = P / (N-P)
Odd Ratio A = 30/(40-30) 30/10
B = 25/15
C = 10/30
11:37:20 PM
15
Rasch Model-2
Garis odd ratio = tidak mempunyai
interval sama
1
39
0,02564
5
35
10
30
20
20
30
10
39
1
0,142
0,33
1
3
39
16
Rasch Model-3
Skor Data frekuensi Probabilitas
Logaritma
Indeks
peluang
log 0,02564
log 1
log 39
-1,591
0
+1,591
Kualitas Pengukuran dalam fisika:
titik tolak, linear, equal interval dan
mempunyai satuan: logit (log odd unit)
17
Peta Konstruk: Taksonomi
Bloom
Butir
Responden
Responden dengan tingkat
kecerdasan yang tinggi
.
.
.
Responden dengan
tingkat kecerdasan
sedang
.
.
.
Responden dengan tingkat
kecerdasan rendah
Soal jenis Sintesis
Soal jenis Evaluasi
soal yang sulit
Soal jenis Analisis
Soal jenis Aplikasi
Soal jenis Pemahaman
soal yang mudah
Soal jenis Ingatan
18
Rasch model dengan Winteps: ItemPerson Map
19
Rasch Model dengan Winteps: Fit
Statistik
20
Rasch model dgn Winteps: Expected
Score ICC
kurva ruang
kepercayaan
Infit
kurva ruang
kepercayaan
Outfit
kurva garis
model ideal
respon yang
tidak sesuai
(misfit)
21
Rasch model dgn Winteps: Pengecoh
bekerja?
Item CATEGORY/OPTION/DISTRACTOR FREQUENCIES:
ENTRY ORDER
--------------------------------------------------------------------|ENTRY
DATA SCORE |
DATA
| AVERAGE S.E. OUTF PTMEA|
|
|NUMBER CODE VALUE | COUNT
% | ABILITY MEAN MNSQ CORR.| Item |
|--------------------+------------+--------------------------+------|
|
1
D
0 |
2 10 |
-1.70
.37
.2 -.36 |S1
|
|
A
0 |
1
5 |
-1.33
.3 -.19 |
|
|
B
0 |
8 40 |
-.84
.42
.7 -.36 |
|
|
0 |
3 15 |
.36
.21 1.5
.19 |
|
|
C
1 |
6 30 |
.91
.52
.7
.56 |
|
|
|
|
|
|
|
2
D
0 |
1
5 |
-1.33
.2 -.19 |S2
|
|
A
0 |
3 15 |
-1.27
.92
.4 -.32 |
|
|
0 |
2 10 |
-1.07 1.01
.5 -.20 |
|
|
B
0 |
10 50 |
-.20
.30 1.0
.04 |
|
|
C
1 |
4 20 |
1.08
.81
.8
.50 |
|
|
|
|
|
|
|
3
C
0 |
6 30 |
-1.32
.45
.2 -.52 |S3
|
|
B
0 |
8 40 |
-.31
.39
.7 -.04 |
|
|
D
0 |
1
5 |
.57
1.0
.14 |
|
|
0 |
4 20 |
1.07
.73 4.2
.49 |
|
|
A
1 |
1
5 |
.57*
1.0
.14 |
|
22
Rasch model dgn Winteps: Deteksi
bias soal-1
23
Rasch model dgn Winteps: Deteksi
bias soal-2
24
Rasch model dgn Winteps: Skalogram
25
Person Diagnostic
26
Rasch model dgn Winteps: fungsi
Informasi tes
27
Terima kasih banyak
atas perhatiannya….
Pertanyaan, komentar, kritik……..?
28
Rasch pada assessment
pendidikan
Bambang Sumintono
Institute of Educational Leadership - Universiti
Malaya
email: [email protected] dan [email protected]
blog: http://deceng2.wordpress.com
http://deceng3.wordpress.com
Apakah
Skor =
Pengukuran?
11:37:13 PM
2
Stevens (1946) menyatakan
pengukuran
adalah menempatkan
angka (nomor) kepada
objek atau kejadian
sesuai dengan aturan
yang ditetapkan
bahwa:
3
Contoh: Ujian Bahasa
Indonesia
Seorang guru memberikan 40 soal:
A = benar 30 soal
◦ Kemampuan A: (30/40) x 100% = 75% (?)
B
= benar 25 soal dan C = benar 25 soal
◦ Mana yang lebih pintar? C atau B?
D
= salah 40 soal
◦ D: tidak bisa berbahasa Indonesia?
Setiap pengukuran menggunakan instrumen
Properti Instrumen:
validitas konsep & reliabel
1. titik tolak
2. interval yang sama
3. unit/satuan
4. linier (garis lurus)
Pengukuran dalam Fisika
Pengukuran dalam fisika menggunakan
sistem metrik, contohnya: panjang
1. Definisi : panjang satu meter adalah
jarak yang ditempuh oleh cahaya dalam
waktu 1/299 792 428 detik
2. Instrumen: Penggaris kayu/plastik/metal,
pita pengukur dll
3. Unit: centimeter/inci/meter/km
Pengukuran dalam Psikometri
Bagaimana mengukur kecantikan?
Pemahaman tentang jenis
data
9
Pemahaman tentang jenis data
10
Pengukuran dalam Psikologi
Stevens (1946) menyatakan bahwa: pengukuran
adalah menempatkan angka (nomor) kepada
objek atau kejadian sesuai dengan aturan yang
ditetapkan
Kritik: atribut yang diukur harus lah bersifat
kuantitatif (scientific); secara instrumental
prosedur penentuan untuk estimasi angka
menunjukkan besarannya (Michell, 1997)
[measurement is the numerical estimation and
expression of the magnitude of one quantity relative
to another]
Penilaian (assessment)
dan Ujian
Penilaian
adalah cara untuk
menempatkan pembelajar dalam
konteks yang dapat menyatakan apa
yang dia ketahui dan mampu lakukan
(juga menjelaskan apa yang dia belum
tahu dan belum mampu dia lakukan)
Ujian adalah prosedur evaluasi yang
dilakukan oleh seorang guru terhadap
pengetahuan dan keterampilan siswa
untuk mengetahui kinerjanya dengan
menggunakan instrumen tertentu
11:37:19 PM
13
Skor dan Pengukuran
Skor
dalam ujian adalah
jumlah jawaban benar, tidak
berarti itu suatu hasil
pengukuran.
Pengukuran:
harus memenuhi
syarat kualitas instrument dalam
fisika
11:37:19 PM
14
Rasch Model-1
Skor Data frekuensi Probabilitas
40 soal Bahasa Indonesia:
A =benar 30
B =benar 25 C =benar
10
Odd Ratio = P / (N-P)
Odd Ratio A = 30/(40-30) 30/10
B = 25/15
C = 10/30
11:37:20 PM
15
Rasch Model-2
Garis odd ratio = tidak mempunyai
interval sama
1
39
0,02564
5
35
10
30
20
20
30
10
39
1
0,142
0,33
1
3
39
16
Rasch Model-3
Skor Data frekuensi Probabilitas
Logaritma
Indeks
peluang
log 0,02564
log 1
log 39
-1,591
0
+1,591
Kualitas Pengukuran dalam fisika:
titik tolak, linear, equal interval dan
mempunyai satuan: logit (log odd unit)
17
Peta Konstruk: Taksonomi
Bloom
Butir
Responden
Responden dengan tingkat
kecerdasan yang tinggi
.
.
.
Responden dengan
tingkat kecerdasan
sedang
.
.
.
Responden dengan tingkat
kecerdasan rendah
Soal jenis Sintesis
Soal jenis Evaluasi
soal yang sulit
Soal jenis Analisis
Soal jenis Aplikasi
Soal jenis Pemahaman
soal yang mudah
Soal jenis Ingatan
18
Rasch model dengan Winteps: ItemPerson Map
19
Rasch Model dengan Winteps: Fit
Statistik
20
Rasch model dgn Winteps: Expected
Score ICC
kurva ruang
kepercayaan
Infit
kurva ruang
kepercayaan
Outfit
kurva garis
model ideal
respon yang
tidak sesuai
(misfit)
21
Rasch model dgn Winteps: Pengecoh
bekerja?
Item CATEGORY/OPTION/DISTRACTOR FREQUENCIES:
ENTRY ORDER
--------------------------------------------------------------------|ENTRY
DATA SCORE |
DATA
| AVERAGE S.E. OUTF PTMEA|
|
|NUMBER CODE VALUE | COUNT
% | ABILITY MEAN MNSQ CORR.| Item |
|--------------------+------------+--------------------------+------|
|
1
D
0 |
2 10 |
-1.70
.37
.2 -.36 |S1
|
|
A
0 |
1
5 |
-1.33
.3 -.19 |
|
|
B
0 |
8 40 |
-.84
.42
.7 -.36 |
|
|
0 |
3 15 |
.36
.21 1.5
.19 |
|
|
C
1 |
6 30 |
.91
.52
.7
.56 |
|
|
|
|
|
|
|
2
D
0 |
1
5 |
-1.33
.2 -.19 |S2
|
|
A
0 |
3 15 |
-1.27
.92
.4 -.32 |
|
|
0 |
2 10 |
-1.07 1.01
.5 -.20 |
|
|
B
0 |
10 50 |
-.20
.30 1.0
.04 |
|
|
C
1 |
4 20 |
1.08
.81
.8
.50 |
|
|
|
|
|
|
|
3
C
0 |
6 30 |
-1.32
.45
.2 -.52 |S3
|
|
B
0 |
8 40 |
-.31
.39
.7 -.04 |
|
|
D
0 |
1
5 |
.57
1.0
.14 |
|
|
0 |
4 20 |
1.07
.73 4.2
.49 |
|
|
A
1 |
1
5 |
.57*
1.0
.14 |
|
22
Rasch model dgn Winteps: Deteksi
bias soal-1
23
Rasch model dgn Winteps: Deteksi
bias soal-2
24
Rasch model dgn Winteps: Skalogram
25
Person Diagnostic
26
Rasch model dgn Winteps: fungsi
Informasi tes
27
Terima kasih banyak
atas perhatiannya….
Pertanyaan, komentar, kritik……..?
28