PENGGUNAAN TEORI G STUDI 1 FACET TERHADA
PENGGUNAAN TEORI G STUDI 1 FACET
TERHADAP HASIL UJIAN TENGAH SEMESTER
MATA KULIAH BAHASA ARAB I
JURUSAN HI FISIPOL UMY
Ana Taqwa Wati1
UMY (Univeritas Muhammadiyah Yogyakarta)
[email protected]
Abstrak
Permasalahan yang akan dibahas dalam penelitian ini adalah seberapa koefisien atau indeks generabilitas dari
10 butir soal bahasa Arab I berbentuk tes subyektif berupa isian singkat dengan mengisi dengan satu benda
yang sesuai sesudah kata tunjuk (isim isyarah) yang disediakan dalam soal dan mengisi kata tunjuk (isim
isyarah) sebelum kata benda yang disediakan dalam soal, di ujian tengah semester yang dikenakan kepada 27
orang mahasiswa jurusan Hubungan Internasional Fakultas Ilmu Sosial dan Ilmu Politik Universitas
Muhammadiyah Yogyakarta pegambil konsentrasi kajian Timur Tengah, dengan satu rater. Metode yang
digunakan adalah dengan menggunakan analisis varians 2 jalur terhadap model 1 facet. Hasil yang didapat dari
penelitian ini adalah hasil estimasi yang menunjukkan bahwa dengan menggunakan metode ini dapat diperoleh
koefisien atau indeks generabilitas (rxx’) sebesar 0.7640397, serta dapat dipahami bahwa indeks generalisasi
yang dihasilkan lumayan tinggi, demikian pula kontribusi atau sumbangan instrumen dalam menjelaskan
variabilitas peserta tes juga tinggi, yaitu sebesar 0.583757 atau 58% dengan 42% variabilitas peserta tes
(mahasiswa) dijelaskan oleh variabel lain.
Abstract
Issues to be addressed in this study is how the coefficient or index generalizability of 10 items Arabic I in a
subjective test by filling in the form of a short field with the appropriate object after ( isim isyarah) provided in the
matter and filling (isim isyarah) before the noun which is provided in the matter, in the midterms were subjected to
27 students majoring in International Relations, Faculty of Social and Political Sciences, University of
Muhammadiyah Yogyakarta took the concentration of Middle East studies, with one rater. The method used in
this study is to use 2-way analysis of variance to the model in one facet. The results obtained from this study is
the estimation results indicate that by using this method can be obtained coefficient or index generabilitas (rxx ')
equal to 0.7640397, and it is understood that the index generated a fairly high generalization, as well as
contributions or donations of instruments in explaining the variability of the test participants is also high,
amounting to 0.583757 or 58% to 42% of the variability of test participants (students) is explained by other
variables.
1
A.
PENDAHULUAN
Pembelajaran yang berkualitas
salah satunya dapat ditentukan dengan
asesmen yang berkualitas, yang dilakukan
oleh dosen dalam proses belajar
mengajar. Kegiatan asesmen ini dapat
membantu dosen untuk mengetahui dan
memahami kekuatan dan kelemahan
mahasiswanya dalam belajar. Semakin
bagus asesmen pembelajaran dibuat,
maka akan semakin baik pula dosen
mengerti dan memahami kelemahan dan
kekuatan mahasiswa dalam mempelajari
materi
(bahasa
Arab
I).
Untuk
mendapatkkan asesmen yang baik perlu
disiapkan model tes yang spesifik yang
sesuai dengan kebutuhan. Spesifikasi tes
yang digunakan dalam penelitian ini
adalah achievement test dimana tes ini
diberikan pada berbagai tahap selama
mereka belajar bahasa untuk melihat
sampai dimana mereka belajar. (Alderson
J.C., et al, 1995: 12). Sehingg selain
memberikan informasi terhadap dosen,
asesmen
juga
dapat
memberikan
informasi
bagi
mahasiswa
tentang
kemajuan belajarnya sehingga menjadi
acuan
untuk
memperbaiki
perilaku
belajarnya.
Peranan
asesmen
dalam
pembelajaran juga sangat penting dan
telah ditekankan dalam Peraturan Menteri
Pendidikan Nasional nomor 20 tahun 2007
tentang Standar Penilaian Pendidikan.
Pada poin E dalam peraturan tersebut
dikatakan bahwa penilaian hasil belajar
oleh
pendidik
dilakukan
secara
berkesinambungan,
bertujuan
untuk
memantau proses dan kemajuan belajar
peserta didik serta untuk meningkatkan
efektivitas
kegiatan
pembelajaran.
Langkah-langkah penilaian yang tertuang
dalam permen tersebut adalah: (1)
mengembangkan instrumen dan pedoman
penilaian sesuai dengan bentuk dan teknik
penilaian yang dipilih. (2) melaksanakan
tes, pengamatan, penugasan, dan/atau
bentuk lain yang diperlukan. (3) mengolah
hasil
penilaian
untuk
mengetahui
kemajuan hasil belajar dan kesulitan
belajar peserta didik. (4) mengembalikan
hasil pemeriksaan pekerjaan peserta didik
disertai balikan/komentar yang mendidik.
(5) memanfaatkan hasil penilaian untuk
perbaikan pembelajaran.
Jurusan Hubungan Internasional,
Fakultas Ilmu Sosial dan Ilmu Politik,
Universitas Muhammadiyah Yogyakarta
adalah salah satu program studi yang
menjadikan bahasa Arab sebagai bahasa
pilihan bagi mahasiswanya, pengambil
konsentrasi politik Timur Tengah. Para
mahasiswa pengambil konsentrasi Politik
Timur Tengah wajib mengambil mata
kuliah bahasa Arab pada semester 4, 5,
dan 6. Singkatnya waktu bagi mahasiswa
dalam mengambil mata kuliah bahasa
Arab
membuat
dosen
berusaha
memberikan materi yang sebaik-baiknya
sehingga
dapat
memberikan
bekal
berbahasa bagi para mahasiswa tersebut,
dan berusaha memberikan asesmen yang
bagus pula.
Teknik pengumpulan data dalam
penelitian ini adalah dengan menggunakan
teknik pengukuran dengan menggunakan
tes hasil belajar.Tes hasil belajar kadangkadang disebut juga tes prestasi belajar,
mengukur hasil-hasil belajar yang dicapai
siswa selama kurun waktu tertentu.
(Sukmadinata, N.S., 2012: 223). Data
yang digunakan adalah data hasil ujian
tengah semester pada Tahun Akademik
2012-2013 pada mata kuliah bahasa Arab
I,
mahasiswa
jurusan
Hubungan
Internasional, Fakultas Ilmu Sosial dan
Ilmu Politik, Universitas Muhammadiyah
Yogyakarta pengambil konsentrasi kajian
Timur Tengah.
Teori tes klasik dapat dipandang
sebagai induk dari teori generalizabilitas,
dalam arti bahwa teori generalizabilitas
bekerja dengan prosedur ANOVA dengan
memperluas model yang digunakan dalam
teori klasik. Teori generalizabilitas tidak
hanya dapat dianggap sebagai gabungan
dari teori tes klasik dan ANOVA. Teori tes
klasik tidak dapat mengidentifikasi sumber
kesalahan
pengukuran
secara
komprehensif,
demikian
pula
teori
generalizabilitas tidak memaknai hasil
analisis
varians
dengan
membandingkannya dengan distribusi F
seperti yang biasa digunakan dalam uji
statistik ANOVA. Oleh karenya dapat
disimpulkan bahwa teori generalizabilitas
bukan bagian dari kedua metode tersebut.
Teori
generalisabilitas
pada
dasarnya terdiri atas G theory dan D
theory. G theory digunaan untuk
mengestimasi
besarnya
koefisen
reliabilitas antar penilai pada keadaan
tertentu. Hasil dari G theory selanjutnya
digunakan pada D theory. (Mardapi J.,
2012: 89). Konsep generalisabilitas adalah
sebagai suatu usaha untuk meningkatkan
akurasi interpretasi tes (Cronbach, Gleser,
Nanada & Rajaratnam, 1972 dalam Allen &
Yan 1979 & dalam Matt, 2002). Definisi
teori generalisabilitas terkait dengan
penggunaan proses anova atau analisis
varians
(Boodoo,
2001). Teori
generalisabilitas atau teori G memberikan
suatu
kerangka
kerja
untuk
mengkonseptualisasi,
menginvestigasi,
dan
mendesain
pengamatan
yang
realiabel (Matt, 2002). Menurut Allen & Yan
(1979): Teori generalisabilitas secara
eksplisit
mempertimbangkan
sumbersumber varians sistematik yang berbeda
2
dalam pengukuran dan menggambarkan
cara-cara mengestimasi banyak varians
yang disumbangkan oleh sumber-sumber
Analisis generalizabilitas dimulai
dengan melakukan spesifikasi suatu
universe (populasi) dari suatu sampel
observasi. Studi teori G mengestimasi
komponen-komponen
varians
dari
populasi yang relevan. Model pengukuran
dengan teori generalizabilitas lebih dapat
menjelaskan secara memuaskan berkaitan
dengan
kesalahan
pengukuran
dibandingkan teori tes klasik. Melalui
penerapan teori generalizabilitas, konsep
validitas dan reliabilitas dimaknai secara
lebih komprehensif dan integral.
Berdasar pada uraian diatas,
maka makalah ini akan berisi sebuah
penelitian yang dilakukan di Jurusan
Hubungan Internasional, Fakultas Ilmu
Sosial dan Ilmu Politik, Universitas
Muhammadiyah Yogyakarta. Data yang
diukur adalah data ujian tengah semester
(UTS) yang dilakukan pada tahun
akademik 2012-2013 pada mata kuliah
Bahasa Arab 1, dengan peserta ujian 27
mahasiswa. Item soal yang digunakan
dalam ujian ini bersifat dikotomus, dengan
banyak soal 10 item. Rater yang
digunakan dalam simulasi ini adalah 1
dosen pengajar mata kuliah tersebut.
B.
METODE PENELITIAN
Penelitian
ini
menggunakan
pendekatan kuantitatif. Populasi dari
penelitian ini adalah 27 mahasiswa
Jurusan Hubungan Internasional Fakultas
Ilmu Sosial dan Ilmu politik Universitas
Muhammadiyah Yogyakarta pengambil
mata kuliah bahasa Arab I. Untuk
menentukan koefisien generalizabilitas tes
dilakukan dengan model 1 facet, sehingga
analisis yag digunakan adalah analisis
varians model 2 jalur, masing-masing
adalah item dan subjek. Analisis data
dilakukan dengan program GENOVA.
Dalam teori generalisabilitas,
pengamatan (misalnya sekor tes teruji)
dilihat sebagai sampel dari universe
(populasi) of admissible observations.
Universe menggambarkan kondisi, yang
mana teruji dan dapat diamati atau dites,
yang menimbulkan hasil yang ekivalen
pada beberapa tingkatan spesifik. Suatu
sekor populasi teruji ditetapkan oleh nilai
harapan sekor amatannya melampaui
semua
universe
of
admissible
observations (pengamatan yang dapat
diterima); sekor populasi secara langsung
analog dengan sekor tulen yang
digunakan dalam teori sekor klasik. Teori
generalisabilitas
menekankan
bahwa
keberadaan populasi yang berlainan dan
menjadi tanggung jawab penyusun tes
untuk menetapkan universe itemnya
dengan hati-hati. Kondisi spesifik yang
dipertimbangkan dalam tes biasa disebut
facets atau dimensions. Sebagai contoh,
facet-facet yang terdapat dalam ukuran
(besarnya) kelompok testing, jenis-jenis
training yang diterima oleh penguji, bentuk
(form) tes, kesempatan testing, dan
sebagainya.
Derajat
facet-facet
ini
dispesifikasi, dan pengaruh-pengaruhnya
diuji.
Misalkan suatu tes dilaksanakan
pada sejumlah peserta tes (p), dengan
banyak item (i). Tes tersebut dinyatakan
sebagai tes yang berdimensi satu (1 facet)
karena mempertimbangkan banyak item,
sehingga model yang tepat adalah:
X pi =μ+ v p +v i + v pi
.................
1)
dengan µ adalah rerata umum dari
populasi dan v adalah pengaruh dari
berbagai kondisi (seperti kondisi peserta
tes, banyak item, dan banyak rater).
Masing-masing pengaruh tersebut saling
bebas atau tidak berkorelasi.
Varians skor untuk persamaan 1)
adalah:
2
2
2
2
σ ( X pi )=σ ( p )+σ (i)+σ ( pi )
....................................................... 2)
Varians skor yang diperoleh
peserta tes dalam populasi terdiri dari
varians yang disebabkan oleh peserta tes
dan banyak item dan varians berbagai
interaksi antar facet tersebut.
Dari desain ini selanjutnya dapat
ditentukan komponen-komponen varians
persamaan 2) sebagai kuadrat tengah
harapan (EMS=Expected Mean Square).
Kuadrat tengah harapan ini dapat
diestimasi oleh besarnya kuadrat tengah
(MS=Mean Square) dari model pengaruh
acak atau rancangan acak faktorial. Dalam
desain ini menggunakan rancangan 2
faktorial, yaitu peserta tes dan banyak
item. Desain 2 faktor ini digunakan untuk
mengestimasi
koefisien
G
satu
facet/dimensi karena faktor peserta tes
bukan termasuk dimensi tes.
3
Koefisien generalizabilitas identik dengan
koefisien reliabilitas pada teori tes klasik,
sedangkan
indeks
dependabilitas
mempunyai nilai yang lebih kecil dibanding
koefisien generalizabilitas karena indeks
dependabilitas
menggunakan
varians
kesalahan absolut yang lebih besar
dibandingkan dengan varians kesalahan
relatif yang digunakan pada koefisien
generabilitas.
Indeks
dependabilitas
menunjukkan ketepataan ketika skor
secara absolut diinterpretasikan seperti
pada tes yang beracuan kriteria.
Untuk
mendefinisikan
koefisien
generalizabilitas,
perlu
didefinisikan
terlebih dahulu berkaitan dengan varians
kesalahan pengukuran yang terdiri dari
varians kesalahan absolut dan dan varians
kesalahan relatif. Kesalahan absolut
didefinisikan sebagai perbedaan antara
skor peserta tes dalam sampel dan skor
populasi (universe):
Δ p I=X p I −μ p
..............................
3)
Selanjutnya persamaan 3) diaplikasikan ke
persamaan 2), diperoleh:
Δp
=
v p +vi +v pi
.........................
..... 4)
Dari persamaan 4) dapat dinyatakan
bahwa
varians
kesalahan
absolut
2
σ ( Δ) , adalah jumlah seluruh varians
kesalahan kecuali varians kesalahan yang
2
disebabkan peserta tes σ ( p) .
2
σ ( Δ) =
2
2
2
σ ( p )+σ (i)+σ ( pi)
Tabel 1. Data pxi
................
................................................ 5)
Person
Kesalahan relatif didefinisikan sebagai
perbedaan skor deviasi peserta tes
dengan skor deviasi populasinya.
δ p I=( X pI −μ I )−( μ p −μ )
........
.........................................................6)
Untuk desain penelitian ini, maka varians
kesalahan relatif dapat dinyatakan sebagai
2
σ (δ )
2
=
σ ( pI )
............................
..... 7)
Selanjutnya koefisien generalizabilitasnya
2
( Eρ ) dan indeks dependabilitas
(Φ)
dapat
didefinisikan
sebagai
berikut:
2
σ ( p)
Eρ = 2
σ ( p)+ σ 2 (δ )
2
................ 8)
2
σ (p)
Φ= 2
σ ( p )+ σ 2 ( Δ )
....................... 9)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
Item score (Xpi)
I_1 I_2 I_3 I_4 I_5 I_6 I_7 I_8
C. 1APLIKASI
DESAIN
1
1
1 STUDI
1 G1DALAM
1
1
1PENELITIAN
1
1
1
1
1
1
1
1
0 Studi1 G 0direncanakan
1
0 dilakukan
0
1
0terhadap
0 tes
1 kemampuan
1
0 berbahasa
0
0 Arab
1
tata
1sesuai1 dengan
1 kaidah
1
1 bahasa
1
1bahasa
1
1Arab 0bagi 1mahasiswa
1
1jurusan
1 Hubingan
1
1
Internasional fakultas Ilmu Sosial dan Ilmu
1
1
1
1
1
1
1
1
Politik
Universitas
Muhammadiyah
1Yogyakarta
1
1dengan
1 melibatkan
1
1 peserta
1
1
tes
0sebanyak
0
0 270
1orang1
1dengan
0
1memperhatikan
1
1
1banyaknya
1
1 item
1 tes.
1
meliputi
1Banyak
1 item
1 tes 1yang 1digunakan
1
1
1
sesudah
1mengisi
1 satu
1 kata
1 benda
1
1
1 kata
1
tunjuk (isim isyarah) dan menuliskan kata
0
0
1
0
1
1
1
1
tunjuk (isim isyarah) sebelum kata benda
1yang 1telah 1ditulis1dalam
1 soal.
1 Soal1 terdiri
0
1dari 10
1 butir
1 soal1 berbentuk
1
1tes subyektif
1
1
1berupa
1 isian1singkat.
1
1
1
1
1
menentukan
koefisien
1
1 Untuk
1
1
1
1
1
1
1generalizabilitas
1
1
1tes 1dilakukan
1
1dengan
1
model 1 facet, sehingga menggunakan
0
1
1
0
0
1
1
1
analisis varians model 2 jalur, masing1masing
0 adalah
1
1
0
1
1
1
item dan subjek. Analisis
1data dilakukan
1
1 dengan
1
1
1
1
program GENOVA1
1
1
1
1
1
0
0
1
1. Data
1
1
1
1
1
1
1
1
1
1
0
0
0
1
0
0
1
1
1
1
1
1
1
14
1
1
1
1
1
1
1
1
1
1
1
1
1
0
1
0
I_9
1
1
1
1
1
1
1
1
1
1
0
1
0
0
1
1
1
1
1
1
1
1
1
1
1
1
0
I_10
1
1
1
0
1
1
1
1
0
1
1
1
1
1
1
1
1
1
1
1
1
0
1
0
1
1
1
Tests of Between-Subjects Effects
Dependent
Variable:
Skor
Type III Sum
of Squares
Source
Corrected Model
34.074a
Intercept
195.926
1
.296
9
10.674
26
23
4
0
27
0
26
Item
Person
Item * Person
df
26
9
23.104
Error
0.000
Total
230.000
Corrected Total
34.074
Mean
Squar
e
.127
195.92
6
.033
.411
.099
np = 27
ni = 10
Komponen varians:
σ
σ
2
2
pi
p
=MS pi
= 0.099
=( MS p − MS pi )/ ni = (0.411 –
0.099)/10 = 0.031181
2
σ i =( MS i − MS pi )/ n p
= (0.033 –
0.099)/27 = -0.00244
Varians observasi
σ
2
obs
=σ
2
2
p
2
σ i σ pi
+
+
ni
ni
=0 . 031181+
-0 . 00244 0 . 099
+
10
10
= 0.031181 + -0.00024 + 0.009873
= 0.0408104
r xx '=
2.
Hasil Analisis
2true
σ
σ2
obs
Output Anava dua-jalur
5
F
Sig
.
σ
σ
=
2
true
2
obs
σ
=
σ
2
0. 031181
0 . 0408104
2
p
2
p
2
σ i σ pi
+
+
ni
ni
D.
Berdasar dari interpretasi hasil
analisis dapat ditarik kesimpulan bahwa
untuk mengestimasi koefisiensi dan
generalisabilitas dari hasil ujian tengah
semester untuk mata kuliah bahasa Arab I
bagi mahasiswa jurusan Hubungan
Internasional Fakultas Ilmu Sosial dan Ilmu
Politik
Universitas
Muhammadiyah
Yogyakarta sudah sangat tepat, mengingat
hasil estimasi yang didapat menunjukkan
bahwa dengan menggunakan metode ini
dapat diperoleh koefisien atau indeks
generabilitas
(rxx’)sebesar
0.7640397.
Serta dapat dipahami bahwa indeks
generalisasi yang dihasilkan lumayan
tinggi, demikian pula kontribusi atau
sumbangan instrumen dalam menjelaskan
variabilitas peserta tes juga tinggi, yaitu
sebesar 0.583757 atau 58% dengan 42%
variabilitas peserta tes (mahasiswa)
dijelaskan oleh variabel lain.
rxx’ = 0.7640397
r2xx’ = 0.583757
E.
3.
Interpretasi Hasil Analisis
Berdasarkan hasil analisis varians 2
jalur terhadap model 1 facet untuk 10
butir soal bahasa Arab I berbentuk tes
subyektif berupa isian singkat dengan
mengisi dengan satu benda yang
sesuai sesudah kata tunjuk (isim
isyarah) yang disediakan dalam soal
dan mengisi kata tunjuk (isim isyarah)
sebelum kata benda yang disediakan
dalam soal. Item soal dikenakan
kepada 27 orang mahasiswa jurusan
Hubungan Internasional Fakultas Ilmu
Sosial dan Ilmu Politik Universitas
Muhammadiyah Yogyakarta pegambil
konsentrasi kajian Timur Tengah, dan
diperoleh koefisien atau indeks
generabilitas (rxx’)sebesar 0.7640397.
Dapat
dipahami
bahwa
indeks
generalisasi yang dihasilkan lumayan
tinggi, demikian pula kontribusi atau
sumbangan
instrumen
dalam
menjelaskan variabilitas peserta tes
juga tinggi, yaitu sebesar 0.583757
atau 58% dengan 42% variabilitas
peserta tes (siswa) dijelaskan oleh
variabel lain yang bukan instrumen
tersebut
HASIL PENERAPAN METODE
REFERENSI
-
Alderson, J.C., Clapham, C. & Wall, D,
(1995), Language Test Construction
and Evaluation, Cambridge University
Press.
-
Allen, Mary J. & Yan, Wendy M.
(1979). Introduction to measurement
theory.
Monterey,
California:
Brooks/Cole Publishing Company.
-
Boodoo. (2001). Bayesian procedures
and
generalizability
theory.
Gwynpres.mislevyclass.doc.
-
Brennan, Generalizability Theory,
Statistic for Science and Public Policy,
Springer-Verlag Berlin Heidelberg,
New York,
-
Brennan, R.L., (1982), Elememnts of
Generalizability Theory,
-
Kumar, P.G.R., (1991), Measurement
and Education in Education and
Psychology,
Wadsworth/Thomson
Learning, Belmont CA, USA.
-
Mardapi, D., (2012), Pengukuran
penilaian dan Evaluasi Pendidikan,
Nuha Medika, Yogyakarta.
-
Matt,
George
E.
(2002).
Generalizabilitytheory.htm.gmatt@s
ciences.sdsu.edu.
-
McNamara, T., (1997), Measuring
Second
Language
Performance,
Longman, London and New York.
-
Sukmadinata, N.S., (2012), Metode
Penelitian Pendidikan, PT Remaja
Rosdakarya, Bandung.
6
7
TERHADAP HASIL UJIAN TENGAH SEMESTER
MATA KULIAH BAHASA ARAB I
JURUSAN HI FISIPOL UMY
Ana Taqwa Wati1
UMY (Univeritas Muhammadiyah Yogyakarta)
[email protected]
Abstrak
Permasalahan yang akan dibahas dalam penelitian ini adalah seberapa koefisien atau indeks generabilitas dari
10 butir soal bahasa Arab I berbentuk tes subyektif berupa isian singkat dengan mengisi dengan satu benda
yang sesuai sesudah kata tunjuk (isim isyarah) yang disediakan dalam soal dan mengisi kata tunjuk (isim
isyarah) sebelum kata benda yang disediakan dalam soal, di ujian tengah semester yang dikenakan kepada 27
orang mahasiswa jurusan Hubungan Internasional Fakultas Ilmu Sosial dan Ilmu Politik Universitas
Muhammadiyah Yogyakarta pegambil konsentrasi kajian Timur Tengah, dengan satu rater. Metode yang
digunakan adalah dengan menggunakan analisis varians 2 jalur terhadap model 1 facet. Hasil yang didapat dari
penelitian ini adalah hasil estimasi yang menunjukkan bahwa dengan menggunakan metode ini dapat diperoleh
koefisien atau indeks generabilitas (rxx’) sebesar 0.7640397, serta dapat dipahami bahwa indeks generalisasi
yang dihasilkan lumayan tinggi, demikian pula kontribusi atau sumbangan instrumen dalam menjelaskan
variabilitas peserta tes juga tinggi, yaitu sebesar 0.583757 atau 58% dengan 42% variabilitas peserta tes
(mahasiswa) dijelaskan oleh variabel lain.
Abstract
Issues to be addressed in this study is how the coefficient or index generalizability of 10 items Arabic I in a
subjective test by filling in the form of a short field with the appropriate object after ( isim isyarah) provided in the
matter and filling (isim isyarah) before the noun which is provided in the matter, in the midterms were subjected to
27 students majoring in International Relations, Faculty of Social and Political Sciences, University of
Muhammadiyah Yogyakarta took the concentration of Middle East studies, with one rater. The method used in
this study is to use 2-way analysis of variance to the model in one facet. The results obtained from this study is
the estimation results indicate that by using this method can be obtained coefficient or index generabilitas (rxx ')
equal to 0.7640397, and it is understood that the index generated a fairly high generalization, as well as
contributions or donations of instruments in explaining the variability of the test participants is also high,
amounting to 0.583757 or 58% to 42% of the variability of test participants (students) is explained by other
variables.
1
A.
PENDAHULUAN
Pembelajaran yang berkualitas
salah satunya dapat ditentukan dengan
asesmen yang berkualitas, yang dilakukan
oleh dosen dalam proses belajar
mengajar. Kegiatan asesmen ini dapat
membantu dosen untuk mengetahui dan
memahami kekuatan dan kelemahan
mahasiswanya dalam belajar. Semakin
bagus asesmen pembelajaran dibuat,
maka akan semakin baik pula dosen
mengerti dan memahami kelemahan dan
kekuatan mahasiswa dalam mempelajari
materi
(bahasa
Arab
I).
Untuk
mendapatkkan asesmen yang baik perlu
disiapkan model tes yang spesifik yang
sesuai dengan kebutuhan. Spesifikasi tes
yang digunakan dalam penelitian ini
adalah achievement test dimana tes ini
diberikan pada berbagai tahap selama
mereka belajar bahasa untuk melihat
sampai dimana mereka belajar. (Alderson
J.C., et al, 1995: 12). Sehingg selain
memberikan informasi terhadap dosen,
asesmen
juga
dapat
memberikan
informasi
bagi
mahasiswa
tentang
kemajuan belajarnya sehingga menjadi
acuan
untuk
memperbaiki
perilaku
belajarnya.
Peranan
asesmen
dalam
pembelajaran juga sangat penting dan
telah ditekankan dalam Peraturan Menteri
Pendidikan Nasional nomor 20 tahun 2007
tentang Standar Penilaian Pendidikan.
Pada poin E dalam peraturan tersebut
dikatakan bahwa penilaian hasil belajar
oleh
pendidik
dilakukan
secara
berkesinambungan,
bertujuan
untuk
memantau proses dan kemajuan belajar
peserta didik serta untuk meningkatkan
efektivitas
kegiatan
pembelajaran.
Langkah-langkah penilaian yang tertuang
dalam permen tersebut adalah: (1)
mengembangkan instrumen dan pedoman
penilaian sesuai dengan bentuk dan teknik
penilaian yang dipilih. (2) melaksanakan
tes, pengamatan, penugasan, dan/atau
bentuk lain yang diperlukan. (3) mengolah
hasil
penilaian
untuk
mengetahui
kemajuan hasil belajar dan kesulitan
belajar peserta didik. (4) mengembalikan
hasil pemeriksaan pekerjaan peserta didik
disertai balikan/komentar yang mendidik.
(5) memanfaatkan hasil penilaian untuk
perbaikan pembelajaran.
Jurusan Hubungan Internasional,
Fakultas Ilmu Sosial dan Ilmu Politik,
Universitas Muhammadiyah Yogyakarta
adalah salah satu program studi yang
menjadikan bahasa Arab sebagai bahasa
pilihan bagi mahasiswanya, pengambil
konsentrasi politik Timur Tengah. Para
mahasiswa pengambil konsentrasi Politik
Timur Tengah wajib mengambil mata
kuliah bahasa Arab pada semester 4, 5,
dan 6. Singkatnya waktu bagi mahasiswa
dalam mengambil mata kuliah bahasa
Arab
membuat
dosen
berusaha
memberikan materi yang sebaik-baiknya
sehingga
dapat
memberikan
bekal
berbahasa bagi para mahasiswa tersebut,
dan berusaha memberikan asesmen yang
bagus pula.
Teknik pengumpulan data dalam
penelitian ini adalah dengan menggunakan
teknik pengukuran dengan menggunakan
tes hasil belajar.Tes hasil belajar kadangkadang disebut juga tes prestasi belajar,
mengukur hasil-hasil belajar yang dicapai
siswa selama kurun waktu tertentu.
(Sukmadinata, N.S., 2012: 223). Data
yang digunakan adalah data hasil ujian
tengah semester pada Tahun Akademik
2012-2013 pada mata kuliah bahasa Arab
I,
mahasiswa
jurusan
Hubungan
Internasional, Fakultas Ilmu Sosial dan
Ilmu Politik, Universitas Muhammadiyah
Yogyakarta pengambil konsentrasi kajian
Timur Tengah.
Teori tes klasik dapat dipandang
sebagai induk dari teori generalizabilitas,
dalam arti bahwa teori generalizabilitas
bekerja dengan prosedur ANOVA dengan
memperluas model yang digunakan dalam
teori klasik. Teori generalizabilitas tidak
hanya dapat dianggap sebagai gabungan
dari teori tes klasik dan ANOVA. Teori tes
klasik tidak dapat mengidentifikasi sumber
kesalahan
pengukuran
secara
komprehensif,
demikian
pula
teori
generalizabilitas tidak memaknai hasil
analisis
varians
dengan
membandingkannya dengan distribusi F
seperti yang biasa digunakan dalam uji
statistik ANOVA. Oleh karenya dapat
disimpulkan bahwa teori generalizabilitas
bukan bagian dari kedua metode tersebut.
Teori
generalisabilitas
pada
dasarnya terdiri atas G theory dan D
theory. G theory digunaan untuk
mengestimasi
besarnya
koefisen
reliabilitas antar penilai pada keadaan
tertentu. Hasil dari G theory selanjutnya
digunakan pada D theory. (Mardapi J.,
2012: 89). Konsep generalisabilitas adalah
sebagai suatu usaha untuk meningkatkan
akurasi interpretasi tes (Cronbach, Gleser,
Nanada & Rajaratnam, 1972 dalam Allen &
Yan 1979 & dalam Matt, 2002). Definisi
teori generalisabilitas terkait dengan
penggunaan proses anova atau analisis
varians
(Boodoo,
2001). Teori
generalisabilitas atau teori G memberikan
suatu
kerangka
kerja
untuk
mengkonseptualisasi,
menginvestigasi,
dan
mendesain
pengamatan
yang
realiabel (Matt, 2002). Menurut Allen & Yan
(1979): Teori generalisabilitas secara
eksplisit
mempertimbangkan
sumbersumber varians sistematik yang berbeda
2
dalam pengukuran dan menggambarkan
cara-cara mengestimasi banyak varians
yang disumbangkan oleh sumber-sumber
Analisis generalizabilitas dimulai
dengan melakukan spesifikasi suatu
universe (populasi) dari suatu sampel
observasi. Studi teori G mengestimasi
komponen-komponen
varians
dari
populasi yang relevan. Model pengukuran
dengan teori generalizabilitas lebih dapat
menjelaskan secara memuaskan berkaitan
dengan
kesalahan
pengukuran
dibandingkan teori tes klasik. Melalui
penerapan teori generalizabilitas, konsep
validitas dan reliabilitas dimaknai secara
lebih komprehensif dan integral.
Berdasar pada uraian diatas,
maka makalah ini akan berisi sebuah
penelitian yang dilakukan di Jurusan
Hubungan Internasional, Fakultas Ilmu
Sosial dan Ilmu Politik, Universitas
Muhammadiyah Yogyakarta. Data yang
diukur adalah data ujian tengah semester
(UTS) yang dilakukan pada tahun
akademik 2012-2013 pada mata kuliah
Bahasa Arab 1, dengan peserta ujian 27
mahasiswa. Item soal yang digunakan
dalam ujian ini bersifat dikotomus, dengan
banyak soal 10 item. Rater yang
digunakan dalam simulasi ini adalah 1
dosen pengajar mata kuliah tersebut.
B.
METODE PENELITIAN
Penelitian
ini
menggunakan
pendekatan kuantitatif. Populasi dari
penelitian ini adalah 27 mahasiswa
Jurusan Hubungan Internasional Fakultas
Ilmu Sosial dan Ilmu politik Universitas
Muhammadiyah Yogyakarta pengambil
mata kuliah bahasa Arab I. Untuk
menentukan koefisien generalizabilitas tes
dilakukan dengan model 1 facet, sehingga
analisis yag digunakan adalah analisis
varians model 2 jalur, masing-masing
adalah item dan subjek. Analisis data
dilakukan dengan program GENOVA.
Dalam teori generalisabilitas,
pengamatan (misalnya sekor tes teruji)
dilihat sebagai sampel dari universe
(populasi) of admissible observations.
Universe menggambarkan kondisi, yang
mana teruji dan dapat diamati atau dites,
yang menimbulkan hasil yang ekivalen
pada beberapa tingkatan spesifik. Suatu
sekor populasi teruji ditetapkan oleh nilai
harapan sekor amatannya melampaui
semua
universe
of
admissible
observations (pengamatan yang dapat
diterima); sekor populasi secara langsung
analog dengan sekor tulen yang
digunakan dalam teori sekor klasik. Teori
generalisabilitas
menekankan
bahwa
keberadaan populasi yang berlainan dan
menjadi tanggung jawab penyusun tes
untuk menetapkan universe itemnya
dengan hati-hati. Kondisi spesifik yang
dipertimbangkan dalam tes biasa disebut
facets atau dimensions. Sebagai contoh,
facet-facet yang terdapat dalam ukuran
(besarnya) kelompok testing, jenis-jenis
training yang diterima oleh penguji, bentuk
(form) tes, kesempatan testing, dan
sebagainya.
Derajat
facet-facet
ini
dispesifikasi, dan pengaruh-pengaruhnya
diuji.
Misalkan suatu tes dilaksanakan
pada sejumlah peserta tes (p), dengan
banyak item (i). Tes tersebut dinyatakan
sebagai tes yang berdimensi satu (1 facet)
karena mempertimbangkan banyak item,
sehingga model yang tepat adalah:
X pi =μ+ v p +v i + v pi
.................
1)
dengan µ adalah rerata umum dari
populasi dan v adalah pengaruh dari
berbagai kondisi (seperti kondisi peserta
tes, banyak item, dan banyak rater).
Masing-masing pengaruh tersebut saling
bebas atau tidak berkorelasi.
Varians skor untuk persamaan 1)
adalah:
2
2
2
2
σ ( X pi )=σ ( p )+σ (i)+σ ( pi )
....................................................... 2)
Varians skor yang diperoleh
peserta tes dalam populasi terdiri dari
varians yang disebabkan oleh peserta tes
dan banyak item dan varians berbagai
interaksi antar facet tersebut.
Dari desain ini selanjutnya dapat
ditentukan komponen-komponen varians
persamaan 2) sebagai kuadrat tengah
harapan (EMS=Expected Mean Square).
Kuadrat tengah harapan ini dapat
diestimasi oleh besarnya kuadrat tengah
(MS=Mean Square) dari model pengaruh
acak atau rancangan acak faktorial. Dalam
desain ini menggunakan rancangan 2
faktorial, yaitu peserta tes dan banyak
item. Desain 2 faktor ini digunakan untuk
mengestimasi
koefisien
G
satu
facet/dimensi karena faktor peserta tes
bukan termasuk dimensi tes.
3
Koefisien generalizabilitas identik dengan
koefisien reliabilitas pada teori tes klasik,
sedangkan
indeks
dependabilitas
mempunyai nilai yang lebih kecil dibanding
koefisien generalizabilitas karena indeks
dependabilitas
menggunakan
varians
kesalahan absolut yang lebih besar
dibandingkan dengan varians kesalahan
relatif yang digunakan pada koefisien
generabilitas.
Indeks
dependabilitas
menunjukkan ketepataan ketika skor
secara absolut diinterpretasikan seperti
pada tes yang beracuan kriteria.
Untuk
mendefinisikan
koefisien
generalizabilitas,
perlu
didefinisikan
terlebih dahulu berkaitan dengan varians
kesalahan pengukuran yang terdiri dari
varians kesalahan absolut dan dan varians
kesalahan relatif. Kesalahan absolut
didefinisikan sebagai perbedaan antara
skor peserta tes dalam sampel dan skor
populasi (universe):
Δ p I=X p I −μ p
..............................
3)
Selanjutnya persamaan 3) diaplikasikan ke
persamaan 2), diperoleh:
Δp
=
v p +vi +v pi
.........................
..... 4)
Dari persamaan 4) dapat dinyatakan
bahwa
varians
kesalahan
absolut
2
σ ( Δ) , adalah jumlah seluruh varians
kesalahan kecuali varians kesalahan yang
2
disebabkan peserta tes σ ( p) .
2
σ ( Δ) =
2
2
2
σ ( p )+σ (i)+σ ( pi)
Tabel 1. Data pxi
................
................................................ 5)
Person
Kesalahan relatif didefinisikan sebagai
perbedaan skor deviasi peserta tes
dengan skor deviasi populasinya.
δ p I=( X pI −μ I )−( μ p −μ )
........
.........................................................6)
Untuk desain penelitian ini, maka varians
kesalahan relatif dapat dinyatakan sebagai
2
σ (δ )
2
=
σ ( pI )
............................
..... 7)
Selanjutnya koefisien generalizabilitasnya
2
( Eρ ) dan indeks dependabilitas
(Φ)
dapat
didefinisikan
sebagai
berikut:
2
σ ( p)
Eρ = 2
σ ( p)+ σ 2 (δ )
2
................ 8)
2
σ (p)
Φ= 2
σ ( p )+ σ 2 ( Δ )
....................... 9)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
Item score (Xpi)
I_1 I_2 I_3 I_4 I_5 I_6 I_7 I_8
C. 1APLIKASI
DESAIN
1
1
1 STUDI
1 G1DALAM
1
1
1PENELITIAN
1
1
1
1
1
1
1
1
0 Studi1 G 0direncanakan
1
0 dilakukan
0
1
0terhadap
0 tes
1 kemampuan
1
0 berbahasa
0
0 Arab
1
tata
1sesuai1 dengan
1 kaidah
1
1 bahasa
1
1bahasa
1
1Arab 0bagi 1mahasiswa
1
1jurusan
1 Hubingan
1
1
Internasional fakultas Ilmu Sosial dan Ilmu
1
1
1
1
1
1
1
1
Politik
Universitas
Muhammadiyah
1Yogyakarta
1
1dengan
1 melibatkan
1
1 peserta
1
1
tes
0sebanyak
0
0 270
1orang1
1dengan
0
1memperhatikan
1
1
1banyaknya
1
1 item
1 tes.
1
meliputi
1Banyak
1 item
1 tes 1yang 1digunakan
1
1
1
sesudah
1mengisi
1 satu
1 kata
1 benda
1
1
1 kata
1
tunjuk (isim isyarah) dan menuliskan kata
0
0
1
0
1
1
1
1
tunjuk (isim isyarah) sebelum kata benda
1yang 1telah 1ditulis1dalam
1 soal.
1 Soal1 terdiri
0
1dari 10
1 butir
1 soal1 berbentuk
1
1tes subyektif
1
1
1berupa
1 isian1singkat.
1
1
1
1
1
menentukan
koefisien
1
1 Untuk
1
1
1
1
1
1
1generalizabilitas
1
1
1tes 1dilakukan
1
1dengan
1
model 1 facet, sehingga menggunakan
0
1
1
0
0
1
1
1
analisis varians model 2 jalur, masing1masing
0 adalah
1
1
0
1
1
1
item dan subjek. Analisis
1data dilakukan
1
1 dengan
1
1
1
1
program GENOVA1
1
1
1
1
1
0
0
1
1. Data
1
1
1
1
1
1
1
1
1
1
0
0
0
1
0
0
1
1
1
1
1
1
1
14
1
1
1
1
1
1
1
1
1
1
1
1
1
0
1
0
I_9
1
1
1
1
1
1
1
1
1
1
0
1
0
0
1
1
1
1
1
1
1
1
1
1
1
1
0
I_10
1
1
1
0
1
1
1
1
0
1
1
1
1
1
1
1
1
1
1
1
1
0
1
0
1
1
1
Tests of Between-Subjects Effects
Dependent
Variable:
Skor
Type III Sum
of Squares
Source
Corrected Model
34.074a
Intercept
195.926
1
.296
9
10.674
26
23
4
0
27
0
26
Item
Person
Item * Person
df
26
9
23.104
Error
0.000
Total
230.000
Corrected Total
34.074
Mean
Squar
e
.127
195.92
6
.033
.411
.099
np = 27
ni = 10
Komponen varians:
σ
σ
2
2
pi
p
=MS pi
= 0.099
=( MS p − MS pi )/ ni = (0.411 –
0.099)/10 = 0.031181
2
σ i =( MS i − MS pi )/ n p
= (0.033 –
0.099)/27 = -0.00244
Varians observasi
σ
2
obs
=σ
2
2
p
2
σ i σ pi
+
+
ni
ni
=0 . 031181+
-0 . 00244 0 . 099
+
10
10
= 0.031181 + -0.00024 + 0.009873
= 0.0408104
r xx '=
2.
Hasil Analisis
2true
σ
σ2
obs
Output Anava dua-jalur
5
F
Sig
.
σ
σ
=
2
true
2
obs
σ
=
σ
2
0. 031181
0 . 0408104
2
p
2
p
2
σ i σ pi
+
+
ni
ni
D.
Berdasar dari interpretasi hasil
analisis dapat ditarik kesimpulan bahwa
untuk mengestimasi koefisiensi dan
generalisabilitas dari hasil ujian tengah
semester untuk mata kuliah bahasa Arab I
bagi mahasiswa jurusan Hubungan
Internasional Fakultas Ilmu Sosial dan Ilmu
Politik
Universitas
Muhammadiyah
Yogyakarta sudah sangat tepat, mengingat
hasil estimasi yang didapat menunjukkan
bahwa dengan menggunakan metode ini
dapat diperoleh koefisien atau indeks
generabilitas
(rxx’)sebesar
0.7640397.
Serta dapat dipahami bahwa indeks
generalisasi yang dihasilkan lumayan
tinggi, demikian pula kontribusi atau
sumbangan instrumen dalam menjelaskan
variabilitas peserta tes juga tinggi, yaitu
sebesar 0.583757 atau 58% dengan 42%
variabilitas peserta tes (mahasiswa)
dijelaskan oleh variabel lain.
rxx’ = 0.7640397
r2xx’ = 0.583757
E.
3.
Interpretasi Hasil Analisis
Berdasarkan hasil analisis varians 2
jalur terhadap model 1 facet untuk 10
butir soal bahasa Arab I berbentuk tes
subyektif berupa isian singkat dengan
mengisi dengan satu benda yang
sesuai sesudah kata tunjuk (isim
isyarah) yang disediakan dalam soal
dan mengisi kata tunjuk (isim isyarah)
sebelum kata benda yang disediakan
dalam soal. Item soal dikenakan
kepada 27 orang mahasiswa jurusan
Hubungan Internasional Fakultas Ilmu
Sosial dan Ilmu Politik Universitas
Muhammadiyah Yogyakarta pegambil
konsentrasi kajian Timur Tengah, dan
diperoleh koefisien atau indeks
generabilitas (rxx’)sebesar 0.7640397.
Dapat
dipahami
bahwa
indeks
generalisasi yang dihasilkan lumayan
tinggi, demikian pula kontribusi atau
sumbangan
instrumen
dalam
menjelaskan variabilitas peserta tes
juga tinggi, yaitu sebesar 0.583757
atau 58% dengan 42% variabilitas
peserta tes (siswa) dijelaskan oleh
variabel lain yang bukan instrumen
tersebut
HASIL PENERAPAN METODE
REFERENSI
-
Alderson, J.C., Clapham, C. & Wall, D,
(1995), Language Test Construction
and Evaluation, Cambridge University
Press.
-
Allen, Mary J. & Yan, Wendy M.
(1979). Introduction to measurement
theory.
Monterey,
California:
Brooks/Cole Publishing Company.
-
Boodoo. (2001). Bayesian procedures
and
generalizability
theory.
Gwynpres.mislevyclass.doc.
-
Brennan, Generalizability Theory,
Statistic for Science and Public Policy,
Springer-Verlag Berlin Heidelberg,
New York,
-
Brennan, R.L., (1982), Elememnts of
Generalizability Theory,
-
Kumar, P.G.R., (1991), Measurement
and Education in Education and
Psychology,
Wadsworth/Thomson
Learning, Belmont CA, USA.
-
Mardapi, D., (2012), Pengukuran
penilaian dan Evaluasi Pendidikan,
Nuha Medika, Yogyakarta.
-
Matt,
George
E.
(2002).
Generalizabilitytheory.htm.gmatt@s
ciences.sdsu.edu.
-
McNamara, T., (1997), Measuring
Second
Language
Performance,
Longman, London and New York.
-
Sukmadinata, N.S., (2012), Metode
Penelitian Pendidikan, PT Remaja
Rosdakarya, Bandung.
6
7