14 Jadi, subyek penelitian ini adalah para peserta tes TOAFL pada PB, baik yang
bermaksud masuk program S2 dan S3, maupun yang hendak menyelesaikan S2 dan S3, atau mahasiswa S1 yang ―coba-coba‖ mengetahui skor mereka.
3. Sumber Data
Data penelitian ini bersumber dari data pustaka dan data lapangan. Data pustaka diperoleh dari literatur yang berhubungan dengan TOAFL, hasil-hasil tes TOAFL, dan
tes pada umumnya. Sedangkan data lapangan dihimpun melalui wawancara dengan para pakar di bidang evaluasi bahasa asing, khususnya bahasa Arab. Dalam hal ini, yang
diwawancarai adalah Prof. Chotibul Umam, dan Dr. HM. Matsna, MA. Untuk lebih menjaring informasi dan pandangan dari stakeholder, 6 orang yang pernah menjadi
peserta TOAFL mahasiswa S2 dan S3 juga diwawancarai. Data hasil wawancara digunakan untuk memperkaya analisis dan diskusi temuan penelitian.
4. Teknik Pengumpulan Data
Teknik pengumpulan data penelitian ini adalah sebagai berikut: a. Studi Dokumentasi
Dokumen-dokumen yang dikumpulkan adalah berkas-berkas lembara jawaban TAOFL form 2, 3 dan 5 yang diikuti oleh para peserta TOAFL dan sudah dikoreksi.
b. Pengujian atau pelaksanaan tes. Hal ini dimaksudkan untuk mengetahui hasil skoring TOAFL form 2,3 dan 5, sebagai pembanding terhadap hasil-hasil yang sudah
ada. Penyelenggaraan tes dilakukan dan diikuti oleh peserta tes TOAFL yang rutin setiap Sabtu dan para peserta tes mahasiswa S1.
5. Teknik Analisis Data
Untuk menganalisis data yang dihimpun berdasarkan hasil skor tes tersebut, prosedur analisis yang ditempuh adalah sebagai berikut:
Pertama, untuk mengetahui tingkat validitas digunakan alat ukur yang disebut dengan validasi. Suatu alat ukur yang baik akan memiliki daya beda yang teliti.
15
Pembuktian tingkat validitas TOAFL dilakukan berdasarkan pembuktian konstruk Untuk menghitung dan mengetahui tingkat validitas butir-butir soal TOAFL digunakan
rumus korelasi biserial titik sebagai berikut dan penghitungan dilakukan aplikasi komputer program Exel:
15
Lihat Sumarna Surapranata, Analisis Validitas …, h. 61.
15
x
µ
— +
µ =
P
√ Pq
Phis
óx
Keterangan :
µ = rata-rata skor yang menjawab benar µx = rata-rata skor untuk seluruhnya
p = proporsi yang menjawab benar tingkat kesulitan q = sama dengan 1-p
Kedua, untuk mengetahui tingkat reliabilitas item-item pilihan ganda dalam TOAFL digunakan rumus reliabilitas KR-20 sebagai berikut
16
:
r
n = __k
___ SD²
1
∑ pq
k - 1 SD²
1
Keterangan:
P = proporsi jumlah peserta yang menjawab benar butir ke-I P = 1-p
Ketiga, karena tingkat validitas dan reliabilitas terkait erat dengan daya beda yang diperlihatkan oleh peserta antara yang pandai dan yang kurang pandai, maka tahap
selanjutnya adalah analisis daya beda butir masing-masing soal TOAFL. Keempat, setelah mengetahui semua itu, komparasi dan kontrol terhadap nilai hasil
terjemahan dilakukan untuk mengetahui ada tidaknya hubungan antara yang mendapat skor tinggirendah dalam TOAFL dengan terjemahan mereka. Diasumsikan bahwa
semakin tinggi skor TOAFL yang diperoleh semakin tinggi pula nilai terjemahnya. Kelima, sementara itu, hasil wawancara dengan pakar tes, baik Arab maupun
Inggris TOEFL dijadikan sebagai data yang memperkaya dan melengkapi hasil interpretasi terhadap penggunaan rumus-rumus di atas.
G. Temuan Penelitian 1. Uji Validitas TOAFL
