Selain validitas, karakterisitk lain yang perlu diperhatikan dalam sebuah alat ukur adalah reliabilitas. Reliabilitas hasil pengukuran memiliki hubungan dengan
kesalahan error, yaitu random error, yaitu kesalahan yang terjadi karena adanya perbedaan antara skor yang sebenarnya true score dan skor yang diamati
observed score pada individu yang dapat berpengaruh kepada hasil kelompok. Hubungan antara reliabilitas dengan DIF adalah bahwa DIF terjadi karena adanya
kesalahan error dalam pengukuran, yaitu kesalahan sistematis systematic error, yaitu kesalahan yang melibatkan respon kelompok yang dapat
mempengaruhi hasil pengukuran. Oleh karena itu, munculnya kesalahan dalam pengukuran dapat menghasilkan reliabilitas yang rendah Osterlind, 2010. Jadi,
aitem yang mengandung DIF bisa dikatakan sebagai aitem yang memiliki kesalahan error karena bersifat tidak adil untuk dua kelompok yang berasal dari
populasi yang berbeda dan dapat mengakibatkan pengukuran menjadi tidak reliabel.
3. Dampak DIF
Validitas pengukuran merupakan salah satu masalah utama yang dipengaruhi oleh bias pengukuran. Seperti yang kita ketahui bahwa salah satu keobjektifan
suatu aplikasi pengukuran adalah diperolehnya informasi mengenai individu dan aitem-aitem tes. Oleh karena itu, maka instrumen dan hasil pengukuran yang valid
dan akurat sangat dibutuhkan untuk menghasilkan objektivitas. Namun, salah satu faktor yang dapat memberikan pengaruh yang negatif pada validitas adalah bias
aitem yang dapat memberikan hasil yang tidak objektif. Selain itu, kehadiran bias
Universitas Sumatera Utara
aitem pada tes dapat melemahkan reliabilitas hasil yang berpengaruh terhadap keputusan yang dibuat Acar, 2011.
Selanjutnya, Thiesse, Steinberg, Wainer dalam Reeve, 2002 menyatakan bahwa aitem yang terdeteksi DIF merupakan sebuah ancaman yang serius
terhadap validitas sebuah instrumen yang mengukur level trait kelompok ataupun populasi yang berbeda. Instrumen yang berisi aitem-aitem yang terdeteksi DIF
mungkin dapat mengurangi validitas untuk perbandingan antarkelompok, karena skor mereka mungkin menunjukkan atribut lain dibandingkan skala yang
mengukur apa yang seharusnya diukur. Kemudian, dalam penelitian yang dilakukan oleh Rahmawati 2010 dijelaskan bahwa bias aitem juga merupakan
ancaman terhadap validitas pengukuran. Bila aitem tes berfungsi secara berbeda pada dua kelompok peserta, mungkin aitem tersebut mengukur trait yang berbeda
pada kelompok tersebut. Hal ini akan menyebabkan kesimpulan yang salah mengenai kemampuan tes untuk mengukur apa yang seharusnya diukur. DIF
merupakan titik awal studi tentang bias aitem. Salehi Tayebi 2012 dalam penelitiannya menjelaskan mengenai konsep
validitas yaitu berperan dalam hal bahasa yang digunakan dalam tes dan pengukuran. Proses validasi kemudian dikaitkan dengan usaha untuk proses
membuat tes yang bisa digunakan secara umum, yaitu tes-tes keahlian bahasa tertentu, seperti bahasa Inggris. Kemudian dihubungkan dengan konsep keadilan
tes dan bias tes dan sumber-sumber penyebabnya seperti gender, hasil penelitian, usia, kebangsaan, latar belakang pengetahuanpendidikan, dan lain-lain dan
kontribusi serta mengarah kepada validitas tes pada umumnya dan bahasa yang
Universitas Sumatera Utara
digunakan. Lebih lagi, dalam penelitian terkini, telah dilakukan peninjauan terhadap pendekatan-pendekatan yang berdeda-beda untuk meneliti validitas tes.
DIF, diantara metode lain untuk meneliti validitas tes dengan deskripsi dan penjelasan serta kelebihan dan kelemahan masing-masing metode dan pendekatan
berbeda menyimpulkan bahwa regresi logisitik adalah salah satu diantara metode terbaik saat ini Salehi Tayebi, 2012.
4. Analisis DIF
