Reliabilitas Inter-rater Estimasi Koefisien Geralisabilitas 2 Facet

106 Bab VI — Relabltas Hasl output analss faktor konfrmator: Hasl analss faktor konfrmator tersebut kemudan dmasukkan dalam daftar d Excel untuk menghtung relabltas konstruk menggunakan rumus 6.8, 6.9, dan 6.10. No. O G O O O O 1 0,53 0,72 0,2809 0,7191 0,390627 2 0,76 0,43 0,5776 0,4224 1,367424 3 0,78 0,4 0,6084 0,3916 1,553626 4 0,69 0,52 0,4761 0,5239 0,908761 5 0,98 0,03 0,9604 0,0396 24,25253 Jumlah 3,74 2,1 2,9034 28,47296 Relabltas 0,869465 Konstruk Relabltas 0,82811 Omega Relabtas Maksmal 0,966071

7. Reliabilitas Inter-rater

Relabltas nterrater dapat destmas dengan menghtung persentase kecocokan skor hasl penlaan oleh rater 1 dan rater 2. Teknk n hanya dapat dgunakan untuk melhat kecocokan 2 rater saja. 107 Relabltas — Bab VI Responden Rater 1 Rater 2 Responden Rater 1 Rater 2 1 3 3 11 5 5 2 2 3 12 4 3 3 1 1 13 4 4 4 3 2 14 5 5 5 4 4 15 4 4 6 2 2 16 3 3 7 5 5 17 2 2 8 5 4 18 1 1 9 4 4 19 1 2 10 5 4 20 5 5 Dar skor penlaan rater 1 dan rater 2 dbuat daftar, kemudan dhtung skor-skor yang sama hasl penlaan 2 rater yang berbeda. Pada kasus tersebut, yang cocok ada 14 dar 20 butr, sehngga relabltas skornya 70 atau 0,7. Inter-rater agreement= 1420x100 = 70.

8. Koefisien Generalisabilitas

Estmas relabltas dengan menggunakan koefsen generalsabltas generalizability coefficient melbatkan analss varans. Analss varans n dalam rangka mempermudah menghtung mean square MS. Pada contoh n, rangkuman analss varans untuk memeroleh MS dlakukan dengan menggunakan SPSS. Sebelumnya, dnputkan datanya dengan varabel person peserta tes, score perolehan skor, dan rater penla. Varabel untuk mengnput data 108 Bab VI — Relabltas Hasl nput data sebaga berkut. Selanjutnya klk Analyze ÆGeneral Linear ModelÆUnivariat. 109 Relabltas — Bab VI Masukkan Score pada varabel terkat Dependent Variable dan Rater dn Person sebaga varabel bebas Random Factors, kemudan klk OK. Setelah tu akan muncul output rangkuman tabel analss varans. 110 Bab VI — Relabltas Tests of Between-Subjects Effects Dependent Variable:Score Source Type III Sum of Squares df Mean Square F Sig. Intercept Hypothesis 71923.205 1 71923.205 879.287 .000 Error 3152.882 38.545 81.797 a Rater Hypothesis 4.513 4 1.128 2.386 .054 Error 71.887 152 .473 b Person Hypothesis 3083.395 38 81.142 171.569 .000 Error 71.887 152 .473 b Rater Person Hypothesis 71.887 152 .473 . . Error .000 . c a. MSRater + MSPerson - MSRater Person b. MSRater Person

c. MSError

Output tersebut dapat dcopy, kemudan dbuka program Excel. Copy tersebut kemudan d-Paste d Excel, sehngga kta dapat melakukan perhtungan untuk mengstemas relabltas dengan 1 facet. 111 Relabltas — Bab VI

9. Estimasi Koefisien Geralisabilitas 2 Facet

Sepert halnya pada 2 facet, data dnputkan pada SPSS terlebh dahulu. Pada 2 facet n, yang perlu dnputkan adalah person, score dapat berupa skor butr, rater dan question. 112 Bab VI — Relabltas Output yang dperoleh dapat dperoleh kemudan dapat dcopy, kemudan d-paste d Excel. Selanjutnya dengan menggunakan Excel dapat dhtung pada lembar kerja Excel untuk menghtung koefsen generalsabltas. 113 Karakterstk Butr dengan Teor Tes Klask — Bab VII 116 | B a b V I I K a r a k t e r i s t i k B u t i r d e n g a n T e o r i T e s K l a s i k

Bab VII TEORI TES KLASIK DAN KETERBATASANNYA

Untuk mendapatkan nstrumen berkualtas tngg, selan dlakukan analss secara teor telaah butr berdasarkan aspek s, konstruks, dan bahasa perlu juga dlakukan analss butr secara emprk. Secara gars besar, analss butr secara emprk n dapat dbedakan menjad dua, yatu dengan pendekatan teor tes klask dan teor respons butr Item Response Theory, IRT. Pada bab n, dsajkan analss untuk mengetahu karakterstk butr berdasarkan teor tes klask, dan analss berdasarkan teor respons butr dsajkan pada bab kedelapan. Teor tes klask atau dsebut teor skor murn klask Allen Yen, 1979 ddasarkan pada suatu model adtf, yakn skor amatan merupakan penjumlahan dar skor sebenarnya dan skor kesalahan pengukuran. Jka dtulskan dengan pernyataan matemats, maka kalmat tersebut menjad X = T + E 7.1 dengan X skor amatan, T skor sebenarnya, E skor kesalahan pengukuran error score. Kesalahan pengukuran yang dmaksudkan dalam teor n merupakan kesalahan yang tdak sstemats atau acak. Kesalahan n merupakan penympangan secara teorts dar skor amatan yang dperoleh dengan skor amatan yang dharapkan. Kesalahan pengukuran yang sstemats danggap bukan merupakan kesalahan pengukuran. Ada beberapa asums dalam teor tes klask. Skor kesalahan pengukuran tdak bernteraks dengan skor sebenarnya, merupakan asums yang pertama. Asums yang kedua adalah skor kesalahan tdak berkorelas dengan skor sebenarnya dan skor-skor kesalahan pada tes-tes yang lan untuk peserta tes testee yang sama. Ketga, rata-rata dar skor kesalahan n sama dengan nol. Asums-asums pada teor tes klask n djadkan dasar untuk mengembangkan formula-formula dalam menentukan relabltas tes, pada bab kelma. Krtera lan yang dapat dgunakan untuk menentukan kualtas tes adalah ndeks kesukaran dan daya pembeda.