Evaluasi sebagai Pengukuran

2. Evaluasi sebagai Pengukuran

Definisi ini berdasar pada pandangan tradisional yang secara umum dikenal meskipun sempit, sekadar menyamakan evaluasi dengan pengukuran. Mengevaluasi berarti mengukur hasil, pengaruh, atau kinerja dengan menggunakan beberapa macam instrumen resmi yang menghasilkan data yang dapat dibandingkan dengan semacam skala baku.

Contoh definisi ini dalam praktik sehari-hari meliputi aplikasi yang demikian bervariasi seperti penggunaan skor SAT atau GRE untuk mengevaluasi bakat akademik, dan berbagai studi analisis biaya instruksional yang berdasar pada pengumpulan data melalui kuesioner analisis kegiatan fakultas.

Banyak ahli pengukuran mengakui bahwa evaluasi sejati melibatkan a judgement of merit (pertimbangan akan jasa) yang melampaui kumpulan data pengukuran, namun fokus pendekatan ini jelas pada data dan alat yang digunakan untuk mengumpulkannya. Fokus instrumental definisi ini tidak sulit untuk dipahami karena didasarkan pada observasi dan praktik yang biasa dilakukan sehari-hari. Misalnya, untuk mengevaluasi keunggulan relatif satu logam campuran dengan jenis lainnya, maka ahli mengukur berbagai sifat (kekuatan, kelenturan, dsb.) dengan menggunakan alat canggih yang tersedia untuk maksud itu, dan lalu membandingkan angka yang dihasilkannya.

Kostruk dasar pendekatan ini meliputi berbagai asumsi bahwa gejala yang akan dievaluasi memiliki sifat-sifat yang dapat diukur secara signifikan, dan bahwa instrumen dapat dirancang agar dapat mengukur atribut tersebut. Kesalahan

Evaluasi Program: Teks Pilihan untuk Pemula

dalam menerapkan jenis evaluasi ini – dan kegagalan yang diakibatkannya - pada umumnya dapat ditelusuri sampai pada pelanggaran berbagai asumsi ini: apakah segala sesuatu yang akan dievaluasi tidak memiliki atribut yang secara signifikan dapat diukur, atau desain aplikasi instrumennya? Kuesioner biasanya tidak secara efektif mengukur atribut yang dikehendaki. Debat berkelanjutan mengenai pengukuran hasil pendidikan tinggi merupakan satu contoh yang menonjol dari kontroversi yang, sebagian, merupakan akibat dari upaya untuk dapat menerapkan teknik evaluasi ini ke dalam bidang pendidikan tinggi.

Nilai jenis pendekatan evaluasi ini dibangun sehubungan dengan skala baku, atau atas dasar komparabilitas hasil aplikasi ganda dari instrumen atau tes yang sama dengan berbagai kondisi terkendali pada objek yang serupa. Penggunaan skor persentil SAT atau GRE merupakan contoh bagus dari nilai acuan norma seperti ini, sementara perbandingan peringkat yang diberikan sebagai ukuran hasil institusional merupakan contoh kasar pada skala lebih luas.

Meskipun beberapa teknik tes dan pengukuran sangat rumit dan canggih, namun desain evaluasi yang didasarkan pada definisi ini merunut konsep cukup sederhana:

1) Sifat-sifat yang akan diukur diidentifikasi dulu.

2) Instrumen yang sesuai dirancang dan diuji (divalidasi).

3) Instrumen itu diterapkan ke hal yang akan dievaluasi (dengan kondisi terkendali untuk menjamin reliabilitas).

4) Hasilnya dibandingkan dengan satu standar, yang barangkali berupa hasil prates yang dikhususkan buat orang atau hal tertentu atau dengan cara menentukan norma kelompok dari jenis orang atau hal tersebut.

Evaluator dalam jenis usaha seperti ini harus merupakan seorang ahli instrumentasi yang akan digunakan; yang mencakup pemahaman mengenai bagaimana hasil itu dianalisis dan diinterpretasikan. Variasi metodologi pengukuran hampir sama jumlahnya dengan fenomena yang

Bagian Kedua: Isu-isu Metodologis

ingin diukur, yang bergerak dari penggunaan tes baku, misalnya untuk evaluasi bakat akademik hingga sistem informasi sederhana pada kantor registrasi yang secara rutin mengumpulkan data siswa. Pada yang terakhir ini biasanya tidak diperhitungkan sebagai alat evaluasi, tetapi kalau informasi yang dihasilkan dianggap sebagai ukuran keberhasilan atau kegagalan institusi, barulah diterapkan sebagai analog dengan evaluasi.

Teknologi pengukuran bersifat formal dan sistematis, dan berfokus pada penggunaan instrumen yang akan memberikan hasil yang dapat direplikasi. Dalam satu proyek evaluasi, komunikasi antara evaluator dengan “klien” yang oleh adminisrator cenderung dibatasi hanya pada diskusi tentang tujuan pengukuran; misalnya, hasil yang diinginkan dari satu kuesioner mengenai sikap fakultas pada kebijakan masa jabatan. Karena menjadi seorang ahli, maka evaluator biasanya bertanggungjawab pada pemilihan atau pendesain alat yang sesuai. Umpan balik terhadap administrator mungkin akan berupa laporan resmi yang bahkan masih dibatasi lagi menjadi sekadar displei sederhana aplikasi alat tersebut; misal, jumlah respon pada masing-masing kategori pertanyaan yang beraneka-macam.

Hasil yang diharapkan dari jenis evaluasi melalui pengukuran adalah banyaknya atau rangkaian angka yang dapat dibandingkan dan diinterpretasi berkenaan dengan angka atau rangkaian angka lainnya, atau skala baku yang secara umum diterima. Misalnya, banyaknya profesor atau asisten profesor yang setuju atau menolak perubahan kebijakan masa jabatan yang diusulkan – meskipun harus berhati-hati agar dapat menjamin bahwa pertanyaan diungkapkan dengan satu cara tertentu sehingga pertanyaan itu benar-benar mengukur sikap yang dimaksud.