KEUNTUNGAN DAN KERUGIAN

C. KEUNTUNGAN DAN KERUGIAN

Seorang administrator yang dihadapkan pada pertanyan, “Apakah kajian evaluasi yang didasarkan pada pendekatan professional judgements akan melayani kebutuhan secara efektif?” – tak perlu diragukan lagi akan menyadari bahwa hasil kajian seperti itu sering dikritik atas dasar subjektivitas dan ‘noncomparability” (ke-tak-dapat-diperbanding-kan). Pada berbagai persoalan yang menyangkut tingkat kepentingan konstituen yang besar seperti, “Haruskah departemen X dihapuskan karena programnya tidak lagi membantu tujuan kependidikan yang valid?” jika salah seorang ahli di bidang itu menyatakan “ya”, maka hampir selalu dapat dipastikan akan ada ahli lain yang menjawab “tidak” – sering setelah meninjau sejumlah bukti yang sama. Bukan rahasia lagi,

Bagian Kedua: Isu-isu Metodologis

apabila para politisi, baik di dalam maupun di luar kampus memanfaatkan situasi ini demi mendapatkan satu keuntungan.

Pada pihak lain, sudah diketahui umum bahwa metode paling sederhana, sekurangnya secara konseptual, untuk melakukan evaluasi kegiatan atau “hal” tertentu adalah dengan menyewa seorang konsultan, keuntungan pasti jika aspek waktulah yang diutamakan dan sifat persoalannya tidak memerlukan pendekatan lebih objektif. Selanjutnya, pemujaan akan objektivitas seharusnya tidak mengaburkan fakta bahwa individu “yang secara unik berkualifikasi untuk mempertimbangkan” karena pengalaman dan keahliannya benar-benar eksis, dan bahwa pikiran manusia dapat berfungsi sebagai satu mekanisme rumit untuk mengasimilasi dan mengintegrasi kumpulan data yang kaya.

Aspek negatif evaluasi pengukuran merupakan topik yang sudah cukup dipahami secara luas. Dua pertanyaan umum yang berhubungan dengan pokok bahasan ini adalah: “Apakah tes prestasi mahasiswa benar-benar mengukur pengetahuan atau keterampilan yang diajarkan dalam berbagai kuliah?” dan, “Apakah ‘hasil’ waktu kredit mahasiswa dan ‘tingkatan gelar yang diterima’ merupakan ukuran pengganti yang valid dari output sejati pendidikan tinggi?” Para ahli pengukuran sering dituduh hanya mengukur atribut atau sifat yang sudah tersedia instrumennya (tes, kuesioner, sistem komputer, dsb.) dan yang menelurkan hasil yang mudah dikuantifikasi. Akibatnya, berbagai variabel yang tidak mudah diukur, seperti pengayaan pribadi yang dapat diperoleh seseorang dari keterlibatannya di dalam kampus, selalu diperlakukan oleh para ahli pengukuran sebagai variabel “intangible” dan/atau secara relatif tidak-penting.

Pada sisi positif, jika instrumen pengukuran tertentu menunjukkan reliabilitas atau validitas, misalnya, sebagaimana diklaim SAT, GRE, dan beberapa tes IQ tertentu, maka dapat diasumsikan komparabilitas untuk tujuan tertentu. Juga, apabila prosedur diterapkan secara konsisten, maka hasilnya

Evaluasi Program: Teks Pilihan untuk Pemula

dapat secara absah disebut ‘objektif’ dan bisa digeneralisasi dalam arti bahwa apa yang benar untuk satu kelompok kemungkinan akan benar pula untuk kelompok serupa dalam kondisi yang sama, nyaris sama atau identik (sama persis). Bagi para administrator yang senang dengan metode kuantitatif, keuntungan lain pendekatan ini adalah bahwa pada umumnya hasil itu akan dapat dimanipulasi secara matematis dan kondusif dengan analisis statistik canggih.

Pendekatan kongruensi antara kinerja dan tujuan atau sasaran telah dikritik sebagai pendekatan yang menjadi terlampau sempit fokusnya pada banyak situasi kependidikan. Para pencela menunjukkan bahwa klarifikasi tujuan bisa jadi merupakan latihan yang bermanfaat jika misi didefinisikan dengan baik dan bila pengupayaan efektivitas dan efisiensi misi tersebut merupakan daya tarik utama. Namun, mereka segera menunjukkan bahwa para akademisi tertarik pada berbagai kegiatan yang sangat rumit dengan tujuan dan standar kinerja yang ambivalen. Juga dengan melayani masyarakat pluralistis menyebabkan pernyataan ‘goal’ yang sederhana relatif sulit didapat dan, pada beberapa kasus, bahkan mungkin kontraproduktif. Selanjutnya, para pendukung sering dituduh menekankan fokus pada tujuan yang data ukurannya sudah tersedia, sementara mengabaikan objectives lebih penting di berbagai bidang yang kinerjanya lebih sulit dinilai. Kritik utama lain adalah seringnya memprioritaskan fokus pada hasil akhir, yaitu, setelah program, proyek, kelas, atau siklus kegiatan berakhir. Dengan kasus demikian, maka manfaat tingkat menengah yang mungkin telah bertambah dari hasil proses evaluasi tidak akan terrealisir.

Kerugian yang dipaparkan di atas hanya mewakili sejumlah kecil persoalan yang sering dikaitkan dengan pendekatan evaluasi berorientasi pada tujuan. Dressel memberikan penjelasan yang jauh lebih rinci dalam bukunya Handbook of Academic Evaluation . Meskipun demikian, ia juga telah menyoroti beberapa keuntungan evaluasi berorientasi pada tujuan. Salah satunya, dimana tujuan dapat

Bagian Kedua: Isu-isu Metodologis

diidentifikasi dan dinyatakan secara jelas, maka basis objektif secara otomatis terbentuk untuk tujuan evaluasi; dengan asumsi bahwa tujuannya diterima secara umum. Maka hanya memerlukan perencanaan ukuran kinerja yang berhubungan dengan tujuan, instrumen pengumpul data, dan prosedur untuk membandingkan hasil dengan standar kinerja yang telah disusun sebelumnya. Jelas, hal ini pada beberapa situasi dapat menjadi tugas yang sangat sulit, namun - sekurangnya secara konseptual - tugas itu secara relatif terdefinisikan dengan baik. Juga kriteria untuk membuat ‘value judgements’ yang berkenaan dengan kinerja sebenarnya dari orang atau hal yang akan dievaluasi akan dipengaruhi oleh sifat tujuan dan ukuran data yang terkumpul.

Salah satu kerugian utama pendekatan berorientasi pada keputusan adalah asumsinya mengenai rasionalitas dalam pengambilan keputusan, dan bahwa informasi keputusan yang dihasilkan secara sistematis akan digunakan, sekurangnya sampai tingkat pembenaran biaya pengumpulannya. Sayangnya, bukan hal ini yang menjadi persoalan. Misalnya, pada basis upaya kerja ekstensif di bidang ini telah menegaskan apa yang telah lama dicurigai oleh banyak peneliti kelembagaan dan analis sistem: “Penerapan analisis rasional dalam pengambilan keputusan publik nampaknya agak terbatas.” Asumsi bahwa banyak putusan penting bersifat sedemikian siklis sehingga putusan itu dapat mereka dukung dengan proses algoritma dan sistematis terprogram nampaknya terbuka untuk dipertanyakan lebih lanjut.

Salah satu keuntungan utama pendekatan berorientasi pada tujuan adalah daya dorong yang diberikan pada kajian- diri kelembagaan, dan analisis proses keputusan. Selanjutnya, dengan memfokuskan pada putusan tertentu yang akan dibantu oleh evaluasi, pendekatan berorientasi pada tujuan menegaskan bahwa data apapun yang dikumpulkan akan relevan dengan isu dan pertanyaan tertentu. Juga, dalam kasus model CIPP sebagaimana dibahas di muka, semua aspek dari kancah keputusan mungkin akan sesuai untuk analisis, yang

Evaluasi Program: Teks Pilihan untuk Pemula

meliputi hubungan adminisratif, jenis keputusan, sasaran, proses dan hasil.

Salah satu kerugian model responsif dan goal-free adalah kurangnya penekanan pada teknik pengukuran formal, yang dapat mengakibatkan munculnya hasil yang relatif bersifat subjektif. Meskipun demikian, berbeda dengan pendekatan ‘professional judgement’, evaluasi responsif/goal-free lebih banyak memberi tekanan pada keahlian evaluator sebagai orang yang ahli dalam berbagai teknik responsif/goal-free, bukan pada keunggulan pengetahuan tentang disiplin dari hal yang akan dievaluasi.

Daya tarik positif dari kerangka responsif/bebas tujuan jelas terdapat pada pendekatannya yang fleksibel dan terbuka untuk identifikasi dan penaksiran perhatian yang menjadi daya tarik manusia. Dengan menerima potensi relevansi semua hasil, pengaruh, dan sikap peserta, setidaknya pada awal evaluasi, memungkinkan evaluator untuk dapat lebih dekat dengan pengukuran nilai sejati program dan aktivitas kependidikan pada beberapa kasus daripada jika mereka terikat pada keharusan menemukan pengaruh yang dapat diukur yang berhubungan dengan tujuan atau sasaran yang didefinisikan secara sempit. Juga, jika evaluator benar-benar responsif, maka potensi penerimaan hasil evaluasi akan relatif tinggi.