Ruang Lingkup Evaluasi Program

Riset Terapan 114 Dr. Endang Mulyatiningsih Bidang Pendidikan dan Teknik Menurut hierarki konseptual, kebijakan, program dan projek mengandung pengertian sebagai berikut: Kebijakan : menggunakan landasan-landasan filosofis, tujuan bersifat mayor, dan dicapai dalam jangka panjang Program : kegiatan yang lebih spesifik dan tujuan lebih kongkret untuk dicapai setelah program dil- aksanakan Projek : kegiatan sangat spesifik, dirancang oleh individu untuk mendukung aktualisasi kebijakan maupun aktualisasi individu Penelitian evaluasi program dapat dilakukan dengan berbagai macam metode maka tidak jarang penelitian evaluasi ini juga meng- gabungkan dua jenis data yaitu data kuantitatif dan kualitatif. Data kuantitatif digunakan untuk mengambil keputusan yang bebas nilai se- dangkan data kualitatif digunakan untuk mengambil keputusan yang memiliki banyak pertimbangan. Evaluasi program memiliki cakupan wilayah yang sangat luas, mulai dari program berskala internasional, nasional, lokal sampai pada program institusi atau satuan organisasi. Dalam lingkup yang kecil, evaluasi pro- gram bahkan sering dilakukan untuk mengevaluasi program pembelajaran di kelas. Dengan demikian, penelitian evaluasi program ini tidak akan pernah kehabisan permasalahan untuk diteliti karena setiap lembaga pen- didikan pasti memiliki program atau kegiatan. Program pada umumnya dirancang untuk mengatasi suatu masalah, meningkatkan kinerja lembaga, meningkatkan mutu pendidikan, menso- sialisasikan kebijakan, menguji produk baru, dll. Penelitian evaluasi pro- gram dilakukan dengan tujuan untuk: Kebijakan Program Projek Program, Projek Projek Projek Program Program Projek Projek Projek Projek Projek Projek Projek Projek Gambar 5.1 Hierarki Program 115 Pengetahuan Dasar Tentang Metode Penelitian 1. Menunjukkan sumbangan program terhadap pencapaian tujuan organisasi. Hasil evaluasi ini penting untuk mengembangkan pro- gram yang sama di tempat lain. 2. Mengambil keputusan tentang keberlanjutan sebuah program apakah program perlu diteruskan, diperbaiki atau dihentikan. Berdasarkan tujuan tersebut semakin jelas terlihat bahwa program yang telah dirancang dan dilaksanakan perlu dievaluasi tingkat keberhasi- lannya. Evaluasi dapat dilakukan selama program masih dilaksanakan formative evaluation atau sesudah program selesai dilaksanakan sum- mative evaluation . Formative evaluation penting dilakukan untuk men- diagnosa hambatan-hambatan dan segera mengatasinya supaya pelaksa- naan program berikutnya menjadi lebih sukses. Summative evaluation dilakukan untuk mengevaluasi tingkat pencapaian hasil sesuai dengan tujuan program pada seluruh komponen evaluasi program. Menurut Madaus 1986: 25-35 ada 11 model evaluasi program yang terdiri dari lima model berorientasi pada pertanyaan question dan enam model berorientasi pada nilai value . Pendekatan evaluasi yang berorien- tasi pada pertanyaan menggunakan pertimbangan yang objektif untuk mengambil keputusan. Pengambilan data sampai cara melaporkan hasil evaluasinya menggunakan pendekatan kuantitatif. Pendekatan yang berorientasi pada value menggunakan pertimbangan subjektif untuk mengambil keputusan. Pengambilan data sampai cara melaporkan hasil evaluasinya menggunakan pendekatan kualitatif. Lima model evaluasi yang berorientasi pada pertanyaan adalah: 1 objectives-based studies ; 2 accountability studies ; 3 experimental research studies; 4 testing program ; dan 5 management information systems. Enam model evaluasi lain yang berorientasi pada nilai yaitu: 6 accreditationcertification studies ; 7 policy studies ; 8 decision-oriented studies ; 9 consumer- oriented studies ; 10 client-centered studies , dan 11 connoisseur-based studies. Program yang dievaluasi semakin luas dan bervariasi sehingga pen- dekatan evaluasi pun terus bertambah. Stuflebeam 1999 telah men- gidentifikasi sebanyak 22 model dasar evaluasi program. Beliau mengklasifikasikan pendekatan evaluasi menjadi 4 kategori yaitu: pseudo evaluations, questionsmethods-oriented evaluation approaches, im- provementaccountability-oriented evaluations approaches, dan social agenda – directed advocacy approaches. Pseudo evaluation terdiri dari : 1 public relations-inspired studies; dan 2 politically controlled stud- ies. Questionsmethods-oriented evaluation approaches terdiri dari 13 pendekatan yaitu: 3 objectives-based studies, 4 accountability, partic- ularly payment by result studies; 5 objective testing programs, 6 out- comes monitoringvalue-added assessment, 7 performance testing; 8 Riset Terapan 116 Dr. Endang Mulyatiningsih Bidang Pendidikan dan Teknik experimental studies; 9 management information systems; 10 benefit- cost analysis approach; 11 clarification hearing; 12 case study evalu- ation; 13 criticism and connoisseurship; 14 program theory-based evaluation; 15 mixed methods studies. Improvementaccountability- oriented evaluation approaches terdiri dari 3 pendekatan yaitu : 16 deci- sionaccountability-oriented studies; 17 consumer-oriented studies; 18 accreditationcertification approach. Social agenda -directed advo- cacy approaches terdiri dari : 19 Client-centered studies or Responsive Evaluation; 20 Constructivist Evaluation; 21 Deliberative democra t- ic evaluation; 22 utilization-focused Evaluation . Pendekatan evaluasi ini perlu diketahui untuk menambah wawasan peneliti bahwa setiap program membutuhkan metode evaluasi yang spe- sifik sehingga tidak layak menggunakan metode evaluasi yang sama un- tuk mengevaluasi program yang berbeda. Berdasarkan identifikasi pen- dekatan di atas, evaluasi yang berorientasi pada pertanyaan dapat digunakan untuk mengevaluasi hasil pembelajaran, melihat akuntabilitas program, penelitian eksperimen, pengujian program baru. Pendekatan evaluasi yang berorientasi pada nilai digunakan pada akreditasi atau ser- tifikasi, penelitian kebijakan, pengambilan keputusan, peningkatan kepuasan pelanggan dan sebagainya. Pendekatan evaluasi yang dipapar- kan di atas memberi gambaran bahwa evaluasi hasil belajar dan evaluasi kebijakan misalnya membutuhkan pendekatan yang berbeda. Keputusan yang diperoleh dari hasil evaluasi juga memiliki dampak yang berbeda. Keputusan hasil evaluasi yang berorientasi pada nilai memiliki dampak yang lebih luas daripada evaluasi yang berorientasi pada pertanyaan.

B. Model-model Evaluasi Program

Model penelitian evaluasi program cukup bervariasi karena setiap peneliti dapat mengembangkan model evaluasi yang sesuai dengan kebu- tuhannya. Madaus 1986: 304 mengidentifikasi sembilan model evaluasi berdasarkan tujuannya seperti tertera pada tabel 5.1. Tabel 5.1 Model Evaluasi Berdasarkan Tujuan No Nama Tujuan Tokoh 1 Student gain by testing Untuk mengukur kinerja dan kemajuan belajar siswa, ban- yak digunakan dalam bidang ilmu Psikologi Ralph Tyler, Ben Bloom, Jim Popham, Mal Provus 2 Institusional self-study by staff Untuk mengevaluasi efektivi- tas kerja karyawanstaf. Dressel 3 Blue-Ribbon Untuk mengevaluasi kinerja James Conant, 117 Pengetahuan Dasar Tentang Metode Penelitian Panel kepemimpinan dalam mem- berikan pelayanan awal Clark Xerr dan David Henry 4 Transaction observation Untuk memahami aktivitas klien dalam mengatasi kon- flik nilai. Smith, Parlett- Hamilton, Rob- ert Stake 5 Management Analysis Untuk meningkatkan rasion- alitas keputusan kebijakan oleh seorang manajer. Leon Lassinger, Stufflebeam, dan Mary Alkin 6 Instructional Research Untuk menghasilkan metode pembelajaran yang efektif melalui penelitian eksperi- men Lee Cronbach, Julian Stanley, Don Compbell 7 Social Policy Analysis Untuk pengembangan ke- bijakan institusional melalui pengukuran keadaan sosial James Cole- man, David Cohen, Carol Weiss, Mostel- lery 8 Goal-free evaluation Untuk menilai pengaruh program terhadap konsumen Michael Scriven 9 Adversary evaluation Untuk menetapkan pilihan terbaik di antara beberapa opsi yang tersedia Tom Owens, Murray Levine, dan Bob Wolfe Model-model evaluasi yang tercantum pada tabel 5.1 hanya menun- jukkan substansi bidang ilmu atau kegiatan yang dievaluasi, namun be- lum menunjuk pada metode atau cara yang digunakan untuk mengevalua- si. Peneliti atau evaluator masih membutuhkan pengetahuan lain supaya dapat mengevaluasi program, di antaranya pengetahuan tentang informasi dan data apa saja yang perlu dikaji dari sebuah program. Phillips 1981: 44-50 dalam bukunya yang berjudul Handbook of Training Evaluation and Measurement Methods memberi ilustrasi penerapan tujuh macam model evaluasi program yaitu: 1 Kirkpatrick approach , model ini banyak diterapkan untuk men- gevaluasi program pelatihan. Dalam model ini dikembangkan kerangka kerja pengumpulan data penelitian yang secara konseptual mengacu pada tahap-tahap belajar. Konsep tersebut selanjutnya di- namakan empat level evaluasi yang terdiri dari: reaction, learning, behavior, and results . Evaluasi behavior kemudian direvisi menjadi transfer. 2 CIPP Context, Input, Process, and Product model ini dikem- bangkan oleh National Study Committee on Evaluation of Phi Delta