TEKNIS PENELITIAN EVALUASI Sebelum pelaksanaan : Persiapan sebelum menguji Program: 1 Definisi Program Secara Jelas.

6.2. TEKNIS PENELITIAN EVALUASI

Penelitian evaluasi kebijakan bukanlah hal yang dapat dipandang sepele karena dari hasil penelitian tersebut diharapkan diperoleh masukanumpan balik dan penilaian-penilaian yang akurat atas sebuah kinerja kebijakanprogram, serta hasilnya dapat dipertanggung-jawabkan. Untuk itu Leonard Rutman memberikan panduan yang perlu diperhatikan sbb:

a. Sebelum pelaksanaan :

1 Gunakan prosedur-prosedur ilmiah a Mengamati dan memahami tujuan evaluasi b Mengamati dan memilih kriteria c Mengamati sensitivitas metode 2 Focus pada proses dan outcomes kebijakanprogram, bukan hanya pada outcomesnya saja. Dengan demikian dapat diperoleh informasi mengenai aktifitas-aktifitas apa menghasilkan apa; serta memungkinkan upaya replikasi di kemudian hari. 3 Jangan batasi dampak hanya pada sasaran-sasaran yang dinyatakan secara formal saja, sebab tidak semua sasaran kebijakan dinyatakan secara formal. Konsekuensi-konsekuensi yang mungkin terjadi akibat programkebijakan juga dipertimbangkan. Untuk itu manfaatkan hasil penelitian yang terkait, gunakan logika, atau pengalaman-pengalaman atas program yang serupa. 4 Pertimbangkan informasi-informasi yang dibutuhkan oleh pembuat keputusan di masa mendatang, bukan hanya kebutuhan saat ini. Bersikaplah sebagai ilmuwan, bukan teknisi evaluasi. 128

b. Persiapan sebelum menguji Program: 1 Definisi Program Secara Jelas.

Harus dipastikan bahwa label yang diberikan pada sebuah program memiliki makna dan maksud yang sama bagi semua yang terlibat, sehingga jelas data mana yang harus diukur definisi konsep harus jelas, sehingga definisi operasionalnya juga jelas dan dapat direplikasikan. 2 Spesifikasi Sasarangoals. Karena sasaran-sasaran merupakan criteria keberhasilan program, maka harus dinyatakan secara spesifik agar dapat diperoleh tolok ukurnya. Sayangnya seringkali tujuansasaran tersebut hanya disebutkan secara umum, jangka panjang, bahkan kadang kontradiksi dan tidak terkait dengan aktifitas-aktifitas program. Jika hal ini terjadi, maka peneliti bertanggung-jawab untuk merumuskannya secara bersama-sama dengan perencana program dan manajer program 1 . 3 Keterkaitan Rasional. Harus ada keterkaitan rasional antara program yang akan dievaluasi dengan sasaran yang dituju dan dampak yang diharapkan. Ada tidaknya kaitan rasional tersebut, dapat menentukan apakah program tersebut yang harus dimodifikasi atau sasaran dan hasil yang harus dirubah misal Program Pelatihan Angkatan Kerja dengan sasaran jangka panjang 1 Pendekatan di atas adalah pendekatan goal-end oriented. Dapat juga digunakan pendekatan lain, misalnya Pendekatan Sistem Amitai Etzioni atau goal-free evaluation Susan Salasin, karena goal-end oriented approach dipandang memiliki keterbatasan :1. Mengabaikan sasaran yang tidak dinyatakan secara eksplisit misalnya keberlangsungan program; 2. Sulit merumuskan tujuan senyatanya dari pernyataan tujuan programkebijakan yang yang mencerminkan retorika politik, justifikasi bantuan pendanaan, mobilisasi dukungan, dan legitimasi program; 3. Sasaran-sasaran selalu bisa berubah sebagai respon atas tuntutan-internal organisasi dan lingkungan; 4 Mengabaikanefek-efek samping dari kebijakan. 129 berkurangnya angka pengangguran. Akan lebih masuk akal jika dikaitkan dengan sasaran jangka pendek : pencapaian tenaga kerja berketrampilan. 4 Pastikan Kegunaan Evaluasi. Kendati studi evaluasi dimaksudkan sebagai akuntabilitas program, serta untuk memberikan informasi yang terkait dengan pelaksanaan dan hasil program kepada pembuat keputusan dan manajemen, namun seringkali studi evaluasi dilakukan dengan maksud- maksud tertentu, yang disebut oleh Edward Suchman sebagai Pseudoevaluations 2 . Karenanya evaluator juga harus mengetahui siapa yang menghendaki dan mendanai studi evaluasi tersebut untuk mencegah timbulnya ketegangan dengan administrator program. 5 Spesifikasikan Variabel-variabel Evaluasi a Spesifikasikan komponen-komponen program, dengan memperjelas terdiri dari komponen-komponen aktifitas apa saja program tersebut misalnya PKK dengan 10 Program PKKnya. Gunanya adalah sebagai Component testing untuk menguji sumbangan keefektifan masing- masing komponen terhadap program. b Spesifikasikan sasaran-sasaran dan efeknya. Bukan hanya yang dinyatakan secara formal dalam dokumen atau oleh pengelola program, namun juga sasaran-sasaran latent dan dampak-dampak lain yang diharapkan oleh masyarakat misal kasus program Bantuan Langsung Tunai BLT yang ditujukan untuk meringankan beban 2 Pseudoevaluation adalah studi-studi evaluasi yang dilakukan maksud–maksud terselubung, misalnya yang diberi istilah:1. eyewash evaluasi ‘cuci mata’ yang dilakukan hanya pada tampak depan program demi mengesankan keberhasilan; 2. Whitewash yang dilakukan dengan maksud menutupi kegagalan-kegagalan program selama dilakukan investigasi; 3. “Submarine” Kapal selam, yakni evaluasi yang dilakukan dengan maksud politis untuk menghancurkan sebuah program; 4. ‘Posture” yakni evaluasi yang dilakukan sekedarnya hanya sebagai formalitas, biasanya untuk kepentingan kelanjutan pendanaan; 5. “Postponement”, yakni evaluasi yang dilakukan untuk tujuan menghentikan sementara sebuah program. 130 masyarakat miskin akibat kenaikan harga BBM, dapat ditanggapi beragam – missal: apa criteria ‘miskin’ dan apa criteria ‘meringankan’ yang dimaksudkan oleh program tsb? Karena jawabannya dapat beragam, demikian juga dampaknya. 6 Spesifikasikan Variabel-variabel antesedennya. Anteseden variable adalah factor-faktor konteks yang dapat mempengaruhi jalannya program misalnya karakteristik target kebijakan; sifat dasar permasalahan sehingga memerlukan intervensi kebijakn, dll. 7 Spesifikasikan variable-variabel Interveningnya dengan menanyakan : ”setelah program dijalankan, factor-faktor apakah yang dapat mendukung atau menghambat pencapaian sasaran program? 8 Measurement : setelah mengetahui apa saja yang harus diukur, maka langkah selanjutnya adalah memilih tehnik pengukuran yang tepat untuk menilai. Untuk itu perlu : a. ketepatan indicator tolok ukur yang digunakan; b. Reliabilitas alat ukur hasil yang diberikan konsisten meski dilakukan dalam situasi yang berbeda dan c. Validitas alat ukur ketepatan alat ukur dalam mengukur fenomena. c. Kriteria yang harus dipenuhi dalam evaluasi : 1 Relevansi : harus mampu memberikan informasi yang tepat pada pembuat dan pelaku kebijakan, mampu menjawab secara benar pertanyaan dalam waktu yang tepat 2 Signifikan : harus mampu memberikan informasi yang baru dan penting. 131 Antecedent factors Program implementation Intervening Goals effects 3 Validitas : mampu memberikan pertimbangan yang tepat sesuai dengan hasil nyatadata empiric mengenai hasil kebijakan. 4 Reliabilitas : dapat membuktikan bahwa hasilnya diperoleh dengan penelitian yang teliti 5 Obyektif : tidak memihak bias 6 Tepat waktu 7 Daya guna : hasil penelitian dapat dipahami dan dimanfaatkan oleh pelaku dan pembuat kebijakan

6.3. METODA DAN MODEL-MODEL STUDI EVALUASI