Penilaian dampak jangka panjang

Kotak 3 Penilaian dampak jangka panjang

Suatu evaluasi partisipatif independen terhadap sebuah program pertanian tadah hujan di sebuah daerah yang tandus di Kenya yang dimulai lebih dari sepuluh tahun sebelumnya mencakup berbagai aspek dari dampak proyek dalam mengurangi kerentanan:  Dampak pada rata-rata hasil panen sorghum dan perbandingan antara hasil panen sorghum yang

menggunakan pola tanam ladang tradisional dengan pola tanam tadah hujan, baik di tahun-tahun dengan curah hujan tinggi maupun curah hujan rendah.

 Bagaimana hasil panen sorghum dimanfaatkan pada tahun-tahun yang baik maupun buruk (misalnya, untuk membeli bahan pangan, benih atau hewan ternak, dijual untuk memperoleh uang tunai atau diberikan kepada saudara dan kawan).

 Dampak pada pola makan warga.  Dampak pada tingkat kemakmuran.  Isu-isu gender dalam hal kendali dan pengambilan keputusan (berkaitan dengan keputusan-keputusan

apakah akan memperbaiki ladang atau tidak, kapan memulai tanam, pembagian kerja dan kendali atas pemanfaatan hasil panen) dan dampak pada kedudukan perempuan.

184 KONSORSIUM PROVENTION – Perangkat untuk Mengarusutamakan Risiko Bencana

 Bagaimana pembuatan ladang-ladang sorghum yang baru memengaruhi tata pengaturan kepemilikan tanah tradisional.  Dampak positif dan negatif pada lingkungan hidup (air yang mengalir di permukaan, erosi tanah, kesuburan tanah).

Sumber: Watson, C. and Ndung’u, B. Rainwater Harvesting in Turkana: An Evaluation of Impact and Sustainability. Nairobi: ITDG (sekarang Practical Action), laporan evaluasi yang tidak diterbitkan.

Pemilihan indikator. Pemilihan indikator-indikator yang tepat adalah suatu hal yang sangat penting dalam perancangan dan evaluasi proyek. Indikator adalah cara obyektif untuk memperlihatkan bahwa proyek benar-benar mencapai kemajuan. Indikator dapat digunakan untuk menilai kemajuan dan keluaran-keluaran ataupun hasil- hasil dan dampak, dalam kaitan dengan sasaran dan tujuan-tujuan proyek. Indikator dapat bersifat kuantitatif atau kualitatif. Indikator dapat mengukur perubahan secara langsung, atau bila ini tidak mungkin, mengukur hal-hal yang mewakili atau mendekati perubahan (proxy indicators atau “indikator pendekatan”). Identifikasi dan validasi indikator-indikator dampak yang tepat merupakan suatu tantangan metodologis dalam semua evaluasi, termasuk dalam proyek-proyek PRB.

Indikator pertama-tama diidentifikasi dalam kerangka-kerangka berbasis hasil yang digunakan dalam perancangan proyek (lihat di atas); indikator-indikator ini dapat dimodifikasi atau ditambah sejalan dengan pelaksanaan proyek. Kotak 4 menyajikan sebuah contoh kerangka berbasis hasil dan tata urutan (hierarki) indikator yang dikembangkan untuk sebuah proyek PRB belum lama berselang.

Pada hakikatnya, pengukuran program PRB adalah penilaian atas adanya perubahan positif atau negatif dalam kerentanan dan kapasitas atau ketangguhan yang dihasilkan oleh intervensi proyek. Analisis data dasar atas kerentanan dan kapasitas dapat digunakan untuk mengidentifikasi indikator-indikator utama untuk ini pada awal (lihat Catatan Panduan 9 dan di bawah ini, bagian tentang data dasar). Walaupun demikian, seperti juga PRB, kerentanan dan ketangguhan merupakan sesuatu yang kompleks dan multiaspek.

Pada praktiknya, sebagian besar proyek dan program memfokuskan diri pada beberapa aspek spesifik PRB saja karena tidak mampu menangani semua faktor penyebab kerentanan masyarakat. Dalam merancang kegiatan evaluasi yang berdiri sendiri, dibutuhkan adanya keputusan untuk memfokuskan penilaian dan menjamin agar tujuan-tujuan evaluasi ini realistis. Hal yang perlu diprioritaskan adalah pengumpulan data yang dibutuhkan untuk melihat kemajuan dalam mencapai sasaran dan tujuan-tujuan proyek, sementara pada saat yang sama tetap sadar akan konteks lebih luas dari proyek.

Indikator sampai sejauh tertentu memang harus terukur, tetapi indikator yang paling mudah diukur belum tentu juga merupakan indikator yang paling berguna. Oleh karena itu, para evaluator perlu mencari seperangkat indikator yang dapat memberikan pandangan menyeluruh dan sekaligus seimbang atas isu-isu pokok yang akan dievaluasi. Indikator juga harus mudah dipahami, baik oleh masyarakat maupun lembaga-lembaga pelaksana proyek.

Evaluasi dirancang untuk mengukur perubahan (positif dan negatif). Evaluasi dalam PRB dapat membawa permasalahan tersendiri karena adanya apa yang dinamakan sebagai “logika terbalik”, yakni bahwa keberhasilan suatu intervensi adalah sesuatu – bencana atau suatu bentuk tertentu atau tingkat kerugian bila terjadi bencana – yang tidak terjadi. Bukti yang diperlihatkan oleh kejadian-kejadian bencana berikutnya dan respons terhadap bencana-bencana menunjukkan dampak dari langkah-langkah peredaman dan kesiapsiagaan yang telah dilaksanakan sebelum bencana. Bukti tersebut dapat memperlihatkan, misalnya, efektivitas sistem peringatan dini dan evakuasi, kapasitas respons lembaga-lembaga yang wajib menangani bencana dan ketangguhan permukiman serta infrastruktur.