Distribusi Pengaruh Populasi Berbeda

3. Distribusi Pengaruh Populasi Berbeda

Aspek terakhir dari penilaian efektivitas adalah mengevaluasi siapa yang menerima manfaat dari program tersebut. Penggunaan indeks efektivitas tunggal untuk masing- masing hasil (misal, reratanya) mengandung asumsi bahwa berbagai program yang dapat dibandingkan memiliki distribusi hasil yang sama pada semua populasi atau bahkan tidak mempersoalkan distribusi itu sama sekali (Azzi dan Cox,

1973). 6 Distribusi pengaruh seharusnya dievaluasi jika diinginkan pergerakan ke arah persaman hasil. Contohnya diperoleh dalam pendidikan, yang titik-beratnya tidak hanya pada peningkatan skor tes prestasi yang dikaitkan dengan pendekatan yang diambil, melainkan juga pada distribusi

6 Ibid.

Bagian Ketiga: Implikasi Evaluasi Program

skornya (Block, 1971). 7 Umumnya, satu program dianggap menjadi lebih didambakan jika kemampuannya untuk menghasilkan perolehan prestasi dan kemampuannya untuk mengurangi variansi prestasi peserta didik lebih besar.

Bayangkanlah, upaya memperbandingkan dua program pengajaran dengan pencapaian rata-rata prestasi peserta didik yang sama. Setelah diselidiki lebih seksama, ternyata program pertama meningkatkan skor tes semua siswa dengan jumlah tingkatan yang kurang-lebih sama, sementara yang kedua meningkatkan banyak skor tes dari sepertiga populasi siswa yang berada di sebelah atas, dan dua pertiga populasi siswa lainnya yang berada di sebelah bawah hanya mengalami perubahan sedang atau tak signifikan. Jika saja kita mengabaikan distribusi hasilnya, maka kita akan memperingkatkan kedua program itu sebagai program yang memiliki tingkat efektivitas yang sama. Dengan melekatkan setiap nilai positif pada berbagai konsekuensi distribusi programnya, maka kita akan lebih mengutamakan program yang pertama dibandingkan dengan program yang kedua, bila biaya kedua program tersebut sama jumlahnya.

Jadi, kalau program yang tujuannya sama dievaluasi, maka harus dilakukan beberapa upaya untuk menguji perubahan distribusi juga pengaruh rata-ratanya. Hal ini dapat dilakukan dengan beberapa cara (Jamison, dkk., 1971). 8 Mungkin cara paling sederhana untuk mengukur pengaruh distribusi adalah dengan membandingkan perubahan tersebut dalam varians hasilnya, juga perubahan tingkatannya. Ukuran distribusi lainnya mungkin lebih cocok tergantung pada sifat

indikator yang dikehendaki (Atkinson, 1970). 9 Dengan diberikannya ukuran perubahan hasil maupun distribusinya, maka mungkin sekali untuk mendapatkan keseluruhan indeks

7 Block, J.H. (1971). Mastery learning. New York: Holt-Rinehart and Winston. 8 Jamison, D.D. et.al. (1971). Cost and performance of computer-assisted instruction

for education of disadventaged children. Chicago: NBCEI. 9 Atkinson, A.B. On the measurement of inequality. (1970). Journal of Economic

Theory. 2. Hlm. 221-224.

Evaluasi Program: Teks Pilihan untuk Pemula

efektivitas program dengan menimbang keduanya menurut prioritas keputusan. Hal ini dapat dilakukan dengan memperlakukan ukurannya sebagai hasil ganda dan menerapkan bobot nilai untuk ukuran tersebut dengan cara seperti yang ditunjukkan pada bagian sebelumnya. Yaitu, nilai relatif perubahan dalam distribusi dan tingkat hasil dapat dinilai dengan mulai melaksanakan analisis yang serupa seperti yang terdapat pada di muka.

Perhatian pada distribusi juga penting ketika munculnya manfaat untuk salah satu segmen populasi dianggap memiliki nilai yang lebih besar daripada kesamaan manfaat untuk segmen lainnya. Meskipun pertimbangan ini secara inheren merupakan pertimbangan yang bersifat etis, namun bisa dikatakan bahwa tidak sedikit program mewakili perhatian khusus untuk kaum miskin, usia lanjut, dan minoritas. Misalnya, program rehabilitasi perumahan yang memanfaatkan pinjaman dan subsidi lain yang berbunga ringan. Efektivitas program seperti itu bisa dinyatakan menurut banyaknya unit perumahan yang direhabilitasi oleh Perumnas. Jadi, pendekatan yang memberikan jumlah rehabilitasi terbanyak berdasarkan besarnya biaya yang telah ditetapkan akan menjadi pendekatan yang paling efektif dari segi biaya. Namun bagaimana jika kelompok yang merupakan sasaran utama masing-masing program berbeda komposisinya? Berdasarkan program tertentu, sebenarnya orang-orang dari kelas menengah dan dari kelas ataslah yang telah membeli berbagai bangunan bekas dengan tingkat bunga yang sangat tersubsidi. Mereka merenovasi bangunan itu lagi untuk digunakan sebagai tempat tinggal, atau untuk disewakan dan dijual demi memperoleh keuntungan. Program lain telah dapat membantu kaum miskin, kaum minoritas, dan kaum usia lanjut agar dapat membentuk korporasi komunitas yang secara sistimatis akan memperbarui bangunan tersebut sehingga menjadi rumah-rumah persewaan bagi para anggota komunitasnya.

Bagian Ketiga: Implikasi Evaluasi Program

Jika jumlah keseluruhan unit yang direhabilitasi merupakan satu-satunya kriteria efektivitas, maka kemungkinan besar program yang pertama akan dianggap lebih efektif daripada program yang terakhir. Untuk mempertimbangkan distribusi manfaatnya, maka kita dapat memperlakukan setiap variabel distribusi sebagai hasil program dan memberi bobot variabel itu sehingga menjadi indeks efektivitas. Dalam kasus ini proporsi partisipan langsung, yang dimasukkan ke dalam klasifikasi minoritas usia-lanjut, atau miskin akan ditentukan, bersama dengan jumlah unit perumahan yang direhabilitasi. Proses ini dapat dinilai dengan skema pemeringkatan relatif menjadi pemeringkatan keseluruhan efektivitas yang dapat dibandingkan dengan biaya.

Walaupun di masa lalu berbagai aspek program sosial yang menyangkut distribusi telah diabaikan, namun pengabaian aspek-aspek itu sendiri bagaimanapun merupakan pertimbangan yang bersifat distribusional. Penghapusan seperti itu menggambarkan penerimaan secara diam-diam distribusi benefits yang ada dari program yang sedang dievaluasi. Apalagi, jika contoh perumahannya realistis dan representatif, maka analisis cost-effectiveness yang tidak mempertimbangkan berbagai aspek distribusi hasilnya, bisa jadi mengalami bias secara sistematis yang menguntungkan kelas menengah dan atas.