Metode analisis untuk pengukuran dan kualifikasi output program dan outcomesnya biasanya mengoperasikan analisis dengan statistika, ekonometrika, sosiometrika, dan sebagainya. Teknik statistik biasanya mencakup analisis korelasi dan regresi
dari dua cara yang berbeda target group vs kelompok lain yang tidak menjadi peserta program, dan uji signifikasi dari perbedaan- perbedaan tersebut.
Terdapat dua bagian dalam melakukan riviu indikator kinerja yaitu a.
Riviu terhadap indikator sendiri; dan b.
Riviu terhadap capaian indikator kinerja. Indikator kinerja ditetapkan memenuhi kriteria indikator kinerja yang baik :
spesifik, sesuai dengan program dan atau kegiatan sehingga mudah dipahami dalam memberikan informasi yang tepat tentang hasil atau capaian kinerja dari kegiatan dan atau sasaran
menggambarkan hasil atau suatu yang diinginkan relevan dan langsung berkaitan dengan yang diukur merupakan faktor yang penting dalam memberikan informasi yang objektif
sesuai dengan kelaziman sehingga mudah untuk diperbandingkan. Dapat dikuantifikasi, dapat dihitung, atau dapat diobservasi sesuai karakteristik hal yang diinformasikan
Objektif, tidak bias, yaitu tidak memberikan informasi yang keliru jika diinterpretasikan oleh berbagai pengguna. Penetapan indikator kinerja oleh suatu organisasi hendaknya melihat konteks penggunaannya. Set-set indikator kinerja yang
digunakan untuk mengukur keberhasilan program tentulah berbeda dengan set-set indikator kinerja yang digunakan dalam mengukur keberhasilan organisasi.
Pertimbangan dalam menentukan indikator kinerja juga didasarkan atas suatu kumpulan alat ukurindikator yang diyakini dapat digunakan untuk memantau dan mengukur kinerja suatu program ataupun organisasi secara keseluruhan. Jumlah indikator
cukup memadai dibandingkan kebutuhan akan pengukuran kinerja. Jumlah indikator yang lebih dari satu bukan masalah sepanjang bisa memenuhi fungsinya dalam memberikan informasi untuk perbaikan kinerja. Jadi banyak sedikitnya indikator
kinerja memang tergantung kebutuhan manajemen
Dilakukan dengan pembandingan antara realisasi suatu capaian dengan rencananya, standar, atau dengan periode
tahun lalu. Cara yang dilakukan hampir sama dengan riviu pencapaian sasaran yang pada prinsipnya menggunakan yaitu membandingkan dan kemudian mencari informasi mengapa terjadi perbedaan antara realisasi capaian dengan
data pembandingnya. Hal tersulit dalam riviu ini adalah menentukan simpulan terhadap hasil pengukuran pencapaian indikator kinerja secara
keseluruhan. Ada beberapa cara yang dapat ditempuh untuk simpulan secara keseluruhan yaitu:
1. menghitung rata-rata semua indikator kinerja yang ada, dengan perhitungan rata-rata sederhana;
2. menghitung rata-rata capaian indikator kinerja dengan
pembobotan yang hati-hati; 3.
menentukan milestone-milestone kegiatan atau program-nya terlebih dahulu, kemudian melihat beberapa indikator penting didalamnya, baru kemudian secara kuantitatif menentukan tingkat capaian
atau keberhasilan organisasi 4.
menentukan beberapa indikator penting saja, kemudian membuat daftar dan menyimpulkan secara umum berdasarkan nilai angka capaian individual, dengan mempertimbangkan frekuensi modus dan tingginya nilai.
Pengecekan hasil-hasil program secara uji petik diperlukan untuk mengecek kredibilitas data. Pada proses pengecekan hasil yang terpenting adalah mendapatkan data dari hasil monitoring atau catatan kinerja instansi. Verifikasi data secara terbatas sangat
diperlukan agar dapat dinilai kredibilitas data tersebut. Riviu terhadap sistem pencatatanpengumpulan data kinerja penting untuk dilakukan
Tedapat 3 kategori jenis desain evaluasi yaitu ,
dan .
Dalam menentukan pilihan desain evaluasi program, biasanya kita dihadapkan pada berbagai faktor kendala atau pembatas. Faktor-faktor pembatas tersebut adalah :
sumberdaya waktu
tahapan program kemungkinan faktor-faktor yang menutupi, mengurangi atau mementahkan hasil program
politik dan keadaan. Desain ini menggunakan eksperimen yang didasarkan pada pembagian
kelompok penerima program dan
kelompok bukan menerima program. Pemilihan lokasi, produkjasa pada target kelompok
eksperimental dan kelompok kontrol dilakukan secara acak . Kondisi saat sebelum ada program dibandingkan dengan
sesudah program selesai dilaksanakan dilihat responnya pada kedua group tersebut apakah menunjukkan signifikasi yang nyata atau tidak.
Desain ini dilakukan untuk mengganti eksperimen yang sesungguhnya dalam situasi dimana pengambilan contoh sampel secara random tidak praktis dilakukan. Dalam desain ini terdapat fungsi memperkirakan hubungan sebab akibat antara program
dan dampaknya. Tentunya dalam mendesain memerlukan kejelasan programnya, kelompok pembanding, ukuran ,
penilaian hubungan antara program dan
1.3. Metode Analisis
2 Riviu Indikator Kinerja
3 Riviu terhadap Se-set Indikator Kinerja
4 Riviu Terhadap Capaian Indikator Kinerja
5 Pengecekan hasil secara uji petik
F. Desain Evaluasi Program Experimental design quasi-experimental design
non experimental
1. Experimental design
2. Quasi experimental design
- -
- -
-
benchmark performance
gap analysis
weighting accomplishment
comfounding factors target group experimental
control group random
outcomes outcome.
§ §
§ §
§
G
P L
A N
L O
BULETIN
Halaman
34
bukan penerima program. Beberapa metode desain yang termasuk dalam desain ini adalah :
dengan program Design ini meliputi
, , studi kasus, survei kepuasan pelanggan atau metode
kualitatif. Dalam desain evaluasi jenis program direkontruksi kemudian diikuti oleh observasi pasif terhadap subjek yang menerima lebih banyak program dan yang menerima lebih sedikit program, yang tidak menerima program, kemudian diteliti
yang ada. Sebelum mengumpulkan data dan menganalisisnya, perlu dilakukan perangkuman hasil-hasil evaluasi sebelumnya
terhadap topik yang sama berupa hasil riset, riviu, kajian, penelaahan, tinjauan dan hasil studi. Proses tersebut disebut . Lebih lanjut apabila diperlukan setelah dilakukan proses sintesa dapat dilanjutkan dengan proses
yaitu cara riviu dan pengikhtisaran yang sistematis terhadap hasil studi sebelumnya. Proses meta analisis ini perlu dilakukan untuk
memperoleh gambaran yang bersifat menyeluruh atas pelaksanaan studi sebelumnya, sehingga lebih berfokus pada menjawab pertanyaan evaluasi yang sedang dilakukan saat ini.
Untuk mendukung meta analisis dapat dilakukan melalui studi kepustakaan dan media elektronik yang tersedia saat ini misalnya internet.
Evaluasi ketepatan suatu program sama dengan menganalisis kelayakan program. Evaluasi ini dapat dilakukan sebelum proposal program disetujui dan ditetapkan. Tetapi dapat pula dilakukan setelah program berjalan. Hal ini dilakukan
untuk mengetahui apakah program masih dibutuhkan oleh masyarakat di lokasi yang berbeda?, apakah program masih selaras dengan
prioritas nasional atau daerah, seberapa perubahan besaran, target, penyeleksian kelayakan peserta program atau target group program yang harus dilaksanakan.
Standar dan patokan pembanding yang digunakan dalam evaluasi kelayakan dan ketepatan program adalah : a.
sasaran program dan target-target dibandingkan dengan kebutuhan dari target group program; b.
rencana kerja dibandingkan dengan ; c.
kapasitas implementasi : logistik, pembiayaan, anggaran, lokasi kantor di area pelaksanaaan program; d. best practice baik di dalam maupun di luar negeri.
e. keselarasan dan konsistensi tujuansasaran program dengan prioritas kebijakan pemerintah.
Masalah ketepatan program dapat diklasifikasikan kedalam dua bagian yaitu : a.. ketepatan tujuansasaran program;
b. ketepatan strategi program, rencana kerja dan alokasi sumberdaya : meriviu hasil studi, literatur, praktik terbaik, analisis logika program,
, analisis resiko apa yang mungkin menjadi keliru dalam implementasi program, , kemungkinan efek samping yang negatif dan sebagainya.
Dalam menilai ketepatan tujuansasaran kita dapat mengacu pada apa yang disebut sebagai konsep “kebutuhan publik” yaitu kebutuhan normatif, kebutuhan yang diekspresikan dan kebutuhan komparatif.
Evaluasi ini dapat dilakukan jika pencatatan data keuangan dan data kinerja sudah cukup baik, sehingga rincian akuntansi biaya dan analisis biaya dapat dilakukan.
Evaluasi ini sering dilakukan saat program sedang berjalan, dengan tujuan untuk melakukan perbaikan .
Data dan informasi yang digunakan untuk analisis efisiensi diperoleh dari desain: a.
monitoring program; input, prosesaktivitas, : output vs sasaran;
dengan program yang sejenis; dan studi kasus tertentu;
Tujuan evaluasi efektivitas program adalah untuk mengidentifikasi dan mengukur dan dampak program, serta
menentukan hubungan antara program dan apakah hubungan itu sebab akibat langsung atau hanya korelasi
dengan banyak faktor lain sebagai pendorong. Desain evaluasi efektivitas diperlukan untuk membandingkan antara apa yang dapat diobservasi setelah implementasi
program dengan kondisi sebelum program. Untuk melakukan pengukuran efektivitas kita dapat menggunakan formulasi sebagai berikut :
R = hasil sesungguhnya atau
P = atau
yang diharapkan direncanakan C =
, tingkat kuantitatif suatu variabel jika program tidak dilaksanakan. Data
tersebut dapat diambil dari target group program sebelum program dilaksanakan atau group yang serupa yang tidak menerima
perlakuan program tersebut.
Untuk mendukung kegiatan evaluasi program tentunya kita memerlukan data dan informasi. Data dan informasi tersebut dapat dicari dari berbagai sumber yang tersedia di berbagai tempat dan pihak, antar lain : instansi terkait, perpustakaan, pusat
data, lembagainstitusi penelitian, penerangan dan informasi. Sumber informasi dapat berupa dokumen program, pendapat para ahli atau pakar, hasil riset, survei, angket, jajak pendapat
yang telah dilakukan terlebih dahulu. matched group design, interupted time series design, Pre
and post program design, cross-sectional design, longitudinal design, program out come delivery design
outcome monitoring ex post facto evaluation outcome
feasibility and Appropriateness Programm
cost benefit analysis scenario
analysis
formative evaluation
outputs; b.
Gap analysis c.
Benchmarking d.
Pilot studies e.
Mid-programm review. outcomes
outcomeimpact
actual results actual outcomes
planned outcomes outcomes
counter factual outcomes
variable outcomes treatment
3. Non experimental design expost facto design
