Perencanaan, Montoring dan Evaluasi Partisipatif dalam Program Pemberdayaan Masyarakat (PME) (1152 s)
Monitoring & Evaluasi
SEBAGAI PENGANTAR
MONITORING ???
Proses Terus menerus dari pengumpulan dan penganalisisan informasi untuk membandingkan
seberapa baik project; program atau kebijakan yang sudah dilaksanakan sesuai dengan hasil
yang diharapkan
Sasaran Monitoring???
Memberikan manager dan stakeholder utama regular feedback dan indikasi awal dari progress
atau kekurangan dalam pencapaian hari hasil yang diharapkan
2
Monitoring juga terkadang dapat merujuk pada proses evaluasi, karena berfokus pada proses
implementasi dan menanyakan pertanyaan kunci seperti :
a.
Seberapa baik program telah diimplementasikan?
b.
Berapa banyak variasi pelaksanaan dari satu lokasi dengan lokasi lainnya?
c.
Apakah program memberikan keuntungan/benefit kepada orang yang dituju? Seberapa
besar biaya yang dikeluarkan?
Note :
Monitoring selalu digunakan untuk penghitungan, mentraking, dan pengumpulan, sebagai
contoh :
a.
Menghitung jumlah klien yang hadir atau petugas kesehatan yang telah dilatih
b.
Mentraking jumlah kondom yang didistribusikan
c.
Mengumpulkan data pasien di klinik
3
Evaluasi ???
Assessment objective dan sistimatis dari project yang sedang berjalan atau sudah selesai,
program atau kebijakkan, perencanaan, implementasi dan hasil
Apa yang ditentukan??
Relevansi dan pemenuhan objective, efisiensi, efektifitas, impact dan keberlanjutan
Evaluasi harus memberikan informasi yang kredibel dan berguna, memungkinkan untuk
memasukkan pembelajaran kedalam proses pengambilan keputusan baik penerima dan donor
4
Untuk mengukur perbedaan outcome yang terjadi antara daerah yang menerima intervensi
dengan daerah yang tidak menerima intervensi yang dikenal sebagai i pact dan mengukur
perbedaan ini seringkali disebut atau dapat juga disebut i pact Evaluatio .
Note :
Evaluasi menjadi penempaan dasar untuk untuk membantu pengambil keputusan memahami
bagaimana, dan sejauh apa, secara khusus program bertanggungjawab, mengukur hasil
5
Apa itu Sistem M&E ?
Sebuah rencana untuk memadukan berbagai alat pengumpulan dan analisa data secara
sistematik.
M&E plan menentukan
Apa ? (data)
Bagaimana? (metode)
Siapa? (orang/tim)
Seberapa sering? (Jadwal/skedul)
6
Mengapa M&E itu penting?
•Untuk mengetahui sejauhmana project/program/kebijakkan mereka memenuhi objectifnya
dan menuju kepada efek yang diharapkan
•Membangun transparansi dan akuntabiliti dalam hal penggunaan sumber daya
project/program
•Dasar yang jelas bagi pengambilan keputusan
•Perencanaan kedepan dan peningkatan pengembangan program
7
Apakah yang dapat dijawab dengan M&E
•Apakah pelaksanaan program sesuai dengan yang direncanakan?
•Apakah target populasi (beneficiaries) mendapatkan benefit dari program dan pada biaya
berapa?
•Aktifitas yang mana dari program yang lebih efektif dan/atau kurang efektif?
•Dapat meningkatkan outcome dan dihubungkan kepada besaran effort bagi program
8
Kapan Seharusnya M&E ditempatkan?
•M&E adalah proses terus-menerus yang dilakukan selama waktu program
•Agar menjadi lebih efektif, M&E harus direncanakan pada tahapan desain program, termasuk
waktu, dana, dan personil.
•Monitoring seharusnya dilakukan di setiap tahapan program, melalui pengumpulan data,
penganalisaan dan digunakan secara kontinu.
•Evaluasi biasanya dilaksanakan diakhir program. Bagaimanapun juga, evaluasi harus
direncanakan diawal program karena bergantung pada pengumpulan data sepanjang program,
maka data baseline menjadi penting.
9
Dasar untuk Monitoring & evaluasi yang
bagus
Budget bagi monev
melihat kemampuan monev
memasukkan dalam rencana kerja dan pengintegrasian dalam semua level
M&E Plan dan focus pada sedikit indicator
as simple as possible – proses pengumpulan data dan management
regular meeting untuk merefleksi data
penggunaan logframe
sharing hasil
membuat baseline di awal
10
Hirarki project dan kaitannya dengan
M&E
Level dalam hirarki project
Apa yang di monitor dan dievaluasi
Goal
Sejauh mana project/program telah memberikan kontribusi terhadap goal jangka
panjang? mengapa dan mengapa tidak? Konsekuensi negative dan positif apakah yang
tidak diantisipasi yang dipunyai project/program? Mengapa hal tersebut muncul?
Purpose/Objectif
Perubahan apa yang terjadi sebagai hasil dari output dan sejauhmana ini berkontribusi
kearah tujuan project/program dan impact yang diharapkan? Sudahkah project/program
mencapai perubahan secara realistis dan akuntabel?
Output
Apa produk atau jasa yang dapat dilihat secara langsung yang telah dideliver
project/program sebagai hasil dari kegiatan
Activities
Apakah aktifitas yang direncanakan sudah terlaksana sesuai jadwal dan masih dalam
budget? Apa kegiatan yang tidak direncanakan terlaksana?
Inputs
Apakah sumber daya telah diguanakan secara efisien?
11
Aktifitas M&E yang menjadi bagian dari
project/program design
• Initial assessment dari situasi termasuk gender assessment
• develop logframe
• develop rencana M&E
• mengumpulkan informasi baseline
12
13
Monitoring
Ada 2 komponen utama dari Monitoring
Process Monitoring
Menyediakan informasi dalam penggunaan sumber daya, progress dari aktifitas serta cara hal
tersebut dilaksanakan
Result Monitoring
Menyediakan informasi bagaimana progress kearah pencapaian objectif dan bagaimana impact
program mempunyai keterkaitan kepada hasil yang diharapkan
15
Fitur kunci dari process monitoring vs result monitoring
Process Monitoring
Result Monitoring
Deskripsi dari permasalahan atau siatuasi sebelum
intervensi
Data baseline untuk menjelaskan permasalahan atau
situasi sebelum intervensi
Benchmark dari aktifitas dan immediate output
Indicator untuk outcome
Pengumpulan data bagi input, aktifitas dan immediate
output
Pengumpulan data pada output dan bagaimana dan
apakah kontribusinya kearah pencapaian outcome
Pelaporan tersistimatis pada realisasi output dan
produksi output
Pelaporan tersistimatis dengan lebih kualitatif dan
kuantitatif informasi dalam proses menuju outcome
Berhubungan secara langsung kepada intervensi
berlainan atau series intervensi
Selesai secara bersama dengan mitra strategis
Didesain untuk penyediaan informasi dalam
implementasi administrative dan isu managemen
Mengcapture informasi sukses atau gagal dalam isu
pengembangan efektifitas yang lebih luas
16
Mengapa kita melakukan monitoring?
1.
Menyediakan informasi bagi management, staff dan stakeholder lainnya akan informasai
apakah progress sudah dibuat kearah pencapaian objectif project/program
2.
Menyediakan regular feedback untuk meningkatkan ongoing learning experience serta untuk
meningkatkan proses perencanaan dan keefetivitasan dari intervensi
3.
Meningkatkan akuntabilitas project
4.
Untuk melihat hasil positif serta kekuatan dan kelemahan approach project
5.
Checking kondisi dan situasi target group dan perubahan yang dibawa oleh project/program
17
Evaluasi
Mengapa kita melakukan evaluasi?
1.
Menentu relevansi
2.
Untuk mengakses efisiensi
3.
Untuk mengakses efektifitas
4.
Mementukan impact
5.
Untuk mengakses keberlanjutan
6.
Sebagai pembelajaran kedepan
Review
Review dilakukan sesekali untuk melihat apakah setiap level dari objectif lanjut dan apakah ada
perubahan yang perlu dilakukan dalam project/program
19
Perbedaan antara review dan evaluasi
Review lebih luas daripada evaluasi sebagai studi dimana dapat melihat kedalam berbagai
aspect dari pekerjaan.
Objectif dan indicator harus ditentukan sebelum project/program agar dapat dievaluasi
review dan evaluasi seharusnya dilihat sebagai learning proses
20
Kenapa program review dilakukan?
1.
Untuk mengasses progress dan impact dari pekerjaan ketika evaluasi yang lebih formal tidak
memungkinkan untuk dilakukan
2.
Untuk mengklarifikasi objektif dari pekerjaan yang telah berjalan disuatu waktu
3.
Ketika alasan besar sudah harus dibuat untuk arahan project/program kedepan
4.
Untuk mengidentifikasi isu kunci dan permasalahan yang membutuhkan arahan
5.
Untuk mendapatkan feedback tentang project/program dari partner dan beneficiaries dan
menyediakan mereka dengan kesempatan untuk berpartisipasi dalam menganalisa pekerjaan
dan perencanaan kedepan
6.
Untuk menganalisa dari pengalaman sebelumnya untuk membantu memformulasi guideline
kebijakkan untuk pekerjaan ke depan
21
Tipe evaluasi dan tujuannya
Tipe
Purpose
Pertanyaan Evaluasi
Pre Implementation Assessment
Memastikan bahwa kegagalan bukan diprogram
dari awal implementasi
•
When? Diselesaikan sebelum implementasi
•
•
Proses implementasi evaluasi
When? Dilakukan selama implementasi
Untuk mencari tahu apakah implementasi
masih dalam track atau diluar track
•
•
•
•
Apakah objektif telah ditentukan secara
baik sehingga outcome dapat diukur?
Apakah rencana implementasi secara utuh
dan kredibel menyediakan bukti jelas dari
bagaimana pelaksanaan sudah diproses?
Apakah rasional untuk pengalihan dari
sumber daya sudah jelas dan sesuai dengan
reuirement untuk pencapaian outcome?
Apa yang sudah diimplementasi atau
belum?
Apa perbedaan antara yang sudah
seharusnya diimplementasikan dan secara
actual diimplementasikan?
Bagaimana kesesuaian dan sedekat apa
rencana dengan cost, time requirement,
kapasitas staff, ketersediaan dari sumber
daya keuangan, fasilitas dan dukungan
politik?
Apa output yang sudah diantisipasi atau
hasil yang muncul dari implementasi?
22
Tipe
Purpose
Pertanyaan evaluasi
Impact evaluation
When? Diselesaikan diakhir project/program
atau lama setelah program
Untuk mengakses impact disebabkan oleh
intervensi dan apa yang mungkin hadir dari
event atau kondisi lainnya
•
•
•
•
•
•
Meta Evaluation
Untuk mengaggregasi temuan dari seri
evaluation yang sudah selesai dalam inisiatif
yang sama bagi pembelajaran
•
•
Apakah input yang digunakan secara baik
untuk pencapaian outcome?
Sudahkah tujuan, objektif dan output
sudah dicapai? Mengapa iya dan tidak?
Sejauhmana project/program sudah
berkontirubsi kearah goal jangka
panjang? Mengapa iya mengapa tidak?
Konsekuensi positif dan negative apa
yang tidak diantisipasi yang dipunyai
project/program? Mengapa iya dan
tidak?
Apakah ide bagus project/program
memberikan situasi yang membutuhkan
peningkatan? Apakah sesuai dengan
priritas dari target group?
Apakah ada lanjutan setelah
project/program selesai?
Apa yang kita tahu saat ini dalam isu ini?
Apa level kepercayaan yang kita tahu?
23
Evaluasi membutuhkan :
a. Pengumpulan data di awal program (membutuhkan baseline), lalu
pengumpulan data kembali diakhir, daripada dilakukan secara
berulang dalam masa pelaksanaan program
b. Kontrol atau group pembanding bertujuan agar dapat mengukur
telah terjadi perubahan dalam pencapaian outcome yang dapat
disebabkan oleh program
c. Study design yang harus terencana secara baik.
24
Evaluasi
Tahap Perencanaan
(ex – ante)
Tahap Pelaksanaan
(On – Going)
o Dilakukan sebelum ditetapkannya o Dilakukan pada saat
rencana pembangunan
pelaksanaan rencana
o Untuk memilih dan menentukan
pembangunan
skala prioritas dari berbagai
o Untuk menentukan tingkat
alternatif dan kemungkinan cara
kemajuan pelaksanaan rencana
mencapai tujuan dan telah
dibandingkan dengan rencana
dirumuskan sebelumnya
yang telah ditentukan
sebelumnya
Tahap Pasca-Pelaksanaan
(Ex – Post)
o Dilaksanakan setelah pelaksanaan
rencana berakhir
o Untuk melihat apakah pencapaian
(keluaran/hasil/dampak) program
mampu mengatasi masalah
pembangunan yang ingin
dipecahkan
o Untuk menilai efisiensi (keluaran
dan hasil dibandingkan masukkan),
efektivitas (hasil dan dampak
terhadap sasaran), ataupun
manfaat (dampak terhadap suatu
kebutuhan) dari suatu program
25
Evaluasi memberikan informasi tentang
Strategi
Apakah yang dilakukan sudah benar?
Operasi
Apakah Cara yang ditempuh sudah benar?
Pembelajaran
Apakah ada cara yang lebih baik?
Perbedaan antara monitoring dan evaluasi
Monitoring
Evaluasi
Kapan Selesai?
Secara terus menerus sepanjang durasi
dari project/program
Tergantung – sebelum pelaksanaan,
pertengahan, diakhir atau sesudah periode
project/program
Apa yang diukur?
Efisiensi – penggunaan input, kegiatan,
output, asumsi
Efektifitas, impact jangka panjang dan
keberlanjutan – pencapaian tujuan dan
goal dan perubahan yang tidak
direncanakan
Siapa yang terlibat?
Staffs dalam organisasi
Dalam banyak kasus diselesaikan oleh
orang dari luar organisasi
Sumber informasi apakah
yang digunakan?
Internal dokumen seperti laporan bulanan Internal & external dokumen seperti
laporan konsultan, laporan tahunan,
atau laporan 3 bulanan, catatan
statistic nasional
perjalanan, minutes of meeting
Pengguna hasil?
Manager dan staff project/program
Manager, staff, donor, beneficiaries,
organisasi lain
Bagaimana hasil digunakan?
Untuk membuat perubahan kecil
Untuk membuat perubahan besar dalam
kebijakkan, strategi dan pekerjaan kedepan
27
Program Hirarki
Evaluasi
Outcome
Input
Proses
Goal
Impact
Output
Monitoring
28
Pemerintah Kabupaten akan menyelenggarakan sebuah pelatihan PAKEM bagi guru, dengan
gambaran lengkap sebagai berikut:
Tujuan pelatihan adalah agar murid-murid dapat belajar dengan lebih efektif dan dengan
demikian mencapai nilai yang lebih tinggi dalam ujian akhir nasional.
Untuk mencapai tujuan itu direncanakan sebuah pelatihan. Para pelatih diundang untuk melatih
30 guru; bahan-bahan pelatihan disiapkan, sekolah diberitahu untuk mengirim beberapa guru
untuk mengikuti pelatihan tersebut.
Pelatihan dilakukan selama tiga hari. Fasilitator menyajikan metode PAKEM dalam mengajar.
Diskusi berlangsung hangat antara guru dan fasilitator. Kemudian ada kunjungan dan praktek
mengajar di sekolah terdekat.
Setelah kembali ke sekolah masing-masing sebagian guru mulai mempraktekkan metode PAKEM.
Ada yang berhasil melakukannya. Murid-murid mulai nampak aktif berdiskusi dan melakukan
kerja kelompok. Tetapi di sekolah lainnya, guru-guru tidak melakukannya.
Setahun kemudian, di sekolah yang melaksanakan PAKEM, nilai ujian siswa sedikit meningkat
sedangkan di sekolah yang tidak menerapkan metode PAKEM tidak terjadi peningkatan dalam
nilai ujian akhir murid-murid.
29
PELATIHAN METODE PAKEM
EVALUASI
MONITORING
Pelatih,
bahan
pelatihan,
guru,
tempat
pelatihan
Input
Pelatihan
dalam
kelas,
praktek
mengajar
Proses
Jumlah
guru yang
dilatih
Output
Guru
mengajar
mengguna
kan
metode
baru
Outcome
Interaksi
antar murid
meningkat,
Diskusi
kelompok
belajar aktif
Impact
5
Nilai UN
murid
meningkat
Impact
Tolong Identifikasi apakah Monitoring
atau Evaluation?
1.
Kementrian kependudukan ingin mengetahui apakah program yang dilakukan di suatu
propinsi telah menurunkan angka kehamilan yang tidak diinginkan antar remaja di propinsi
tersebut?
2.
UNICEF ingin mengetahui sudah berapa banyak pekerja seks yang telah dijangkau oleh
program pada tahun ini
3.
Country director tertarik untuk mengetahui apakah perawatan pasca-aborsi telah
memenuhi standar qualitas nasional
SEBAGAI PENGANTAR
MONITORING ???
Proses Terus menerus dari pengumpulan dan penganalisisan informasi untuk membandingkan
seberapa baik project; program atau kebijakan yang sudah dilaksanakan sesuai dengan hasil
yang diharapkan
Sasaran Monitoring???
Memberikan manager dan stakeholder utama regular feedback dan indikasi awal dari progress
atau kekurangan dalam pencapaian hari hasil yang diharapkan
2
Monitoring juga terkadang dapat merujuk pada proses evaluasi, karena berfokus pada proses
implementasi dan menanyakan pertanyaan kunci seperti :
a.
Seberapa baik program telah diimplementasikan?
b.
Berapa banyak variasi pelaksanaan dari satu lokasi dengan lokasi lainnya?
c.
Apakah program memberikan keuntungan/benefit kepada orang yang dituju? Seberapa
besar biaya yang dikeluarkan?
Note :
Monitoring selalu digunakan untuk penghitungan, mentraking, dan pengumpulan, sebagai
contoh :
a.
Menghitung jumlah klien yang hadir atau petugas kesehatan yang telah dilatih
b.
Mentraking jumlah kondom yang didistribusikan
c.
Mengumpulkan data pasien di klinik
3
Evaluasi ???
Assessment objective dan sistimatis dari project yang sedang berjalan atau sudah selesai,
program atau kebijakkan, perencanaan, implementasi dan hasil
Apa yang ditentukan??
Relevansi dan pemenuhan objective, efisiensi, efektifitas, impact dan keberlanjutan
Evaluasi harus memberikan informasi yang kredibel dan berguna, memungkinkan untuk
memasukkan pembelajaran kedalam proses pengambilan keputusan baik penerima dan donor
4
Untuk mengukur perbedaan outcome yang terjadi antara daerah yang menerima intervensi
dengan daerah yang tidak menerima intervensi yang dikenal sebagai i pact dan mengukur
perbedaan ini seringkali disebut atau dapat juga disebut i pact Evaluatio .
Note :
Evaluasi menjadi penempaan dasar untuk untuk membantu pengambil keputusan memahami
bagaimana, dan sejauh apa, secara khusus program bertanggungjawab, mengukur hasil
5
Apa itu Sistem M&E ?
Sebuah rencana untuk memadukan berbagai alat pengumpulan dan analisa data secara
sistematik.
M&E plan menentukan
Apa ? (data)
Bagaimana? (metode)
Siapa? (orang/tim)
Seberapa sering? (Jadwal/skedul)
6
Mengapa M&E itu penting?
•Untuk mengetahui sejauhmana project/program/kebijakkan mereka memenuhi objectifnya
dan menuju kepada efek yang diharapkan
•Membangun transparansi dan akuntabiliti dalam hal penggunaan sumber daya
project/program
•Dasar yang jelas bagi pengambilan keputusan
•Perencanaan kedepan dan peningkatan pengembangan program
7
Apakah yang dapat dijawab dengan M&E
•Apakah pelaksanaan program sesuai dengan yang direncanakan?
•Apakah target populasi (beneficiaries) mendapatkan benefit dari program dan pada biaya
berapa?
•Aktifitas yang mana dari program yang lebih efektif dan/atau kurang efektif?
•Dapat meningkatkan outcome dan dihubungkan kepada besaran effort bagi program
8
Kapan Seharusnya M&E ditempatkan?
•M&E adalah proses terus-menerus yang dilakukan selama waktu program
•Agar menjadi lebih efektif, M&E harus direncanakan pada tahapan desain program, termasuk
waktu, dana, dan personil.
•Monitoring seharusnya dilakukan di setiap tahapan program, melalui pengumpulan data,
penganalisaan dan digunakan secara kontinu.
•Evaluasi biasanya dilaksanakan diakhir program. Bagaimanapun juga, evaluasi harus
direncanakan diawal program karena bergantung pada pengumpulan data sepanjang program,
maka data baseline menjadi penting.
9
Dasar untuk Monitoring & evaluasi yang
bagus
Budget bagi monev
melihat kemampuan monev
memasukkan dalam rencana kerja dan pengintegrasian dalam semua level
M&E Plan dan focus pada sedikit indicator
as simple as possible – proses pengumpulan data dan management
regular meeting untuk merefleksi data
penggunaan logframe
sharing hasil
membuat baseline di awal
10
Hirarki project dan kaitannya dengan
M&E
Level dalam hirarki project
Apa yang di monitor dan dievaluasi
Goal
Sejauh mana project/program telah memberikan kontribusi terhadap goal jangka
panjang? mengapa dan mengapa tidak? Konsekuensi negative dan positif apakah yang
tidak diantisipasi yang dipunyai project/program? Mengapa hal tersebut muncul?
Purpose/Objectif
Perubahan apa yang terjadi sebagai hasil dari output dan sejauhmana ini berkontribusi
kearah tujuan project/program dan impact yang diharapkan? Sudahkah project/program
mencapai perubahan secara realistis dan akuntabel?
Output
Apa produk atau jasa yang dapat dilihat secara langsung yang telah dideliver
project/program sebagai hasil dari kegiatan
Activities
Apakah aktifitas yang direncanakan sudah terlaksana sesuai jadwal dan masih dalam
budget? Apa kegiatan yang tidak direncanakan terlaksana?
Inputs
Apakah sumber daya telah diguanakan secara efisien?
11
Aktifitas M&E yang menjadi bagian dari
project/program design
• Initial assessment dari situasi termasuk gender assessment
• develop logframe
• develop rencana M&E
• mengumpulkan informasi baseline
12
13
Monitoring
Ada 2 komponen utama dari Monitoring
Process Monitoring
Menyediakan informasi dalam penggunaan sumber daya, progress dari aktifitas serta cara hal
tersebut dilaksanakan
Result Monitoring
Menyediakan informasi bagaimana progress kearah pencapaian objectif dan bagaimana impact
program mempunyai keterkaitan kepada hasil yang diharapkan
15
Fitur kunci dari process monitoring vs result monitoring
Process Monitoring
Result Monitoring
Deskripsi dari permasalahan atau siatuasi sebelum
intervensi
Data baseline untuk menjelaskan permasalahan atau
situasi sebelum intervensi
Benchmark dari aktifitas dan immediate output
Indicator untuk outcome
Pengumpulan data bagi input, aktifitas dan immediate
output
Pengumpulan data pada output dan bagaimana dan
apakah kontribusinya kearah pencapaian outcome
Pelaporan tersistimatis pada realisasi output dan
produksi output
Pelaporan tersistimatis dengan lebih kualitatif dan
kuantitatif informasi dalam proses menuju outcome
Berhubungan secara langsung kepada intervensi
berlainan atau series intervensi
Selesai secara bersama dengan mitra strategis
Didesain untuk penyediaan informasi dalam
implementasi administrative dan isu managemen
Mengcapture informasi sukses atau gagal dalam isu
pengembangan efektifitas yang lebih luas
16
Mengapa kita melakukan monitoring?
1.
Menyediakan informasi bagi management, staff dan stakeholder lainnya akan informasai
apakah progress sudah dibuat kearah pencapaian objectif project/program
2.
Menyediakan regular feedback untuk meningkatkan ongoing learning experience serta untuk
meningkatkan proses perencanaan dan keefetivitasan dari intervensi
3.
Meningkatkan akuntabilitas project
4.
Untuk melihat hasil positif serta kekuatan dan kelemahan approach project
5.
Checking kondisi dan situasi target group dan perubahan yang dibawa oleh project/program
17
Evaluasi
Mengapa kita melakukan evaluasi?
1.
Menentu relevansi
2.
Untuk mengakses efisiensi
3.
Untuk mengakses efektifitas
4.
Mementukan impact
5.
Untuk mengakses keberlanjutan
6.
Sebagai pembelajaran kedepan
Review
Review dilakukan sesekali untuk melihat apakah setiap level dari objectif lanjut dan apakah ada
perubahan yang perlu dilakukan dalam project/program
19
Perbedaan antara review dan evaluasi
Review lebih luas daripada evaluasi sebagai studi dimana dapat melihat kedalam berbagai
aspect dari pekerjaan.
Objectif dan indicator harus ditentukan sebelum project/program agar dapat dievaluasi
review dan evaluasi seharusnya dilihat sebagai learning proses
20
Kenapa program review dilakukan?
1.
Untuk mengasses progress dan impact dari pekerjaan ketika evaluasi yang lebih formal tidak
memungkinkan untuk dilakukan
2.
Untuk mengklarifikasi objektif dari pekerjaan yang telah berjalan disuatu waktu
3.
Ketika alasan besar sudah harus dibuat untuk arahan project/program kedepan
4.
Untuk mengidentifikasi isu kunci dan permasalahan yang membutuhkan arahan
5.
Untuk mendapatkan feedback tentang project/program dari partner dan beneficiaries dan
menyediakan mereka dengan kesempatan untuk berpartisipasi dalam menganalisa pekerjaan
dan perencanaan kedepan
6.
Untuk menganalisa dari pengalaman sebelumnya untuk membantu memformulasi guideline
kebijakkan untuk pekerjaan ke depan
21
Tipe evaluasi dan tujuannya
Tipe
Purpose
Pertanyaan Evaluasi
Pre Implementation Assessment
Memastikan bahwa kegagalan bukan diprogram
dari awal implementasi
•
When? Diselesaikan sebelum implementasi
•
•
Proses implementasi evaluasi
When? Dilakukan selama implementasi
Untuk mencari tahu apakah implementasi
masih dalam track atau diluar track
•
•
•
•
Apakah objektif telah ditentukan secara
baik sehingga outcome dapat diukur?
Apakah rencana implementasi secara utuh
dan kredibel menyediakan bukti jelas dari
bagaimana pelaksanaan sudah diproses?
Apakah rasional untuk pengalihan dari
sumber daya sudah jelas dan sesuai dengan
reuirement untuk pencapaian outcome?
Apa yang sudah diimplementasi atau
belum?
Apa perbedaan antara yang sudah
seharusnya diimplementasikan dan secara
actual diimplementasikan?
Bagaimana kesesuaian dan sedekat apa
rencana dengan cost, time requirement,
kapasitas staff, ketersediaan dari sumber
daya keuangan, fasilitas dan dukungan
politik?
Apa output yang sudah diantisipasi atau
hasil yang muncul dari implementasi?
22
Tipe
Purpose
Pertanyaan evaluasi
Impact evaluation
When? Diselesaikan diakhir project/program
atau lama setelah program
Untuk mengakses impact disebabkan oleh
intervensi dan apa yang mungkin hadir dari
event atau kondisi lainnya
•
•
•
•
•
•
Meta Evaluation
Untuk mengaggregasi temuan dari seri
evaluation yang sudah selesai dalam inisiatif
yang sama bagi pembelajaran
•
•
Apakah input yang digunakan secara baik
untuk pencapaian outcome?
Sudahkah tujuan, objektif dan output
sudah dicapai? Mengapa iya dan tidak?
Sejauhmana project/program sudah
berkontirubsi kearah goal jangka
panjang? Mengapa iya mengapa tidak?
Konsekuensi positif dan negative apa
yang tidak diantisipasi yang dipunyai
project/program? Mengapa iya dan
tidak?
Apakah ide bagus project/program
memberikan situasi yang membutuhkan
peningkatan? Apakah sesuai dengan
priritas dari target group?
Apakah ada lanjutan setelah
project/program selesai?
Apa yang kita tahu saat ini dalam isu ini?
Apa level kepercayaan yang kita tahu?
23
Evaluasi membutuhkan :
a. Pengumpulan data di awal program (membutuhkan baseline), lalu
pengumpulan data kembali diakhir, daripada dilakukan secara
berulang dalam masa pelaksanaan program
b. Kontrol atau group pembanding bertujuan agar dapat mengukur
telah terjadi perubahan dalam pencapaian outcome yang dapat
disebabkan oleh program
c. Study design yang harus terencana secara baik.
24
Evaluasi
Tahap Perencanaan
(ex – ante)
Tahap Pelaksanaan
(On – Going)
o Dilakukan sebelum ditetapkannya o Dilakukan pada saat
rencana pembangunan
pelaksanaan rencana
o Untuk memilih dan menentukan
pembangunan
skala prioritas dari berbagai
o Untuk menentukan tingkat
alternatif dan kemungkinan cara
kemajuan pelaksanaan rencana
mencapai tujuan dan telah
dibandingkan dengan rencana
dirumuskan sebelumnya
yang telah ditentukan
sebelumnya
Tahap Pasca-Pelaksanaan
(Ex – Post)
o Dilaksanakan setelah pelaksanaan
rencana berakhir
o Untuk melihat apakah pencapaian
(keluaran/hasil/dampak) program
mampu mengatasi masalah
pembangunan yang ingin
dipecahkan
o Untuk menilai efisiensi (keluaran
dan hasil dibandingkan masukkan),
efektivitas (hasil dan dampak
terhadap sasaran), ataupun
manfaat (dampak terhadap suatu
kebutuhan) dari suatu program
25
Evaluasi memberikan informasi tentang
Strategi
Apakah yang dilakukan sudah benar?
Operasi
Apakah Cara yang ditempuh sudah benar?
Pembelajaran
Apakah ada cara yang lebih baik?
Perbedaan antara monitoring dan evaluasi
Monitoring
Evaluasi
Kapan Selesai?
Secara terus menerus sepanjang durasi
dari project/program
Tergantung – sebelum pelaksanaan,
pertengahan, diakhir atau sesudah periode
project/program
Apa yang diukur?
Efisiensi – penggunaan input, kegiatan,
output, asumsi
Efektifitas, impact jangka panjang dan
keberlanjutan – pencapaian tujuan dan
goal dan perubahan yang tidak
direncanakan
Siapa yang terlibat?
Staffs dalam organisasi
Dalam banyak kasus diselesaikan oleh
orang dari luar organisasi
Sumber informasi apakah
yang digunakan?
Internal dokumen seperti laporan bulanan Internal & external dokumen seperti
laporan konsultan, laporan tahunan,
atau laporan 3 bulanan, catatan
statistic nasional
perjalanan, minutes of meeting
Pengguna hasil?
Manager dan staff project/program
Manager, staff, donor, beneficiaries,
organisasi lain
Bagaimana hasil digunakan?
Untuk membuat perubahan kecil
Untuk membuat perubahan besar dalam
kebijakkan, strategi dan pekerjaan kedepan
27
Program Hirarki
Evaluasi
Outcome
Input
Proses
Goal
Impact
Output
Monitoring
28
Pemerintah Kabupaten akan menyelenggarakan sebuah pelatihan PAKEM bagi guru, dengan
gambaran lengkap sebagai berikut:
Tujuan pelatihan adalah agar murid-murid dapat belajar dengan lebih efektif dan dengan
demikian mencapai nilai yang lebih tinggi dalam ujian akhir nasional.
Untuk mencapai tujuan itu direncanakan sebuah pelatihan. Para pelatih diundang untuk melatih
30 guru; bahan-bahan pelatihan disiapkan, sekolah diberitahu untuk mengirim beberapa guru
untuk mengikuti pelatihan tersebut.
Pelatihan dilakukan selama tiga hari. Fasilitator menyajikan metode PAKEM dalam mengajar.
Diskusi berlangsung hangat antara guru dan fasilitator. Kemudian ada kunjungan dan praktek
mengajar di sekolah terdekat.
Setelah kembali ke sekolah masing-masing sebagian guru mulai mempraktekkan metode PAKEM.
Ada yang berhasil melakukannya. Murid-murid mulai nampak aktif berdiskusi dan melakukan
kerja kelompok. Tetapi di sekolah lainnya, guru-guru tidak melakukannya.
Setahun kemudian, di sekolah yang melaksanakan PAKEM, nilai ujian siswa sedikit meningkat
sedangkan di sekolah yang tidak menerapkan metode PAKEM tidak terjadi peningkatan dalam
nilai ujian akhir murid-murid.
29
PELATIHAN METODE PAKEM
EVALUASI
MONITORING
Pelatih,
bahan
pelatihan,
guru,
tempat
pelatihan
Input
Pelatihan
dalam
kelas,
praktek
mengajar
Proses
Jumlah
guru yang
dilatih
Output
Guru
mengajar
mengguna
kan
metode
baru
Outcome
Interaksi
antar murid
meningkat,
Diskusi
kelompok
belajar aktif
Impact
5
Nilai UN
murid
meningkat
Impact
Tolong Identifikasi apakah Monitoring
atau Evaluation?
1.
Kementrian kependudukan ingin mengetahui apakah program yang dilakukan di suatu
propinsi telah menurunkan angka kehamilan yang tidak diinginkan antar remaja di propinsi
tersebut?
2.
UNICEF ingin mengetahui sudah berapa banyak pekerja seks yang telah dijangkau oleh
program pada tahun ini
3.
Country director tertarik untuk mengetahui apakah perawatan pasca-aborsi telah
memenuhi standar qualitas nasional