makalah evaluasi program id. docx
PAPER EVALUASI PROGRAM
Dosen Pengampu : DR. H. Rusyadi, M.Pd
Conducting an
Evaluation
John M Owen
Melakukan
Evaluasi Program
oleh:
Ahmad Faisal, S.Pd.T
Nur Intang, S.Pd
Junaidin, S.T
Nurdewi, S.Pd
PEP. KEPENGAWASAN
PROGRAM PASCASARJANA UNM
2016
1. PENDAHULUAN
Program adalah suatu rencana yang melibatkan berbagai
unit yang berisi kebijakan dan rangkaian kegiatan yang harus
dilakukan
adalah
dalam
kurun
kegiatan
untuk
bekerjanya
sesuatu,
waktu
tertentu.sedangkan
mengumpulkan
yang
selanjutnya
evaluasi
informasi
tentang
informasi
tersebut
digunakan untuk menentukan alternatif yang tepat dalam
mengambil keputusan.
Evaluasi program adalah suatu unit atau kesatuan kegiatan
yang bertujuan mengumpulkan informasi tentang realisasi atau
implementasi dari suatu kebijakan, berlangsung dalam proses
yang berkesinambungan, dan terjadi dalam suatu organisasi
yang
melibatkan
sekelompok
orang
guna
pengambilan
keputusan.Dalam kegiatan penelitian peneliti ingin mengetahui
gambaran tentang sesuatu kemudian dideskripsikan, sedangkan
dalam evaluasi program, pelaksana (evaluator) ingin mengetahui
seberapa
tinggi
mutu atau kondisi sesuatu sebagai hasil
pelaksanaan program, setelah data terkumpul dibandingkan
dengan kriteria atau standar tertentu.
Dalam kegiatan penelitian, peneliti dituntun oleh rumusan
masalah,
sedangkan
dalam
evaluasi
program,
pelaksana
(evaluator) ingin mengatahui tingkat ketercapaian program, dan
apabila tujuan belum tercapai pelaksana (evaluator) ingin
mengetahui letak kekurangan dan sebabnya. Hasilnya digunakan
untuk menentukan tindak lanjut atau keputusan yang akan
diambil.
Ciri dan persyaratan evaluasi program mengacu pada
kaidah yang berlaku, dilakukan secara sistematis, teridentrifikasi
penentu
keberhasilan
dan
kebelumberhasilan
program,
menggunakan tolok ukur baku, dan hasil evaluasi dapat digunkan
sebagai tindak lanjut atau pengambilan keputusan. Program
merupakan satu kesatuan dari beberapa bagian atau komponen
yang saling berkait untuk mencapai tujuan yang ditentukan oleh
sistem tersebut. Komponen tersebut merupakan satu kesatuan
yang tidak terpisahkan. Masing-masing komponen terdiri atas
beberapa
subkomponen
dan
masing-masng
subkomponen
terdapat beberapa indikator.
Dalam kegiatan evaluasi program, indikator merupakan
petunjuk untuk mengetahui keberhasilan atau ketidakberhasilan
suatu kegiatan. Perlu diketahui bahwa ketidakberhasilan suatu
kegiatan
dapat
juga
dipengaruhi
oleh
komponen
atau
subkomponen yang lain. Evaluasi program bertujuan untuk
mengetahui
pencapaian
tujuan
program
yang
telah
dilaksanakan. Selanjutnya, hasil evaluasi program digunakan
sebagai dasar untuk melaksanakan kegiatan tindak lanjut atau
untuk melakukan pengambilan keputusan berikutnya.
Evaluasi sama artinya dengan kegiatan supervisi. Kegiatan
evaluasi/supervisi dimaksudkan untuk mengambil keputusan
atau
melakukan
tindak
lanjut
dari
program
yang
telah
dilaksanakan. Manfaat dari evaluasi program dapat berupa
penghentian program, merevisi program, melanjutkan program,
dan menyebarluaskan program. Evaluator program harus orangorang yang memiliki kompetensi yang mumpuni, di antaranya
mampu melaksanakan, cermat, objektif, sabar dan tekun, serta
hati-hati dan bertanggung jawab. Evaluator dapat berasal dari
kalangan internal
(evaluator dan pelaksana
program) dan
kalangana eksternal (orang di luar pelaksana program tetapi
orang yang terkait dengan kebijakan dan implementasi program).
2. PELAKSANAAN EVALUASI
Dalam pedoman pelaksanaan evaluasi, secara umum
melibatkan
tiga
tahap
yang
saling
terkait,
yaitu:
(1)
merencanakan penelitian, (2) memperoleh informasi, dan (3)
berkomunikasi dengan pihak yang berkepentingan mengenai
kemajuan penelitian dan temuannya. Untuk memastikan bahwa
evaluasi
itu
efektif,
evaluator
perlu
mengembangkan
keterampilan untuk melaksanakan setiap tahapan tersebut.
Pada tahap pertama penekanannya pada kemampuan
negosiasi, dan keterampilan interpersonal yang diperlukan. Pada
tahap kedua penekanannya pada pemilihan pendekatan yang
tepat dan pengumpulan serta analisis data, dan informasi
keterampilan manajemen yang diperlukan. Pada tahap ketiga
penekanan pada pelaporan, dan keterampilan berkomunikasi
yang diperlukan. Seorang evaluator yang baik berpikir tentang
tahap perencanaan dan berkomunikasi mengenai komponen
manajemen data. Seperti Barrington (1990) menunjukkan bahwa
hal ini membutuhkan keterampilan dan negosiasi yang cukup,
yang sebagian besar tidak diajarkan dalam pelatihan evaluasi.
Tahapan Pelaksanaan Evaluasi secara umum terdiri atas 4
tahapan. yaitu:
a. Perencanaan.
b. Penyusunan indikator dan sasaran program
c. Pelaksanaan evaluasi program
d. Pelaporan hasil evaluasi program
Sebuah evaluasi dapat dilakukan sebagai satu tahap yang
bergulir dari perencanaan, perolehan informasi dan komunikasi.
Hal ini juga harus dicatat bahwa tahapan-tahapan tersebut saling
bergantung. Misalnya, suatu pedoman yang menyatakan:
“Bagaimana setiap fase/tahap pendekatan memiliki efek
langsung pada fase lain. misalnya tahap definisi dan
perencanaan awal akan menentukan ruang lingkup evaluasi dan
juga merupakan parameter untuk tahap pengumpulan data
selanjutnya (Program and Strategic Review Branch, Queensland
Trearsury, 1990: 3).
Perlunya
mengembangkan
negosiasi
dan
kemampuan
berkomunikasi dalam keterampilan manajemen data tidak bisa
terlalu ditekankan. Evaluasi yang baik adalah pengumpulan data
dan analisis yang baik, apakah evaluatornya adalah orang luar
atau orang dalam.
Dimasukkannya tahap perencanaan dan berkomunikasi
membantu kita untuk membedakan evaluasi dari beberapa jenis
penelitian,
terutama
yang
didasarkan
pada
'paradigma
eksperimental'. Dalam paradigma ini, dampak dari intervensi
atau perlakuan ditentukan dengan menerapkan ke sampel yang
dipilih secara acak, sementara pada saat yang sama menolak
perlakuan untuk kelompok kontrol. Kesimpulan tersebut diambil
dengan membandingkan perubahan pada kelompok eksperimen
dengan mereka yang berada di kelompok kontrol. Tentu saja ada
banyak pendekatan pada penelitian yang tidak didasarkan pada
paradigma
eksperimental,
dan
banyak
dari
mereka
menggunakan data kualitatif, atau bukan, informasi yang bersifat
kuantitatif.
Evaluasi dan penelitian bergantung pada pengumpulan
data dan teknik analisis (baik dalam domain kualitatif maupun
kuantitatif), pelaksanaan penelitian dan evaluasi memiliki basis
epistemologis yang berbeda.
a. Dibandingkan
dengan
penelitian,
evaluator
harus
mencurahkan energi dan sumber daya yang cukup untuk
memastikan
bahwa
rencana
yang
memadai
dan
dapat
diterima dan dikembangkan, dan bahwa temuan evaluasi
dimengerti oleh klien. Dalam evaluasi besar dalam pendidikan
guru, diperkirakan bahwa 40 persen dari sumber daya yang
tersedia untuk penelitian dikhususkan untuk perencanaan dan
komunikasi (Owen, Johnson dan Welsh, 1985). Ini berarti 60
persen untuk tahap perolehan. Hal ini penting bagi penilai
untuk menganggarkan
perencanaan dan komunikasi untuk
memperoleh alokasi sumber daya yang tersedia.
b. Penelitian ini sebagian besar berkaitan dengan penjelasan
umum yang dirancang untuk memajukan batas-batas dalam
bidang penelitian. Motivasi mayor adalah mencari generalisasi
dan penciptaan pengetahuan baru. Sebaliknya, evaluasi
berkonsentrasi pada intervensi yang spesifik dan termotivasi
oleh kebutuhan untuk menginformasikan keputusan tentang
intervensi tersebut -misalnya program atau kebijakan (Smith
dan Glass, 1987).
c. Mereka yang melakukan penelitian bertanggung jawab kepada
masyarakat ilmiah. Evaluator terikat pada beberapa atau
semua stakeholder dalam sebuah program.
d. Kebanyakan peneliti berupaya untuk mengambil posisi nilai
yang tertarik, sementara evaluasi dapat dipengaruhi oleh
posisi yang diambil oleh evaluator dalam kaitannya dengan
berbagai stakeholder.
e. Peneliti umumnya dapat mengasumsikan bahwa mereka
berkomunikasi dengan audiens, sehingga evaluator harus
melaporkan kepada audiens yang mungkin tidak terbiasa
dengan temuan penyelidikan sistematis.
f. Ada perbedaan yang berhubungan dengan pengumpulan data
dan analisis. Sebagaimana ditunjukkan di atas, sering kali ada
komitmen yang tinggi untuk menguraikan desain dalam
pelaksanaan penelitian, evaluator umumnya harus memilih
dari berbagai data yang terbatas untuk membuat keputusan
pada nilai program.
3. PERENCANAAN EVALUASI
Dalam perencanaan penyusunan indikator dan sasaran
program dapat ditempuh langkah-langkah sebagai berikut:
a. Penentuan obyek.
Pemahaman terhadap indikator dan sasaran program
1.1. Penentuan Obyek
Contoh obyek penyusunan indikator dan sasaran program
adalah kinerja proyek-proyek pembangunan yang termasuk
dalam DIP dan dokumen lain yang disamakan. Setiap
proyek
pembangunan
mencantumkan
yang
indikator
dan
diusulkan
sasaran
harus
kinerja
secara
lengkap.
1.2. Pemahaman Terhadap Indikator dan Sasaran Program
a). Definisi Indikator dan Sasaran Program
Indikator dan sasaran program adalah ukuran kuantitatif
atau kualitatif yang menggambarkan tingkatan tujuan
program yang telah ditetapkan dan mencakup indikator
masukan, keluaran, hasil, manfaat, dan dampak.
b).Fungsi Indikator dan Sasaran Program
Fungsi Indikator dan sasaran program:
1) Memperjelas tentang, apa, berapa dan kapan suatu
program dilaksanakan.
2) Menciptakan konsensus untuk menghindari kesalahan
interpretasi dan diskusi selama pelaksanaan kegiatan.
b. Membangun dasar bagi monitoring dan evaluasi.
1.3. Persyaratan penyusunan indikator dan sasaran program:
a) Spesifik dan jelas; sehingga tidak ada kemungkinan
kesalahan interpretasi.
b) Dapat diukur secara obyektif; yaitu 2 orang atau lebih
yang
mengukur
indikator
dan
sasaran
program
mempunyai kesimpulan yang sama.
c) Relevan;
indikator
dan
sasaran
program
harus
menangani aspek-aspek obyektif yang relevan.
d) Penting; indikator dan sasaran program harus berguna
untuk menunjuk keberhasilan operasional, keluaran,
hasil, manfaat dan dampak.
e) Sensitif terhadap perubahan; indikator dan sasaran
program harus cukup fleksibel dan sensitif terhadap
perubahan/penyesuaian pelaksanaan dan hasil program.
f) Terukur; baik secara kuantitatif maupun kualitatif.
g) Efektif; indikator dan sasaran kinerja yang digunakan
dapat
dikumpulkan,
diolah
dan
dianalisis
datanya
dengan biaya yang tersedia.
c. Penyusunan Indikator program
1) Indikator masukan dan kegiatan:
a)
Sebutkan rincian kegiatan yang akan dilaksanakan oleh
pelaksana program.
b)
Sebutkan jumlah dana dan jenis masukan yang akan
digunakan dalam kegiatan.
2) Indikator keluaran:
Tentukan
hasil
spesifik
yang
diharapkan
pelaksanaan kegiatan yang dirinci pada
dalam
yaitu mengolah
masukan menjadi keluaran.
3) Indikator hasil:
a)
Uraikan dengan singkat motivasi atau latar belakang
program dalam memproduksi keluaran.
b)
Bila keluaran sudah diproduksi, fungsi langsung apa
yang diharapkan dari keluaran.
4) Indikator manfaat:
Sebutkan harapan yang ingin dicapai bila keluaran dapat
diselesaikan
dan
berfungsi
seperti
diuraikan
dalam
indikator hasil.
5) Indikator sasaran dan dampak:
Jelaskan dasar pemikiran, latar belakang dan alasan
diproduksinya keluaran untuk tujuan yang paling tinggi,
sasaran sektoral, daerah atau nasional.
d. Penyusunan Indikator sasaran program
1) Indikator masukan:
a)
Cantumkan jumlah dana dalam nilai uang untuk setiap
jenis masukan.
b)
Tentukan unit kegiatan (investasi) yang dilakukan dalam
satu ruang lingkup program yang rinci.
c)
Identifikasi
jumlah
sumberdaya
manusia
yang
diperlukan dalam pelaksanaan kegiatan program.
d)
Tentukan
jangka
waktu
yang
diperlukan
untuk
pelaksanaan penyelesaian program.
2) Indikator Keluaran:
Tentukan
hasil
langsung
dari
pengolahan
masukan/pelaksanaan kegiatan.
3) Indikator Hasil:
Tentukan ukuran kuantitatif yang menunjukkan fungsi
langsung keluaran setelah program selesai, seperti jumlah
anak sekolah yang dapat ditampung.
4) Indikator Manfaat:
Tentukan ukuran yang menunjukkan manfaat keluaran
setelah setelah berfungsi dengan baik, seperti peningkatan
angka partisipasi anak sekolah.
5) Indikator Dampak:
a)
Identifikasi pengaruh positif dan negatif pada setiap
tingkatan
indikator
berdasarkan
asumsi
yang
telah
ditetapkan.
b)
Sebutkan sasaran yang paling jauh, tingkatan tujuan
tertinggi dari program.
c)
Cantumkan
sasaran
sektoral,
daerah,
atau
nasional.
Misalnya peningkatan penerimaan devisa negara dari
sektor pertanian melalui proyek perkebunan. Bila keluaran
proyek
perkebunan
dapat
berfungsi
meningkatkan
produktivitas tanah dan tanaman maka selanjutnya dapat
meningkatkan ekspor, memenuhi permintaan dalam dan
luar negeri (manfaat).
Evaluasi
berguna
harus
bagi
direncanakan
stakeholder.
dengan
Legitimasi
seksama
agar
mereka
harus
diperhitungkan selama proses berlangsung, namun perhatian
khusus harus diberikan kepada calon pengguna-keterlibatan
dalam tahap perencanaan, sebelum pengumpulan data atau
analisis
berlangsung.
Harus
ada
kesepakatan
antara
para
stakeholder yang wajar mengenai parameter luas evaluasi
sehingga
semua
pihak
mendapatkan
kejelasan
tentang
bagaimana hal itu akan dilanjutkan, dan harus ada kesadaran
tentang prestasi apa yang mungkin diharapkan dari itu.
Perencanaan
kedepan
dan
negosiasi
membangun
dukungan bagi upaya evaluasi. Meskipun ada perbedaan dalam
penekanan pada tingkat perencanaan sesuai dengan bentuk
evaluasi,
penggunaan
efektif
dari
hasil
evaluasi
sangat
tergantung pada semua pengaturan evaluator dan stakeholder
menyepakati perencanaan.
Pada titik ini harus diulang bahwa sering ada keragaman
pandangan antara para stakeholder tentang tujuan evaluasi.
Kelompok kepentingan yang berbeda mungkin memiliki agenda
yang berbeda tentang evaluasi program ini, dan itu sangat
penting bagi evaluator untuk menyadari agenda dalam tahap
negosiasi. Hal ini sulit, namun untuk melakukan evaluasi yang
mencerminkan kebutuhan semua kelompok stakeholder, dan
pada tahap awal negosiasi dengan mereka yang melakukan
pengawasan penelitian, evaluator harus menentukan kelompok
stakeholder yang akan dilayani.
Umumnya, kelompok ini menjadi audiens utama bagi
temuan evaluasi. Pengalaman menunjukkan bahwa evaluasi
melayani kebutuhan satu atau dua kelompok stakeholder. Mereka
adalah kelompok dengan evaluator yang menegosiasikan desain
evaluasi dan unsur-unsurnya.
4. KERANGKA RENCANA EVALUASI
Sebagaimana ditunjukkan di atas, tujuan dalam negosiasi
adalah
untuk
mengembangkan
rencana
evaluasi
di
mana
stakeholder primer dan evaluator setuju. Sedangkan rincian dari
rencana tersebut
dapat
dinegosiasikan tanpa perlu
struktur.
Ditemukan bahwa rencana yang paling memuaskan muncul dari
pengembangan tanggapan yang terkait dengan unsur-unsur
berikut.
a. Tujuan utama evaluasi.
Apakah evaluasi berkaitan dengan:
1) Menentukan cara program diimplementasikan?
2) Mensintesis informasi untuk membantu pengembangan
program?
3) Memperjelas program?
4) Meningkatkan pelaksanaan program?
5) Pemantauan hasil program?
6) Menentukan nilai program?
b. Audience untuk evaluasi.
Sebagaimana
disebutkan
di
atas
itu
adalah
kesalahpahaman untuk percaya bahwa evaluasi bisa, atau
harus, melapor ke sejumlah audiens. Audiens yang berbeda
membutuhkan
informasi
yang
berbeda
dan
identifikasi
audiens berfokus pada data. Dalam beberapa kasus, evaluator
akan menemukan bahwa ada entitas (individu atau kelompok
kecil)yang memiliki makna tertentu. Entitas ini mungkin
memiliki pengaruh atas keputusan-keputusan yang berkaitan
dengan program di bawah review, dan pandangan mereka
mungkin menarik bagi evaluator selama negosiasi.
c. Fokus areal evaluasi adalah .
Inti dari upaya evaluasi adalah:
1)
2)
3)
4)
Konteks
Desain
Proses
Hasil
Dalam hal pengembangan program evaluasi berikut, fitur
pada desain program dapat membantu
penentuan kriteria
evaluasi. Misalnya, evaluasi hasil bisa berhubungan dengan
tujuan
program.
Dalam
kasus
lain
evaluasi
mungkin
merupakan penilaian kebutuhan dan fokus pada konteksnya.
Atau, informasi evaluasi dapat membantu mengembangkan
program.
d. Kunci masalah penyelidikan.
Hal ini melibatkan pemilihan aspek yang paling penting
dari sebuah program yang akan diperiksa. Dalam prakteknya
ini adalah cara di mana evaluasi dapat dibuat lebih mudah
untuk dikelola, karena memaksa pihak yang berkepentingan
untuk berpikir tentang arah dasar evaluasi yang akan diambil.
Hal ini sangat umum bagi audiens. Misalnya panitia pengarah,
dewan sekolah, atau manajer tingkat menengah, mengajukan
daftar kunci masalah. Evaluator mungkin perlu bekerja
dengan audiens untuk mengurangi daftar ini.
e. Manajemen data.
Ini menentukan setiap kunci masalah, data yang paling
tepat untuk mengumpulkan dan bagaimana hal itu akan
dikumpulkan dan dianalisis. Ada banyak teknik pengumpulan
data yang sering digunakan oleh evaluator. Juga, ketika
membuat keputusan tentang analisis data, evaluator harus
mengingat
kecanggihan
audiens
dan
jika
mungkin,
memastikan bahwa temuan dapat dengan mudah dipahami.
f. Reporting.
Telah diketahui bahwa banyak evaluasi yang belum
memiliki dampak pada keputusan tentang program sosial dan
pendidikan karena evaluator tidak menggunakan teknik yang
efektif
untuk
menyebarluaskan
temuan.
Secara
khusus,
penggunaan laporan yang panjang sangat efektif dalam
mentransfer informasi. Teknik yang lebih kreatif sebaiknya
menekankan pada metode yang memungkinkan klien dan
audiens untuk berinteraksi dengan evaluator.
g. Sumber-sumber evaluasi.
Hal ini diperlukan bagi seseorang untuk diberi waktu
untuk merencanakan dan menyiapkan sistem manajemen
data yang tepat, dan secara umum bertanggung jawab atas
semua aspek evaluasi dalam tindakan. Eksternal evaluator
biasanya mengembangkan struktur untuk mengatasi realitas
dalam menjalankan operasi yang kompleks. Departemen
pemerintah
dan
perusahaan
swasta
mengembangkan
pengaturan internal untuk evaluasi. Ini sering mengambil
bentuk evaluasi yang memiliki anggaran yang terpisah,
sumber lain dan staf yang terlatih untuk membuat pekerjaan
evaluasi layak bagi organisasi. Hal ini dapat dilihat bahwa
sumber-sumber harus disisihkan untuk tujuan, bahkan dalam
studi kasus penelitian tindakan di mana mungkin tidak ada
perbedaan
yang
jelas
antara
evaluasi
dan
pengembangan/pelaksanaan tugas-tugas.
Kerangka yang diberikan di bawah ini dapat
berguna
dalam menetapkan rencana evaluasi yang berniat untuk
mensponsori atau melakukan, baik secara internal maupun
eksternal.
1) Tujuan evaluasi
Mengapa evaluasi dilakukan?
2) Audiens yang akan dievaluasi
Siapa yang akan menerima dan menggunakan informasi
tersebut?
3) Sumber daya yang akan dievaluasi
Bahan apa yang tersedia?
4) Fokus Evaluasi
Konteks, desain, proses, produk (unsur-unsur)?
5) Kunci pertanyaan evaluasi dan manajemen data
Bagaimana kita bisa mengumpulkan dan menganalisis data
sekitar kunci permasalahan?
(i) Pertanyaan-pertanyaan penting yang diajukan:
Sejauh mana ...?
Apakah ada ...?
Dalam hal apa ..?
Untuk setiap pertanyaan, menguraikan teknik pengelolaan
data yang akan digunakan.
Pertanyaan 1
Pertanyaan 2
Pertanyaaan 3
Pengelolaan data 1
Pengelolaan
data
2
Pengelolaan Data 3
6) Pengumpulan Data
Apakah sampling penting?
Apakah ada yang diketahui tentang hal dari sumber lain?
Bagaimana data dikumpulkan?
Analisis
Bagaimana data dianalisis untuk menjawab pertanyaan
evaluasi ?
(ii) Data manajemen
Untuk setiap pertanyaan merancang pengumpulan
data
rinci dan skema analisis.
7) Pelaporan informasi dari evaluasi
Apa itu format pelaporan?
Kapan pelaporan berlangsung?
Apakah itu layak direkomendasikan?
8) Standar perilaku
Sampai sejauh mana
standar-standar
untuk
evaluasi
berlaku. Misalnya bagaimana privasi dan hak-hak dari
mereka yang terlibat harus dilindungi?
9) Anggaran dan waktu
Berapa biaya evaluasi, dan apa yang akan dicapai selama
evaluasi?
Anggaran evaluasi
Beberapa indikasi dari jumlah sumber yang tersedia untuk
evaluasi
harus
dimasukkan
dalam
perencanaan.
Jika
evaluasi yang dilakukan secara eksternal, perlu bagi
evaluator menyediakan dana untuk biaya jasa dan sumber
daya terkait dan mengaturnya dengan jelas.
5. PELAKSANAAN EVALUASI
Obtaining merupakan tahap manajemen data yang
merupakan bagian integral dari pekerjaan
harus
membuat
keputusan
yang
evaluasi. Evaluator
menerjemahkan
tindakan
evaluasi ke dalam tindakan nyata, dan ini termasuk pengambilan
keputusan tentang pengelolaan data. Manajemen data terdiri
dari pengumpulan dan analisis informasi yang terkait dengan
pokok permasalahan.
Sementara itu
tahap
perencanaan
membutuhkan
evaluator untuk memiliki keterampilan bernegosiasi yang baik
dalam situasi tertentu, tahap obtaining terdiri dari:
a. Menentukan cara yang paling tepat mengumpulkan data
b. Sampling (jika diperlukan)
c. Memantau pengumpulan data
d. Menyiapkan dan menerapkan teknik analisis yang tepat.
Tahap obtaining membutuhkan evaluator yang memiliki
keterampilan kreatif dan analitis.
Pengumpulan data berarti perakitan informasi mentah.
Cara pengumpulan data dapat diringkas sebagai berikut:
a. Langsung dari individu yang diidentifikasi sebagai sumber
informasi
1) Laporan diri
buku harian atau catatan anekdot
daftar hadir atau inventaris
peringkat skala dan perbedaan semantik
kuisioner
v. respon tertulis
2) Produk pribadi
tes
sampel pekerjaan
b. Disusun oleh pengamat independen
1) Catatan tertulis
2) Bentuk pengamatan
jadwal pengamatan
Skala peringkat
Daftar ceklist dan inventori
Respon lisan, baik individu maupun kelompok
c. Informasi yang diperoleh dengan menggunakan peralatan
audio visual
1) Rekaman
a. Audio tape
b. Video tape
2) Fotografi
perangkat lain
komputer untuk pengumpulan respon
d. Dari catatan yang ada
1) dokumen publik
2) arsip
3) data base
Ada kecenderungan untuk membahas pengumpulan dan
analisis data baik kuantitatif maupun kualitatif. Ini keliru karena
sejumlah alasan, termasuk pandangan epistemologists bahwa
pembagian antara metode kuantitatif dan kualitatif agak artificial
(Reichardt and Cook, 1979). Pada tingkat yang lebih operasional,
kenyataannya adalah bahwa banyak masalah-masalah evaluasi
hanya dapat diatasi setelah mempertimbangkan data kuantitatif
dan kualitatif.
Setelah teknik pengumpulan data, maka perlu ditinjau halhal berikut:
Apakah data yang dikumpulkan memberikan gambaran yang
komprehensif tentang apa yang sedang dievaluasi?
Apakah rencana manajemen data membuat penggunaan
efektif dari data yang ada?
Apakah biaya pengumpulan
mengingat jumlah dan jenis informasi yang tersedia?
Apakah informasi dapat diandalkan?
Dapatkah pengumpulan data dilakukan tanpa mengganggu
data
dapat
dibenarkan,
program dan mengambil terlalu banyak waktu bagi penyedia
program?
Apakah prosedur pengumpulan datanya legal dan etis?
Dapatkah
data
dikumpulkan
dan
dianalisis
dalam
keterbatasan waktu penelitian?
Analisis data
Analisis data berarti pengolahan data melalui interaksi dari tiga
proses:
Pengurangan data, proses menyederhanaan dan mengubah
informasi data awal sesuai prosedur atau aturan.
Data display, pengembangan suatu informasi yang mengarah
ke gambaran kesimpulan tentang pertanyaan evaluasi.
Penggambaran kesimpulan, membuat makna data dalam
konteks yang lebih luas dari isu evaluasi yang diteliti.
Banyak teknik untuk analisis data kuantitatif
telah
dikembangkan dari waktu ke waktu, dan dapat diakses oleh
evaluator melalui paket komputer canggih seperti Paket statistik
sosial (SPSSx).
Sumber atau alat untuk mendapatkan data/informasi yang
digunakan untuk membuktikan indikator dan sasaran program
mulai dari masukan, keluaran, hasil, manfaat dan dampak.
Sebagai contoh:
a. Data mengenai masukan (seperti besarnya dana dan rincian
kegiatan),
dapat
diperoleh
dari
Departemen
teknis,
Kanwil/Dinas, Pemimpin Proyek, Direktorat Jenderal AnggaranDepartemen Keuangan, konsultan, kontraktor, dan instansi
terkait.
b.
Data mengenai keluaran (apakah kegiatan-kegiatan proyek
dapat diselesaikan sesuai rencana), dapat dicari data dan
informasinya pada departemen teknis, instansi terkait dan
pemerintah daerah dimana program tersebut berlokasi.
c.
Data dan informasi mengenai berfungsinya/hasil suatu
keluaran, dapat diperoleh dari departemen teknis, instansi
terkait,
penerima
manfaat,
pemerintah
daerah,
dan
masyarakat di sekitar lokasi proyek.
d. Data dan informasi mengenai manfaat dapat ditanyakan pada
penerima manfaat, Bappeda/Kanwil/Dinas, instansi terkait dan
masyarakat sekitar lokasi program.
e.
Data dan informasi untuk dampak dapat ditanyakan dan
diteliti di lapangan untuk setiap tingkatan indikator kinerja
yang
akan
diukur
seperti
departemen
teknis,
penerima
manfaat, Kanwil, Dinas, Bappeda, Kantor statistik setempat,
dan instansi terkait.
4. Pelaporan Hasil Evaluasi
Pelaporan hasil evaluasi dengan penyusunan indikator dan
sasaran kinerja didasarkan pada aturan yang relevan dengan
program
6. KESIMPULAN
Bab ini menekankan pentingnya bagi evaluator untuk
memahami secara garis besar tahapan dalam melaksanakan
evaluasi program meliputi: tahapan persiapan evaluasi program,
tahap pelaksanaan, dan tahap monitoring. Tahapan persiapan
evaluasi program meliputi: penyusunan evaluasi, penyusunan
instrumen evaluasi, validasi instrumen evaluasi, menentukan
jumlah sampel yang diperlukan, penyamaan persepsi antar
evaluator sebelum data di ambil.
Penyusunan
evaluasinya,
terkait
dengan
model
diantaranya; model CIFF, model Metfessel and Michael, model
Stake, model Kesenjangan, model Glaser, model Michael Scriven,
model Evaluasi Kelawanan, dan model Need Assessment.
Evaluasi program dapat dikategorikan evaluasi reflektif,
evaluasi rencana, evaluasi proses dan evaluasi hasil. Keempat
jenis
evaluasi
tersebut
mempengaruhi
evaluator
dalam
menentukan metode dan alat pengumpul data yang digunakan.
Dalam pengumpulan data dapat menggunakan berbagai
alat pengumpul data antara lain : pengambilan data dengan tes,
pengambilan data dengan observasi (bias berupa check list, alat
perekam suara atau gambar), pengambilan data dengan angket,
pengambilan data dengan wawancara, pengambilan data dengan
metode analisis dokumen dan artifak atau dengan teknik lainnya.
Dosen Pengampu : DR. H. Rusyadi, M.Pd
Conducting an
Evaluation
John M Owen
Melakukan
Evaluasi Program
oleh:
Ahmad Faisal, S.Pd.T
Nur Intang, S.Pd
Junaidin, S.T
Nurdewi, S.Pd
PEP. KEPENGAWASAN
PROGRAM PASCASARJANA UNM
2016
1. PENDAHULUAN
Program adalah suatu rencana yang melibatkan berbagai
unit yang berisi kebijakan dan rangkaian kegiatan yang harus
dilakukan
adalah
dalam
kurun
kegiatan
untuk
bekerjanya
sesuatu,
waktu
tertentu.sedangkan
mengumpulkan
yang
selanjutnya
evaluasi
informasi
tentang
informasi
tersebut
digunakan untuk menentukan alternatif yang tepat dalam
mengambil keputusan.
Evaluasi program adalah suatu unit atau kesatuan kegiatan
yang bertujuan mengumpulkan informasi tentang realisasi atau
implementasi dari suatu kebijakan, berlangsung dalam proses
yang berkesinambungan, dan terjadi dalam suatu organisasi
yang
melibatkan
sekelompok
orang
guna
pengambilan
keputusan.Dalam kegiatan penelitian peneliti ingin mengetahui
gambaran tentang sesuatu kemudian dideskripsikan, sedangkan
dalam evaluasi program, pelaksana (evaluator) ingin mengetahui
seberapa
tinggi
mutu atau kondisi sesuatu sebagai hasil
pelaksanaan program, setelah data terkumpul dibandingkan
dengan kriteria atau standar tertentu.
Dalam kegiatan penelitian, peneliti dituntun oleh rumusan
masalah,
sedangkan
dalam
evaluasi
program,
pelaksana
(evaluator) ingin mengatahui tingkat ketercapaian program, dan
apabila tujuan belum tercapai pelaksana (evaluator) ingin
mengetahui letak kekurangan dan sebabnya. Hasilnya digunakan
untuk menentukan tindak lanjut atau keputusan yang akan
diambil.
Ciri dan persyaratan evaluasi program mengacu pada
kaidah yang berlaku, dilakukan secara sistematis, teridentrifikasi
penentu
keberhasilan
dan
kebelumberhasilan
program,
menggunakan tolok ukur baku, dan hasil evaluasi dapat digunkan
sebagai tindak lanjut atau pengambilan keputusan. Program
merupakan satu kesatuan dari beberapa bagian atau komponen
yang saling berkait untuk mencapai tujuan yang ditentukan oleh
sistem tersebut. Komponen tersebut merupakan satu kesatuan
yang tidak terpisahkan. Masing-masing komponen terdiri atas
beberapa
subkomponen
dan
masing-masng
subkomponen
terdapat beberapa indikator.
Dalam kegiatan evaluasi program, indikator merupakan
petunjuk untuk mengetahui keberhasilan atau ketidakberhasilan
suatu kegiatan. Perlu diketahui bahwa ketidakberhasilan suatu
kegiatan
dapat
juga
dipengaruhi
oleh
komponen
atau
subkomponen yang lain. Evaluasi program bertujuan untuk
mengetahui
pencapaian
tujuan
program
yang
telah
dilaksanakan. Selanjutnya, hasil evaluasi program digunakan
sebagai dasar untuk melaksanakan kegiatan tindak lanjut atau
untuk melakukan pengambilan keputusan berikutnya.
Evaluasi sama artinya dengan kegiatan supervisi. Kegiatan
evaluasi/supervisi dimaksudkan untuk mengambil keputusan
atau
melakukan
tindak
lanjut
dari
program
yang
telah
dilaksanakan. Manfaat dari evaluasi program dapat berupa
penghentian program, merevisi program, melanjutkan program,
dan menyebarluaskan program. Evaluator program harus orangorang yang memiliki kompetensi yang mumpuni, di antaranya
mampu melaksanakan, cermat, objektif, sabar dan tekun, serta
hati-hati dan bertanggung jawab. Evaluator dapat berasal dari
kalangan internal
(evaluator dan pelaksana
program) dan
kalangana eksternal (orang di luar pelaksana program tetapi
orang yang terkait dengan kebijakan dan implementasi program).
2. PELAKSANAAN EVALUASI
Dalam pedoman pelaksanaan evaluasi, secara umum
melibatkan
tiga
tahap
yang
saling
terkait,
yaitu:
(1)
merencanakan penelitian, (2) memperoleh informasi, dan (3)
berkomunikasi dengan pihak yang berkepentingan mengenai
kemajuan penelitian dan temuannya. Untuk memastikan bahwa
evaluasi
itu
efektif,
evaluator
perlu
mengembangkan
keterampilan untuk melaksanakan setiap tahapan tersebut.
Pada tahap pertama penekanannya pada kemampuan
negosiasi, dan keterampilan interpersonal yang diperlukan. Pada
tahap kedua penekanannya pada pemilihan pendekatan yang
tepat dan pengumpulan serta analisis data, dan informasi
keterampilan manajemen yang diperlukan. Pada tahap ketiga
penekanan pada pelaporan, dan keterampilan berkomunikasi
yang diperlukan. Seorang evaluator yang baik berpikir tentang
tahap perencanaan dan berkomunikasi mengenai komponen
manajemen data. Seperti Barrington (1990) menunjukkan bahwa
hal ini membutuhkan keterampilan dan negosiasi yang cukup,
yang sebagian besar tidak diajarkan dalam pelatihan evaluasi.
Tahapan Pelaksanaan Evaluasi secara umum terdiri atas 4
tahapan. yaitu:
a. Perencanaan.
b. Penyusunan indikator dan sasaran program
c. Pelaksanaan evaluasi program
d. Pelaporan hasil evaluasi program
Sebuah evaluasi dapat dilakukan sebagai satu tahap yang
bergulir dari perencanaan, perolehan informasi dan komunikasi.
Hal ini juga harus dicatat bahwa tahapan-tahapan tersebut saling
bergantung. Misalnya, suatu pedoman yang menyatakan:
“Bagaimana setiap fase/tahap pendekatan memiliki efek
langsung pada fase lain. misalnya tahap definisi dan
perencanaan awal akan menentukan ruang lingkup evaluasi dan
juga merupakan parameter untuk tahap pengumpulan data
selanjutnya (Program and Strategic Review Branch, Queensland
Trearsury, 1990: 3).
Perlunya
mengembangkan
negosiasi
dan
kemampuan
berkomunikasi dalam keterampilan manajemen data tidak bisa
terlalu ditekankan. Evaluasi yang baik adalah pengumpulan data
dan analisis yang baik, apakah evaluatornya adalah orang luar
atau orang dalam.
Dimasukkannya tahap perencanaan dan berkomunikasi
membantu kita untuk membedakan evaluasi dari beberapa jenis
penelitian,
terutama
yang
didasarkan
pada
'paradigma
eksperimental'. Dalam paradigma ini, dampak dari intervensi
atau perlakuan ditentukan dengan menerapkan ke sampel yang
dipilih secara acak, sementara pada saat yang sama menolak
perlakuan untuk kelompok kontrol. Kesimpulan tersebut diambil
dengan membandingkan perubahan pada kelompok eksperimen
dengan mereka yang berada di kelompok kontrol. Tentu saja ada
banyak pendekatan pada penelitian yang tidak didasarkan pada
paradigma
eksperimental,
dan
banyak
dari
mereka
menggunakan data kualitatif, atau bukan, informasi yang bersifat
kuantitatif.
Evaluasi dan penelitian bergantung pada pengumpulan
data dan teknik analisis (baik dalam domain kualitatif maupun
kuantitatif), pelaksanaan penelitian dan evaluasi memiliki basis
epistemologis yang berbeda.
a. Dibandingkan
dengan
penelitian,
evaluator
harus
mencurahkan energi dan sumber daya yang cukup untuk
memastikan
bahwa
rencana
yang
memadai
dan
dapat
diterima dan dikembangkan, dan bahwa temuan evaluasi
dimengerti oleh klien. Dalam evaluasi besar dalam pendidikan
guru, diperkirakan bahwa 40 persen dari sumber daya yang
tersedia untuk penelitian dikhususkan untuk perencanaan dan
komunikasi (Owen, Johnson dan Welsh, 1985). Ini berarti 60
persen untuk tahap perolehan. Hal ini penting bagi penilai
untuk menganggarkan
perencanaan dan komunikasi untuk
memperoleh alokasi sumber daya yang tersedia.
b. Penelitian ini sebagian besar berkaitan dengan penjelasan
umum yang dirancang untuk memajukan batas-batas dalam
bidang penelitian. Motivasi mayor adalah mencari generalisasi
dan penciptaan pengetahuan baru. Sebaliknya, evaluasi
berkonsentrasi pada intervensi yang spesifik dan termotivasi
oleh kebutuhan untuk menginformasikan keputusan tentang
intervensi tersebut -misalnya program atau kebijakan (Smith
dan Glass, 1987).
c. Mereka yang melakukan penelitian bertanggung jawab kepada
masyarakat ilmiah. Evaluator terikat pada beberapa atau
semua stakeholder dalam sebuah program.
d. Kebanyakan peneliti berupaya untuk mengambil posisi nilai
yang tertarik, sementara evaluasi dapat dipengaruhi oleh
posisi yang diambil oleh evaluator dalam kaitannya dengan
berbagai stakeholder.
e. Peneliti umumnya dapat mengasumsikan bahwa mereka
berkomunikasi dengan audiens, sehingga evaluator harus
melaporkan kepada audiens yang mungkin tidak terbiasa
dengan temuan penyelidikan sistematis.
f. Ada perbedaan yang berhubungan dengan pengumpulan data
dan analisis. Sebagaimana ditunjukkan di atas, sering kali ada
komitmen yang tinggi untuk menguraikan desain dalam
pelaksanaan penelitian, evaluator umumnya harus memilih
dari berbagai data yang terbatas untuk membuat keputusan
pada nilai program.
3. PERENCANAAN EVALUASI
Dalam perencanaan penyusunan indikator dan sasaran
program dapat ditempuh langkah-langkah sebagai berikut:
a. Penentuan obyek.
Pemahaman terhadap indikator dan sasaran program
1.1. Penentuan Obyek
Contoh obyek penyusunan indikator dan sasaran program
adalah kinerja proyek-proyek pembangunan yang termasuk
dalam DIP dan dokumen lain yang disamakan. Setiap
proyek
pembangunan
mencantumkan
yang
indikator
dan
diusulkan
sasaran
harus
kinerja
secara
lengkap.
1.2. Pemahaman Terhadap Indikator dan Sasaran Program
a). Definisi Indikator dan Sasaran Program
Indikator dan sasaran program adalah ukuran kuantitatif
atau kualitatif yang menggambarkan tingkatan tujuan
program yang telah ditetapkan dan mencakup indikator
masukan, keluaran, hasil, manfaat, dan dampak.
b).Fungsi Indikator dan Sasaran Program
Fungsi Indikator dan sasaran program:
1) Memperjelas tentang, apa, berapa dan kapan suatu
program dilaksanakan.
2) Menciptakan konsensus untuk menghindari kesalahan
interpretasi dan diskusi selama pelaksanaan kegiatan.
b. Membangun dasar bagi monitoring dan evaluasi.
1.3. Persyaratan penyusunan indikator dan sasaran program:
a) Spesifik dan jelas; sehingga tidak ada kemungkinan
kesalahan interpretasi.
b) Dapat diukur secara obyektif; yaitu 2 orang atau lebih
yang
mengukur
indikator
dan
sasaran
program
mempunyai kesimpulan yang sama.
c) Relevan;
indikator
dan
sasaran
program
harus
menangani aspek-aspek obyektif yang relevan.
d) Penting; indikator dan sasaran program harus berguna
untuk menunjuk keberhasilan operasional, keluaran,
hasil, manfaat dan dampak.
e) Sensitif terhadap perubahan; indikator dan sasaran
program harus cukup fleksibel dan sensitif terhadap
perubahan/penyesuaian pelaksanaan dan hasil program.
f) Terukur; baik secara kuantitatif maupun kualitatif.
g) Efektif; indikator dan sasaran kinerja yang digunakan
dapat
dikumpulkan,
diolah
dan
dianalisis
datanya
dengan biaya yang tersedia.
c. Penyusunan Indikator program
1) Indikator masukan dan kegiatan:
a)
Sebutkan rincian kegiatan yang akan dilaksanakan oleh
pelaksana program.
b)
Sebutkan jumlah dana dan jenis masukan yang akan
digunakan dalam kegiatan.
2) Indikator keluaran:
Tentukan
hasil
spesifik
yang
diharapkan
pelaksanaan kegiatan yang dirinci pada
dalam
yaitu mengolah
masukan menjadi keluaran.
3) Indikator hasil:
a)
Uraikan dengan singkat motivasi atau latar belakang
program dalam memproduksi keluaran.
b)
Bila keluaran sudah diproduksi, fungsi langsung apa
yang diharapkan dari keluaran.
4) Indikator manfaat:
Sebutkan harapan yang ingin dicapai bila keluaran dapat
diselesaikan
dan
berfungsi
seperti
diuraikan
dalam
indikator hasil.
5) Indikator sasaran dan dampak:
Jelaskan dasar pemikiran, latar belakang dan alasan
diproduksinya keluaran untuk tujuan yang paling tinggi,
sasaran sektoral, daerah atau nasional.
d. Penyusunan Indikator sasaran program
1) Indikator masukan:
a)
Cantumkan jumlah dana dalam nilai uang untuk setiap
jenis masukan.
b)
Tentukan unit kegiatan (investasi) yang dilakukan dalam
satu ruang lingkup program yang rinci.
c)
Identifikasi
jumlah
sumberdaya
manusia
yang
diperlukan dalam pelaksanaan kegiatan program.
d)
Tentukan
jangka
waktu
yang
diperlukan
untuk
pelaksanaan penyelesaian program.
2) Indikator Keluaran:
Tentukan
hasil
langsung
dari
pengolahan
masukan/pelaksanaan kegiatan.
3) Indikator Hasil:
Tentukan ukuran kuantitatif yang menunjukkan fungsi
langsung keluaran setelah program selesai, seperti jumlah
anak sekolah yang dapat ditampung.
4) Indikator Manfaat:
Tentukan ukuran yang menunjukkan manfaat keluaran
setelah setelah berfungsi dengan baik, seperti peningkatan
angka partisipasi anak sekolah.
5) Indikator Dampak:
a)
Identifikasi pengaruh positif dan negatif pada setiap
tingkatan
indikator
berdasarkan
asumsi
yang
telah
ditetapkan.
b)
Sebutkan sasaran yang paling jauh, tingkatan tujuan
tertinggi dari program.
c)
Cantumkan
sasaran
sektoral,
daerah,
atau
nasional.
Misalnya peningkatan penerimaan devisa negara dari
sektor pertanian melalui proyek perkebunan. Bila keluaran
proyek
perkebunan
dapat
berfungsi
meningkatkan
produktivitas tanah dan tanaman maka selanjutnya dapat
meningkatkan ekspor, memenuhi permintaan dalam dan
luar negeri (manfaat).
Evaluasi
berguna
harus
bagi
direncanakan
stakeholder.
dengan
Legitimasi
seksama
agar
mereka
harus
diperhitungkan selama proses berlangsung, namun perhatian
khusus harus diberikan kepada calon pengguna-keterlibatan
dalam tahap perencanaan, sebelum pengumpulan data atau
analisis
berlangsung.
Harus
ada
kesepakatan
antara
para
stakeholder yang wajar mengenai parameter luas evaluasi
sehingga
semua
pihak
mendapatkan
kejelasan
tentang
bagaimana hal itu akan dilanjutkan, dan harus ada kesadaran
tentang prestasi apa yang mungkin diharapkan dari itu.
Perencanaan
kedepan
dan
negosiasi
membangun
dukungan bagi upaya evaluasi. Meskipun ada perbedaan dalam
penekanan pada tingkat perencanaan sesuai dengan bentuk
evaluasi,
penggunaan
efektif
dari
hasil
evaluasi
sangat
tergantung pada semua pengaturan evaluator dan stakeholder
menyepakati perencanaan.
Pada titik ini harus diulang bahwa sering ada keragaman
pandangan antara para stakeholder tentang tujuan evaluasi.
Kelompok kepentingan yang berbeda mungkin memiliki agenda
yang berbeda tentang evaluasi program ini, dan itu sangat
penting bagi evaluator untuk menyadari agenda dalam tahap
negosiasi. Hal ini sulit, namun untuk melakukan evaluasi yang
mencerminkan kebutuhan semua kelompok stakeholder, dan
pada tahap awal negosiasi dengan mereka yang melakukan
pengawasan penelitian, evaluator harus menentukan kelompok
stakeholder yang akan dilayani.
Umumnya, kelompok ini menjadi audiens utama bagi
temuan evaluasi. Pengalaman menunjukkan bahwa evaluasi
melayani kebutuhan satu atau dua kelompok stakeholder. Mereka
adalah kelompok dengan evaluator yang menegosiasikan desain
evaluasi dan unsur-unsurnya.
4. KERANGKA RENCANA EVALUASI
Sebagaimana ditunjukkan di atas, tujuan dalam negosiasi
adalah
untuk
mengembangkan
rencana
evaluasi
di
mana
stakeholder primer dan evaluator setuju. Sedangkan rincian dari
rencana tersebut
dapat
dinegosiasikan tanpa perlu
struktur.
Ditemukan bahwa rencana yang paling memuaskan muncul dari
pengembangan tanggapan yang terkait dengan unsur-unsur
berikut.
a. Tujuan utama evaluasi.
Apakah evaluasi berkaitan dengan:
1) Menentukan cara program diimplementasikan?
2) Mensintesis informasi untuk membantu pengembangan
program?
3) Memperjelas program?
4) Meningkatkan pelaksanaan program?
5) Pemantauan hasil program?
6) Menentukan nilai program?
b. Audience untuk evaluasi.
Sebagaimana
disebutkan
di
atas
itu
adalah
kesalahpahaman untuk percaya bahwa evaluasi bisa, atau
harus, melapor ke sejumlah audiens. Audiens yang berbeda
membutuhkan
informasi
yang
berbeda
dan
identifikasi
audiens berfokus pada data. Dalam beberapa kasus, evaluator
akan menemukan bahwa ada entitas (individu atau kelompok
kecil)yang memiliki makna tertentu. Entitas ini mungkin
memiliki pengaruh atas keputusan-keputusan yang berkaitan
dengan program di bawah review, dan pandangan mereka
mungkin menarik bagi evaluator selama negosiasi.
c. Fokus areal evaluasi adalah .
Inti dari upaya evaluasi adalah:
1)
2)
3)
4)
Konteks
Desain
Proses
Hasil
Dalam hal pengembangan program evaluasi berikut, fitur
pada desain program dapat membantu
penentuan kriteria
evaluasi. Misalnya, evaluasi hasil bisa berhubungan dengan
tujuan
program.
Dalam
kasus
lain
evaluasi
mungkin
merupakan penilaian kebutuhan dan fokus pada konteksnya.
Atau, informasi evaluasi dapat membantu mengembangkan
program.
d. Kunci masalah penyelidikan.
Hal ini melibatkan pemilihan aspek yang paling penting
dari sebuah program yang akan diperiksa. Dalam prakteknya
ini adalah cara di mana evaluasi dapat dibuat lebih mudah
untuk dikelola, karena memaksa pihak yang berkepentingan
untuk berpikir tentang arah dasar evaluasi yang akan diambil.
Hal ini sangat umum bagi audiens. Misalnya panitia pengarah,
dewan sekolah, atau manajer tingkat menengah, mengajukan
daftar kunci masalah. Evaluator mungkin perlu bekerja
dengan audiens untuk mengurangi daftar ini.
e. Manajemen data.
Ini menentukan setiap kunci masalah, data yang paling
tepat untuk mengumpulkan dan bagaimana hal itu akan
dikumpulkan dan dianalisis. Ada banyak teknik pengumpulan
data yang sering digunakan oleh evaluator. Juga, ketika
membuat keputusan tentang analisis data, evaluator harus
mengingat
kecanggihan
audiens
dan
jika
mungkin,
memastikan bahwa temuan dapat dengan mudah dipahami.
f. Reporting.
Telah diketahui bahwa banyak evaluasi yang belum
memiliki dampak pada keputusan tentang program sosial dan
pendidikan karena evaluator tidak menggunakan teknik yang
efektif
untuk
menyebarluaskan
temuan.
Secara
khusus,
penggunaan laporan yang panjang sangat efektif dalam
mentransfer informasi. Teknik yang lebih kreatif sebaiknya
menekankan pada metode yang memungkinkan klien dan
audiens untuk berinteraksi dengan evaluator.
g. Sumber-sumber evaluasi.
Hal ini diperlukan bagi seseorang untuk diberi waktu
untuk merencanakan dan menyiapkan sistem manajemen
data yang tepat, dan secara umum bertanggung jawab atas
semua aspek evaluasi dalam tindakan. Eksternal evaluator
biasanya mengembangkan struktur untuk mengatasi realitas
dalam menjalankan operasi yang kompleks. Departemen
pemerintah
dan
perusahaan
swasta
mengembangkan
pengaturan internal untuk evaluasi. Ini sering mengambil
bentuk evaluasi yang memiliki anggaran yang terpisah,
sumber lain dan staf yang terlatih untuk membuat pekerjaan
evaluasi layak bagi organisasi. Hal ini dapat dilihat bahwa
sumber-sumber harus disisihkan untuk tujuan, bahkan dalam
studi kasus penelitian tindakan di mana mungkin tidak ada
perbedaan
yang
jelas
antara
evaluasi
dan
pengembangan/pelaksanaan tugas-tugas.
Kerangka yang diberikan di bawah ini dapat
berguna
dalam menetapkan rencana evaluasi yang berniat untuk
mensponsori atau melakukan, baik secara internal maupun
eksternal.
1) Tujuan evaluasi
Mengapa evaluasi dilakukan?
2) Audiens yang akan dievaluasi
Siapa yang akan menerima dan menggunakan informasi
tersebut?
3) Sumber daya yang akan dievaluasi
Bahan apa yang tersedia?
4) Fokus Evaluasi
Konteks, desain, proses, produk (unsur-unsur)?
5) Kunci pertanyaan evaluasi dan manajemen data
Bagaimana kita bisa mengumpulkan dan menganalisis data
sekitar kunci permasalahan?
(i) Pertanyaan-pertanyaan penting yang diajukan:
Sejauh mana ...?
Apakah ada ...?
Dalam hal apa ..?
Untuk setiap pertanyaan, menguraikan teknik pengelolaan
data yang akan digunakan.
Pertanyaan 1
Pertanyaan 2
Pertanyaaan 3
Pengelolaan data 1
Pengelolaan
data
2
Pengelolaan Data 3
6) Pengumpulan Data
Apakah sampling penting?
Apakah ada yang diketahui tentang hal dari sumber lain?
Bagaimana data dikumpulkan?
Analisis
Bagaimana data dianalisis untuk menjawab pertanyaan
evaluasi ?
(ii) Data manajemen
Untuk setiap pertanyaan merancang pengumpulan
data
rinci dan skema analisis.
7) Pelaporan informasi dari evaluasi
Apa itu format pelaporan?
Kapan pelaporan berlangsung?
Apakah itu layak direkomendasikan?
8) Standar perilaku
Sampai sejauh mana
standar-standar
untuk
evaluasi
berlaku. Misalnya bagaimana privasi dan hak-hak dari
mereka yang terlibat harus dilindungi?
9) Anggaran dan waktu
Berapa biaya evaluasi, dan apa yang akan dicapai selama
evaluasi?
Anggaran evaluasi
Beberapa indikasi dari jumlah sumber yang tersedia untuk
evaluasi
harus
dimasukkan
dalam
perencanaan.
Jika
evaluasi yang dilakukan secara eksternal, perlu bagi
evaluator menyediakan dana untuk biaya jasa dan sumber
daya terkait dan mengaturnya dengan jelas.
5. PELAKSANAAN EVALUASI
Obtaining merupakan tahap manajemen data yang
merupakan bagian integral dari pekerjaan
harus
membuat
keputusan
yang
evaluasi. Evaluator
menerjemahkan
tindakan
evaluasi ke dalam tindakan nyata, dan ini termasuk pengambilan
keputusan tentang pengelolaan data. Manajemen data terdiri
dari pengumpulan dan analisis informasi yang terkait dengan
pokok permasalahan.
Sementara itu
tahap
perencanaan
membutuhkan
evaluator untuk memiliki keterampilan bernegosiasi yang baik
dalam situasi tertentu, tahap obtaining terdiri dari:
a. Menentukan cara yang paling tepat mengumpulkan data
b. Sampling (jika diperlukan)
c. Memantau pengumpulan data
d. Menyiapkan dan menerapkan teknik analisis yang tepat.
Tahap obtaining membutuhkan evaluator yang memiliki
keterampilan kreatif dan analitis.
Pengumpulan data berarti perakitan informasi mentah.
Cara pengumpulan data dapat diringkas sebagai berikut:
a. Langsung dari individu yang diidentifikasi sebagai sumber
informasi
1) Laporan diri
buku harian atau catatan anekdot
daftar hadir atau inventaris
peringkat skala dan perbedaan semantik
kuisioner
v. respon tertulis
2) Produk pribadi
tes
sampel pekerjaan
b. Disusun oleh pengamat independen
1) Catatan tertulis
2) Bentuk pengamatan
jadwal pengamatan
Skala peringkat
Daftar ceklist dan inventori
Respon lisan, baik individu maupun kelompok
c. Informasi yang diperoleh dengan menggunakan peralatan
audio visual
1) Rekaman
a. Audio tape
b. Video tape
2) Fotografi
perangkat lain
komputer untuk pengumpulan respon
d. Dari catatan yang ada
1) dokumen publik
2) arsip
3) data base
Ada kecenderungan untuk membahas pengumpulan dan
analisis data baik kuantitatif maupun kualitatif. Ini keliru karena
sejumlah alasan, termasuk pandangan epistemologists bahwa
pembagian antara metode kuantitatif dan kualitatif agak artificial
(Reichardt and Cook, 1979). Pada tingkat yang lebih operasional,
kenyataannya adalah bahwa banyak masalah-masalah evaluasi
hanya dapat diatasi setelah mempertimbangkan data kuantitatif
dan kualitatif.
Setelah teknik pengumpulan data, maka perlu ditinjau halhal berikut:
Apakah data yang dikumpulkan memberikan gambaran yang
komprehensif tentang apa yang sedang dievaluasi?
Apakah rencana manajemen data membuat penggunaan
efektif dari data yang ada?
Apakah biaya pengumpulan
mengingat jumlah dan jenis informasi yang tersedia?
Apakah informasi dapat diandalkan?
Dapatkah pengumpulan data dilakukan tanpa mengganggu
data
dapat
dibenarkan,
program dan mengambil terlalu banyak waktu bagi penyedia
program?
Apakah prosedur pengumpulan datanya legal dan etis?
Dapatkah
data
dikumpulkan
dan
dianalisis
dalam
keterbatasan waktu penelitian?
Analisis data
Analisis data berarti pengolahan data melalui interaksi dari tiga
proses:
Pengurangan data, proses menyederhanaan dan mengubah
informasi data awal sesuai prosedur atau aturan.
Data display, pengembangan suatu informasi yang mengarah
ke gambaran kesimpulan tentang pertanyaan evaluasi.
Penggambaran kesimpulan, membuat makna data dalam
konteks yang lebih luas dari isu evaluasi yang diteliti.
Banyak teknik untuk analisis data kuantitatif
telah
dikembangkan dari waktu ke waktu, dan dapat diakses oleh
evaluator melalui paket komputer canggih seperti Paket statistik
sosial (SPSSx).
Sumber atau alat untuk mendapatkan data/informasi yang
digunakan untuk membuktikan indikator dan sasaran program
mulai dari masukan, keluaran, hasil, manfaat dan dampak.
Sebagai contoh:
a. Data mengenai masukan (seperti besarnya dana dan rincian
kegiatan),
dapat
diperoleh
dari
Departemen
teknis,
Kanwil/Dinas, Pemimpin Proyek, Direktorat Jenderal AnggaranDepartemen Keuangan, konsultan, kontraktor, dan instansi
terkait.
b.
Data mengenai keluaran (apakah kegiatan-kegiatan proyek
dapat diselesaikan sesuai rencana), dapat dicari data dan
informasinya pada departemen teknis, instansi terkait dan
pemerintah daerah dimana program tersebut berlokasi.
c.
Data dan informasi mengenai berfungsinya/hasil suatu
keluaran, dapat diperoleh dari departemen teknis, instansi
terkait,
penerima
manfaat,
pemerintah
daerah,
dan
masyarakat di sekitar lokasi proyek.
d. Data dan informasi mengenai manfaat dapat ditanyakan pada
penerima manfaat, Bappeda/Kanwil/Dinas, instansi terkait dan
masyarakat sekitar lokasi program.
e.
Data dan informasi untuk dampak dapat ditanyakan dan
diteliti di lapangan untuk setiap tingkatan indikator kinerja
yang
akan
diukur
seperti
departemen
teknis,
penerima
manfaat, Kanwil, Dinas, Bappeda, Kantor statistik setempat,
dan instansi terkait.
4. Pelaporan Hasil Evaluasi
Pelaporan hasil evaluasi dengan penyusunan indikator dan
sasaran kinerja didasarkan pada aturan yang relevan dengan
program
6. KESIMPULAN
Bab ini menekankan pentingnya bagi evaluator untuk
memahami secara garis besar tahapan dalam melaksanakan
evaluasi program meliputi: tahapan persiapan evaluasi program,
tahap pelaksanaan, dan tahap monitoring. Tahapan persiapan
evaluasi program meliputi: penyusunan evaluasi, penyusunan
instrumen evaluasi, validasi instrumen evaluasi, menentukan
jumlah sampel yang diperlukan, penyamaan persepsi antar
evaluator sebelum data di ambil.
Penyusunan
evaluasinya,
terkait
dengan
model
diantaranya; model CIFF, model Metfessel and Michael, model
Stake, model Kesenjangan, model Glaser, model Michael Scriven,
model Evaluasi Kelawanan, dan model Need Assessment.
Evaluasi program dapat dikategorikan evaluasi reflektif,
evaluasi rencana, evaluasi proses dan evaluasi hasil. Keempat
jenis
evaluasi
tersebut
mempengaruhi
evaluator
dalam
menentukan metode dan alat pengumpul data yang digunakan.
Dalam pengumpulan data dapat menggunakan berbagai
alat pengumpul data antara lain : pengambilan data dengan tes,
pengambilan data dengan observasi (bias berupa check list, alat
perekam suara atau gambar), pengambilan data dengan angket,
pengambilan data dengan wawancara, pengambilan data dengan
metode analisis dokumen dan artifak atau dengan teknik lainnya.