PERMASALAHAN DAN SOLUSI
F. PERMASALAHAN DAN SOLUSI
Pada bagian ini, kita akan membahas berbagai persoalan yang ditemui selama evaluasi dan menawarkan solusi yang didasarkan pada pengalaman praktis kami.
1. Memperbesar pengumpulan (pool) para evaluator Keberhasilan evaluasi bergantung pada objektivitas dan
kredibilitasnya. Menurut pengalaman kami, jika pool para ilmuwan/insinyur yang mumpuni (memenuhi syarat) kecil, atau para ahli di bidang khusus tidak mudah didapat, maka sebagai akibatnya sangat kecil kemungkinan bisa menjamin objektivitas dan kredibilitas evaluasi. Karenanya perlu diperbesar pool evaluator yang memiliki prestasi akademik menonjol, pengalaman praktis yang luas dan keahlian istimewa. Berikut ini adalah dua ukuran yang dipakai NCSTEC:
Bagian Ketiga: Implikasi Evaluasi Program
a. Sumberdaya manusia yang memenuhi syarat (qualified) saling-tukar untuk memilih evaluator
Di China, departemen-departemen pemerintah yang berbeda mengetahui para ahli yang memenuhi syarat di bidangnya masing-masing dengan sangat baik dan menyimpan informasi pribadi terinci yang senantiasa diperbarui. Misalnya, Kementerian Industri Informasi telah membangun jaringan para tenaga ahli yang ada untuk bekerja di berbagai proyek teknologi informasi. NCSTEC bertujuan untuk memperkuat kerjasamanya dengan departemen pemerintah seperti itu dan saling- tukar sumberdaya manusianya.
b. Mencari bantuan internasional Pool para evaluator yang memenuhi syarat yang demikian kecil di China, bisa berarti bahwa kita perlu mendapatkan bantuan internasional. Tentu saja, hal ini akan lebih banyak memakan biaya, namun biaya itu dibenarkan untuk berbagai proyek penting yang berdampak besar pada strategi pembangunan nasional.
Cara-cara lain yang ditempuh ialah:
a. Memilih para evaluator yang sesuai Memilih evaluator yang tepat merupakan faktor kunci lain
yang menentukan keberhasilan evaluasi. The Centre telah mengembangkan database dengan rincian lebih dari 3000 tenaga ahli agar proses seleksi berjalan adil dan bisa diterima akal sehat. Sistemnya memungkinkan identifikasi secara cepat terhadap para ahli yang paling relevan dengan menggunakan indeks yang didasarkan pada kekhususan. Direktur program bisa memilih di antara mereka dengan menggunakan fungsi acak yang disediakan oleh sistem, meskipun fungsi ini bisa dikesampingkan oleh si direktur. Direktur juga bisa menggunakan informasi ini untuk menyaring setiap evaluator yang berhubungan dengan lamaran proyek.
Sistem database kedua menyimpan rekaman penilaian kinerja evaluator secara individual. Penilaian itu, yang
Evaluasi Program: Teks Pilihan untuk Pemula
mencakup keahlian, moralitas dan kepribadian, diambil oleh komite khusus di NCSTEC.
b. Mengupayakan agar sejauh mungkin para evaluator mengikuti kesamaan aturan Sebelum memulai pekerjaannya, para evaluator menerima
serangkaian perintah dari direktur program, untuk membawa serta dokumen lamaran proyek. Rangkaian ini terdiri dari tiga bagian. Bagian pertama merupakan paparan terinci mengenai prosedur evaluasi generik. Yang kedua memperkenalkan metode penskoran yang diberi bobot, bersama dengan gambar sistem indikator yang sesuai. Bagian ketiga terdiri dari tabel- tabel yang akan diisi oleh evaluator. Ini dimaksudkan untuk menjamin bahwa evaluator memahami metodenya dan mengikuti aturan yang sama pada saat mereka melakukan evaluasi. Meskipun demikian, pada praktiknya, terbukti hal ini tak-memadai untuk bisa menjamin konsistensi; sebenarnya, tak mungkin bisa demikian, ukuran apa pun yang diambil. Yang bisa kita lakukan adalah mengupayakan agar evaluator, sejauh mungkin, mengikuti aturan yang sama.
Dalam hal ini, pelatihan mengenai cara-cara melaksanakan evaluasi memainkan peranan penting. Karena ada begitu banyak evaluator, yang selalu memungkinkan untuk menjalankan program pelatihan formal, sumberdaya utamanya adalah pelatihan informal yang disampaikan melalui seminar, lokakarya singkat dan pendistribusian bahan kursus.