KIAT PENGGUNAAN METODE KUALITATIF

C. KIAT PENGGUNAAN METODE KUALITATIF

Jika seorang evaluator hendak menggunakan metode kualitatif secara baik, maka ia harus memahami keyakinan- keyakinan (prinsip) konseptual yang mendasari berbagai pendekatan kualitatif, bersikap terbuka pada rancangan yang fleksibel, memiliki keterampilan yang dibutuhkan, dan siap menghadapi evaluasi.

1. Keyakinan-keyakinan Konseptual Titik-tolak yang tepat bagi evaluator kualitatif adalah

mencermati berbagai keyakinan atau prinsip yang mendasari metode kualitatif. Prinsip utamanya adalah bahwa upaya kualitatif berangkat dari amatan terdekat dan terinci tempat muncul atau tidaknya berbagai pola. Evaluator menggunakan

7 Tesch, R. (1990). Qualitative research: analysis type and software tools. New York: Palmer Press.

Evaluasi Program: Teks Pilihan untuk Pemula

amatan close-up awal ini untuk menginterpretasi makna, mengembangkan kesimpulan umum sementara atau tentatif, mengidentifikasi variabel-variabel dan pertanyaan-pertanyaan baru yang dibutuhkan untuk pengumpulan data selanjutnya. Pengumpulan data berikutnya dibangun berdasarkan analisis data terdahulu yang dilakukan secara terus-menerus. Evaluator melakukan amatan ekstra, tinjauan kesimpulan, dan mengulangi semua itu sekali lagi di dalam suatu proses induksi analitis.

Prinsip utama lainnya adalah bahwa evaluator harus mengamati kejadian dan peristiwa kongkret secara langsung. Ia berhubungan secara langsung dengan apa yang sedang dikajinya. Evaluator mengamati physical program setting (pengesetan program fisik), pola interaksi di dalam lingkungan manusia dan sosial, kegiatan dalam program dan perilaku peserta, aktivitas dan interaksi informal, bahasa peserta program, komunikasi nonverbal, isyarat fisik, dokumen- dokumen program, dan apa yang tak terjadi (Patton, 1987). 8

Prinsip lain adalah bahwa evaluasi kualitatif berfokus pada suatu dunia natural. Evaluator memperhatikan rutinitas normal dan berupaya untuk memaknai aktivitas tersebut. Upaya ini merupakan satu kajian tentang perilaku sehari-hari yang merupakan faktor sentral evaluasi kualitatif.

Rutinitas normal yang dijumpai di dalam dunia natural diyakini sebagai suatu hasil dari custom, keadaan saat itu, dan interaksi terus-menerus. Perhatiannya pada custom, interaksi, dan faktor-faktor kontekstual lainnyalah yang menjadi kekuatan utama evaluasi kualitatif.

Prinsip penting terakhir adalah bahwa evaluasi kualitatif mengimplikasikan pemusatan pada cara-cara deskriptif, yang pada umumnya berupa deskripsi tentang apa yang sedang terjadi pada tempat dan waktu tertentu. Penyingkapan dan pengungkapan biasanya mendahului penjelasan dan prediksi. Meskipun demikian, hal ini tidak berarti bahwa analisis

8 Op. Cit.

Bagian Kedua: Isu-isu Metodologis

kualitatif menghindari upaya untuk menjelaskan atau mengeksplorasi kemungkinan hipotesis-hipotesis.

2. Rancangan Fleksibel Dengan adanya kelima prinsip ini, maka sebelum kajian

kualitatif dimulai, evaluator tak dapat merancang kajian tersebut dengan cara yang amat terstruktur dan definitif. Rancangan evaluasi kualitatif terbentuk di lapangan sebagai study progress melalui eksaminasi awal tujuan evaluasi, pencarian pustaka, sampling subjek penelitian, analisis induktif pada data, pengembangan grounded theory dari analisis induktif, dan lalu proyeksi untuk langkah-langkah evaluasi berikutnya. Proses pengumpulan, dan analisis data serta pengembangan temuan berlangsung sampai temuan- temuannya dapat dijelaskan secara tuntas.

Misalnya, di dalam satu kajian tentang manajemen sumberdaya informasi strategis, tujuan awal evaluasi adalah untuk memaparkan “best practices” (berbagai praktik/kerja terbaik) para manajer, dengan menggunakan satu pendekatan studi kasus. Studi-kasus merupakan bentuk populer evaluasi kualitatif yang meliputi penelitian pada individu, program atau proses secara mendalam. Upaya pencarian pustaka diarahkan untuk mendefinisikan bidang-bidang tertentu dari berbagai kemungkinan liputan, seperti struktur organisasi, keterlibatan dan komitmen manajemen puncak, pengembangan kerangka- kerja manajemen strategis, dan kapabilitas manajemen sumberdaya informasi, seperti struktur dan layanan keorganisasian yang kokoh. Untuk tujuan studi kasus maka diadakan seleksi organisasi berdasarkan reputasinya di antara komunitas manajemen sumberdaya informasi dan berdasarkan informasi dari evaluasi lain pada masa lalu. Pertanyaan studi kasus dirumuskan dari tinjauan pustaka dan diuji pada dua organisasi uji-coba (pilot organizations). Setelah uji-coba, pertanyaan tersebut diperhalus berdasarkan data yang terkumpul. Satu bagan temuan awal dibuat, ditambahkan, dan diorganisasi-ulang ketika studi kasus lainnya telah selesai disusun.

Evaluasi Program: Teks Pilihan untuk Pemula

Apa yang dipelajari dan disajikan evaluator bergantung pada seberapa jauh ia memahami dan mengumpulkan data di kancah, sebagaimana dalam studi kasus. Data harus dikumpulkan dan dianalisis menurut konteksnya, dan pemahaman akan konteks merupakan proses evaluasi yang penting. Misalnya, kajian mengenai best practices (kebiasaan/ praktik terbaik) dalam manajemen sumberdaya informasi strategis melibatkan organisasi yang lebih luas dan pemerintahan negara serta perusahaan-perusahaan sektor swasta. Tanpa mempertanyakan dan memahami segala sesuatu di dalam organisasi yang dapat mempengaruhi praktik/kebiasaan sumberdaya informasi strategis, maka kemungkinan besar evaluator akan keliru dalam menginterpretasikan datanya, atau bahkan keliru mengajukan pertanyaan.

Rancangan metodologi evaluasi, pengumpulan data, dan aktivitas analisis semuanya menyatu dalam kesatuan proses yang dibimbing oleh evaluator, sebagai instrumen yang sangat subjektif. Dalam kajian praktik/kebiasaan terbaik, pertanyaan direvisi (agar dapat mengumpulkan data yang comparable dan juga agar dapat menghasilkan deskripsi yang kaya mengenai konteks setiap studi kasus) pada saat wawancara diadakan, dan datanya diuji.

3. Keterampilan Evaluator Keterampilan merupakan aspek penting lain dalam

evaluasi kualitatif. Beberapa keterampilan menopang apa yang dapat dicapai secara efektif melalui instrumen evaluasi manusia dalam hal pengumpulan dan analisis data. Pertama-tama, seorang evaluator kualitatif yang baik akan mengajukan pertanyaan yang tidak mengaburkan jawaban. Pertanyaan wawancara tidak mengimplikasikan adanya upaya untuk memberikan judgement atau “ajakan” ke arah jawaban tertentu melalui cara pengutaraannya. Evaluator juga dilarang membiaskan jawaban dengan irama atau penekanan pertanyaan yang dikemukakannya.

Evaluator kualitatif yang baik seharusnya mampu mengajukan pertanyaan secara baik, mendengarkan jawaban,

Bagian Kedua: Isu-isu Metodologis

menginterpretasikan maknanya dalam konteks evaluasi, dan menyusun pertanyaan lain untuk merespon jawaban terdahulu atau untuk mengarah-ulangkan respondennya. Hal ini menuntut pemusatan perhatian pada apa yang sedang dan akan dikatakan, pengingatan pada apa yang telah dikatakan lebih dahulu oleh informannya atau oleh para informan lain, dan upaya pemantauan lapangan agar tidak menyimpang dari keseluruhan tujuan evaluasinya. Evaluator juga harus menjadi manajer yang sadar waktu, dengan menggunakan waktu kerja lapangannya, dan waktu informan secara efisien.

Evaluator juga harus menjadi pengamat yang terampil agar dapat melihat isyarat tak-langsung dari berbagai indikator seperti pengesetan program fisik dan komunikasi non-verbal. Ada atau tidaknya perlengkapan, personalia pendukung, atau jendela-jendela dapat mengandung lebih banyak pesan tentang arti pentingnya sebuah fungsi organisasi dibandingkan dengan apa yang dikatakan oleh seorang informan pada suatu wawancara tak-terstruktur. Evaluator juga mewarisi keterampilan penting dalam hal penulisan paparan, pencatatan field notes secara teratur, pembedaan antara detil dengan hal remeh, dan penggunaan motode ketat untuk memvalidasi amatan. Contoh dari kurangnya keterampilan untuk mengumpulkan data yang diperlukan adalah manakala seorang evaluator mengadakan wawancara mendalam yang sifatnya amat perseptif (menuntut kemampuan tinggi dalam hal pemahaman) namun ia tidak mampu menghasilkan filed notes yang detil, dan akurat untuk keperluan analisis dan pengumpulan data berikutnya. Meskipun evaluator dapat mengingat informasi tersebut dan sering merujuk wawancaranya itu ke dalam diskusi-diskusi tim, namun orang lain tidak dapat menggunakan secara efektif informasi tersebut untuk analisis data.

Keterampilan lain, evaluator seharusnya tidak terjebak dalam ideologi atau prakonsepsi pribadi, sebelum, selama, atau sesudah kerja lapangan yang sesungguhnya. Ia seharusnya peka dan tanggap pada bukti yang saling bertentangan.

Evaluasi Program: Teks Pilihan untuk Pemula

Evaluator kualitatif dapat terjebak dalam satu pola tertentu atau memiliki kecenderungan pada satu sumber data tertentu, tidak berkehendak untuk memelihara keterbukaan pikirannya pada berbagai alternatif lain. Dan seorang evaluator yang baik akan menerima pendekatan multidisiplin, dengan tidak membatasi diri-sendiri pada kegiatan pengumpulan atau analisis data yang paling sesuai dengan disiplinnya.

4. Persiapan Pada dirinya sendiri, keterampilan evaluasi yang menonjol

tidaklah mencukupi. Penguasaan utuh pada persoalan yang sedang dikaji hanya dapat dihasilkan dari persiapan.

Gummesson (1991) 9 menyebut hal ini sebagai “preunderstanding” - pemahaman evaluator pada persoalan dan konteks sebelum evaluasi dimulai. Evaluator harus mengumpulkan informasi dasar dan berupaya agar dapat familier dengan kancah alamiahnya sehingga ia akan dapat memahami proses-proses signifikan secara lebih baik, seperti pengambilan keputusan, implementasi, dan manajemen perubahannya. Pra- pemahaman dipengaruhi oleh berbagai faktor seperti pengetahuan tentang teori, konsep, model, dan pendekatan untuk mengidentifikasi, diagnosis, pendefinisian, dan analisis faktor–faktor utama dan berbagai hubungan.

Pengetahuan tentang karakteristik keorganisasian, seperti prosedur pengoperasian baku, struktur pengambilan- keputusan, dan mekanisme-mekanisme koordinasi khusus untuk industri, pasar, atau layanan tertentu, merupakan contoh preunderstanding lain. Para evaluator sektor publik harus memahami berbagai perbedaan dasar di antara organisasi dan budaya sektor publik dengan organisasi dan budaya sektor swasta. Seringkali, komponen-komponen utama kajian kualitatif ditugaskan ke para evaluator yang pernah mendapatkan pelatihan dan pengalaman yang sesuai dengan komponen tersebut.

9 Gummesson, E. (1991). Qualitative methods in management research. Newbury Park, Calif.: Sage.

Bagian Kedua: Isu-isu Metodologis

5. Biaya Biaya juga akan mempengaruhi rancangan evaluasi

kualitatif. Biasanya, evaluasi kualitatif memerlukan pengamatan ekstensif dan on-site dari evaluator yang akan memakan banyak waktu dan sumberdaya. Evaluasi kualitatif secara relatif dapat menjadi tidak mahal: seorang evaluator dan sebuah buku catatan. Meskipun demikian, bisa saja evaluasi tersebut melibatkan satu tim evaluator terlatih yang diperlengkapi dengan peralatan rekam canggih dan yang harus melakukan perjalanan secara ekstensif. Ada yang berpendapat bahwa penghematan menjadi sangat sulit apabila kita harus mengadakan evaluasi dengan pendekatan kualitatif.

Kerangka kerja yang baik untuk mengestimasi biaya evaluasi terdapat di dalam buku teks karya Miller (1991). 10 Kerangka tersebut merinci berbagai aktivitas seperti perencanaan kajian, pelaksanaan kajian pilot dan pra-uji, sampling , persiapan bahan-bahan untuk pengamatan, penseleksian dan pelatihan para evaluator, pengumpulan dan pengolahan data, dan persiapan laporan akhir. Apabila dibandingkan dengan metode-metode kuantitatif , seperti mail- out survey , maka kerja-lapangan kualitatif secara signifikan sering memakan lebih banyak biaya untuk gaji staf lapangan, dukungan kantor pusat, perjalanan, dan komunikasi. Pelatihan bagi banyak evaluator juga merupakan faktor biaya, sebagaimana aktivitas-aktivitas debriefing yang mencirikan kemajuan kajian kualitatif.