PENGUMPULAN DAN ANALISIS DATA PRIMER

D. PENGUMPULAN DAN ANALISIS DATA PRIMER

Keyakinan, rancangan, keterampilan, dan persiapan merupakan keseluruhan konteks untuk mempertimbangkan evaluasi kualitatif. Meskipun demikian, semuanya itu hanya merupakan persiapan untuk aktivitas utamanya, yaitu pengumpulan dan analisis data. Pengumpulan data yang

10 Miller, D.G. (1991). Handbook of research design and social measurement. Newbury Park, Calif.: Sage.

Evaluasi Program: Teks Pilihan untuk Pemula

terbaik adalah apabila pertanyaan-pertanyaan evaluasi mendefinisikan secara jelas tujuan kajiannya dan mendorong ke arah strategi sampling yang dapat dipertahankan.

1. Strategi-strategi Pengumpulan Data Pada umumnya terdapat beberapa strategi pengumpulan

data kualitatif yang mungkin dipertimbangkan oleh seorang evaluator. Salah satunya adalah observasi, yang terdiri dari beberapa bentuk. Observasi langsung atau unrestricted paling baik untuk diterapkan manakala kehadiran pengamat tidak mempengaruhi pengumpulan datanya, apabila pencatatan hasil amatan sekitarnya merupakan sesuatu yang alamiah bagi observer. Unsur-unsur seperti cara perancangan kantor, layanan apa yang ditawarkan, dan bagaimana cara interaksi antar-orang, semuanya dinilai melalui observasi langsung. Dalam kasus seperti ini, pengamat dapat sekadar mencatat atau merekam apa yang ia amati dengan sangat rinci. Apabila terdapat indikator-indikator tertentu yang harus diamati, seperti interaksi orang, maka evaluator dapat menggunakan petunjuk pengumpulan data spesifik untuk tujuan tersebut. Observasi partisipatif terletak di ujung lain spektrum strategi observasi. Dalam observasi jenis ini, evaluator benar-benar seorang peserta dengan kualifikasi penuh dari situasi yang sedang dikaji, seperti klien program atau anggota staf.

Strategi pengumpulan data kualitatif kedua adalah document examination . Dokumen dapat sangat bervariasi dalam hal liputan rincian, reliabilitas, dan konsistensi dengan dokumen lain. Misalnya jenis kebijakan dan petunjuk yang dikeluarkan oleh organisasi objek kajian. Dalam melaksanakan analisis, dipertimbangkan apakah mereka saling mendukung satu sama lain. Misalnya, jika sebuah organisasi telah menerbitkan buku petunjuk perencanaan strategis, apakah organisasi itu mendukung instruksi kebijakan formal untuk menyerahkan suatu rencana strategis dan untuk mendukung anggaran? Apakah organisasi itu telah menentukan kriteria mengenai bagaimana caranya rencana dan anggaran tersebut dievaluasi agar mendapatkan persetujuan, dan jika memang

Bagian Kedua: Isu-isu Metodologis

telah ditentukan, bagaimana mereka mengkaitkan-ulang kriteria tersebut dengan buku petunjuk perencanaan strategisnya? Jenis komparasi seperti ini mengandung informasi mengenai bagaimana perencanaan diimplentasikan secara aktual.

Alat pengumpul data kualitatif yang ketiga adalah wawancara. Wawancara kualitatif pada umumnya tidak begitu terstruktur. Pengumpulan dan analisis data pada akhirnya menyatu secara bersamaan. Pewawancara mengikuti leads wawancara ke arah berbagai topik baru atau mencoba membangun pemahaman yang lebih dalam lagi dengan menanyakan pertanyaan-pertanyaan klarifikasi. Dalam beberapa kajian kualitatif, kemampuan untuk mendengarkan dan mengeksplorasi secara aktif sering menjadi faktor yang menentukan keberhasilan wawancara. Diperlukan daftar “areas of coverage” (bidang dan pertanyaan yang berpeluang besar untuk muncul selama wawancara) pada orang yang akan diwawancara. Daftar itu dibuat berdasarkan pada pertanyaan evaluasi, tinjauan pustaka, diskusi dengan kelompok, dan sebaginya. Daftar yang diberikan pada interviewee tergantung pada fokus evaluasinya.

Pada umumnya fieldwork (kerja-lapangan) meng- kombinasikan ketiga strategi pengumpulan data, dengan field notes mempersiapkan sumber data ke dalam bentuk wawancara tertulis (transcribed interviews), observasi, dan tinjauan dokumen. Meskipun salah satu bentuk data dapat menjadi bentuk yang dominan, namun evaluator harus tetap memanfaatkan semua sumber informasi untuk membangun basis-data kualitatif.

2. Persiapan Analisis Perencanaan berbagai aktivitas analisis dalam satu

evaluasi harus mendahului pengumpulan data aktual, walaupun strategi analisis dapat berubah selama berlangsungnya pengumpulan data. Sebenarnya, kata analisis dapat menjadi sangat luas di dalam pendekatan kualitatif, karena analisis diinterpretasi sebagai tiga aliran aktivitas yang

Evaluasi Program: Teks Pilihan untuk Pemula

bergerak secara serentak. Aliran aktivitas pertama adalah reduksi data yang mempersempit data terkumpul yang akan dianalisis. Aliran kedua adalah data display (unjukan data) yang dimaksud untuk mengorganisasikan data agar dapat dianalisis secara lebih baik. Ketiga adalah penarikan kesimpulan dan verifikasi.

Reduksi data sesungguhnya bertolak dari tahap pengumpulan data aktual. Reduksi data merupakan proses seleksi, pemfokusan, simplifikasi, abstraksi, dan transformasi data mentah dari filed notes dan sumber-sumber lain. Reduksi data muncul di awal evaluasi manakala evaluator menentukan pertanyaan, memilih situs untuk sampel, menetapkan pendekatan pengumpulan data, menentukan cara untuk mengkode-kan dan mengkategorisasi data, dan mengerjakan apa yang telah diseleksi sebagai unit analisis.

Biasanya, seorang evaluator kualitatif akan segera mengakumulasikan banyak informasi dalam waktu singkat. Tugas kritis evaluator pada akhir studi bukanlah mengakumulasikan seluruh data melainkan membebaskan diri dari sebagian besar data yang telah diakumulasikan. Tujuan reduksi data adalah agar kecukupan konteks untuk temuan evaluasi terpenuhi dan untuk lebih memfokuskan perhatian pada topik yang sedang dikaji. Yang sering terjadi adalah bahwa evaluator mengumpulkan data secara berlebihan tanpa mempedulikan kesesuaian kumpulan data dengan framework cakupan kajiannya.

3. Strukturisasi Kumpulan Kumpulan data dan analisis preliminary harus

diorganisasikan agar dapat menangkap data yang paling relevan. Pertanyaan evaluasi yang asli harus memberikan keseluruhan framework analisisnya. Akan sangat membantu jika dipersiapkan pertanyaan evaluasi utama, menurunkan pertanyaan-bagian, lalu merumuskan pertanyaan atau bidang cakupan untuk pengumpulan data aktual. Sebelum in-depth fieldwork , evaluator dapat mempertimbangkan uji-coba (pilot testing ) pertanyaan-pertanyaan pendahuluan ini.

Bagian Kedua: Isu-isu Metodologis

4. Mengubah Field Notes Sebagaimana dikemukakan di muka, bertanya dengan

pertanyaan yang benar tidak menjamin tertangkapnya data yang paling relevan. Seorang evaluator yang mengadakan wawancara dan observasi harus menulis selengkapnya field notes segera atau sekurangnya dalam jangka waktu dua belas jam. Isinya akan berupa paparan lengkap mengenai konteks dan aktivitas yang meliputi orang, peristiwa, apa yang didengar, percakapan, dan physical settings. Catatan lapangan (Field notes) harus mudah terbaca dan disusun dengan tatanan kronologis. Catatan tersebut harus mencakup semua rincian yang relevan, karena akan menjadi sumber terciptanya berbagai pola peristiwa.

Analisis pendahuluan diawali dengan penentuan pola- pola ini. Laporan verbal harus dibedakan dengan laporan hasil ulangan atau laporan berdasarkan ingatan. Evaluator yang ‘memproses’ data ke dalam kategori seraya menulis catatan lapangan dapat menyulitkan analisis berikutnya. Hal yang mungkin hilang selama pendekatan ini adalah kata-kata interviewee beserta segala rinciannya. Kemudian, jika analisis menunjukkan bahwa ada satu bidang (mungkin peran seorang pendukung) yang sedang muncul sebagai bakal temuan penting, maka kemungkinan besar tak akan ada cara lain untuk menangkap indikasi serupa dalam wawancara yang lebih awal.

Data mentah, dalam bentuk verbal atau komentar-ulang, atau dalam bentuk catatan dari ingatan evaluator, harus ditangkap pada upaya awal; kemudian data tersebut harus dianalisis untuk kategorisasi dan klasifikasi. Ketika pengumpulan dan analisis berlangsung, kategori dan interpretasi dapat berubah karena evaluator memiliki lebih banyak informasi mengenai apa yang sedang terjadi.

5. Pengisian Celah Data Komprehensivitas data amatlah penting. Evaluator harus

menjamin bahwa semua data yang dibutuhkan tersedia dan bahwa setiap celah di dalam datanya berhasil diidentifikasi. Analisis kasus harus mengimitasi persiapan catatan dan

Evaluasi Program: Teks Pilihan untuk Pemula

menjadikan data sebagai paket sumber primer untuk masing- masing kasus. Analisis isi catatan lapangan harus dapat mengidentifikasi berbagai contoh, tema dan pola penting yang koheren. Evaluator harus mencermati catatan lapangan, seperti transkrip wawancara dan catatn kasus, dan mulai melabeli data serta mem-formulasi indeks data.

Di dalam field notes, evaluator harus memasukkan berbagai kesan, perasaan, dan pemikiran-pemikiran analitis awal pada saat catatan diformalkan. Ketika semuanya dialihkan ke dalam bentuk transkrip, evaluator dapat menempatkan hasil observasi di dalam teks dengan tanda kurung. Dengan demikian, field notes meliputi observasi empiris maupun interpretasi evaluator pada hasil amatannya (Babbie,

1989). 11 Kelak, dapat ditambahkan marginal notes (catatan pinggir) ketika transkrip itu diteliti atau diuji kembali. Pada beberapa kasus, wawancara lanjutan atau tinjauan dokumen dapat mengisi beberapa informasi yang tercecer, khususnya untuk kumpulan data yang diperoleh pada tahap awal evaluasi.

6. Analisis Isi Analisis evaluasi kualitatif biasanya memerlukan

pensortiran melalui sejumlah besar data teks (Pfaffenberger, 1988). 12 Analisis isi merupakan satu metode analitis yang menyelidiki makna dari data (Krippendorff, 1980). 13 Analisis demikian terutama merupakan operasi pengkodean tempat setiap bentuk komunikasi dikodekan atau diklasifikasikan sesuai dengan beberapa kerangka konsep (Babbie, 1989). 14 Komunikasi dapat meliputi bahan bahan tertulis, lukisan,

bahan video, dan nyanyian. Krippendorff (1980) 15 memberikan

11 Babbie, E. (1989). The practice of social research. (5 th ed.) Balmont, Calif: Wadsworth .

12 Pfafenberger, B. (1988). Microcomputer applications in qualitative research. Qualitative Research Methods Series. No. 14. Newbury Park, Calif.: Sage.

13 Krippendorff, K. (1980). Content analysis: An introduction to its methodology. The Sage CommText Serises. No. 5. Newbury Park, Calif.: Sage.

14 Op. Cit. 15 Op. Cit.

Bagian Kedua: Isu-isu Metodologis

sebuah paparan mengenai metodologi analisis isi dan mengenai kebutuhan untuk membedakan bahan yang relevan dengan yang tidak relevan, dengan terus-menerus mencari menggali makna yang paling akurat dari bahannya. Beberapa pertimbangan penting menyoroti persoalan interpretasi makna, unit analisis, kategori pengkodean, dan teknik-teknik pengkodean aktual.

Komunikasi tidak hanya memiliki makna tunggal melainkan dapat dipandang dari banyak perspektif. Konteks komunikasi juga dapat dapat mengklarifikasi makna. Evaluator yang berencana mengerjakan analisis isi masih harus menentukan pertanyaan apa yang akan dijawab dengan pendekatan tersebut, memilih bentuk komunikasi yang akan dianalisis, membentuk skema pengkodean, dan menentukan bagaimana membentuk sampel komunikasi untuk kumpulan dan analisis data.

Dalam analisis isi, coding merupakan aktivitas utama. Pemrosesan data melibatkan tugas unitizing dan categorizing (Lincoln & Guba, 1985). 16 Unitizing berarti mengidentifikasi satuan informasi terkecil mengenai sesuatu hal yang dapat berdiri sendiri - secara harfiah dapat dibandingkan dengan unit atau kalimat informasi (chunks) di dalam suatu komunikasi. Evaluator harus sudah paham mengenai apa yang membentuk unit analisis coding, seperti misalnya sebuah kalimat atau potongan-potongan yang terdiri dari beberapa

kalimat (Miles dan Huberman, 1984). 17 Kategorisasi melalui coding menyatukan unit-unit atau chunks tersebut dalam beberapa jenis hubungan di mana kode berfungsi sebagai piranti retrieval dan pengorganisasian. Dengan semuanya ini, evaluator dapat melihat pola dan memanipulasi datanya melalui pengelompokkan dan pendekatan analitis lain.

Kategori-kategori coding harus cukup fleksibel agar dapat mengimbangi sifat metodologi pengumpulan dan analisis data

16 Lincoln, Y.S. & Guba, E.G. (1985). Naturalistic inquiry. Newbury Park, Calif.: Sage.

17 Op.Cit.

Evaluasi Program: Teks Pilihan untuk Pemula

yang berkembang. Sebagaimana telah disebutkan di atas, kesulitan praktis yang terkandung di dalam coding biasanya berkisar pada makna chunks of data (unit data) yang dipilih sebagai unit analisis. Apalagi, seorang evaluator biasanya tidak dapat mengantisipasi kategori mana yang terlampau kecil untuk berdiri sendiri dan layak dipadukan ke dalam kategori yang lebih besar. Bertolak dari kategori yang terlampau luas akan menyebabkan hilangnya distingsi analitis penting.

Coding dalam analisis isi atau dalam bentuk riset kualitatif lain mensyaratkan adanya pelekatan nama-nama kategori pada unit dasar dari data riset lapangan. Kode dapat berupa tindakan, kegiatan, makna, partisipasi orang, hubungan, settings (keadaan, latar), perspektif, proses, peristiwa, strategi, hubungan, dan struktur sosial. Biasanya, kode merupakan singkatan atau simbol yang dikaitkan dengan satu segmen kata-kata di dalam field notes, transkrip wawancara, dan dokumen lain untuk mengklasifikasi kata-kata dengan beberapa cara tertentu. Coding dapat membantu mengidentifikasi masukan, proses, dan hasil.

Ada dua strategi penggunaan kategori, pola, atau tema untuk analisis data (Patton, 1987). 18 Evaluator dapat menggunakan kategori yang cenderung diartikulasikan oleh subjek kajian. Staf program dan para peserta lain sering menggunakan peristilahan khusus untuk memaparkan berbagai perbedaan aktivitas program, jenis partisipasi, dan karakteristik setting lainnya. Strategi lain adalah seleksi kategori atau pola oleh evaluator; kategori atau pola yang tidak diartikulasikan oleh staf program dan oleh peserta lain namun yang teridentifikasi oleh evaluator. Pada salah satu dari kedua strategi tersebut, evaluator berupaya mendapatkan pola yang mengarah ke sistem kategori.

Kode harus memiliki sifat unik yang signifikan. Kode yang mengidentifikasi kemunculan tema, pola, atau kategori pada umumnya disebut sebagai inferensial atau pattern codes. Kode

18 Op. Cit.

Bagian Kedua: Isu-isu Metodologis

bahkan dapat digunakan untuk mengkategorisasikan pernyataan reflektif atau analitis yang disisipkan ke dalam teks oleh evaluator ketika ia mempersiapkan field notes dan transkrip wawancara. Tidak semua bagian dari teks yang tersedia harus dikodekan, hanya teks yang secara langsung berhubungan dengan pertanyaan evaluasi. Pengkodean dapat dilakukan secara manual dengan menggunakan kartu indeks, atau secara terprogram dengan komputerisasi.