Evaluasi Efektivitas Sistem Informasi
2.4. Evaluasi Efektivitas Sistem Informasi
Organisasi umumnya memperoleh sistem informasi dengan dua cara: (1)
sistem informasi komersial dari penyedia software (Hall & Singleton, 2005; Hunton dkk, 2004; Martin dkk, 2005; Mustakini, 2005). Setelah sistem informasi diterapkan dan dioperasikan, proses evaluasi efektivitas dilaksanakan untuk menentukan sejauh mana sistem tersebut mencapai tujuan yang telah ditetapkan untuknya (Weber, 1999). Evaluasi efektivitas sistem informasi dan pemeriksaan kinerja atas aspek efektivitas sistem informasi merupakan satu irisan antara audit sistem informasi dan audit kinerja karena memiliki tujuan yang sama yaitu mengukur sejauh mana tujuan yang diharapkan atau outcome dicapai dengan penggunaan sistem informasi.
Menurut Weber (1999) evaluasi efektivitas sistem melibatkan enam langkah sebagai berikut:
a. Mengidentifikasi tujuan sistem informasi. Kadang tujuan ditetapkan secara jelas dan dapat diukur, tetapi kadang tujuan tidak ditetapkan dengan jelas.
b. Memilih pengukuran yang digunakan. Auditor harus mampu mengukur sejauh mana tiap tujuan sistem yang diidentifikasi telah dicapai. Pengukuran ini dapat bersifat kuantitatif dengan menggunakan kuesioner dan data statistik, maupun kualitatif dengan menggunakan metode wawancara dan observasi.
c. Mengidentifikasi sumber data. Berdasarkan pengukuran yang dipilih, auditor kemudian mengidentifikasi sumber-sumber data yang paling tepat.
d. Mendapatkan nilai-nilai ex ante pengukuran. Setelah auditor mengidentifikasi pengukuran dan sumber data yang tepat, auditor harus dapat menentukan nilai- nilai pengukuran tersebut sebelum sistem yang mereka evaluasi diterapkan. Nilai-nilai ini digunakan sebagai dasar untuk menentukan dampak dari sistem.
e. Mendapatkan nilai-nilai ex post pengukuran. Setelah sistem diterapkan, auditor kemudian harus mengumpulkan data untuk pengukuran yang telah dipilih untuk mengevaluasi efektivitas.
f. Menilai dampak sistem. Ketika auditor memiliki nilai-nilai pengukuran ex ante
dan ex post, auditor kemudian dapat menilai dampak sistem dengan membandingkan nilai-nilai dari dua kelompok pengukuran tersebut.
2.4.1. Model Efektivitas Sistem Informasi
Agar memampukan untuk mengevaluasi efektivitas sistem dan memahami mengapa sebuah sistem efektif atau tidak efektif, auditor memerlukan suatu model untuk menentukan hubungan antara faktor-faktor yang mempunyai dampak terhadap efektivitas sistem. Weber (1999) mengusulkan suatu model yang merupakan kombinasi dari hasil penelitian DeLone dan McLean (1992), Compeau dan Higgins (1995), dan Davis dkk (1989).
Model yang diusulkan oleh Weber ini menggunakan basis model kesuksesan sistem informasi DeLone dan McLean atau D&M IS Success Model (1992). Model ini kemudian diperbarui (DeLone dan McLean, 2003) dan dikenal sebagai model kesuksesan sistem informasi DeLone dan McLean diperbarui atau Updated D&M IS Success Model . Model tersebut dimodifikasi oleh Weber (1999) dengan menambahkan pengukuran-pengukuran “kegunaan persepsian” (perceived usefulness ) dan “kemudahan penggunaan persepsian” (perceived ease of use) dari TAM (Davis, 1989; Davis dkk, 1989) serta “keyakinan-sendiri komputer” (computer self-efficacy) dari teori keyakinan-sendiri (Marakas dkk, 2007;
Compeau dan Higgins, 1995). Penelitian ini tidak menggunakan model original DeLone dan McLean yang diusulkan oleh Weber sebab tidak mutakhir terutama untuk digunakan di e-commerce yang merupakan aplikasi yang belum banyak muncul di model awal (Mustakini, 2007a). Penelitian ini menggunakan istilah model kesuksesan sistem informasi DeLone & McLean atau Model D&M untuk menunjukkan maksud yang sama.
Model D&M diperbarui merefleksi ketergantungan dari tujuh pengukuran kesuksesan informasi seperti ditunjukkan dalam Gambar 2.5. Ketujuh elemen atau faktor atau komponen atau pengukuran dari model ini adalah:
a. kualitas informasi (information quality),
b. kualitas sistem (system quality),
c. kualitas pelayanan (service quality),
d. minat memakai (intention to use),
e. pemakaian (use),
f. kepuasan pemakai (user satisfaction), dan
g. manfaat-manfaat bersih (net benefits) Penjelasan mengenai masing-masing elemen atau faktor atau pengukuran di atas akan dibahas dalam bagian-bagian selanjutnya. Menurut Mustakini (2007a) model kesuksesan ini didasarkan pada proses dan hubungan kausal dari dimensi-dimensi di model. Model ini tidak mengukur tujuh dimensi pengukuran kesuksesan sistem informasi secara independen tetapi mengukurnya secara keseluruhan satu mempengaruhi yang lainnya.
Dari model ini dapat dijelaskan bahwa “kualitas sistem”, “kualitas informasi” dan “kualitas pelayanan” secara mandiri dan bersama-sama mempengaruhi baik “pemakaian” dan “kepuasan pemakai”.
Gambar 2.5. Model D&M diperbarui (dimodifikasi dari DeLone dan McLean, 2003; dan Mustakini, 2007a).
Pengukuran dari “pemakaian” mempunyai banyak dimensi, seperti misalnya pemakaian sukarela atau wajib, mendapat informasi (informed) atau tidak mendapat infomasi (uninformed), efektif lawan tidak efektif dan lainnya. DeLone dan McLean (2003) mengusulkan “minat memakai” sebagai pengukuran alternatif. “Minat memakai” adalah suatu sikap (attitude), sedang “pemakaian” adalah perilaku (behavior).
Seperti dalam formulasi awal Model D&M, “pemakaian” dan “kepuasan pemakai” sangat erat berhubungan. “Pemakaian” harus mendahului “kepuasan pemakai” sebagai suatu proses, tetapi pengalaman yang positif karena “memakai” akan mengakibatkan “kepuasan pemakai” yang lebih tinggi sebagai suatu kausal. Demikian pula, peningkatan “kepuasan pemakai” akan mengakibatkan peningkatan “minat memakai”, dan kemudian “memakai”.
Sebagai hasil dari “pemakaian” dan “kepuasan pemakai”, “manfaat-manfaat bersih” tertentu akan muncul. Apabila sistem informasi dilanjutkan, maka diasumsikan bahwa “manfaat-manfaat bersih” menurut perspektif pemilik atau stakeholder sistem adalah positif, sehingga mempengaruhi dan menguatkan “pemakaian” dan “kepuasan pemakai” selanjutnya. Umpan balik ini masih valid bahkan untuk “manfaat-manfaat bersih” yang negatif. Kurangnya manfaat- manfaat positif akan mengakibatkan berkurangnya pemakaian dan kemungkinan pemutusan sistem. Tantangan bagi para peneliti adalah untuk mendefinisikan secara jelas dan hati-hati stakeholder dan konteks “manfat-manfaat bersih” diukur.
Menurut Weber (1999) auditor dapat menggunakan model tersebut dengan dua cara. Pertama, mereka dapat menggunakannya untuk menyusun pendekatan pengumpulan data yang diperlukan untuk menilai apakah suatu sistem memenuhi tujuan-tujuannya secara obyektif. Tiap komponen dalam model menunjukkan jenis-jenis bukti yang harus dikumpulkan oleh auditor untuk mencapai evaluasi global atas efektivitas sistem. Kedua, auditor dapat menggunakan model itu untuk membantu memahami mengapa suatu sistem efektif atau tidak efektif.
DeLone dan McLean mengusulkan model pengukuran kesuksesan e- commerce berdasarkan modifikasi model awal kesuksesan sistem informasi dan model yang diperbarui (Mustakini, 2007a). Meskipun penelitian ini tidak menggunakan pendekatan komersial e-business dalam mengevaluasi e- government, tetapi penelitian ini mengadopsi model kesuksesan e-commerce tersebut. Model tersebut mengevaluasi e-commerce dari perspektif pemakai DeLone dan McLean mengusulkan model pengukuran kesuksesan e- commerce berdasarkan modifikasi model awal kesuksesan sistem informasi dan model yang diperbarui (Mustakini, 2007a). Meskipun penelitian ini tidak menggunakan pendekatan komersial e-business dalam mengevaluasi e- government, tetapi penelitian ini mengadopsi model kesuksesan e-commerce tersebut. Model tersebut mengevaluasi e-commerce dari perspektif pemakai
2.4.2. Kualitas Sistem
Kualitas sistem digunakan untuk mengukur kualitas sistem pemrosesan informasi atau sistem teknologi informasi itu sendiri. Di lingkungan internet, kualitas sistem yang dinilai oleh pemakainya adalah ketergunaan (usability), ketersediaan (availability), keandalan (reliability), keadaptasian (adaptability), dan lama respon (response time). Pengukuran tambahan yang umum digunakan adalah kemanfaatan (usefulness), keresponan (responsiveness), keluwesan (flexibility), kefungsionalan (functionality), keskalaan (scalability), dan keinteraksian (interactivity).
Pengukuran baru yang khusus muncul di e-commerce adalah kustomisasi (customization), kemudahan navigasi (ease of navigation), privasi (privacy), dan keamanan (security) (Mustakini, 2007a).
2.4.3. Kualitas Informasi
Kualitas informasi mengukur kualitas informasi sebagai keluaran dari sistem informasi. Kualitas informasi menangkap isi dari e-commerce. Pengukuran ini misalnya adalah isi situs web harus personal (personalized), lengkap (complete), relevan (relevant), mudah dipahami (easy to understand), dan aman (secure).
Pengukuran-pengukuran yang baru diantaranya adalah isi yang dinamik (dynamic content) dan keragaman informasi (variety of information) (Mustakini, 2007a).
2.4.4. Kualitas Pelayanan
Kualitas pelayanan mengukur kualitas pelayanan sistem informasi. Dimensi ini menjadi lebih penting di lingkungan e-commerce dibandingkan di penerapan sebelumnya karena pemakai-pemakai sistem sekarang adalah pelanggan- pelanggan bukannya karyawan-karyawan atau pemakai-pemakai internal organisasi. Oleh karena itu dukungan yang jelek akan menyebabkan kehilangan pelanggan.
Kualitas pelayanan umumnya diukur dengan kecepatan respon (responsiveness), jaminan (assurance), empati (emphaty), dan layanan setelahnya (following-up service). Kualitas pelayanan juga diukur dengan efektivitas dari kemampuan dukungan on-line semacam jawaban-jawaban pertanyaan-pertanyaan yang sering ditanyakan, situs yang dapat disesuaikan sendiri, dan pelacakan order (Mustakini, 2007a).
2.4.5. Minat Memakai dan Pemakaian
Minat memakai digunakan untuk mengukur keinginan untuk melakukan perilaku memakai sistem informasi dan pemakaian adalah penggunaan keluaran suatu sistem informasi oleh pemakai. Seperti telah dijelaskan sebelumnya bahwa pengukuran pemakaian dapat mengakibatkan bias karena melibatkan banyak Minat memakai digunakan untuk mengukur keinginan untuk melakukan perilaku memakai sistem informasi dan pemakaian adalah penggunaan keluaran suatu sistem informasi oleh pemakai. Seperti telah dijelaskan sebelumnya bahwa pengukuran pemakaian dapat mengakibatkan bias karena melibatkan banyak
Dalam lingkungan e-commerce pemakaian mengukur semuanya dari mengunjungi suatu situs web, navigasi di dalam situs web, sampai ke pengambilan informasi dan mengeksekusi transaksi-transaksi di situs web (Mustakini, 2007a). Pengukuran-pengukuran yang umum digunakan adalah sifat pemakaian (nature of use ), pola-pola navigasi (navigation patterns), jumlah situs yang dikunjungi (number of site visits), dan jumlah transaksi yang dieksekusi (number of transactions executed ) (DeLone dan McLean, 2003).
2.4.6. Kepuasan Pemakai
Kepuasan pemakai adalah respon pemakai terhadap penggunaan keluaran sistem informasi. Dimensi ini seharusnya mengukur semua siklus pengalaman kepuasan pelanggan dari pengambilan informasi sampai ke pembelian oleh pelanggan, pembayaran oleh pelanggan, penerimaan oleh pelanggan, dan layanan kepada pelanggan.
Pengukuran-pengukuran yang umum digunakan adalah pembelian kembali (repeat purchases), kunjungan kembali (repeat visits) dan survei pemakai (user surveys ) (DeLone dan McLean, 2003).
2.4.7. Manfaat-manfaat Bersih
Manfaat-manfaat bersih digunakan untuk mengukur nilai bersih dampak positif dan negatif dari sistem informasi pada pemakai individual dan organisasi, Manfaat-manfaat bersih digunakan untuk mengukur nilai bersih dampak positif dan negatif dari sistem informasi pada pemakai individual dan organisasi,
DeLone dan McLean (2003) memberikan contoh penghematan kos (cost savings ), perluasan pasar (expanded markets) dan penjualan tambahan (incremental additional sales) sebagai dampak bagi organisasi dan penurunan biaya pencarian (reduced search costs) dan penghematan waktu (time savings) sebagai dampak bagi individu pelanggan.
Untuk menyusun pengukuran-pengukuran manfaat-manfaat bersih bagi masyarakat dalam e-government diperlukan analisis mendalam mengenai: kualifikasi untuk dapat dikatakan sebagai manfaat; siapa yang mendapat manfaat; dan tingkat analisis manfaat (Mustakini, 2007a).