Universitas Indonesia
4.3 Rancangan Pelaksanaan Evaluasi
Rancangan Pelaksanaan Evaluasi dijabarkan menjadi dua penjelasan singkat mengenai Teknik Pengumpulan data dan Instrumen Pengumpulan Data.
4.3.1 Teknik Pengumpulan Data
Pengumpulan data yang dilakukan dalam penelitian dibagi menjadi tiga macam jenis yakni wawancara, kuesioner, dan usability testing. Berikut dijabarkan secara singkat
mengenai masing-masing teknik dan tujuannya.
4.3.1.1 Wawancara
Wawancara dilakukan untuk melakukan pengumpulan data yang diperlukan terkait website LAPOR. Data-data yang diperlukan seperti jumlah pengguna baru LAPOR
dan jumlah pengguna yang kembali mengunjungi website LAPOR. Selain itu, untuk mendapatkan data jumlah laporan yang masuk ke dalam website LAPOR serta
jumlah pengguna LAPOR. Wawancara juga dilakukan untuk mengetahui profil dan tantangan dari LAPOR yang dijelaskan pada Bab 3. Selain itu, wawancara ini juga
berguna untuk merumuskan permasalahan penelitian.
4.3.1.2 Kuesioner
Kuesioner digunakan untuk mengukur nilai kepuasan pengguna terhadap masing- masing website. Menurut Nielsen 2006, jumlah yang disarankan dalam melakukan
pengumpulan data secara kuantitatif adalah 20 responden. Namun, untuk menghasilkan jumlah error ±10 maka, jumlah responden yang disarankan adalah
71 responden Nielsen, 2006. Maka dari itu, penulis menargetkan 100 responden yang mengisi kuesioner untuk data kuantitatif.
Kuesioner yang digunakan mengacu pada Standard Usability Questionnaires, yaitu Software Usability System SUS. SUS merupakan sebuah standar kuesioner yang
mengukur kepuasaan pengguna dalam menggunakan sebuah sistem. SUS juga dike
nal sebagai pengukuran kepuasan pengguna yang “quick and dirty” artinya penggunaan kuesioner SUS sangat cepat dan data yang dihasilkan dapat dipercaya
Sorflaten, 2010. Kuesioner SUS ini juga sudah banyak digunakan dalam proyek penelitian dan banyak digunakan pada masa revolusi industri Brooke, 1996.
Universitas Indonesia
Kuesioner ini terdiri dari sepuluh pernyataan berbeda dengan perbandingan antara pernyataan positif dan negatif adalah 5:5. Setiap pernyataan direpresentasikan
menggunakan skala Likert sebanyak lima atau tujuh buah. Penelitian ini menggunakan lima buah skala Likert sesuai dengan standar kuesioner SUS dengan
keterangan jika, 1: Sangat Tidak Setuju, 2: Tidak Setuju, 3: Netral, 4: Setuju, dan 5: Sangat Setuju.
Menurut Brooke 1996, pengisian kuesioner SUS dilakukan setelah responden menggunakan sistem yang dievaluasi. Beberapa manfaat yang dapat didapatkan
ketika menggunakan SUS Usability.gov, 2015, yaitu 1 mampu mengatur responden karena penggunaan skala yang mudah; 2 dapat digunakan dalam jumlah
kecil dengan hasil terpercaya; serta 3 sah, SUS mampu membedakan secara efektif sistem yang baik untuk digunakan dan yang tidak. Tabel di bawah ini merupakan
standar kuesioner yang digunakan dalam SUS. Tabel 4.3 Tabel Standar Kuesioner SUS
Sumber : Usability.gov
1 2 3 4 5
1 I think I would like to use this system.
2. I found the system unnecessarily complex.
3. I thought the system was easy to use.
4. I think that I would need the support of a technical
person to be able to use this system. 5.
I found the various functions in the system were well integrated.
6. I thought there was too much inconsistency in this
system. 7.
I would imagine that most people would learn to use this system very quickly.
Strongly disagree
Strongly agree
Universitas Indonesia
Tabel 4.3 Tabel Standar Kuesioner SUS sambungan
8. I found the system very cumbersome to use.
9. I felt very confident using the system.
10. I needed to learn a lot of things before I could get
going with the system.
Kuesioner di atas diterjemahkan ke dalam bahasa Indonesia dan disesuaikan dengan kebutuhan penelitian. Sebelum kuesioner ini disebar maka dilakukan face validity
uji keterbacaan kuesioner terhadap sepuluh orang yang dipilih secara acak. Pada akhir kuesioner, terdapat sebuah pertanyaan berupa open-ended question yang
digunakan sebagai data kualitatif. Adapun bentuk kuesioner yang sudah diterjemahkan dan diujicobakan terlampir pada Lampiran 1.
4.3.1.3 Usability Testing
Menurut Nielsen 2001, untuk mengidentifikasi permasalahan dalam desain sebuah sistem cukup menggunakan lima orang. Faulkner 2003 menyatakan bahwa jumlah
usability testing sebanyak lima orang hanya akan menemukan sebanyak 55 permasalahan usability. Untuk mendapatkan 90 permasalahan dalam usability
maka diperlukan sebanyak minimal 15 orang Faulkner, 2003. Tabel 4.4 Persentase banyaknya jumlah permasalahan dalam usability terhadap 100
sampel
Sumber: Beyond the five-user assumption: Benefits of incerased samples size in usability testing Faulkner, vol. 353, hal. 379-383
No. Users Minimum Found
Mean Found SD
SE
5 55
85.55 9.2957
.9295 10
82 94.686
3.2187 .3218
15 90
97.050 2.1207
.2121 20
95 98.4
1.6080 .1608
30 97
99.0 1.1343
.1464 40
98 99.6
0.8141 .1051
50 98
100
Universitas Indonesia
Suatu usability testing diperlukan adanya task skenario. Task scenario mendeskripsikan cerita dan konteks dengan alasan mengapa pengguna tertentu atau
suatu kelompok tertentu datang bekunjung pada suatu website Usability.gov, n.d.. Jumlah task yang seharusnya dilakukan untuk usability testing dibatasi sebanyak 10
atau 12 buah Usability.gov, n.d.. Task ini dipilih berdasarkan halaman umum yang sering pada masing-masing
website LAPOR. Adapun perihal dan bagian-bagian yang dievaluasi dalam usability testing diantaranya:
1. Reaksi pengguna saat pertama kali datang ke website.
2. Melihat tata cara penggunaan website.
3. Masuk ke dalam akun dan keluar
4. Melihat fitur-fitur utama website fitur laporan saya, daftar laporan, statistik,
dan laporan untuk website LAPOR versi lama dan fitur user profile, statistik dan persebaran laporan, serta laporan untuk website LAPOR versi baru.
5. Melihat fitur-fitur khusus website fitur star-rating, report, pencarian lanjutan
serta tambahan fitur gamifcation pada website LAPOR versi baru Bagian-bagian tersebut kemudian dijabarkan menjadi 11 task. Pengukuran usability
dilihat dari sukses atau tidaknya pengguna melakukan satu task, serta lama waktu pengguna dalam menyelesaikan sebuah task. Adapun task scenario tersebut terlampir
pada Lampiran 2.
4.3.2 Instrumen Pengumpulan Data
Bagian ini menjelaskan tentang instrumen yang digunakan dalam pengumpulan data kuesioner, usability testing, dan wawancara.
4.3.2.1 Wawancara
Pada Subbab 4.3.1.3 telah dijelaskan jika wawancara digunakan untuk menggali informasi terkait profil dan tantangan dari LAPOR yang dapat dilihat pada Bab 3.
Selain itu, wawancara juga dilakukan untuk mengetahu analisis kebutuhan webiste LAPOR versi baru yang dapat dilihat pada Subbab 5.1. Wawancara ini
menggunakan alat bantu berupa pulpen, kertas, serta aplikasi perekam suara dari ponsel genggam pintar yang kemudian diolah secara manual.
Universitas Indonesia
4.3.2.2 Kuesioner
Kuesioner dibuat dengan menggunakan google forms dan disebar melalui media sosial LAPOR yaitu Facebook www.facebook.comlapor1708 dan Twitter
LAPOR1708. Selain itu, kuesioner juga disebar dengan mengirimkan email kepada ±2000 pengguna LAPOR yang sudah pernah melakukan pelaporan sebanyak
dua kali atau lebih. Pembatasan pengiriman email kepada pengguna LAPOR dilakukan untuk menghindari adanya ketidaknyamanan pengguna. Adapun email
yang digunakan merupakan akun email resmi dari tim LAPOR.
4.3.2.3 Usability Testing
Usability testing dilakukan dengan menginstruksikan responden untuk melakukan beberapa tasks yang sudah diuji melalui tahapan pilot study sebelumnya. Pilot study
berguna agar dapat memastikan semua alat, materi dan dokumen dipersiapkan dengan baik Usability.gov, 2015. Tasks digunakan untuk menggali informasi
terkait masalah usability serta alternatif solusi. Pengambilan data usability testing ini direkam dengan menggunakan video dan bersifat optional. Laptop dan koneksi
internet berupa ponsel genggam pintar juga menjadi alat bantu untuk melakukan usability testing.
4.4 Metode Analisis Data
Kategori