Perbandingan Hasil Metode Evaluasi Usability Antara Heuristic Evaluation dengan Think Aloud pada Kasus Web FILKOM APPS untuk Mahasiswa Mochammad Imam Sya’roni1, Agi Putra Kharisma2 , Faizatul Amalia3
Vol. 2, No. 2, Februari 2018, hlm. 674-678 http://j-ptiik.ub.ac.id
Perbandingan Hasil Metode Evaluasi Usability Antara Heuristic Evaluation
dengan Think Aloud pada Kasus Web FILKOM APPS untuk Mahasiswa
1 2 3 , Agi Putra Kharisma , Faizatul Amalia Mochammad Imam Sya’roniProgram Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya 1 2 3 Email: syaroni.tulungagung@gmail.com, agi@ub.ac.id, faiz_amalia@ub.ac.id
Abstrak
Web FILKOM APPS untuk mahasiswa merupakan media informasi yang membantu mahasiswa FILKOM untuk memenuhi kebutuhan studi, terutama bagi mahasiswa yang mengerjakan skripsi. Selama ini web tersebut belum ada yang mengevaluasi, oleh karena itu diperlukan evaluasi usability web FILKOM APPS untuk mahasiswa, untuk mengetahui permasalahan yang dihadapi oleh web tersebut, tujuan dari penelitian ini adalah untuk mengetahui perbandingan hasil evaluasi antara metode
heuristic evaluation dan think aloud, yang diharapkan dari hasil penelitian ini dapat memberikan
informasi kepada developer web, untuk meningkatkan usability dan fungsional dari fitur-fitur yang ada.Heuristic evaluation adalah metode evaluasi yang dilakukan para alhi HCI untuk menunjukkan masalah
usability , sedangkan metode think aloud adalah metode evaluasi usability yang dilakukan oleh para
pengguna untuk dimintai pendapatnya, serta mengungkapkan perasaan dan pemikirannya saat berinteraksi dengan produk antarmuka. Dari hasil evaluasi, untuk metode heuristic evaluation para ahli HCI menemukan permasalahan usability yang berkaitan dengan antarmuka yang bersifat umum dan beberapa menu-menu yang masih belum bisa berfungsi sebagaimana mestinya, serta bahasa yang tidak konsisten. Sedangkan untuk metode think aloud para pengguna menemukan permasalahan usability seperti kendala-kendala yang dihadapi saat melakukan suatu aksi/tugas serta permasalahan yang berkaitan dengan tampilan interface, menu-menu yang belum berfungsi sebagaimana mestinya, dan bahasa yang tidak konsisten.
Kata Kunci: Usability, Web FILKOM APPS, Heuristic Evaluation, Think Aloud.
Abstract
Web FILKOM APPS for students is a medium of information that helps FILKOM students to meet the
needs of study, especially for students who do thesis. So far the web has not been evaluated, therefore it
is necessary to evaluate the usability of web FILKOM APPS for students, to find out the problems faced
by the web, The purpose of this research is to know comparison of evaluation result between heuristic
evaluation and think aloud method, Which is expected from the results of this study can provide
information to web developers, To improve usability and functionality of existing features. Heuristic
evaluation is an evaluation method done by HCI alhi to show usability problem, Whereas the think aloud
method is a method of usability evaluation performed by users to be consulted, and expressing their
feelings and thoughts when interacting with the interface product. From the evaluation results, for
heuristic evaluation methods HCI experts found usability problems related to common interface and
some menus that still can not function properly, as well as inconsistent languages. As for the method
think aloud users find usability problems such as constraints faced when performing an action / task
and problems related to the interface display, the menus are not working properly, and language is not
consistent.Keywords: Usability, Web FILKOM APPS, Heuristic Evaluation, Think Aloud.
membantu mahasiswa FILKOM UB untuk 1.
PENDAHULUAN memenuhi kebutuhan studi selama ini serta
menjadi media informasi bagi mahasiswa yang FILKOM APPS untuk mahasiswa mengerjakan skripsi (Filkom, 2014). Usability merupakan media informasi yang dapat adalah bagian dari suatu bidang ilmu multi
Fakultas Ilmu Komputer Universitas Brawijaya
674 disiplin Human Computer Interaction (HCI). Kata usability berasal dari kata usable yang artinya dapat digunakan dengan baik, usability memiliki ciri-ciri seperti usefulness, efficiency,
effectiveness, learnability, satisfaction, dan
accessibility. Pentingnya peran usability adalah untuk mengukur suatu produk antarmuka dan selama ini web FILKOM APPS untuk mahasiswa belum ada yang mengevaluasi. Oleh karena itu evaluasi usability web FILKOM APPS untuk mahasiswa sangat diperlukan untuk mengetahui permasalahan yang dihadapi oleh para pengguna web FILKOM APPS untuk mahasiswa.
Maka diangkatlah penelitian yang berjudul Perbandingan Hasil Metode Evaluasi Usability antara Heuristic Evaluation dengan Think Aloud pada Kasus Web Filkom Apps untuk Mahasiswa.
Gambar 1. Tahapan penelitian
Metode heuristic evaluation yang dilakukan oleh para ahli di bidang HCI interaksi Untuk evaluasi menggunakan heuristic manusia dan komputer, diminta untuk
evaluation , evaluator diambil dari para ahli HCI
mengungkapkan permasalah usability yang (dosen yang mengajar mata kuliah interaksi bersifat umum, yang lebih mengarah ke desain manusia dan komputer) yang berjumlah lima antarmuka (Yen,P., 2009). Sedangkan metode orang dan untuk think aloud evaluator diambil
think aloud pengguna diberikan skenario tugas
dari para mahasiswa FILKOM UB yang sedang sebagai bagian evaluasi usability, pengguna mengerjakan skripsi yang juga berjumlah lima diminta untuk mengungkapkan pemikiran, orang, seperti yang dilakukan pada penelitian perasaan, dan pendapatnya saat berinteraksi (Nielsen, J., 2000) bahwa hasil terbaik datang dengan produk (Hom, J., 2016). Untuk dari pengujian tidak lebih dari lima evaluator. memudahkan dalam melakukan evaluasi kedua
Agar saat melakukan pengujian usability metode tersebut menggunakan heuristic dapat berjalan dengan baik, maka dalam
chechlist yang diadaptasi dari Nielsen, selain
melakukan pengujian dibutuhkan skenario penggunaan heuristic checklist dalam penelitian pengujian yang baik, skenario pengujian untuk ini juga menggunakan severity ratings, biasanya evaluasi menggunakan metode heuristic severity ratings dikaitkan dengan permasalahan
evaluation dapat dilihat sebagai berikut:
yang timbul dan memiliki tingkat keseriusan
1 Memperkenalkan diri dan menyampaikan yang bervariasi(Nielsen, J., 1995). Ada 5 tujuan penelitian kepada evaluator. kategori nilai severity ratings mulai dari nilai 0
2 Memberikan heuristic checklist kepada = tidak ada masalah, sampai nilai 4 = sangat evaluator. penting untuk diperbaiki dan menjadi prioritas
3 Waktu yang diberikan kepada evaluator utama. untuk melakukan evaluasi sekitar sepuluh
Tujuan dari penelitian ini adalah untuk menit sampai enam puluh menit mengetahui hasi evaluasi dan perbandingan 4 dimulai ketika evaluator
Evaluasi antara metode heuristic evaluation dan think memasuki web dan melakukan evaluasi di aloud. web FILKOM APPS untuk mahasiswa dengan inisiatifnya.
5 evaluator menemukan Apabila permasalahan, evaluator diminta untuk
2. METODE
Tahap-tahap evaluasi digambarkan sebagai mencatat permasalahan tersebut di kolom berikut: komentar pada heuristic checklist yang tersedia.
6 Evaluator memberikan nilai severity ratings pada tiap heuristic checklist di kolom
severity ratings yang telah tersedia. Para ahli HCI menemukan permasalahan usability
7 Evaluasi selesai.
yaitu: menu belum memakai bahasa yang sama(tidak konsisten).
Sedangkan untuk evaluasi menggunakan metode think aloud dapat dilihat sebagai berikut:
Sedangkan para pengguna memenukan
1 Mempersiapkan laptop yang akan
permasalahan usability seperti: banyak ikon yang digunakan untuk evaluasi. tidak sesuai dan bahasa tidak konsisten.
2 Memperkenalkan diri dan menyampaikan tujuan penelitian kepada evaluator. Tabel 3. User control and freedom
3 Memberikan heuristic checklist untuk 3.
User control and freedom (HC03) pengujian pada pengguna.
Para ahli HCI menemukan permasalahan usability
4 Waktu yang diberikan kepada evaluator seperti: belum memungkinkan untuk terjadi untuk melakukan evaluasi sekitar sepuluh interaksi, tidak ada pembatalan saat operasi sedang
berlangsung, belum adanya keyboard shorcut dan menit sampai enam puluh menit. tidak ada sistem redo.
5 Evaluator diberikan tugas-tugas tertentu agar memudahkan dalam evaluasi.
Sedangkan para pengguna menemukan
6 Evaluasi dimulai ketika pengguna
permasalahan usability seperti: user tidak dapat
memasuki web dan melakukan evaluasi di
kembali kehalaman awal (mengulangi proses), tidak
web FILKOM APPS untuk mahasiswa
dapat membuka new tab, ada menu yang isinya tidak dapat dihapus atau di-update (membatalkan
tersebut sesuai dengan tugas yang telah operasi). diberikan dan direkam dengan aplikasi Bandicam.
Tabel 4. Consistency and standards
7 evaluator menemukan Apabila 4.
Consistency and standards (HC04)
permasalahan usability pada web FILKOM
Para ahli HCI tidak menemukan permasalahan
APPS untuk mahasiswa, maka evaluator usability. diminta untuk mencatat permasalahan tersebut di kolom komentar pada heuristic
Sedangka para pengguna sebagian menemukan checklist yang tersedia. permasalahan usability seperti: tempat membuka
8 Evaluator memberikan nilai severity ratings file tidak konsisten, bahasa sistem yang bercampur pada tiap heuristic checklist di kolom (tidak konsisten), warna kurang menarik karena
bertentangan dengan color wheel pallette. severity ratings yang tersedia.
9 Evaluasi selesai.
Tabel 5. Error prevention 5.
3. Error prevention (HC05) HASIL DAN PEMBAHASAN Para ahli HCI menemukan permasalahan usability
Pada hasil dan pembahasan akan
seperti: belum adanya pesan kesalahan dan tata
menampilkan perbandingan dari hasil evaluasi
bahasa kurang tepat sehingga kurang mambantu menggunakan metode heuristic evaluation dan pengguna. think aloud berupa komentar, perbandingan
Sedangkan para pengguna sebagian menemukan
komentar dapat dilihat pada tabel 1-10 sebagai
permasalahan usability seperti: bahasa sistem tidak
berikut: konsisten, dan tidak adanya pesan peringatan.
Tabel 1. Visibility of system status Tabel 6. Recognition rather than recall
1. Visibility of system status (HC01) 6.
Recognition rather than recall (HC06) Para ahli HCI menemukan permasalahan usability Para ahli HCI tidak menemukan permasalahan seperti: adanya menu-menu/konten yang masih usability. belum sesuai semestinya, respon yang lama, dan memahami fungsi dari sebuah tombol.
Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: kesulitan Sedangkan para pengguna menemukan mengetahui batas posisi konten, dan ada beberapa permasalahan usability seperti: ikon-ikon yang konten yang tidak dipisahkan dengan garis. kurang sesuai, tidak ada pesan peringatan kenapa konten tidak ditampilkan, menu-menu seperti surat
Tabel 7. Flexibility and efficiency of use tugas, krs dan khs yang masih belum berfungsi secara maksimal.
7. Flexibility and efficiency of use (HC07) Para ahli HCI menemukan permasalahan usability Tabel 2. Match between system and the real world seperti: tidak adanya shortcut keyboard, data invalid, 2. Match between system and the real world (HC02) perlunya mempelajari konten, dan mouse adalah alat utama dalam penggunaan. Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: pengguna kesulitan untuk membuka new tab, hanya mouse sebagai alat utama, dan konten yang menyulitkan bagi pengguna.
Tabel 8. Aesthetic and minimalist design 8.
= rata-rata = nilai sampel ke-i = jumlah sampel Hasil perbandingan nilal severity ratings dari ahli HCI dan pengguna dapat dilihat pada tabel 11 sebagai berikut:
think aloud para pengguna menemukan
mahasiswa yang bersifat umum, dan beberapa menu-menu yang masih belum bisa berfungsi sebagaimana mestinya, serta bahasa yang tidak konsisten. (2) Dalam menggunakan metode
interface dari tampilan FILKOM APPS untuk
permasalahan usability yang berkaitan dengan
heuristic evaluation para ahli HCI menemukan
Berdasarkan pembahasan yang telah dilakukan, maka kesimpulan yang dapat ditarik antara lain: (1) Dalam menggunakan metode
KESIMPULAN
10 (HC10) 3 2,4 4.
1 7 (HC07) 1,6 1,4 8 (HC08) 1 1,2 9 (HC09) 1,8 1,8
Think aloud 1 (HC01) 2 2,2 2 (HC02) 0,6 0,6 3 (HC03) 1,8 2,4 4 (HC04) 0,2 0,8 5 (HC05) 1,2 1,4 6 (HC06)
Heuristic checklist Heuristic evaluation
Tabel 11. Nilai perbandingan hasil severity ratings No.
1 Keterangan:
Aesthetic and minimalist design (HC08) Para ahli HCI sebagian menemukan permasalahan usability seperti: menu yang tidak terlalu penting dan tidak bisa dibuka, serta banyaknya menu yang belum berfungsi di layar. Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: informasi/menu yang belum ter-update, teks yang berantakan, dan warna background yang tidak selaras dengan tujuannya.
1 Bila dinotasikan dengan notasi sigma, maka rumus di atas akan menjadi seperti berikut: n x x n n i
2
....
n x x x x n
perbandingan hasil severity ratings dan untuk dapat membandingkan nilai severity ratings yang diperoleh dari metode heuristic evaluation dan think aloud, maka diperlukan pengolahan data terlebih dahulu yaitu dengan cara menghitung rata-ratanya, dalam pengolahan data menggunakan rumus dari (Statistik, R., 2017) sebagai berikut:
severity rating antara metode heuristic evaluation dan think aloud berupa nilai
Pada hasil dan pembahasan juga menampilkan perbandingan antara nilai hasil
Sedangkan para pengguna menemukan permasalahan usability seperti: sistem tidak menyediakan menu help dan dokumentasi.
Help and documentation (HC10) Para ahli HCI menemukan permasalahan usability seperti: tidak ditemukannya menu help kecuali di fitur skripsi dan tidak ditemukannya dokumentasi.
Tabel 10. Help and documentation 10.
Help users recognize, diagnose, and recover from errors (HC09) Para ahli HCI sebagian menemukan permasalahan usability seperti: belum adanya saran untuk memperbaiki kesalahan yang dilakukan oleh pengguna Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: beberapa menu tidak menampilkan pesan peringatan, pengguna tidak mengerti mengenai kesalahan yang mereka buat, dan tidak ada saran saat ada kesalahan.
Tabel 9. Help users recognize, diagnose, and recover from errors 9.
permasalahan usability pada web FILKOM APPS untuk mahasiswa seperti kendala-kendala yang dihadapi saat melakukan suatu aksi/tugas serta permasalahan yang berkaitan dengan tampilan interface, menu-menu yang belum berfungsi sebagaimana mestinya, dan bahasa yang tidak konsisten. (3) Hasil Perbandingan komentar dari penelitian ini yaitu dengan menggunakan metode heuristic evaluation para ahli menemukan permasalahan usability yang berkaitan dengan interface yang bersifat umum serta beberapa menu-menu yang masih belum Nielsen, J., 2000. Why You Only Need to Test berfungsi sebagaimana mestinya dan with 5 Users [onine] Tersedia di: menemukan beberapa bahasa dalam sistem yang <https://www.nngroup.com/articles/why- tidak konsisten, sedangkan untuk metode think you-only-need-to-test-with-5-users/>
aloud para pengguna menemukan permasalahan [Diakses 26 April 2017]
seperti kendala-kendala yang dialami saat Statistik, R., 2017. [online] Tersedia di: mengerjakan suatu aksi/tugas serta menemukan
<https://www.rumusstatistik.com/2013/0 permasalahan yang berkaitan dengan interface, 7/rata-rata-mean-atau-rataan.html> beberapa menu yang belum berfungsi dan [Diakses 29 Mei 2017] bahasa dari sistem yang tidak konsisten. Untuk
Yen, P., 2009. A Comparison of Usability perbandingan nilai severity ratings yang Evaluation Methods: Heuristic Evaluation diperoleh, dari evaluasi dengan metode heuristic versus End-User Think-Aloud Protocol-
evaluation, nilai severity ratings terendah yang
diperoleh dari hasil evaluasi, yaitu dengan nilai An Example from a Web-based Communication Tool for Nurse 0 pada point heuritic checklist yang ke enam yaitu recognition rather than recall dengan ID Scheduling. [e-journal] Tersedia di:<https://www.ncbi.nlm.nih.gov/pmc/ar (HC06) menunjukkan bahwa tidak terdapat ticles/PMC2815403/pdf/amia-f2009- masalah usability, sedangkan untuk nilai severity ratings tertinggi yang diperoleh dari hasil 714.pdf> [Diakses 21 April 2017]. evaluasi, yaitu dengan nilai 3 pada point heuritic
checklist yang ke sepuluh yaitu help and documentation dengan ID (HC10) menunjukkan
bahwa permasalahan yang sedang dihadapi masuk dalam kategori major usability problem, sedangkan pada penggunaan metode think
aloud, nilai severity ratings terendah yang
diperoleh dari hasil evaluasi, yaitu dengan nilai 0,6 pada point heuritic checklist yang ke dua yaitu match between system and the real world dengan ID (HC02) menunjukkan bahwa tidak terdapat masalah usability, sedangkan untuk nilai severity ratings tertinggi yang diperoleh dari hasil evaluasi, yaitu dengan nilai 2,4 pada
point heuritic checklist yang ke tiga dan sepuluh
yaitu User control and freedom dengan ID (HC03) dan help and documentation dengan ID (HC10) menunjukkan bahwa permasalahan yang sedang dihadapi masuk dalam kategori minor
usability problem.
DAFTAR PUSTAKA
Filkom, 2014. FILKOM APPS [online] Tersedia di: <https://filkom.ub.ac.id/auth> [Diakses 14 Mei 2017]
Hom. J., 2016 Thinking Aloud Protocol [online] Tersedia di: <http://usability.jameshom.com/thnkalod .htm> [Diakses 21 April 2017]
Nielsen, J., 1995. Severity Ratings for Usability Problems.[online] Tersedia di: <https://www.nngroup.com/articles/how- to-rate-the-severity-of-usability- problems/> [Diakses 29 Maret 2017]