Kata kunci: Usability, Heuristic Evaluation, Heuristic Mobile Checklist, E-Complaint, System

  

Vol. 2, No. 12, Desemner 2018, hlm. 7192-7201 http://j-ptiik.ub.ac.id

Evaluasi dan Rekomendasi Tampilan Website E-Complaint Universitas

Brawijaya Pada Perangkat Bergerak Menggunakan Metode Heuristic

  

Evaluation

_{1 2}

  3 Wahyu Satriyo Wibowo , Hanifah Muslimah Az-zahra , Fitra Abdurrachman Bachtiar

  Program Studi Sistem informasi, Fakultas Ilmu Komputer, Universitas Brawijaya _{1 2 3} Email: w.satriyo.wibowo@gmail.com, hanifah.azzahra@ub.ac.id, fitra.bachtiar@ub.ac.id

  

Abstrak

  Terdapat permasalahan usability pada website E-Complaint UB khususnya yang dialami pengguna perangkat mobile dikarenakan desain tampilan tidak responsive menjadi perhatian penting karena mempengaruhi persepsi pengguna terhadap website. Dilakukan evaluasi usability untuk memperbaiki kendala yang rasakan oleh pengguna website E-Complaint UB dengan metode heuristic evaluation.

  

Expert berpegang pada 13 heuristic mobile checklist yang telah disediakan. Dari sisi pengguna juga

  dilakukan penilaian usability menggunakan kuesioner System Usability Scale (SUS) disertai wawancara oleh 8 responden yang dibagi 2 kelompok yaitu civitas UB dan masyarakat umum. Hasil

  

heuristic evaluation ditemukan total 66 permasalahan yang kemudian dirangkum menjadi 27

  permasalahan termasuk permasalahan yang didapat ketika melakukan wawancara responden yang dijadikan bahan perbaikan. Perbaikan tampilan terhadap website E-Complaint UB berpegang pada

  

guidelines , solusi dari expert dan saran dari pengguna. Hasilnya adalah menurunnya temuan

  permasalahan oleh expert dari 66 menjadi 29 permasalahan dengan rata-rata severity rating 1,80 yang sebelumnya 2,84 dan naiknya tingkat kepuasan pengguna dari skor awal SUS 44,38 menjadi 72,5 yang didukung dengan respon positif pengguna dari hasil wawancara. Skor SUS juga menyatakan membaiknya adjective ratings dari “Ok” menjadi “Good”, grade scale dari “F” menjadi “C” dan

  acceptability dari “not acceptable” menjadi “acceptable”.

  

Kata kunci: Usability, Heuristic Evaluation, Heuristic Mobile Checklist, E-Complaint, System

Usability Scale, Wawancara

  

Abstract

Usability issues of Brawijaya University’s E-Complaint website, particularly any of those

issues faced by mobile device users due to less responsive display, receive considerable attention

because they affect user’s perspective on the website. Thus, a usability evaluation was done by

applying heuristic evaluation method to fix the issue faced by the users. These experts relied on

provided 13 heuristic mobile checklists to conduct the evaluation. Usability assessment was also

conducted on the user’s side by utilizing System Usability Scale (SUS) and it was complemented with

interview with 8 respondents who were categorized into 2 groups: Brawijaya’s scholars and general

public. The heuristic evaluation highlighted 66 issues in total which were then summarized into 27

issues including issues found during interview with the respondents. Those results were then used for

revision . UB’s E-Complaint website display improvement was based on the collected guidelines,

expert solutions, and user feedback. This improvement lowered the number of issues found by the

experts, from 66 into 29 issues with average severity rating of 1,80 (it was previously 2,84). User

satisfaction was also improved from SUS score of 44.38 into 72.5 and was supported by positive

responses received from the interviews. SUS score indicated that there were some improvements in

adjective rating from “OK” to “Good”, in grade scale from “F” to “C”, and in acceptability from

“not acceptable” into “acceptable”.

  

Keywords: Usability, Heuristic Evaluation, Heuristic Mobile Checklist, E-Complaint, System

Usability Scale, Interview Fakultas Ilmu Komputer Universitas Brawijaya

  

7192

1. PENDAHULUAN

  yang didapat dari bibliografi namun diadaptasi ulang untuk antarmuka mobile.

  Gambar 1. Alur penelitian

  2. METODOLOGI PENELITIAN

  ” menyatakan bahwa website harus menyediakan sebuah tampilan yang memiliki nilai fungsional tinggi untuk membangkitkan emosi positif dan bahkan membuat perilaku yang positif kedepannya. Desain harus menarik secara visual dan mudah digunakan untuk meningkatkan kepuasan pengguna.

  Perceived Interactivity and Website Personality and their effects on Consumer Satisfaction

  Penelitian lain yang dapat dijadikan kajian pustaka antara lain penelitian yang dilakukan oleh Akrimi & Khemakhem (2014) yang berjudul “An Analysis of Perceived Usability,

  terdiri dari sepuluh pertanyaan dengan menggunakan skala Likert 5 poin, dari sangat tidak setuju hingga sangat setuju (Bangor, 2009). Menggabungkannya dengan teknik wawancara juga dapat membantu menjabarkan pendapat pengguna dan mendapatkan feedback dari sisi pengguna mengenai website yang sedang diteliti untuk dilakukan perbaikan

  usability sebuah sistem (Brooke, 1996). SUS

  dalam melakukan evaluasi usability , melakukan percobaan website pada pengguna yang sebenarnya sangat diharuskan (Halabi, 2007). Kuesioner System Usability Scale (SUS) dapat digunakan oleh pengguna sebagai penilaian subjektif usability sederhana dari sebuah sistem yang memiliki sepuluh item skala yang memberikan sebuah gambaran menyeluruh

  expert

  Selain keterlibatan

  Universitas Brawijaya sebagai salah satu universitas terbaik di Indonesia telah menyiapkan wadah pengaduan bagi civitas Universitas Brawijaya hingga masyarakat umum. Hal tersebut diimplementasikan dalam sebuah website E-Complaint yang dikelola oleh PIDK (Pusat Informasi, Dokumentasi dan Keluhan) Universitas Brawijaya yang dapat diakses oleh siapapun, kapanpun, dan dimanapun selama perangkat yang dimiliki tersambung dengan internet. Tujuan Universitas Brawijaya dengan adanya website E-Complaint tersebut adalah menghadirkan sarana penjaminan mutu (quality assurance ) pendidikan tinggi sebagai proses penetapan dan pemenuhan standar mutu pendidikan secara konsisten dan berkelanjutan yang dimaksudkan agar pelanggan memperoleh kepuasan serta menghasilkan pengembangan berkelanjutan (continous improvement) di perguruan tinggi. Hal ini sangat diperlukan untuk mencapai standar World Class University. Berdasarkan laporan dari pihak PIDK dan survey yang telah dilakukan menggunakan kuesioner dengan jawaban kualitatif dari pengguna website E-

  Complaint UB , yaitu civitas UB dan masyarakat

  antarmuka pengguna untuk menemukan permasalahan usability pengguna yang dilakukan oleh expert (Nielsen, 1994). Seiring berkembangnya teknologi telekomunikasi maka dikembangkan heuristic baru yang lebih sesuai untuk keperluan evaluasi dan pencarian permasalahan pada tampilan mobile. Gomez et al. (2014) memperkenalkan 13 heuristic

  Heuristic evaluation adalah metode usability untuk menemukan permasalahan

  ketika menggunakan perangkat smartphone dimana pengisian form keluhan merupakan aktifitas utama ketika menggunakan website E- Complaint UB.

  form pengaduan akibat terlalu kecilnya form

  ataupun kesulitan menekan link yang tersedia karena menu navigasi yang terlampau kecil. Pengguna juga mengeluhkan sulitnya mengisi

  zooming ketika hendak membaca tulisan

  mengeluhkan tampilan website E-Complaint UB pada layar mereka yang masih belum responsif dan mengharuskan melakukan

  smartphone . Pengguna smartphone

  dialami oleh pengguna. Ada pun masalah yang dirasakan terkait tampilan website E-Complaint UB yang menurut pengguna masih dirasa menyulitkan, khususnya pada pengguna

  usability pada website E-Complaint UB yang

  umum, didapatkan indikasi permasalahan

  evaluation checklist Pada tahap studi pengetahuan, dilakukan pengumpulan informasi-informasi terkait cara penyelesaian permasalahan yang telah didapatkan sebelumnya. Keluaran dari tahap ini adalah teori dan penelitian terdahulu yang mendukung penelitian.

  Pada evaluasi awal dilakukan survey terlebih dahulu terhadap pengguna website E- Complaint untuk mengetahui indikasi permasalahan yang dirasakan. Selanjutnya melakukan evaluasi awal dengan menggunakan

  MA10 Help and documentation MA11 Skills MA12 Pleasurable and respectful

  9 Saya merasa percaya diri menggunakan website ini

  8 Website ini sangat rumit untuk digunakan

  7 Saya akan membayangkan bahwa kebanyakan orang akan mempelajari website ini dengan sangat cepat

  6 Saya pikir terlalu banyak ketidak konsistenan pada website ini

  5 Saya menemukan berbagai fungsi pada website ini yang terintegrasi dengan baik

  4 Saya memerlukan bantuan untuk mengakses website ini

  3 Saya pikir website ini mudah digunakan

  2 Saya menemukan bahwa website ini tidak seharusnya serumit ini

  1 Saya akan sering menggunakan website ini

  Tabel 3 Pertanyaan kuesioner SUS No. Pertanyaan

  yang memenuhi kriteria, yaitu memiliki hubungan dengan UB, memiliki keluhan mengenai UB dan bersedia melakukan pengisian formulir keluhan pada website E- Complaint UB. Jumlah responden yang dibutuhkan berdasarkan penelitian Nielsen (2012) yang sesuai dengan kondisi website E- Complaint UB dimana memiliki 2 kelompok pengguna yaitu masing-masing 3-4 responden di setiap kelompok. Pertanyaan yang terdapat pada kuesioner SUS dapat dilihat pada Tabel 2.

  System Usability Scale (SUS) oleh responden

  MA13 Privacy Tahap selanjutnya adalah mengumpulkan hasil heuristic evaluation yang telah dilakukan oleh seluruh evaluator yang akan dijadikan bahan perbaikan. Namun sebelum dilakukan perbaikan, dilakukan pengisian kuesioner

  interaction with the user

  recover from error

  heuristic evaluation dalam menemukan

  ID Checklist

  permasalahan menggunakan observasi pendapat oleh ahli IT (expert) atau yang memiliki kemampuan dalam bidang antarmuka aplikasi. Evaluator yang dipilih berdasarkan kondisi dan kemampuan untuk mendapatkan evaluator yang sesuai dengan pertimbangan biaya dan usaha. Sesuai dengan pendapat Nielsen (1995) maka dipilih 4 evaluator untuk hasil terbaik dengan juga mempertimbangkan biaya dan usaha yang dapat dilihat dalam Gambar 2.

  Gambar 2 Jumlah evaluator berdasarkan biaya dan usaha Tahap selanjutnya adalah menyiapkan

  checklist untuk memberikan pengarahan yang

  jelas kepada evaluator ketika melakukan evaluasi pada suatu aplikasi. Heuristic checklist miliki Gomez et al. (2014) digunakan sebagai pedoman evaluator dalam melakukan evaluasi dikarenakan telah disesuaikan dengan perangkat

  mobile . Mobile heuristic checklist berjumlah 13 yang dapat dilihat dalam Tabel 1.

  Tabel 1 Mobile heuristic checklist

  MA01 Visibility of system status MA02 Match between system and the real

  MA08 Aesthetic and minimalist design MA09 Help users recognise diagnose, and

  world

  MA03 User control and freedom MA04 Consistency and standards MA05 Error prevention

  Tabel 2 Mobile heuristic checklist (lanjutan)

  ID Checklist

  MA06 Recognition rather than recall MA07

  Flexibility and efficiency of use

  10 Sebelum menggunakan website ini saya perlu belajar banyak hal Setelah selesai melakukan pengisian kuesioner SUS, responden diwawancarai dengan beberapa pertanyaan untuk mengetahui pendapat responden mengenai desain website. Pertanyaan wawancara yang diajukan meliputi pendapat responden mengenai tampilan website E-Complaint UB secara umum beserta kendalanya bila ada.

  Tahap selanjutnya adalah melakukan perbaikan dari permasalahan yang telah ditemukan oleh expert dan responden. Solusi untuk melakukan perbaikan didapat dari salah satunya guidelines dari Shitkova et al. (2015) yang diperuntukan untuk website dan aplikasi

  RU01

  16 Mayor Problem

  34 Catastrophic Problem

  15 Rata-rata severity rating yaitu 1,97. Permasalahan paling banyak ditemukan pada mayor problem dengan jumlah 34 permasalahan. Masalah yang paling banyak selanjutnya ditemukan pada minor problem dengan jumlah 16 permasalahan dan dilanjutkan dengan ditemukannya

  15 permasalahan pada catastrophic. Dari permasalahan yang banyak ditemukan pada tingkat catastrophic dan mayor problem menandakan bahwa website memiliki prioritas tinggi untuk dilakukan perbaikan.

  3.3. System Usability Scale (SUS)

  Hasil penilaian seluruh responden kuesioner System Usability Scale digunakan untuk melihat bagaimana penilaian usability pengguna pada desain website E-Complaint Universitas Brawijaya yang ada sebelum dilakukan perbaikan tampilan. Skor hasil kuesioner dapat dilihat pada Tabel 5.

  Tabel 6 Skor kuesioner SUS desain lama

  Kode Responden Skor

  40 RU02

  mobile .

  60 RU03

  52.5 RU04

  40 RC01

  42.5 RC02

  40 RC03

  42.5 RC04

  37.5 Rata-rata

  44.38

  1 Minor Problem

  Not Problem Cosmetic Problem

  Severity Rating Permasalahan

3. HASIL DAN PERBAIKAN

3.1. Heuristic evaluation

  32 MA05

  Data penelitian ini dihasilkan dari pengujian heuristic evaluation oleh expert dan kuesioner SUS yang disertai wawancara terhadap responden terhadap antarmuka website E-Complaint UB lama.

  Setelah dilakukan heuristic evaluation oleh 4 evaluator pada website E-Complaint Universitas Brawijaya, dapat dilihat total permasalahan yang ditemukan dan perbandingan jumlah permasalahan yang ditemukan oleh evaluator pada setiap poin prinsip heuristik yang ada pada Tabel 3.

  Tabel 4 Jumlah permasalahan pada desain lama

  ID Heuristik Jumlah Permasalahan

  MA01 MA02

  1 MA03

  4 MA04

  4 MA06

  Tabel 5 Rata-rata severity rating desain lama

  5 MA07

  5 MA08

  12 MA09

  1 MA10

  MA11 MA12

  2 MA13 TOTAL

  66

  Severity

  rating dapat digunakan untuk alokasi sebagian besar sumberdaya untuk dapat memprioritaskan penyelesaian masalah dari yang paling serius hingga yang bukan masalah penting (Nielsen, 1995). Untuk severity rating pada setiap prinsip heuristik dapat dilihat pada Tabel 4.

3.2. Severity Rating

  Dapat dilihat skor kuesioner System

  6. Tabel 7 Permasalahan usability

  Bagian Formulir

  MS14 Tidak ada penggunaan icon pada menu navbar

  MS12 Background gambar pada halaman tidak penuh MS13 Ukuran navbar sangat kecil hingga perlunya tindakan zoom-in untuk berpindah menu

  MS11 Warna background fitur Cek Status Keluhan Sebelumnya tidak sama dengan background textfield yang akan diisi ketika di tab

  MS09 Penggunaan submenu untuk menu form keluhan tidak efisien MS10 Pemilihan warna saat menu utama aktif, merah untuk keluhan civitas akademika dan hijau untuk umum tidak disarankan

  MS08 Tidak ada pencegahan field yang belum diisi ketika menggunakan fitur Cek Status Keluhan Sebelumnya

  MS07 Hover pada menu tampilan desktop tidak akan berfungsi pada perangkat mobile

  Umum hilang sebelum dibaca ketika di tab MS06 Form cek status keluhan sebelumnya dapat menghilang ketika melihat deskripsi menu lainnya

  Akademika hilang sebelum dibaca ketika di tab MS05 Deskripsi Keluhan Masyarakat

  “Civitas” dan “Sivitas” didalam web MS03 Teks terlalu banyak pada Beranda MS04 Deskripsi Keluhan Sivitas

  MS01 Ukuran teks pada halaman terlampau kecil untuk dapat dibaca MS02 Tidak konsistennya penggunaan kata

  No. Permasalahan Usability Bagian Beranda

  E- Complaint Universitas Brawijaya.Seluruh permasalahan usability yang ada adalah hasil rekap dari evaluator dan responden sebagai pengguna website yang dapat dilihat pada Tabel

  Usability Scale pada tampilan website E-

  Evaluator melakukan pengelompokan halaman pada website E-Complaint Universitas Brawijaya, dimana tiga bagian pada website yang akan dinilai oleh evaluator, yaitu : Beranda, Formulir, dan Statistik. Pada bagian Beranda meliputi halaman Beranda dan halaman Detail Status Keluhan. Pada bagian Form meliputi halaman Login Civitas UB, halaman Form Keluhan Civitas UB, halaman Form Keluhan Masyarakat Umum dan halaman Status Formulir Keluhan. Pada bagian Statistik terdapat halaman Statistik Keluhan

  3.5. Permasalahan Usability

  Pengguna website E-Complaint Universitas Brawijaya banyak mengeluhkan mengenai tampilan website yang dinilai masih menyusahkan dan banyak kekurangan yang menimbulkan permasalahan yang dialami oleh pengguna dari hasil wawancara yang telah dilakukan. Permasalahan yang dialami pengguna diantaranya adalah sulitnya keterbacaan teks yang ada pada website, keharusan pengguna untuk melakukan zoom-in untuk mempermudah penggunaan website, dan masih adanya error pada website E-Complaint Universitas Brawijaya.

  3.4. Wawancara

  Acceptable ” atau tidak dapat diterima.

  oleh pengguna dirasakan “Not

  website

  memiliki nilai “F” dan acceptability

  website

  “Ok”, grade scale

  Gambar 3 Skor SUS desain lama Pada Gambar 3 menjelaskan bahwa hasil skor desain lama website E-Complaint UB memiliki adjective ratings

  Complaint Universitas Brawijaya memiliki rata-rata 44,38 dari penilaian 8 responden yang sebelumnya telah ditentukan.

  MS15 Form berukuran kecil dan banyak space kosong MS16 Pemilihan warna merah pada judul dan text info sangat tidak disarankan MS17 Text info dan Text error validasi meiliki warna yg sama MS18 Textfield yg bisa diisi dan tidak, tidak memiliki perbedaan tampilan Tabel 8 Permasalahan usability

  No. Permasalahan Usability

  MS19 Button Kembali tidak bisa digunakan jika belum mengisi data form MS20 Kode keamanan pada form tidak berfungsi dan menampilkan peringatan

  MS21 Tidak ada kontrol input karakter pada beberapa field MS22 Tidak dianjurkan menggunakan table untuk form pada perangkat mobile MS23 Input dropdown dengan opsi banyak belum menggunakan filter MS24 Tombol kembali justru berfungsi untuk mengirim form saat telah diisi

  Bagian Statistik

  MS25 Pemilihan warna pada Pie Chart kurang memiliki contrast MS26 Ukuran font legend yg terlampau kecil MS27 Background gambar pada halaman tidak penuh

  Gambar 4 adalah salah satu contoh perbandingan dari desain lama dan desain baru pada halaman Beranda E-Complaint UB. Perbaikan mulai dari navbar yang sebelumnya masih memiliki tampilan desktop pada perangkat mobile yang mengakibatkan terlalu kecilnya navbar, sekarang disesuaikan dengan navbar untuk perangkat mobile. Lalu ukuran

  Gambar 4 Perbandingan desain halaman Beranda

3.6. Perbaikan Tampilan

  SL01 Teks terlalu banyak pada halaman beranda

  Dapat dibuatkan halaman lagi untuk menampung teks tersebut

  SL02 Penggunaan table pada formulir

  Kode Solusi Masalahan Solusi

  SL03 Fungsi tombol yang tidak bekerja dengan baik dan benar

  Fungsi diperbaiki agar dapat berjalan dengan baik dan benar

  SL04 Ukuran teks di semua halaman terlalu kecil

  Membesarkan ukuran font untuk memudahkan keterbacaan

  Perbaikan dilakukan pada 7 halaman yang ada pada website E-Complaint UB dimana masing-masing halaman memiliki permasalahan usability yang berbeda dan juga solusi yang berbeda satu sama lain.

  Tabel 9 Solusi dari expert dan responden

  Selain menggunakan guidelines, penelitian ini juga menggunakan solusi atau saran yang diberikan oleh evaluator dan juga responden selaku pengguna website E-Complaint Universitas Brawijaya. Detail solusi atau saran tersebut dapat dilihat pada Tabel 7.

  font yang terlalu kecil pada desain lama, telah diperbaiki pada desain rekomendasi.

  Selanjutnya Fitur Cek Status Keluhan Sebelumnya yang akan hilang ketika menekan fitur Keluhan Civitas Akademika dan Keluhan Masyarakat Umum yang pada desain lama telah diperbaiki dan akan selalu ditampilkan. Tidak adanya pencegahan field yang tidak diisi pada fitur Cek Status Keluhan Sebelumnya juga telah diperbaiki pada desain rekomendasi. Permasalahan teks yang terlalu banyak pada halaman Beranda diperbaiki dengan cara membuatkan halaman Tentang E-Complaint UB.

  Gambar 5 adalah salah satu contoh perbandingan dari desain lama dan desain baru pada halaman Detail Keluhan E-Complaint UB. Halaman detail keluhan adalah halaman yang dapat diakses ketika pengguna memasukkan email dan kode keluhan yang didapat setelah melakukan pengisian formulir keluhan.

  Disarankan untuk tidak menggunakan table desain lama tersebut telah diperbaiki pada rekomendasi desain baru pada tampilan sebelah kanan.

  Gambar 5 Perbandingan desain halaman Detail Keluhan

  Permasalahan yang telah diperbaiki antara lain mengenai ukuran font yang terlalu kecil Gambar 7 Perbandingan desain halaman pada desain lama yang telah selanjutnya telah

  Formulir Keluhan Civitas UB diperbaiki pada desain rekomendasi E-

  Complaint Universitas Brawijaya. Gambar 7 merupakan perbandingan hasil rekomendasi desain baru dengan desain lama pada halaman Formulir Keluhan Civitas E- Complaint UB. Halaman Formulir Keluhan Civitas UB merupakan halaman yang dapat diakses ketika berhasil login pada halaman Autentifikasi Civitas UB.

  Gambar 6 Perbandingan desain halaman Autentifikasi Civitas UB

  Gambar 6 adalah perbaikan antarmuka pada halaman Autentifikasi Civitas UB E- Complaint UB. Halaman Autentifikasi Civitas UB adalah halaman yang dapat diakses ketika

  Gambar 8 Perbandingan desain halaman pengguna menekan tombol formulir pada fitur Formulir Keluhan Masyarakat Umum

  Keluhan Civitas Akademika pada halaman Beranda atau dapat dengan memilih menu

  Gambar 8 adalah contoh perbandingan dari Formulir Keluhan Civitas pada navbar. perbaikan halaman Formulir Keluhan

  Permasalahan utama yang dibenahi pada Masyarakat Umum E-Complaint UB dengan halaman tersebut adalah ukuran form yang desain lama website E-Complaint UB. terlalu kecil sehingga menyulitkan pengguna untuk melakukan login. Permasalahan pada permasalahan yang ditemukan pada desain lama. Untuk mengetahui perbedaan usability pada desain lama dan desain baru, maka dilakukan evaluasi dengan tahap yang sama pada desain baru. Perbedaannya, pada tahap ini menguji hasil desain baru dan juga membahas perbandingan hasil pengujian desain lama dan desain baru yang direkomendasikan.

  35

  30

  25

  20

  15

  10

  5 Gambar 9 Perbandingan desain halaman Status

  1

  2

  3

  4

  5

  6

  7

  8

  9

  1

  2

  3 Formulir Keluhan A0 A0 A0 A0 A0 A0 A0 A0 A1 A1 A1 M MA0 M M M M M M M M M MA1 M

  Gambar 9 merupakan perbandingan desain

  Desain Lama Desain Baru

  lama dan desain baru halaman Status Formulir Keluhan pada website E-Complaint UB.

  Gambar 11 Perbandingan temuan permasalahan Permasalahan utama yang dibenahi pada desain lama dan desain baru halaman tersebut adalah ukuran font yang

  Pada Gambar 11 dapat dilihat terlalu kecil sehingga menyulitkan keterbacaan. perbandingan temuan masalah yang dilakukan

  Permasalahan pada desain lama tersebut telah oleh empat evaluator ketika melakukan diperbaiki pada rekomendasi desain baru pada heuristic evaluation pada desain lama dan juga tampilan sebelah kanan. desain rekomendasi website E-Complaint Universitas Brawijaya. Dari gambar yang telah disajika, terdapat penurunan temuan permasalahan dari desain rekomendasi website E-Complaint Universitas Brawijaya.

  40

  30

  20

  10

  1

  2

  3

  4 Desain lama Desain baru

  Gambar 12 Perbandingan severity rating desain Gambar 10 Perbandingan desain halaman lama dan desain baru

  Statistik Pada Gambar 12 dapat dilihat

  Gambar 10 merupakan perbandingan perbandingan severity rating pada desain lama desain tampilan halaman Statistik dari desain dan rekomendasi desain baru website E- lama dan desain baru website E-Complaint UB. Complaint UB. Pada desain lama, permasalahan terbanyak ditemukan pada nilai 3 (Mayor 4.

   EVALUASI Usability Problem ), kemudian dilanjutkan pada

  nilai 2 (Minor Usability Problem), dan juga Berdasarkan evaluasi dari pengujian awal memiliki permasalahan pada nilai 4 (Usability yang telah dilakukan pada desain lama E-

  Catashtrope ) yang merupakan kesalahan fatal

  Complaint UB, dilakukan perbaikan pada setiap yang ada pada website E-Complaint UB. Setelah dilakukannya perbaikan dapat dilihat bahwa jumlah permasalahan yang ditemukan pada nilai 3 (Usability Catashtrope), 3 (Mayor

  Usability Problem ) dan 2 (Minor Usability Problem ) memiliki penurunan. Rata-rata severity rating desain baru 0,69.

  dibanding desain sebelumnya. Pada desain rekomendasi website E-Complaint Universitas Brawijaya, mayoritas pengguna berpendapat bahwa permasalahan sebelumnya ada saat menggunakan desain lama sudah teratasi.

  60

  40

  20

  Dari hasil perbandingan tampilan website E-Complaint UB lama dan

  Dari hasil heuristic evaluation dapat dilakukan rekomendasi perbaikan , rekomendasi yang dilakukan adalah memperbesar ukuran font web, menyeragamkan bahasa yang belum konsisten, menggunakan fungsi-fungsi yang dapat dijalankan pada versi desktop dan mobile, membuat menu navbar khusus untuk mobile, menghilangkan penggunaan submenu yang kurang efisien, tidak digunakannya table pada form, membedakan input yang dapat diisi dan yang tidak dapat diisi, memperbaiki error pada fungsi-fungsi yang belum berjalan dengan baik, dan memberikan fitur pencarian pada input dropdown formulir.

  15 permasalahan. Permasalahan yang ditemukan antara lain mengenai ukuran font yang terlampau kecil, ketidak konsistenan bahasa, fungsi-fungsi yang ada pada versi desktop tidak dapat diaplikasikan pada versi mobile, ketidak konsistenan pemilihan warna, pada tampilan mobile namun navbar masih menggunakan versi desktop, kurang efisiennya penggunaan submenu pada navbar, formulir menggunakan table yang sangat tidak disarankan pada versi mobile, ukuran formulir yang terlampau kecil, tidak ada pembeda input form yang dapat diisi dan yang tidak dapat diisi, adanya error pada kode keamanan formulir, adanya error pad a tombol “kembali” pada formulir, dan belum tersedianya fitur pencarian pada dropdown yang memiliki pilihan banyak.

  66 permasalahan yang dikerucutkan menjadi 27 permasalahan. Saverity rating pada level cosmetic ditemukan 1 permasalahan, minor problem ditemukan 16 permasalahan, mayor problem ditemukan 34 permasalahan dan catastrophic ditemukan

  5. KESIMPULAN Dari pengujian usability dengan menggunakan metode heuristic evaluation, didapatkan permasalahan yang ditemukan oleh expert pada website E-Complaint Universitas Brawijaya berjumlah

  website E-Complaint Universitas Brawijaya

  Gambar 13 Perbandingan skor kuesioner SUS desain lama dan desain baru Pada Gambar 13 dapat dilihat perbandingan hasil kuesioner desain lama

  oleh pengguna dirasakan “Acceptable” atau dapat diterima. Dari hasil wawancara pada dapat diketahui bahwa keseluruhan responden memiliki pendapat positif mengenai desain rekomendasi

  website

  memiliki nilai “C” dan acceptability

  website

  “Good”, grade scale

  Gambar 14 Skor SUS desain baru Pada Gambar 14 menjelaskan bahwa hasil skor desain baru website E-Complaint UB memiliki adjective ratings

  E- Complaint Universitas Brawijaya. Pada gamabar tersebut keseluruhan responden memberikan nilai usability lebih baik pada desain rekomendasi website E-Complaint Universitas Brawijaya, dimana hal tersebut dapat berarti kepuasan pengguna meningkat dengan ada desain rekomendasi E-Complaint Universitas Brawijaya.

  dengan desain rekomendasi website

  website E-Complaint Universitas Brawijaya

  80 100 Desain Lama Desain Baru

• – Based Web Design & Usability Guidelines . Tersedia di

  https://www.nngroup.com/articles/usab

  with

  5 Users. Tersedia di

  <https://www.nngroup.com/articles/wh y-you-only-need-to-test-with-5-users/> [diakses pada 14 Februari 2018]

  Nielsen, J. 2012. How Many Test Users in a

  Usability Study. Tersedia di

  https://www.nngroup.com/articles/how- many-test-users/ [diakses pada 14 Februari 2018]

  Nielsen, J. 2012. Usability 101 : Introduction to

  Usability . Tersedia di

  ility -101-introduction-to-usability/

  https://www.nngroup.com/articles/how- to-conduct-a-heuristic-evaluation/ [diakses pada 14 Februari 2018]

  [diakses pada 14 Februari 2018] Rubin, J. Chisnell, D. 2008. Handbook of

  Usability Testing, Second Edition: How to Plan, Desisgn, and Conduct Effective Tests . Wiley Publishing, Inc.

  Indianapolis. Rusady, Ruslan. 2004. Public Relation. Edisi

  Revisi ke-2. Jakarta: PT Raja Grafindo Persada. Shitkova, M., Holler, J., Heide, T., Clever, N. &

  Becker, J. 2015. Towards Usability

  Guidelines for Mobile Websites and Application . Jerman: International

  Conference on Wirtschaftsinformatik. Universitas Brawijaya. 2018. E-Complaint

  Universitas Brawijaya . Tersedia di <

  https://e-complaint.ub.ac.id/> [diakses pada 12 Januari 2018]

  Nielsen, J. 2000. Why You Only Need to Test

  Evaluation . Tersedia di

  rekomendasi tampilan website E-Complaint UB baru didapatkan tingkat

  Februari 2018] Nielsen, J. 1995. How to Conduct a Heuristic

  usability -heuristics/> [diakses pada 14

  <https://www.nngroup.com/articles/ten-

  User Interface Design. Tersedia di

  Nielsen, J. 1995. 10 Usability Heuristics for

  <https://www.usability.gov/sites/default /files/documents/guidelines_book.pdf> [diakses pada 16 Februari 2018 ]

  Research

  Leavitt Michael & Ben Shneiderman. 2006.

  kepuasan

  pengguna yang meningkat dari rata-rata penilaian usability menggunakan kuesioner System Usability Scale, yaitu dari 44,38 menjadi 72,5 yang didukung pula dengan hasil wawancara kepada 8 responden yang kesemuanya memberikan feedback positif pada rekomendasi desain baru website E- Complaint Universitas Brawijaya. Skor SUS juga menyatakan membaiknya adjective ratings dari “Ok” menjadi “Good”, grade scale dari “F” menjadi “C” dan acceptabili ty dari “not acceptable” menjadi “acceptable”.

SUMBER PUSTAKA/RUJUKAN

  User Interfaces in the World Wide Web: Introducing 20 Guidelines for Usable Web Form Design . Switzerland: InTechOpen.

  Bargas-Avila et Al. 2010. Simple but Crucial

  Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale . Journal of Usability Studies, Vol. 4, Issue 3, pp. 114-123.

  Technology, Colleges and Community Worldwide Online Conference. Bangor, A., Kortum, P., & Miller J. 2009.

  Usability Testing of the UH STEM Education Website. The 21st Annual

  Journal of Management Excellence. Arakawa, M. 2016. But is it useful? Website

  Analysis of Perceived Usability, Perceived Interactivity and Website Personality and their effects on Consumer Satisfaction. International

  Akrimi, Y. & Khemakhem, P R. 2014. An

  International Jurnal of Human- Computer Interaction, Vol 13, No 4,

  PP. 421-443 Jenny, A., Eric, D., Ashley, E., Junyoup, K. (2007). Usability Testing vs. Heuristic Evaluation. Project 3. Usability project.

  Hertzum, M., Jacobsen, N. E. 2001. The Evaluator Effect: A Chilling Fact about Usability Evaluation Methods.