Evaluasi Desain Antar Muka Website Dinas Koperasi Kota Malang Menggunakan Heuristic Evaluation

  Vol. 3, No. 1, Januari 2019, hlm. 7894-7901 http://j-ptiik.ub.ac.id

  

Evaluasi Desain Antar Muka Website Dinas Koperasi Kota Malang

Menggunakan Heuristic Evaluation

_{1 2 3} Andrew Wise Jeremia , Hanifah Muslimah Az-Zahra , Admaja Dwi Herlambang

  Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya _{1 3} Email: emdru.wise@gmail.comfah.azzahara@ub.ac.id, herlambang@ub.ac.id

  

Abstrak

  Tujuan penelitian ini adalah untuk mengetahui permasalahan usability dan nilai severity yang terdapat pada dinkop.malangkota.go.id pada Dinas Koperasi Kota Malang dengan menggunakan metode

  

heuristic evaluation dan rekomendasi yang diajukkan. Metode yang digunakan adalah metode heuristic

evaluation dalam menemukan permasalahan menggunakan observasi pendapat oleh ahli IT atau yang

  memiliki kemampuan dalam bidang content dari aplikasi tersebut. Hasil penelitian diketahui

  

p ermasalahan usability yang didapatkan menggunakan heuristic evaluation berjumlah keseluruhan ada

  24 permasalahan. Dari total 24 permasalahan tersebut terbagi tidak merata dalam masing-masing

  

heuristic untuk permasalahan terbanyak terdapat pada heuristic H5-Consider error-prone conditions

  yaitu “mencegah terjadinya error” dengan berjumlah 5 permasalahan. Rekomendasi yang diberikan berdasarkan permasalahan yang terdapat pada Website Dinas Koperasi berjumlah 4 permasalahan. Hal tersebut terbagi dalam 8 permasalahan cosmetic, 8 permasalahan minor dan 8 permasalahan major. Dari total 24 permasalahan bisa dikatakan hanya 4 permasalahan yang diberikan rekomendasi perbaikan secara nyata oleh evaluator.

  Kata kunci: Evaluasi Desain, Antarmuka, Dinas Koperasi, Heuristic Evaluation

Abstract

  

The purpose of this study was to determine the usability problems and severity values contained in the

Department of Cooperative dinkop.malangkota.go.id Malang by using heuristic evaluation and

recommendations on the way down. The method used is the heuristic evaluation method in finding

problems through observation or opinion by IT experts who have skills in the content field of the

application. The survey results revealed that usability problems found using the heuristic evaluation

there were 24 issues totaling entirety. Of the total of 24 issues divided unevenly in each heuristic for

most issues contained in the H5-Consider heuristic error-prone conditions, namely "to prevent errors"

by totaling five issues. Recommendations are given based on the problems contained in the Website of

Cooperative consists of 4 problems. It is divided into eight cosmetic problems, 8 and 8 minor problems

major problems. From a total of 24 problems can be said to be only 4 issues given real improvement

recommendations by the evaluator.

  Keywords: Evaluation Design, Interface, Dinas Koperasi, Heuristic Evaluation 1.

  dan dapat menjawab pertanyaan dari konsumen

   PENDAHULUAN

  dengan cepat dan murah, pada umumnya website

  Website adalah alamat atau lokasi di dalam

  menyediakan beberapa artikel beserta tips dan internet suatu halaman web, umumnya membuat informasi. Ketika suatu website sering update dokumen HTML dan dapat berisi sejumlah foto dan memosting artikel, masyarakat umum dapat atau gambar grafis, music, teks bahkan gambar menggunakanya sebagai sumber informasi. yang bergerak. Dengan menggunakan teknologi

  Dengan ini masyarakat dapat melihat produk dan tersebut, informasi dapat diakses selama 24 jam jasa yang ditawarkan dalam website tersebut, dimanapun dan kapanpun. Website dapat informasi tentang bisnis dan perusahaan dapat memberikan keuntungan besar karena dapat diposting dalam website , dengan ini diakses secara global melalui jaringan internet, mendapatkan kepercayaan dari konsumen, informasi tentang produk tersedia secara online

  Fakultas Ilmu Komputer Universitas Brawijaya

7894 karena konsumen lebih percaya jika mereka mengetahui sesuatu tentang perusahaan tersebut.

  Evaluasi adalah suatu proses dalam menyediakan informasi untuk mengetahui sejauh mana kegiatan tersebut telah dicapai. Evaluasi mengukur suatu pekerjaan atau hal-hal yang dilakukan, evaluasi sangat berguna atau bermanfaat karena dapat mengetahui tingkatan pekerjaan dan juga sebagai penilaian terhadap apa yang telah di kerjakan atau di lakukan. Pengertian evaluasi yang lain adalah suatu proses sistematis dalam menentukan atau membuat keputusan terhadap sejauh mana program atau sistem suatu aplikasi telah tercapai. Evaluasi dilakukan untuk mengukur sejauh mana tingkat kemudahan pengguna dalam mempelajari website ketika pertama kali menggunakan website. Heuristic evaluation adalah metode dalam usability untuk menemukan permasalahan usability dalam sebuah antarmuka sehingga bisa dijadikan bagian dari pembuatan sebuah antarmuka itu sendiri (Nielsen, 1994). Terdapat 10 heurisitic yang sudah ada dan dapat digunakan sebagai panduan dalam melakukan evaluasi usability.

  Website Dinas

  Merupakan sebuah website yang dibuat Dinas Koperasi Kota Malang untuk memberikan

  2.2. Dinas Koperasi Kota Malang

  yang dipilih untuk dijadikan contoh berdasarkan perbandingan dengan penelitian yang akan dilakukan.

  evaluation . Terdapat 4 perbandingan penilitian

  Pada Tabel 2.1 menjelaskan bagaimana penelitian-penelitian telah dilakukan untuk memajukan pengetahuan tentang heuristic

  Rovina Maria Miranda, 2014 Me y m m

  

heuristic

  Analisis usability dari aplikasi perangkat mobile menggunakan

  Me y pene m i

  pada smartphone untuk orang tua Piotr Calak, 2013

  Heuristic evaluation

  Jorge Avilés Monroy,2015 Me ber ber i m r

  Koperasi Kota Malang

  evaluation untuk

  Koperasi dinas kota malang merupakan aplikasi website-commerce yang diluncurkan oleh koperasi dinas kota malang itu sendiri sebagai sarana mengembangkan potensi dan kemampuan ekonomi anggota dan berupaya mempertinggi kualitas kehidupan manusia, memperkokoh perekonomian rakyat. Dengan adanya aplikasi website koperasi di kota malang diharapkan masyarakat memperoleh kemudahan dan mengembangkan potensi dan kemampuan ekonomi pada masyarakat sekitar.

  Sebelum memutuskan untuk melakukan sebuah penelitian, maka terlebih dahulu dilakukan studi mengenai penelitian sebelumnya. Terdapat banyak penelitian yang menyinggung tentang heuristic evaluation dalam penggunaanya pada Website Dinas Koperasi Kota Malang. Dalam penelitian yang telah dilakukan oleh berbagai sumber.Telah diketahui banyak sekali metode yang digunakan dalam melakukan pengambilan dan pengajuan

  Berdasarkan wawancara yang dilakukan kepada beberapa pengguna Website dinas koperasi, pengguna menyatakan bahwa

  traffic nya masih rendah. Selain itu website dinas

  koperasi masih belum banyak dikenal dan tidak yakin bahwa web ini adalah resmi dari Dinas Koperasi Kota Malang. Sedangkan berdasarkan observasi yang dilakukan oleh penulis pada

  Website dinas koperasi ditemukan adanya menu

  yang tidak menampilkan informasi sama sekali, dimana hal tersebut akan mempengaruhi harapan pengguna terhadap sistem informasi khususnya pada Dinas Koperasi Kota Malang.

  heuristic yang telah dilakukan demi

  heuristicusability

  menyesuaikan dengan penelitian. Pada penelitian biasanya menggunakan ekspert review atau kuisioner dalam melakukan pengambilan datanya. Perbedaanya bisa dilihat pada Tabel 2.1.

Tabel 2.1 Perbandingan Dengan Penelitian Terdahulu Topic Penelitian Peneliti dan tanggal R

  Heuristicusability

  untuk smartphone layar sentuh Rodolfo Inostroza, Cristian Rusu, Silvana Roncagliolo, Cristhy Jiménez, Virginica Rusu,2012

  Me unt ber m

  Penelitian

2. LANDASAN PUSTAKA

2.1. Penelitian Sebelumnya

  informasi kepada masyarakat tentang hal terbaru mengenai program perkoperasian, acara yang diadakan oleh Dinas Koperasi Kota Malang dan hal yang bersifat umum lainya. Dalam Gambar 2.1 diperlihatkan tampilan utama dari Website Dinas Koperasi Kota Malang.

  dan hubunganya dengan kemampuan user untuk mengoprasikan sistem tertentu dalam tingkatan kompetensi tertentu yang sudah ditentukan berdasarkan jumlah dan waktu yang digunakan dalam menggunakan sistem.

  Dalam melakukan evaluasi usability, ada 2 buah hasil yang akan terlihat. Pertama adalah seberapa banyak permasalahan yang tedapat

  d. Tingkat Permasalahan Usability

  Ada banyak metode yang bisa digunakan dalam membangun sebuah usability. Dalam menjaga agar jangka kegunaan suatu produk awet, maka tingkat usability pun harus diperhatikan. Melakukan review dengan beberapa metode dalam usability bisa membantu dalam penelitian ini tentang Heurisitk Evaluation itu sendiri.

  c. Metode Dalam Usability

  akses atau kesempatan menggunakan produk antar muka untuk memenuhi kebutuhan pengguna.

  Accessibility adalah bagaimana mendapatkan

  tidak bisa dipisahkan. Dalam artian luas,

  Accessibility dan usability sebenarnya memang

  dan opini user terhadap sebuah produk antarmuka, biasanya di kemukakan secara tertulis maupun lisan.

  Satisfaction mengacu pada perspektif,perasaan

  Learnability merupakan bagian dari efektifitas

  Dalam Gambar 2.1 dapat dilihat tampilan utama atau menu home dari website yang dimiliki oleh Dinas Koperasi Kota Malang. Tampilan tersebut terlihat standart dan sederhana. Menampilkan informasi mengenai menu Home, Profil, Bidang Kerja, Layanan, Informasi, Berita, Galeri Dan Kontak. Untuk menu Home adalah tampilan antarmuka. Menu Profil menampilkan visi, misi dan program Dinas. Menu Berita menyajikan acara yang diselenggarakan Dinas Koperasi Kota Malang. Untuk Galeri menyajikan peraturan dan prosedur dalam perkoperasian khususnya untuk peraturan dan prosedur perijinan pembuatan koperasi. Sedangkan menu kontak adalah menu menyajikan nomor atau akses yang bisa dihubungi oleh masyarakat. Pada pojok kiri atas terdapat nomor telepon dan pojok kanan terdapat icon , apabila di klik dapat menghubungkan dengan aplikasi facebook dan account milik Dinas Koperasi .

  kemampuan sebuah produk antar muka bisa sesuai dengan keinginan pengguna dan pengguna juga dengan mudah menggunakannya untuk hal yang mereka inginkan, biasanya diukur secara kuantitatif dari jumlah kesalahan yang dibuat pengguna.

  Effectiveness mengacu pada sejauh mana

  dalam menyelesaikan apa yang menjadi tujuannya dalam menggunakan sebuah produk antar muka secara akurat, biasanya diukur berdasarkan waktu.

  Efficiencyadalah sebuah tingkat kecepatan user

  kemampuan sebuah antar muka untuk memungkinkan penggunanya mencapai apa yang mereka inginkan, dan sebuah penilaian terhadap keinginan pengguna untuk menggunakan produk antar muka tersebut.

  b. Ciri Usability Usefulness adalah sampai sejauh mana

  Dalam sebuah buku yang berjudul yang dikarang oleh Jeffrey Rubin (1994). Usability adalah kualitas yang dimiliki oleh setiap produk..

  a. Usability

  Informasi, Berita, Galeri Dan Kontak. Untuk menu Home adalah tampilan antarmuka.

2.3. Usability

  Gambar 1. Menunjukkan tampilan utama atau menu home dari website yang dimiliki oleh Dinas Koperasi Kota Malang. Tampilan tersebut terlihat standart dan sederhana. Menampilkan informasi mengenai menu Home, Profil, Bidang Kerja, Layanan,

  Website Dinas Koperasi Kota Malang Gambar 1 Tampilan antarmuka utama dari dinkop.malangkota.go.id Dinas Koperasi Kota Malang Sumber: Aplikasi Dinas Koperasi Kota Malang pada sistem tersebut. Kedua adalah seberapa perbaikan secepatnya agar tidak terjadi hal yang besar permasalahan tersebut. Dalam pengukuran tidak diinginkan. jumlah permasalahan juga objektif, karena bisa i. Severity Rating Pada Heuristic Evaluation dilihat dari jumlah permasalahan yang ditemukan. Untuk mengukur seberapa besar atau Untuk mendapatkan nilai severity yang baik akan sulit didapatkan dikarenakan ketika sulit tiap permasalahan tersebut, pasti jawabanya

  evaluator melakukan sesi evaluasi maka mereka kurang objektif.

  

f. Prosedur Metode Heuristic Evaluation akan focus dalam menemukan permasalahan itu

  sendiri sedangkan untuk memberikan severity Heurisitic Evaluation adalah salah satu metode yang bertujuan untuk untuk tiap permaslahan jadi terabaikan.

  usability

  Sehingga untuk mendapatkan nilai severity menemukan permasalahan usability. Metode ini alangkah baiknya melakukan penilaian ketika melibatkan sebagian kecil evaluator yang terdiri selesai melakukan evaluasi dan menanyakan dari ahli TI, terutama dalam bidang desain antar muka. Nielson (1995) mengatakan bahwa secara langsung untuk permasalahan tersebut memiliki nilai severity tersebut. Dalam keadaan menggunakan 1 orang evaluator akan terasa sulit dalam menemukan semua hal yang berkaitan normal butuh sekitar

  30 menit untuk menanyakan nilai severitiy rating dari tiap-tiap dengan permasalahan usability. Bagaimanapun masalah yang ditemukan oleh evaluator dan penambahan evaluator bisa menjadi solusi dalam merupakan alternatif yang paling mudah tidak tercampur dengan pendapat dari evaluator lainnya. dalam mengatasi kurangnya penemuan permasalahan. Pada metode ini, nantinya pada

  3. evaluator melakukan evaluasi masing-masing METODOLOGI

  sendiri. Setiap evaluator dilarang melakukan

  Pada Bab ini menjelaskan terkait komunikasi apapun selama masa evaluasi. dengan tahapan yang akan dilakukan

  Setelah melakukan evaluasi evaluator yang pada penelitian yang akan dilakakukan. melakukan evaluasi usability bisa melakukan

  Sehingga tujuan yang dikemukakan diskusi terkait apa yang mereka evaluasi.

  g. Evaluator Dalam Heuristic Evaluation pada BAB I bisa tercapai. Semua

  Dalam metode usability, terdapat beberapa

  tahapan mulai dari studi literatur,

  metode yang menggunakan evaluator sebagai

  perancangan pengumpulan data,

  sarana dalam mengevaluasi. Metode yang

  kemudian melakukan pengumpulan

  popular dalam menggunakan Ahli TI salah

  data sampai pengolahan data hingga

  satunya adalah heuristic evaluation. Ahli TI

  penarikan kesimpulan. Dalam Gambar

  sangat berguna dalam melakukan evaluasi

  

usability karena bisa lebih effisien dan efektif 3.1 menunjukkan alur penelitian secara

  dalam: runtut. Mengidentifikasi user dan tujuannya, Mendefinisikan apa saja yang akan dilakukan

  user pada aplikasi antar muka, Mengetahui apa Mulai

  saja langkah yang akan user ambil dalam antar muka dan mengantisipasi agar tidak terjadi kesalahan ketika user menggunakannya.

  Studi literatur Heuristic

  h. Severitiy Rating evaluation

  Pada dasarnya severity rating adalah tingkat kepelikan sebuah permasalahan usability yang

  Perencanaan dan Pengumpulan Data ditemukan berdasarkan sebuah penelitian.

  Severity biasanya dikaitkan dengan

  permasalahan yang timbul memiliki tingkat

  Pengujian Heuristic Tahap I

  keseriusan yang bervariasi. Apabila tingkat keseriusan permasalahan usability sangat tinggi maka developer perlu untuk melakukan Analisis Hasil Pengujian Tahap I pengecekan ulang dan tidak segera meluncurkan aplikasi apabila belum diluncurkan. Apabila

  Perbaikan Website

  sudah diluncurkan maka bisa segera melakukan penelitian. Proses pengumpulan data Pengujian Heuristic Tahap II dilakukan sampel yang dilakukan sebelumnya.

  Analisis Hasil Pengujian Tahap II 4.

   HASIL Pengambilan Kesimpulan dan

  4.1. Evaluator Saran Selesai

  no nama umur Jenis pekerjaan Keahlian kela dan

  Gambar Alur Perancangan Penelitian

  min pengalaman 3.1.

  Definisi literatur Heuristic Evaluation

  1 Nurcahyo

  25 P Front Informatik

  Studi literatur heuristic evaluation adalah

  pujo enginer

  serangkaian kegiatan yang berkenaan dengan

  dinkop

  metode pengumpulan data pustaka, mambaca, mencatat, serta mengelolah bahan

  2 Nadia

  23 L Project Database

  penelitian. Studi literatur merupakan

  soraya manajer

  penelitian yang dilakukan oleh peneliti dengan mengumpulkan data terlebih dahulu yang

  3 Oktavia

  32 L Business Bisnis

  berkaitan dengan masalah dan tujuan

  zalma analysis

  penelitian. Bertujuan untuk mengungkapkan berbagai permasalahan yang sedang dihadapi

  4 Muhammad

  38 P System System

  atau diteliti sebagai bahan rujukan dalam

  lutfi analyst analysis pembahasan hasil penelitian. 5 ariwibowo 43 p Progammer Database

3.2. Perencanaan Dan Pengumpulan Data

  Perecanaan merupakan kegiatan untuk menetapkan tujuan yang akan

  4.2. Hasil Evaluasi Heuristic Evaluation dicapai beserta cara-cara untuk

  Hasil evaluasi usability pada website Dinas

  mencapai tujuan tersebut. Perencanaan

  Koperasi Kota Malang berdasarkan metode

  bisa juga disebut dengan pemilihan atau heuristic evaluation menghasilkan berbagai

  permasalahan yang beragam. Terdapat beberapa

  penetapan tujuan organisasi dan

  tabel yang merepresentasikan permasalahan

  penentuan strategi kebijaksanaan,

  yang didapat selama melakukan evaluasi. Hasil

  proyek, metode, dan sistem yang

  evaluasi oleh evaluator bisa dilihat dalam dibutuhkan untuk mencapai tujuan. Lampiran. Permasalahan akan diklasifikasikan

  Pengumpulan data dilakukan untuk

  berdasarkan tempat ditemukan permasalahan

  memperoleh informasi yang dibutuhkan

  tersebut dan heurisitic yang bersangkutan terhadap masalah tersebut kemudian nilai dari

  dalam rangka mencapai tujuan severity rating atau tingkat kerumitan

  permasalahan tersebut dengan menggunakan No Bagian Permasalahan Heuristic Severity Kode skala Nielsen (1995). Permasalahan tersebut

  Masalah dikategorikan berdasarkan masing-masing

  1. Halaman Tombol H3

  2 M-1-2 heuristic yang telah ditentukan sebelumnya. Berita breadcrumb

4.3.

  Permasalahan Heuristic

  tidak bisa diklick

  Menawarakan Objek Dunia Nyata 5. HASIL PENELITIAN DAN PEMBAHASAN

  Berdasarkan pembahasan yang telah dilakukan maka kesimpulan yang bisa ditarik dari pembahasan tersebut adalah: 1.

  permasalahan adalah 1 2. Rekomendasi yang diberikan berdasarkan permasalahan yang terdapat pada Website

  important stuff and not the user dan H4- Achieve consistency (internal within the app and external with other apps in the platform) dengan rerata tingkat

  rerata tingkat permasalahan adalah 2.28 dalam skala 0 sampai 4. Untuk heuristic yang memiliki tingkat permasalahan terkecil adalah H6-Have the app remember

  When a user error happens, take the user’s feelings and needs into account dengan

  1 permasalahan saja. Berdasarkan pembahasan telah diketahui bahwa rata-rata nilai severity untuk semua permasalahan pada website ini adalah 21.01% dalam skala 0 sampai 4. Sehingga dengan rata-rata tersebut tingkat permasalahan pada website tergolong minor. Heuristic yang memiliki rerata tingkat permasalahan tertinggi adalah H1-Make System Status Visible dan H9-

  dengan masing-masing berjumlah

  default settings, but allow customization

  yaitu “mencegah terjadinya error” dengan berjumlah 5 permasalahan. Untuk heuristic yang memiliki permasalahan yang paling sedikit adalah H7-Strive for high efficiency of use in

  heuristic H5-Consider error-prone conditions

  ada 24 permasalahan. Dari total 24 permasalahan tersebut terbagi tidak merata dalam masing-masing heuristic untuk permasalahan terbanyak terdapat pada

  heuristic evaluation berjumlah keseluruhan

  Permasalahan usability yang didapatkan setelah melakukan evaluasi menggunakan

  6. KESIMPULAN

  5.1. Perbandingan Permasalahan Usability

  penelitian,sehingga heuristic yang terdapat skala ini tidak ada sama sekali. Begitu juga dengan skala catastrophic yang tidak terdapat pada masing-masing heuristic yang menandakan permasalahan yang ada pada website tersebut tidak memiliki skala seperti ini. Dapat dilihat permasalahan terpusat pada 3 skala saja yaitu skala cosmetic, minor, major yang mendominasi persebaran permasalahan.

  problem tidak terdapat dari hasil

  atau tingkat kepelikan masalah. Dalam kolom rerata didapat dari tiap permasalahan dikalikan dengan nilai severity dan dicari rata- rata severity untuk tiap heuristic dengan rerata secara keseluran. untuk semua permasalahan memiliki nilai 2.28 dalam skala 0 sampai 4. Dalam perhitungan yang telah dilakukan yaitu tiap skala Nielsen (1995) akan direpresentasikan dengan angka 0 sampai 4 untuk dilakukan perhitungan dengan not problemdengan nilai 0 dan catastrophic dengan nilai 4 sehingga tiap skala bisa diukur berdasarkan angka. Kemudian tingkat permasalahan yang sudah bisa dihitung karena sudah memiliki nilai yang jelas. Tiap permasalahan untuk tiap heuristic dihitung jumlah untuk masing-masing heuristic dan skala tersebut kemudian bisa diambil rerata dari hasil yang sudah dikumpulkan. Untuk skala not

  severity

  evaluator. Setelah permasalahan ditemukan maka permasalahan tersebut diberikan nilai

Tabel 5.4 menunjukan jumlah dari permasalahan usability yang didapat oleh

  menunjukkan nilai severity dari permasalahan usability yang telah teridentifikasi.

  website yaitu catastrophic. Pada Tabel 5.4

  mulai dari 0 sampai 4. Mulai dari kategori bukan masalah usability sama sekali yang tidak terlalu penting sampai permasalahan yang sangat penting dan bisa mengganggu berjalannya

  severity bisa dikategorikan berdasarkan skala

  Permasalahan usability yang ditemukan memiliki tingkat permasalahan tersebut sendiri. Seperti yang dikemukakan oleh Nielsen bahwa tingkat kepelikan suatu permasalahan atau

  5.2. PERHITUNGAN SEVERITY RATING

  Dinas Koperasi berjumlah 4 permasalahan. Hal tersebut terbagi dalam 8 permasalahan

  Scenario for Usability Testing [online]

  Nielsen, J., 2014. Turn User Goal into Task

  permasalahan major . Dari total

  24 permasalahan bisa dikatakan hanya 4 permasalahan yang diberikan rekomendasi perbaikan secara nyata oleh evaluator.

  Tersedia di < http://www.nngroup.com/articles/task- scenarios-usability-testing/ > [Diakses 19 Februari 2017]

  cosmetic, 8 permasalahan minor dan 8

DAFTAR PUSTAKA

  Multivariate Dengan Program SPSS, Semarang : Badan Penerbit Universitas Diponegoro.

  Usability [online] Tersedia di

  TELKOM, Fakultas Ilmu Komputer, Universitas Indonesia, https://www.researchgate.net

  Sigit Hadi Prayoga dan Dana Indra Sensuse, 2012, Analisis Usability Pada Aplikasi Berbasis Web Dengan Mengadopsi Model Kepuasan Pengguna (User Satisfaction), Enterprise Solution, R&D Center PT.

  Bandung: Alfabeta. Sugiyono. 2015. Metode Penelitian Kuantitatif, Kualitatif dan R&D. Bandung : Alfabeta.

  Singgih Santoso. 2001. SPSS Versi 10 : Mengolah Data Statistik Secara Profesional. Jakarta : PT Elex Media Komputindo Sugiyono. 2009. Statistika Untuk Penelitian.

  Rao Purba, 2006, Measuring Consumer Perception Through Factor Analysis, The Asian Manager (February – March).

  1994. “Handbook of Usability Tes ting”. John Wiley &. Sons

  Rubin, Jeffrey.

  Usability Testing. 2nd ed. Boulevard: Wiley.

  Rubin, J. & Chisnell, D., 2008. Handbook of

  Rovina Maria Miranda, 2014, Usability Analysis of Smart watch applications based on Heuristics, https://cs.uni- paderborn.de/en/mci/lehre

  Machfoedz, Mahmud. 2010. Komunikasi Pemasaran Modern.Yogyakarta : Cakra Ilmu. Basu Swastha, dan T. Hani Handoko, 2008, Manajemen Pemasaran, Analisa Perilaku Konsumen, edisi pertama, cetakan keempat, Penerbit : BPFE, Yogyakart

   [Diakses 19 Februari 2017]

  Nielsen, J., 2012. Usability 101: Introduction to

  Jenny Laura Manzari and Trinidad Christensen Jeremiah. 2007, “User Centered Design of a Website for Library and Information Science Students : Heuristic Evaluation and Usability Testing”. Jurnal of Information Technology and Libraries, Long Island University.

  Nielsen, J., 2001. Usability Metrics [online] Tersedia di < Diakses 18 Februari 2017]

  Arnoldus Yansen Friska Danar Yudhistira, 2016, Rancang Bangun Sistem Informasi Pengukuran Tingkat Kepuasan Pelanggan Berdasarkan Kualitas Pelayanan E- Government Menggunakan Metode Regresi, Skripsi Tidak Diterbitkan

  Budi Harijanto, 2014, Sistem Informasi Pengukuran Kepuasan Pelanggan (Studi Kasus Politeknik Negeri Malang), Skripsi Tidak Diterbitkan

  Fandy Tjiptono 2009, Strategi Pemasaran, edisi kedua, cetakan ketujuh, Yogyakarta : Andi. Offset. Ghozali, Imam, 2011, Aplikasi Analisis

   [Diakses 17 Februari 2017]

  Usability Metric [online] Tersedia di

  Nielsen, J., 2001. Success Rate: The Simplest

  [online] Tersedia di Diakses pada 16 Februari 2016]

  Mifsud, J., 2015. Usability Metric

  The Evaluator Effect: A Chilling Fact About Usability Evaluation Methods, International Journal of Human Computer Interaction

  Jilid 1. Edisi ke 13. Jakarta: Erlangga Maret Hertzum, M. dan Jacobson, N. E., 2003,

  Kotler dan Keller. 2009. Manajemen Pemasaran.

• – A Guide To Quantify The Usability Of Any System.

Shandi Prima Yudha Adrianto, 2016, Analisis Pengaruh Kualitas Layanan Website Terhadap Kepuasan Mahasiswa Stie Perbanas Surabaya Menggunakan Model Webqual, Skripsi Tidak Diterbitkan.