INTERAKSI MANUSIA DAN KOMPUTER

INTERAKSI MANUSIA DAN KOMPUTER EVALUASI

  PENGENALAN EVALUASI EMPIRIS PERANCANGAN EKSPERIMEN 1) _Hipotesa 2) _Variable 3) _{Rancangan dan Paradigma} PARTISIPASI, IRB DAN ETIKA

  PENGUMPULAN DATA 1) _Teknik 2) _Metode 3) _Trik 4) _{Data Subjektif} 5) _Kuisioner 6) _Wawancara

ANALISA DATA DAN INTERPRESTASI HASIL

PENGGUNAAN HASIL RANCANGAN

  LISNAWATI _0651 08 086 PUTERI PRAVITASARI _0651 08 070 NUR AGUS SAEPULLOH _0651 08 080 ALI YUSMAN _0651 08 104 Jurusan Ilmu Komputer Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Pakuan Bogor 2010

  PENGENALAN EVALUASI EMPIRIS Metode Empirik : Evaluasi Eksperimen

  Suatu metode yang sangat kuat dalam mengevaluasi perancangan atau aspek dari perancangan adalah menggunakan ekperimen yang terkontrol. Ini menyediakan kenyatan empiris untuk mendukung klaim umum atau hipotesis. Setiap Eksperimen memiliki dasar yang sama. Evaluator memiliki Hipotesa untuk diuji, yang dapat ditentukan dengan menukar beberapa attribute dari peilaku subjek. Sejumlah kondisi ekperimen di tentukan. Yang berbeda dalam hal nilai dari variable yang terkontrol. Setiap perubahan dalam pengukuran perilaku diatributkan kekondisi yang berbeda.

  Pendahuluan

   Adanya perdebatan tentang penilaian sebuah tampilan

   Ada yang mengatakan “BAGUS”, “SEDANG”, atau “JELEK”  Adanya asumsi bahwa selama suatu software dapat digunakan, maka itu sudah cukup bagus  Kegiatan evaluasi suatu software atau tampilan merupakan kegiatan yang dihindari karena akan menambah waktu pengembangan dan biaya  Kegiatan evaluasi merupakan sesuatu yang sangat penting karena desainer dapat mengetahui apakah karyanya berguna dan diinginkan oleh user.

   _Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu

   _{Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan} penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll

  Mengapa Evaluasi Dibutuhkan ?

   _{Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design}

  guidelines menjamin bahwa karyanya pasti bagus

   _{Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut dan} menyukainya

   _{Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan menggunakan} kuesioner dan atau interview

  Mengapa Evaluasi ?

  Recall : User dan Tugas di Identifikasikan Kebutuhan dan persyaratan yang ditentukan Interface ini dirancang, dibangun prototype

  Tetapi, apakah ada gunanya ?? apakah system mendukung penggunaan dalam tugas mereka ?? apakah lebih baik dari yang ada sebelumnya (jika apa-apa) ?

  Kapan Evaluasi Dilakukan ? _{Evaluasi dapat dilakukan pada:}

    Selama proses pembuatan produk tersebut supaya selalu sama dengan yang diminta atau dibutuhkan oleh user. Proses ini biasa disebut formative evaluations

   Saat produk tersebut telah jadi yaitu melalui prototype  Saat produk tersebut telah dipasarkan. Jika ada kekurangan atau perubahan kebutuhan user, maka produk tersebut bisa dibuatkan versi yang terbaru/upgrade, mis: program- program Windows, Winamp, dll. Evaluasi ini biasa disebut summative evaluations

   produk dapat dilakukan melalui riset pasar, baik melalui perorangan atau _Evaluasi sekelompok user

  PERANCANGAN EKSPERIMEN 1) Hipotesa

  adalah jawaban sementara terhadap masalah yang masih bersifat praduga

  Hipotesis karena masih harus dibuktikan kebenarannya.

  berasal dari bahasa Yunani: hypo= di bawah;thesis = pendirian, pendapat

  Hipotesa

  yang ditegakkan, kepastian. Artinya, hipotesa merupakan sebuah istilah yang Digunakan dalam rangka kegiatan ilmiah yang mengikuti kaidah-kaidah berfikir biasa, secara sadar, teliti, dan terarah. Dalam berfikir sehari-hari, orang menyebutnya anggapan, perkiraan, dugaan, dan sebagainya.Hipotesa juga berarti sebuah pernyataan atau da hubungan tertentu.

  Proses pembentukan hipotesa adalah proses yang melalui tahap-tahap tertentu.Hal demikian juga terjadi dalam pembuatan hipotesa ilmiah, yang dilakukan dengan sadar, teliti, dan terarah. Hipotesis merupakan satu tipe proposisi yang langsung dapat diuji.

2) Variable

  Berikut ini adalah type of variable, yaitu : _{Independent Variabel/Variabel bebas} Karakteristik suatu eksperimen yang memanipulasi untuk menghasilkan kondisi yang _{Dependent Variabel/variable tidak bebas} berbeda untuk perbandingan. Contoh : gaya antar muka, Jumlah Item Menu.

  Variabel yang dapat diukur dalam eksperimen. Contoh : waktu yang diambil, kesalahan.

3) Rancangan dan Paradigma Perancangan.

  Evaluasi Design _{Jika perancangan di evaluasi , “idealnya” kesalahan dapat dihindari.}

_{Evaluasi pertama terhadap sistem idealnya dilakukan sebelum implementasi dimulai.}

_{Evaluasi ini dilakukan setelah proses perancangan}

  Ada beberapa metode untuk megevaluasi perancangan :  Cognitive Walktrough 

  Heuristik Evaluation

   Review Based A. _{Cognitive Walktrough}

  Dalam metode / pendekatan ini terdapat beberapa isu yang timbul, seperti : _{Pengaruh apa yang akan timbul setelah tugas diberikan ke user ?}

   _{Proses kognitif apa yang timbul ?}

   _{Masalah Pembelajaran apa yang mungkin terjadi ?}

   _{Informasi yang dibutuhkan :}

   o Deskripsi dari suatu interface yang dibutuhkan o Deskripsi dari tugas termasuk usaha yang benar untuk melakukannya dan struktur tujuan untuk mendukungnya

  B. _{Heuristik Evaluation Hampir sama dengan cognitive walktrough, tetapi sedikit lebih terstruktur dan terarah}

   _{Ada 10 dasar dari heuristik :}

    Visibilitas status sistem

   Kecocokan antara sistem dan dunia nyata  Konsisten dan standar.

   Pencegahan kesalahan

   Pengenalan atas penarikan kembali  Fleksibilitas dan effisiensi  Berhubungan dengan keindahan dan desain minimalis

   Bantuan bagi user untuk mengenali, mendiagnosis, dan memperbaiki dari kesalahan

   Help dan dokumentasi C. _{Review Based}

   Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer yang menghasilkan eksperimen yang baik dan pengalaman yang nyata., misal pada daya guna dari tipe menu yang berbeda, pemanggilan nama perintah dan pemilihan ikon.  Pada kenyataan hasil eksperimen tidak dapat dipastikan mempertahankan kondisi yang tetap.

   Evaluator harus memilih data secara hati-hati, menunjuk rancangan eksperimen yang harus

  dipilih, subyek masyarakat yang digunakan, analisis pelaksanaan dan asumsi yang dibuat

  Paradigma Evaluasi.

   “Quick and dirty” evaluation

   Usability testing

   Field studies  Predictive evaluation A.

   “Quick abd dirty” evaluation _{Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang}

  _Evaluasi disampaikan secara informal kepada desainer tentang produk yang dibuatnya ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat/sesingkat mungkin daripada temuan yang didokumentasikan secara hati-hati

  _{Evaluasi ini cukup dominan digunakan pada tahun 1980-an Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati,}

B. Usability testing

  o Melihat secara langsung o Merekamnya dalam video _Evaluasi

  _{Kinerja user umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu} dari proses inilah maka dibuatkan desain sistemnya yang dibutuhkan untuk menyelesaikan tugas _{Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara:}

  treatment

  tertentu (mis: cahaya, suara, warna, dll) atau bisa juga tanpa treatment C.

   Field studies _{Berbeda dengan usability testing, evaluasi ini dilakukan di lingkungan asli dimana}

  user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebutberdampak padanya _{Evaluasi ini dapat digunakan untuk:}

  o Membantu mengidentifikasi kesempatan sebuah teknologi baru o Menentukan kebutuhan-kebutuhan untuk melakukan desain o Memfasilitasi pengenalan sebuah teknologi o Evaluasi teknologi _{Teknik yang dapat digunakan:} o

  Interview o Observasi (pengamatan yang hanya dilakukan oleh desainer) o

Partisipatori (user dilibatkan dalam pembuatan desain)

o Ethnography (penilaian berdasarkan budaya) _{Dari data yang didapatkan tersebut, maka desainer dapat melakukan evaluasi, baik}

  secara kuantitatif maupun kualitatif, terhadap produknya

  ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan sistem tersebut _{Penelitian biasanya dilakukan di dalam sebuah laboratorium,dimana user diberi suatu}

  _{Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya}

D. Predictive evaluation

  hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan _{Keuntungan evaluasi ini:} sebuah produk

  o User yang diinginkan tidak perlu untuk dihadirkan o Proses pembuatannya relatif cepat, murah, dan cukup disukai oleh _{Tahun-tahun terakhir ini, evaluasi ini cukup populer} perusahaan

PARTISIPASI, IRB DAN ETIKA

  _{Institutional Review Board (IRB) • Dewan Review Kelembagaan (IRB) Tidak review ilmu (yakni, tidak asess Anda riset gagasan); keselamatan saja & etika Melindungi para peserta, dan sehingga peneliti dan universitas Review semua penelitian yang melibatkan manusia (atau hewan) peserta} - Http://www.osp.gatech.edu/compliance.htm bentuk berbasis Web Lengkap, submit penelitian ringkasan, persetujuan sampel bentuk, dll _Semua peneliti harus menyelesaikan NIH sejarah online / etika program sebelum mengirimkan Recruiting Participants (Merekrut Peserta) _{Berbagai "subjek kolam"}

• Relawan - Dibayar peserta
• Mahasiswa (misalnya, undergrads psikologi) untuk kursus kredit
• Teman, kenalan, keluarga, laboratorium anggota
• Umum ruang "" peserta - misalnya, mengamati orang berjalan melalui sebuah _{Harus sesuai dengan populasi pengguna (validitas) Motivasi merupakan faktor besar - tidak hanya $ $ tapi juga menjelaskan pentingnya}

  museum _{Catatan: Etika, IRB, Izin berlaku untuk * all * peserta, termasuk teman-teman & "pilot} penelitian subyek"

  Etika _{Setiap peserta harus persetujuan harus dalam percobaan (Informal atau formal) Pengujian dapat sulit Semua peserta harus diperlakukan dengan hormat Harus bisa berhenti tanpa bahaya atau hukuman} - Tahu apa percobaan melibatkan, apa yang diharapkan, apa yang risiko potensial

PENGUMPULAN DATA

  Mengumpulkan Data

• Sesi yang Menangkap - Pengamatan & Catatan-mengambil
• Audio dan video rekaman
• Antarmuka pengguna diinstrumentasi
• Software log
• Pikirkan-keras protokol - bisa sangat membantu
• Insiden Kritis penebangan - positif & negatif
• Pasca-sesi kegiatan
• Structured wawancara; debriefing
• "Apa yang Anda sukai / tidaknya?"; "Bagaimana Anda perubahan ..? "
• Kuesioner, komentar, dan skala rating
• Post-hoc video coding / penilaian oleh percobaan

1) Teknik – Teknik Evaluasi

  Adapun macam- macam teknik evaluasi adalah sebagai berikut :

  Observing users Asking users their opinions Asking experts their opinions Testing user’s performance Modeling users’ task performance to predict the efficacy of a user interface

  2) Metode

  Dalam metode evaluasi ada dua bagian yaitu :

  1. Beberapa pendekatan yang mengevaluasi perancangan :

  a. Metode analitik b. Metode Reneiw.

  c. Metode Berbasis Model

  2. Beberapa pendekatan yang mengevaluasi Implementasi :

  a. Metode Ekperimental

  b. Metode Observasi

  c. Metode Query

  3) Trik

  Faktor

• – factor yang harus dipertimbangkan dalam pemilihan metode Evaluasi : a.

  Tahap mana Evaluasi akan dilakukan ? “Desain vs Implementasi”

• Kepuasan adalah penting faktor kinerja dari waktu ke waktu
• Belajar apa orang lebih suka adalah data yang berharga untuk mengumpulkan Metode • Cara pengumpulan data subjektif
• Kuesioner - Wawancara - Pondok Daun (misalnya, pameran dagang)
• – Call-in product hot-line
• Lapangan dukungan pekerja
• (Focus on first two)

   _{Responden tidak merasa terganggu}

   _{Pengumpulan sampel tidak dapat dilakukan secara bersama-sama dengan daftar} pertanyaan.

   _{Daftar pertanyaan cenderung tidak fleksibel}

   _{Daftar pertanyaan tidak menggaransi responden untuk menjawab pertanyaan.}

  Kerugian

   _{Karena daftar pertanyaan biasanya tidak mencantumkan identitas responden, maka} hasilnya dapat lebih obyektif _.

   _{Daftar pertanyaan relatif lebih efisien untuk sumber data yang banyak}

   _{Daftar pertanyaan baik untuk sumber data yang banyak}

  b.

  Keuntungan

  Kuisioner adalah daftar pertanyaan tertulis yang ditujukan kepada responden Jawaban responden atas semua pertanyaan dalam kuesioner kemudian dicatat/direkam Kuesioner merupakan metode pengumpulan data yang efisien bila peneliti mengetahui secara pasti data/informasi apa yang dibutuhkan dan bagaimana variabel yang menyatakan informasi yang dibutuhkan tersebut diukur.

  5) Kuisioner

  Data subjektif

  4) Data Subjektif

  ?”waktu, subjek, peralatan dan kepakaran”

  Gaya Evaluasi Apakah yang dibutuhkan ? “Laboratorium vs Lapangan” c. Objektifitas teknik seperti apakah yang seharusnya ada ? “subjectif vs Objektive” d. Jenis pengukuran apakah yang perlukan ? “kualitatif vs kuantatif” e. Level Informasi apa yang dibutuhkan ? “Tinggi Vs Rendah” f. Seperti apakah level gangguannya ? “Obstrusive (Menonjol)vs unobtrusive (tidak menonjol) g. Sumber daya apakah yang tersedia

   _{Daftar pertanyaan yang lengkap sulit untuk dibuat.}

6) Wawancara

• – Analist menanyai pengguna satu demi satu, biasanya berdasarkan pertanyaan pertanyaan yang telah disiapkan sebelumnya.

  Keuntungan ฀ _{Memotivasi orang yang diwawancarai untuk menjawab dengan bebas dan terbuka}

   _{Pewawancara dapat mengembangkan pertanyaan}

   _{Pewawancara dapat melihat kebenaran jawaban melalui gerak-gerik dan raut wajah}

   yang diwawancarai

   _{Dapatkah bervariasi tingkat rincian sebagai masalah timbul}

   _{Baik untuk eksplorasi lebih pertanyaan jenis yang dapat mengakibatkan bermanfaat,} konstruktif saran

  Kerugian ฀ _{Membutuhkan waktu yang lama}

   _{Tergantung dari kepapandaian si pewawancara}

   _{Dapat mengganggu orang yang diwawancarai}

   _{Melihat Subjektif}  _{Pewawancara (s) dapat bias wawancara}

   _{Masalah antar-penilai atau antar-percobaan keandalan (Sebuah istilah statistik}

   perjanjian makna) _{Pengguna mungkin tidak tepat mencirikan pemakaian}

   _{memakan waktu}

   _{Sulit untuk mengukur}

   ANALISA DATA DAN INTERPRESTASI HASIL

   _{Pemeriksaan Data(Data Inspection) Lihat hasil Pertama melihat setiap peserta data}

   Apakah ada outlier, orang-orang yang jatuh menganggu, siapapun yang _{Kemudian melihat hasil dan deskriptif statistika} mencoba mengacaukan penelitian, dll?

   _{Descriptive Statistics Total skor, kali, peringkat, dan lain-lain Untuk semua variabel, bisa merasakan Hasil: Mean, median, hasil, dll} Minimum, maksimum

   misalnya "Dua puluh peserta selesai kedua sesi (10 laki-laki, 10 wanita, usia rata-rata 22,4, rentang 18-37 tahun). "

   misalnya "Waktu rata-rata untuk menyelesaikan tugas dalam kelompok-masukan adalah 34,5 s (min = 19,2, max = 305 s). "  _{Hasil Percobaan/Experimental Results Bagaimana kita tahu jika mean itu berarti hasil percobaan apa pun atau Apa yang Anda simpulkan? Contoh: 40 orang berpartisipasi, 28 pilihan interface 1, 12 pilihan antarmuka 2} mengkonfirmasi keyakinan?

PENGGUNAAN HASIL RANCANGAN/SUMMARY

• Usability spesifikasi dapat bermanfaat dalam pelacakan efektivitas redesign upaya
• Mereka sering bagian dari kontrak
• dapat mengatur sendiri kegunaan spesifikasi, bahkan jika proyek mereka tidak menentukan di muka
• Tahu bila cukup baik, dan percaya diri untuk beralih ke proyek berikutnya

DAFTAR PUSTAKA

  

  

  2. Blogspot.wahyudin2009_Definisi Evaluasi 3. tavipia.staff.gunadarma.ac.id/Downloads/files/.../IMK08-Evaluasi.pdf 4. karmila.staff.gunadarma.ac.id/.../files/.../LecNote+Teknik+Evaluasi.pdf 5.