47ae8 teknik evaluasi 8
TEKNIK EVALUASI
Berdebat tentang Tampilan
Asumsi, SW dipakai bagus
Evaluasi SW
(kegiatan yang dihindari karena akan menambah
waktu pengembangan dan biaya)
mengetahui apakah karyanya berguna dan
diinginkan oleh user
Mengapa Evaluasi
?
Desainer tidak dapat berasumsi, bahwa
orang lain seperti dirinya
Evaluasi dibutuhkan untuk memeriksa
apakah user dapat menggunakan produk
tersebut dan menyukainya
When
?
When
?
Selama proses pembuatan
(formative evaluations)
Produk jadi (prototype)
Produk telah dipasarkan
(summative evaluations)
PARADIGMA EVALUASI
Quick and Dirty” Evaluation
umpan balik berupa keinginan dan yang
disukai dari user atau konsultan yang
disampaikan secara informal kepada
desainer tentang produk yang dibuatnya
PARADIGMA EVALUASI
Usability
Melibatkan pengukuran kinerja user dalam
mempersiapkan tugasnya secara hati-hati,
dari proses inilah maka dibuatkan desain
sistemnya
PARADIGMA EVALUASI
Usability
Kinerja user umumnya diukur dalam jumlah
kesalahan yang dilakukan dan waktu yang
dibutuhkan untuk menyelesaikan tugas
PARADIGMA EVALUASI
Usability
Evaluasi ini menggunakan kuesioner dan
wawancara kepada user tentang
kepuasannya menggunakan sistem tersebut
PARADIGMA EVALUASI
Usability
Evaluasi ini menggunakan kuesioner dan
wawancara kepada user tentang
kepuasannya menggunakan sistem tersebut
PARADIGMA EVALUASI
Usability
Penelitian biasanya dilakukan di dalam
sebuah laboratorium, dimana user diberi
suatu treatment tertentu
(mis: cahaya, suara, warna, dll)
PARADIGMA EVALUASI
Field studies
◦ dilakukan di lingkungan asli (tempat user
bekerja)
◦ meningkatkan pemahaman tentang kerja user
secara alami
◦ bagaimana teknologi berdampak padanya
PARADIGMA EVALUASI
Field studies
Menggunakan Teknik:
o Interview
o Observasi
o Ethnography
o partisipatory
Karakteristik Partisipatori
Meningkatkan lingkungan kerja
Mempunyai sifat kerja sama (pengguna
dilibatkan pada setiap tingkat perancangan)
Mempunyai pendekatan iterative,
perancangan adalah suatu subyek untuk
evaluasi dan revisi pada setiap tingkatan
PARADIGMA EVALUASI
Field studies
Dari data yang didapatkan tersebut, maka
desainer dapat melakukan evaluasi, baik secara
kuantitatif maupun kualitatif, terhadap produknya
PREDICTIVE EVALUATIONS
Predictive Evaluation
Didasarkan pada pengalaman seorang ahli
dalam menghadapi user, dan biasanya hal
ini dijadikan patokan untuk memprediksi
masalah-masalah penggunaan sebuah
produk
PREDICTIVE EVALUATIONS
Predictive Evaluation
tidak perlu menghadirkan user
METODE EVALUASI DIPILIH
SECARA CERMAT DAN HARUS
COCOK DENGAN PEKERJAAN
TUJUAN EVALUASI
MELIHAT SEBERAPA JAUH SISTEM
BERFUNGSI
EFEK SUATU INTERFACE KE PENGGUNA
PROBLEM YANG TERJADI PADA SISTEM
JENIS-JENIS EVALUASI
KONDISI LOKASI KERJA SEBENARNYA
TINGKAT GANGGUAN YANG MELEBIHI
AMBANG BATAS, TINGKAT-TINGKAT
PERGERAKAN YANG BESAR DAN INTERUPSI
YANG TETAP
Metode komunikasi userdesigner
Brainstorming
Storyboarding
Workshops
Pensil dan kertas percobaan
Lembar Kerja Tampilan
Evaluasi Perancangan
Cognitive Walkthrough
Usaha yang dilakukan untuk mengenalkan
teori psikologi kedalam bentuk informasi
dan subyektif (mengevaluasi perancangan
dengan melihat seberapa besar dukungan
yang diberikan ke pengguna untuk
mempelajari beberapa tugas yang diberikan
Apakah pengguna mencoba untuk
mencapai efek yang tepat?
Apakah pengguna melihat bahwa tindakan
yang benar tersedia?
Akankah pengguna mengasosiasikan
tindakan yang benar dengan efek yang
ingin dicapai?
Jika tindakan yang benar dilakukan,
pengguna akan melihat kemajuan yang
sedang dibuat menuju solusi dari tugas?
Informasi dibutuhkan
Deskripsi dari interface
Deskripsi tugas / usaha yang benar untuk
melakukannya
Evaluasi Perancangan
Heuristic Evaluation
cognitive walkthrough lebih terstruktur
KARAKTERISTIK HEURISTIC
EVALUATION
Perilaku Sistem dapat dipastikan
Perilaku sistem konsisten
Kemampuan memori user tidak melebihi
batas
Dialog merupakan orientasi tugas
TUJUAN HEURISTIC
EVALUTION
ORANG YANG MELAKUKAN EVALUASI
MELALUI SERANGKAIAN TUGAS DENGAN
PERANCANGAN DAN PENILAIANNYA SESUAI
DENGAN KRITERIA TIAP TINGKATAN,
KESALAHAN TERDETEKSI SEBELUM TINGKAT
IMPLEMENTASI
EVALUASI EKSPERIMEN
SUBYEK
PEMILIHAN SUBYEK PENTING DALAM
EKSPERIMEN
HARUS SESUAI KEINGINAN USER
JIKA SUBYEK BUKAN USER SEBENARNYA
SUBYEK YANG DIPILIH HARUS SAMA USIA &
TINGKATAN PENDIDIKAN DAN PENGALAMAN
MENGGUNAKAN KOMPUTER
EVALUASI EKSPERIMEN
VARIABEL
INDEPENDENT VARIABEL
DEPENDENT VARIABEL
VARIABEL YANG DAPAT DIUKUR DALAM EKSPERIMEN
EVALUASI EKSPERIMEN
HYPOTHESIS
PREDIKSI YANG DIHASILKAN DALAM
EKSPERIMEN
DESIGN V.S. IMPLEMENTATION
EVALUASI TINGKAT PERANCANGAN AHLI
TINGKAT IMPLEMENTASI MEMBAWA USER
SEBAGAI SUBYEK DARI EKSPERIMEN
LABORATORY V.S FIELD STUDIES
LABORATORIUM TINGKAT AWAL
FIELD STUDIES TINGKAT IMPLEMENTASI
KETERSEDIAAN INFORMASI
TINGKATAN INFORMASI YANG TERSEDIA
UNTUK EVALUATOR PADA TIAP TINGKAT
PROSES PERANCANGAN DIMULAI PADA
INFORMASI YANG RENDAH SAMPAI DENGAN
TINGKATAN YANG TINGGI
KESIAPAN SUATU
TINDAKAN
KESIAPAN MENGAMBIL TINDAKAN YANG
TERSEDIA YANG TERSEDIA.
- THINK ALOUD MEREKAM PERILAKU USER
SAAT INTERAKSI
- POST TASK WALKTHROUGH
PENGUMPULAN KEMBALI KEGIATAN USER
Berdebat tentang Tampilan
Asumsi, SW dipakai bagus
Evaluasi SW
(kegiatan yang dihindari karena akan menambah
waktu pengembangan dan biaya)
mengetahui apakah karyanya berguna dan
diinginkan oleh user
Mengapa Evaluasi
?
Desainer tidak dapat berasumsi, bahwa
orang lain seperti dirinya
Evaluasi dibutuhkan untuk memeriksa
apakah user dapat menggunakan produk
tersebut dan menyukainya
When
?
When
?
Selama proses pembuatan
(formative evaluations)
Produk jadi (prototype)
Produk telah dipasarkan
(summative evaluations)
PARADIGMA EVALUASI
Quick and Dirty” Evaluation
umpan balik berupa keinginan dan yang
disukai dari user atau konsultan yang
disampaikan secara informal kepada
desainer tentang produk yang dibuatnya
PARADIGMA EVALUASI
Usability
Melibatkan pengukuran kinerja user dalam
mempersiapkan tugasnya secara hati-hati,
dari proses inilah maka dibuatkan desain
sistemnya
PARADIGMA EVALUASI
Usability
Kinerja user umumnya diukur dalam jumlah
kesalahan yang dilakukan dan waktu yang
dibutuhkan untuk menyelesaikan tugas
PARADIGMA EVALUASI
Usability
Evaluasi ini menggunakan kuesioner dan
wawancara kepada user tentang
kepuasannya menggunakan sistem tersebut
PARADIGMA EVALUASI
Usability
Evaluasi ini menggunakan kuesioner dan
wawancara kepada user tentang
kepuasannya menggunakan sistem tersebut
PARADIGMA EVALUASI
Usability
Penelitian biasanya dilakukan di dalam
sebuah laboratorium, dimana user diberi
suatu treatment tertentu
(mis: cahaya, suara, warna, dll)
PARADIGMA EVALUASI
Field studies
◦ dilakukan di lingkungan asli (tempat user
bekerja)
◦ meningkatkan pemahaman tentang kerja user
secara alami
◦ bagaimana teknologi berdampak padanya
PARADIGMA EVALUASI
Field studies
Menggunakan Teknik:
o Interview
o Observasi
o Ethnography
o partisipatory
Karakteristik Partisipatori
Meningkatkan lingkungan kerja
Mempunyai sifat kerja sama (pengguna
dilibatkan pada setiap tingkat perancangan)
Mempunyai pendekatan iterative,
perancangan adalah suatu subyek untuk
evaluasi dan revisi pada setiap tingkatan
PARADIGMA EVALUASI
Field studies
Dari data yang didapatkan tersebut, maka
desainer dapat melakukan evaluasi, baik secara
kuantitatif maupun kualitatif, terhadap produknya
PREDICTIVE EVALUATIONS
Predictive Evaluation
Didasarkan pada pengalaman seorang ahli
dalam menghadapi user, dan biasanya hal
ini dijadikan patokan untuk memprediksi
masalah-masalah penggunaan sebuah
produk
PREDICTIVE EVALUATIONS
Predictive Evaluation
tidak perlu menghadirkan user
METODE EVALUASI DIPILIH
SECARA CERMAT DAN HARUS
COCOK DENGAN PEKERJAAN
TUJUAN EVALUASI
MELIHAT SEBERAPA JAUH SISTEM
BERFUNGSI
EFEK SUATU INTERFACE KE PENGGUNA
PROBLEM YANG TERJADI PADA SISTEM
JENIS-JENIS EVALUASI
KONDISI LOKASI KERJA SEBENARNYA
TINGKAT GANGGUAN YANG MELEBIHI
AMBANG BATAS, TINGKAT-TINGKAT
PERGERAKAN YANG BESAR DAN INTERUPSI
YANG TETAP
Metode komunikasi userdesigner
Brainstorming
Storyboarding
Workshops
Pensil dan kertas percobaan
Lembar Kerja Tampilan
Evaluasi Perancangan
Cognitive Walkthrough
Usaha yang dilakukan untuk mengenalkan
teori psikologi kedalam bentuk informasi
dan subyektif (mengevaluasi perancangan
dengan melihat seberapa besar dukungan
yang diberikan ke pengguna untuk
mempelajari beberapa tugas yang diberikan
Apakah pengguna mencoba untuk
mencapai efek yang tepat?
Apakah pengguna melihat bahwa tindakan
yang benar tersedia?
Akankah pengguna mengasosiasikan
tindakan yang benar dengan efek yang
ingin dicapai?
Jika tindakan yang benar dilakukan,
pengguna akan melihat kemajuan yang
sedang dibuat menuju solusi dari tugas?
Informasi dibutuhkan
Deskripsi dari interface
Deskripsi tugas / usaha yang benar untuk
melakukannya
Evaluasi Perancangan
Heuristic Evaluation
cognitive walkthrough lebih terstruktur
KARAKTERISTIK HEURISTIC
EVALUATION
Perilaku Sistem dapat dipastikan
Perilaku sistem konsisten
Kemampuan memori user tidak melebihi
batas
Dialog merupakan orientasi tugas
TUJUAN HEURISTIC
EVALUTION
ORANG YANG MELAKUKAN EVALUASI
MELALUI SERANGKAIAN TUGAS DENGAN
PERANCANGAN DAN PENILAIANNYA SESUAI
DENGAN KRITERIA TIAP TINGKATAN,
KESALAHAN TERDETEKSI SEBELUM TINGKAT
IMPLEMENTASI
EVALUASI EKSPERIMEN
SUBYEK
PEMILIHAN SUBYEK PENTING DALAM
EKSPERIMEN
HARUS SESUAI KEINGINAN USER
JIKA SUBYEK BUKAN USER SEBENARNYA
SUBYEK YANG DIPILIH HARUS SAMA USIA &
TINGKATAN PENDIDIKAN DAN PENGALAMAN
MENGGUNAKAN KOMPUTER
EVALUASI EKSPERIMEN
VARIABEL
INDEPENDENT VARIABEL
DEPENDENT VARIABEL
VARIABEL YANG DAPAT DIUKUR DALAM EKSPERIMEN
EVALUASI EKSPERIMEN
HYPOTHESIS
PREDIKSI YANG DIHASILKAN DALAM
EKSPERIMEN
DESIGN V.S. IMPLEMENTATION
EVALUASI TINGKAT PERANCANGAN AHLI
TINGKAT IMPLEMENTASI MEMBAWA USER
SEBAGAI SUBYEK DARI EKSPERIMEN
LABORATORY V.S FIELD STUDIES
LABORATORIUM TINGKAT AWAL
FIELD STUDIES TINGKAT IMPLEMENTASI
KETERSEDIAAN INFORMASI
TINGKATAN INFORMASI YANG TERSEDIA
UNTUK EVALUATOR PADA TIAP TINGKAT
PROSES PERANCANGAN DIMULAI PADA
INFORMASI YANG RENDAH SAMPAI DENGAN
TINGKATAN YANG TINGGI
KESIAPAN SUATU
TINDAKAN
KESIAPAN MENGAMBIL TINDAKAN YANG
TERSEDIA YANG TERSEDIA.
- THINK ALOUD MEREKAM PERILAKU USER
SAAT INTERAKSI
- POST TASK WALKTHROUGH
PENGUMPULAN KEMBALI KEGIATAN USER