Teknik Evaluasi Groupware/ CSCW dan Hypertext Web.
Mengapa evaluasi dibutuhkan ?
Desainer tidak dapat berasumsi bahwa
orang lain seperti dirinya, dan mengikuti
design guidlines menjamin bahwa karyanya
pasti bagus.
Evaluasi dibutuhkan untuk memeriksa
apakah user dapat menggunakan produk
tersebut dan menyukainya.
Evaluasi kepuasan penggunaan terhadap
sebuah produk dapat dilakukan
menggunakan kuesioner dan atau interview.
3
Kapan evaluasi dilakukan ?
Evaluasi dapat dilakukan pada :
Selama proses pembuatan produk tersebut
supaya selalu sama dengan yang diminta atau
dibutuhkan oleh user. Proses ini biasa disebut
formative evaluations.
Saat produk tersebut telah jadi yaitu melalui
prototype.
Saat produk dipasarkan, melalui update
version.
Evaluasi produk dapat dilakukan melalui riset
pasar, baik melalui perorangan atau sekelompok
user.
4
Tujuan Evaluasi
Ada
3 tujuan utama dari evaluasi
Melihat seberapa jauh sistem
berfungsi
Melihat efek interface dari
pengguna
Mengidentifikasi problem khusus
yang terjadi pada sistem.
5
Teknik-teknik evaluasi
Observing
users
Asking users their opinions
Asking expert their opinions
Testing user’s performance
Modeling user’s task performance to
predict efficacy of user
6
Hubungan antara paradigma dan
teknik evaluasi
Teknik
“Quick and Dirty”
Observing users
Penting untuk melihat bagaimana user
berperilaku dalam lingkungan aslinya
Asking users
Diskusi dengan user yang potensial dalam
suatu group atau group khusus
Asking experts
Untuk mendapatkan kritik tentang kegunaan
sebuah prototype
User testing
========
Modelling user task
performance
========
7
Hubungan antara paradigma dan
teknik evaluasi
Teknik
Usability Testing
Observing users
Melalui video dan catatan, dilakukan analisa
identifikasi masalah, investigasi cara kerja
software atau menghitung kinerja waktu
Asking users
Dengan menggunakan kuesioner kepuasan
sebagai pengumpulan opini user, kadang
menggunakan interview untuk opini yang lebih
detail.
Asking experts
User testing
Modelling user task
performance
========
Dilakukan di laboratorium
========
8
Hubungan antara paradigma dan
teknik evaluasi
Teknik
Field Studies
Observing users
Dilakukan dilokasi manapun juga. Dalam studi
ethnografi, evaluator turut serta dalam
lingkungan user
Asking users
Evaluator dapat melakukan interview atau
mendiskusikan apa yang dilihatnya kepada
peserta.
Asking experts
========
User testing
========
Modelling user task
performance
========
9
Hubungan antara paradigma dan
teknik evaluasi
Teknik
Predictive
Observing users
========
Asking users
========
Asking experts
Seseorang menggunakan patokannya dalam
pembuatan desain untuk memprediksi interface
User testing
========
Modelling user task
performance
Model yang digunakan untuk memprediksi
interface atau membandingkan kinerja waktu
dengan versinya.
10
Skala Likert
Merupakan skala yang cukup banyak digunakan untuk
melakukan evaluasi
Ukuran skala mulai dari 4 sampai 7
Ukuran 4 (1=sangat buruk, 2= buruk, 3=bagus, 4=sangat
bagus)
Ukuran 5 (1=sangat buruk, 2= buruk, 3=netral, 4=bagus,
5=sangat bagus)
Ukuran 7 (1=sangat buruk, 2= buruk, 3=agak buruk, 4=netral,
5=agak bagus, 6=bagus, 7=sangat bagus)
Pada umumnya penelitian menggunakan 5 skala.
11
Contoh Evaluasi
Kriteria
Evaluator
Rata-rata
1
2
3
4
5
Layout
5
4
4
3
4
4
Kecepatan Akses
3
4
3
3
4
3.4
Prosedur Akses
4
4
5
3
4
4
Perpaduan Warna
4
4
2
4
2
3.2
Informasi Up To Date
5
4
3
4
4
4.2
Rata-rata
3.76
Secara keseluruhan pendapat para evaluator adalah netral karena nilai
rata-rata=3.76
Kriteria yang paling bagus adalah Informasi UpToDate, sedangkan yang
perlu mendapat perhatian adalah Perpaduan Warna.
12
GROUPWARE
CSCW
(Computer Supported Cooperative Work)
Apa itu Groupware?
Software yang khusus dirancang untuk
mendukung pekerjaan kelompok yang
membutuhkan kerjasama.
Fungsinya tidak hanya alat untuk komunikasi.
Groupware dapat diklasifikasikan dengan
kapan dan di mana para partisipan bekerja
fungsi itu melakukan kerja kooperatif
Terdapat berbagai masalah yang spesifik dan
sulit dengan adanya implementasi
groupware.
14
The Time/Space Matrix
Mengklasifikasikan groupware dengan:
Ketika (when) partisipan bekerja ,
pada waktu yang sama atau tidak
Dimana (where) para partisipan bekerja ,
di tempat yang sama atau tidak
Nama untuk sumbu matrix:
time (waktu):
synchronous/asynchronous
place (tempat):
co-located/remote
same
place
same
time
different
time
15
different
place
Time/Space Matrix
Synchronous
Asynchronous
Co-Located
Remote
same
place
different
place
same
time
face-to-face
conversation
different
time
post-it note
telephone
letter
16
Classification by Function
Cooperative work involves:
Participants who are working
Artefacts upon which they work
understanding
participants
P
direct
communication
P
control and
feedback
Artefact : tempat
bekerja
A
artefacts of work
17
What interactions does a
tool support?
computer-mediated communication
meeting and decision
support systems
meeting and decision support systems
direct communication between participants
common understanding
shared applications and artefacts
– common understanding
control and feedback with shared work objects
understanding
participants
P
direct
communication
P
control and
feedback
artefacts of work
computer-mediated
communication
– direct communication
between participants
A
shared applications
and artefacts
– control and feedback
with shared work objects
18
Time/space matrix revisited
co-located
remote
meeting rooms
video conferences,
video-wall, etc.
synchronous
shared work surfaces and editors
shared PCs and windows
asynchronous
argumentation
tools
email and
electronic
conferences
co-authoring systems,
shared calendars
19
Computer-Mediated
Communication
• email and bulletin boards
• structured message systems
• text messaging -sms
• video, virtual environments
Email and bulletin boards
asynchronous/remote
Paling familiar dan groupware yang tersukses
Recipients of email:
direct in To: field
copies in Cc: field
Pengiriman identik-berbeda dalam hal tujuan
sosialnya
21
Email vs. bulletin boards
fan out
one-to-one – email, direct communication
one-to-many – email, distribution lists
BBs, broadcast distribution
control
sender
– email, private distribution list
administrator – email, shared distribution list
recipient
– BBs, subscription to topics
22
Structured message systems
(ctd)
Type: Seminar announcement
To: all
From: Alan Dix
Subject: departmental seminar
Time: 2:15 Wednesday
Place: D014
Speaker: W.T. Pooh
Title: The Honey Pot
Text:
Recent research on socially constructed meaning
has focused on the image of the Honey Pot and its dialectic
interpretation within an encultured hermeneutic. This talk …
23
Meeting And Decision
Support Systems
• argumentation tools (alat bantu argumentasi)
• meeting rooms (ruang pertemuan)
• shared drawing surfaces (berbagi bidang gambar)
Meeting and Decision Support
System
Dalam desain, manajemen dan penelitian, kita
ingin:
menghasilkan ide-ide
mengembangkan ide-ide
merekam ide-ide
penekanan utama
pemahaman umum
25
Three types of system
argumentation tools
asynchronous co-located
Mencatat argumen-argumen untuk keputusan desain
meeting rooms
synchronous co-located
Dukungan elektronik untuk pertemuan tatap muka
shared drawing surfaces
synchronous remote
Saling berbagi papan gambar yang dalam jangkauan
26
argumentation tools
asynchronous co-located
Seperti hipertext untuk menyimpan design
rationale (dasar pemikiran desain)
Tujuan :
Mengingatkan desainer mengenai alasan-alasan atas
pengambilan keputusan
Dasar pemikiran komunikasi di antara team desain.
27
Meeting rooms
synchronous co-located
Ruang pertemuan yang dirancang menggunakan peralatan
elektronik untuk pertemuan tatap muka
Terminal individu
Layar lebar yang bisa berbagi
Software khusus
Kursi-kursi yang ditata berbentuk huruf U atau C di sekitar layar
Mode-mode yang bervariasi:
brainstorming, penggunaan pribadi, WYSIWIS
WYSIWIS – what you see is what I see
Semua layar menunjukkan citra yang sama
Semua partisipan dapat menulis dan menggambar ke layar.
28
Typical meeting room
shared
screen
29
Shared Applications And
Artefacts
• shared PCs and windows
• shared editors, co-authoring tools
• shared diaries
• communication through the artefact
Frameworks For Groupware
• time/space matrix
• shared information
• communication and work
• awareness (kesadaran)
Implementasi Groupware
• umpan balik dan delay pada jaringan
• arsitektur groupware
• feedthrough and network traffic
• graphical toolkits, robustness and scaling
Hypertext
Multimedia
and
the World-Wide Web
Hypertext - not just linear
non-linear structure
blocks of text (pages)
links between pages create a mesh or network
users follow their own path through information
bookmark
home
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
back link
external
link
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
Hypermedia – not just text
hypertext systems + additional media
illustrations, photographs, video and sound
links/hotspots may be in media
areas of pictures
times and locations in video
also called multimedia
but term also used for simple audio/video
WEB TECHNOLOGY AND ISSUES
protocols
browsers
web servers and clients
networking
Web basic,servers and clients
the web – protocols and standard
HTTP – to carry information over the internet
HTML, XML and graphics formats for content
browsers to view the results … plus plug-ins
web servers and clients
the web is distributed
server finds page
browser sends request
user clicks link
GET /e3/authors.html HTTP/1.1
syuh
syuhhow
howgtw
gtw
hsio
hsioi iert
ertag
agtyty
ghn
ghntytywe
weghty
ghty
chdi
chdiqw
qwoatyf
oatyf syuh how gtw
wet
wetdfla
dflaght
ghtaa hsio i ert ag ty
ghn ty we ghty
chdi qw oatyf
wet dfla ght a
communicate with HTTP
server sends page back
syuh how gtw
hsio i ert ag ty
ghn ty we ghty
chdi qw oatyf
wet dfla ght a
syuh how gtw
hsio i ert ag ty
ghn ty we ghty
syuh
how gtw
gtw
chdi qw
syuh
oatyf
how
hsio
ert
ag ty
ty
wet dfla
hsio
ght
ii ert
a ag
ghn
ty
we
ghty
ghn ty we ghty
chdi qw
qw
oatyf
chdi
syuh
oatyf
how gtw
wet dfla
dfla
ght
wet
hsio
ght
i ert
aa ag ty
ghn ty we ghty
chdi qw oatyf
wet dfla ght a
browser displays it
web client (browser)
web server (stores pages)
network issues - timing
QoS (quality of service)
bandwidth
how much information per second
latency
how long it takes (delay)
jitter
how consistent is the delay
reliability
some messages are lost
… need to be resent … increases jitter
connection set-up
need to handshake to start
bandwidth, latency and
jitter
bandwidth
how much
latency
how long
send
receive
time
jitter
how variable
Web Content
Static
: unchanging pictures and text
Dynamic : interaction and applications on the web
Desainer tidak dapat berasumsi bahwa
orang lain seperti dirinya, dan mengikuti
design guidlines menjamin bahwa karyanya
pasti bagus.
Evaluasi dibutuhkan untuk memeriksa
apakah user dapat menggunakan produk
tersebut dan menyukainya.
Evaluasi kepuasan penggunaan terhadap
sebuah produk dapat dilakukan
menggunakan kuesioner dan atau interview.
3
Kapan evaluasi dilakukan ?
Evaluasi dapat dilakukan pada :
Selama proses pembuatan produk tersebut
supaya selalu sama dengan yang diminta atau
dibutuhkan oleh user. Proses ini biasa disebut
formative evaluations.
Saat produk tersebut telah jadi yaitu melalui
prototype.
Saat produk dipasarkan, melalui update
version.
Evaluasi produk dapat dilakukan melalui riset
pasar, baik melalui perorangan atau sekelompok
user.
4
Tujuan Evaluasi
Ada
3 tujuan utama dari evaluasi
Melihat seberapa jauh sistem
berfungsi
Melihat efek interface dari
pengguna
Mengidentifikasi problem khusus
yang terjadi pada sistem.
5
Teknik-teknik evaluasi
Observing
users
Asking users their opinions
Asking expert their opinions
Testing user’s performance
Modeling user’s task performance to
predict efficacy of user
6
Hubungan antara paradigma dan
teknik evaluasi
Teknik
“Quick and Dirty”
Observing users
Penting untuk melihat bagaimana user
berperilaku dalam lingkungan aslinya
Asking users
Diskusi dengan user yang potensial dalam
suatu group atau group khusus
Asking experts
Untuk mendapatkan kritik tentang kegunaan
sebuah prototype
User testing
========
Modelling user task
performance
========
7
Hubungan antara paradigma dan
teknik evaluasi
Teknik
Usability Testing
Observing users
Melalui video dan catatan, dilakukan analisa
identifikasi masalah, investigasi cara kerja
software atau menghitung kinerja waktu
Asking users
Dengan menggunakan kuesioner kepuasan
sebagai pengumpulan opini user, kadang
menggunakan interview untuk opini yang lebih
detail.
Asking experts
User testing
Modelling user task
performance
========
Dilakukan di laboratorium
========
8
Hubungan antara paradigma dan
teknik evaluasi
Teknik
Field Studies
Observing users
Dilakukan dilokasi manapun juga. Dalam studi
ethnografi, evaluator turut serta dalam
lingkungan user
Asking users
Evaluator dapat melakukan interview atau
mendiskusikan apa yang dilihatnya kepada
peserta.
Asking experts
========
User testing
========
Modelling user task
performance
========
9
Hubungan antara paradigma dan
teknik evaluasi
Teknik
Predictive
Observing users
========
Asking users
========
Asking experts
Seseorang menggunakan patokannya dalam
pembuatan desain untuk memprediksi interface
User testing
========
Modelling user task
performance
Model yang digunakan untuk memprediksi
interface atau membandingkan kinerja waktu
dengan versinya.
10
Skala Likert
Merupakan skala yang cukup banyak digunakan untuk
melakukan evaluasi
Ukuran skala mulai dari 4 sampai 7
Ukuran 4 (1=sangat buruk, 2= buruk, 3=bagus, 4=sangat
bagus)
Ukuran 5 (1=sangat buruk, 2= buruk, 3=netral, 4=bagus,
5=sangat bagus)
Ukuran 7 (1=sangat buruk, 2= buruk, 3=agak buruk, 4=netral,
5=agak bagus, 6=bagus, 7=sangat bagus)
Pada umumnya penelitian menggunakan 5 skala.
11
Contoh Evaluasi
Kriteria
Evaluator
Rata-rata
1
2
3
4
5
Layout
5
4
4
3
4
4
Kecepatan Akses
3
4
3
3
4
3.4
Prosedur Akses
4
4
5
3
4
4
Perpaduan Warna
4
4
2
4
2
3.2
Informasi Up To Date
5
4
3
4
4
4.2
Rata-rata
3.76
Secara keseluruhan pendapat para evaluator adalah netral karena nilai
rata-rata=3.76
Kriteria yang paling bagus adalah Informasi UpToDate, sedangkan yang
perlu mendapat perhatian adalah Perpaduan Warna.
12
GROUPWARE
CSCW
(Computer Supported Cooperative Work)
Apa itu Groupware?
Software yang khusus dirancang untuk
mendukung pekerjaan kelompok yang
membutuhkan kerjasama.
Fungsinya tidak hanya alat untuk komunikasi.
Groupware dapat diklasifikasikan dengan
kapan dan di mana para partisipan bekerja
fungsi itu melakukan kerja kooperatif
Terdapat berbagai masalah yang spesifik dan
sulit dengan adanya implementasi
groupware.
14
The Time/Space Matrix
Mengklasifikasikan groupware dengan:
Ketika (when) partisipan bekerja ,
pada waktu yang sama atau tidak
Dimana (where) para partisipan bekerja ,
di tempat yang sama atau tidak
Nama untuk sumbu matrix:
time (waktu):
synchronous/asynchronous
place (tempat):
co-located/remote
same
place
same
time
different
time
15
different
place
Time/Space Matrix
Synchronous
Asynchronous
Co-Located
Remote
same
place
different
place
same
time
face-to-face
conversation
different
time
post-it note
telephone
letter
16
Classification by Function
Cooperative work involves:
Participants who are working
Artefacts upon which they work
understanding
participants
P
direct
communication
P
control and
feedback
Artefact : tempat
bekerja
A
artefacts of work
17
What interactions does a
tool support?
computer-mediated communication
meeting and decision
support systems
meeting and decision support systems
direct communication between participants
common understanding
shared applications and artefacts
– common understanding
control and feedback with shared work objects
understanding
participants
P
direct
communication
P
control and
feedback
artefacts of work
computer-mediated
communication
– direct communication
between participants
A
shared applications
and artefacts
– control and feedback
with shared work objects
18
Time/space matrix revisited
co-located
remote
meeting rooms
video conferences,
video-wall, etc.
synchronous
shared work surfaces and editors
shared PCs and windows
asynchronous
argumentation
tools
email and
electronic
conferences
co-authoring systems,
shared calendars
19
Computer-Mediated
Communication
• email and bulletin boards
• structured message systems
• text messaging -sms
• video, virtual environments
Email and bulletin boards
asynchronous/remote
Paling familiar dan groupware yang tersukses
Recipients of email:
direct in To: field
copies in Cc: field
Pengiriman identik-berbeda dalam hal tujuan
sosialnya
21
Email vs. bulletin boards
fan out
one-to-one – email, direct communication
one-to-many – email, distribution lists
BBs, broadcast distribution
control
sender
– email, private distribution list
administrator – email, shared distribution list
recipient
– BBs, subscription to topics
22
Structured message systems
(ctd)
Type: Seminar announcement
To: all
From: Alan Dix
Subject: departmental seminar
Time: 2:15 Wednesday
Place: D014
Speaker: W.T. Pooh
Title: The Honey Pot
Text:
Recent research on socially constructed meaning
has focused on the image of the Honey Pot and its dialectic
interpretation within an encultured hermeneutic. This talk …
23
Meeting And Decision
Support Systems
• argumentation tools (alat bantu argumentasi)
• meeting rooms (ruang pertemuan)
• shared drawing surfaces (berbagi bidang gambar)
Meeting and Decision Support
System
Dalam desain, manajemen dan penelitian, kita
ingin:
menghasilkan ide-ide
mengembangkan ide-ide
merekam ide-ide
penekanan utama
pemahaman umum
25
Three types of system
argumentation tools
asynchronous co-located
Mencatat argumen-argumen untuk keputusan desain
meeting rooms
synchronous co-located
Dukungan elektronik untuk pertemuan tatap muka
shared drawing surfaces
synchronous remote
Saling berbagi papan gambar yang dalam jangkauan
26
argumentation tools
asynchronous co-located
Seperti hipertext untuk menyimpan design
rationale (dasar pemikiran desain)
Tujuan :
Mengingatkan desainer mengenai alasan-alasan atas
pengambilan keputusan
Dasar pemikiran komunikasi di antara team desain.
27
Meeting rooms
synchronous co-located
Ruang pertemuan yang dirancang menggunakan peralatan
elektronik untuk pertemuan tatap muka
Terminal individu
Layar lebar yang bisa berbagi
Software khusus
Kursi-kursi yang ditata berbentuk huruf U atau C di sekitar layar
Mode-mode yang bervariasi:
brainstorming, penggunaan pribadi, WYSIWIS
WYSIWIS – what you see is what I see
Semua layar menunjukkan citra yang sama
Semua partisipan dapat menulis dan menggambar ke layar.
28
Typical meeting room
shared
screen
29
Shared Applications And
Artefacts
• shared PCs and windows
• shared editors, co-authoring tools
• shared diaries
• communication through the artefact
Frameworks For Groupware
• time/space matrix
• shared information
• communication and work
• awareness (kesadaran)
Implementasi Groupware
• umpan balik dan delay pada jaringan
• arsitektur groupware
• feedthrough and network traffic
• graphical toolkits, robustness and scaling
Hypertext
Multimedia
and
the World-Wide Web
Hypertext - not just linear
non-linear structure
blocks of text (pages)
links between pages create a mesh or network
users follow their own path through information
bookmark
home
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
back link
external
link
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
this is text
or is it
hypertext
only links
can tell
Hypermedia – not just text
hypertext systems + additional media
illustrations, photographs, video and sound
links/hotspots may be in media
areas of pictures
times and locations in video
also called multimedia
but term also used for simple audio/video
WEB TECHNOLOGY AND ISSUES
protocols
browsers
web servers and clients
networking
Web basic,servers and clients
the web – protocols and standard
HTTP – to carry information over the internet
HTML, XML and graphics formats for content
browsers to view the results … plus plug-ins
web servers and clients
the web is distributed
server finds page
browser sends request
user clicks link
GET /e3/authors.html HTTP/1.1
syuh
syuhhow
howgtw
gtw
hsio
hsioi iert
ertag
agtyty
ghn
ghntytywe
weghty
ghty
chdi
chdiqw
qwoatyf
oatyf syuh how gtw
wet
wetdfla
dflaght
ghtaa hsio i ert ag ty
ghn ty we ghty
chdi qw oatyf
wet dfla ght a
communicate with HTTP
server sends page back
syuh how gtw
hsio i ert ag ty
ghn ty we ghty
chdi qw oatyf
wet dfla ght a
syuh how gtw
hsio i ert ag ty
ghn ty we ghty
syuh
how gtw
gtw
chdi qw
syuh
oatyf
how
hsio
ert
ag ty
ty
wet dfla
hsio
ght
ii ert
a ag
ghn
ty
we
ghty
ghn ty we ghty
chdi qw
qw
oatyf
chdi
syuh
oatyf
how gtw
wet dfla
dfla
ght
wet
hsio
ght
i ert
aa ag ty
ghn ty we ghty
chdi qw oatyf
wet dfla ght a
browser displays it
web client (browser)
web server (stores pages)
network issues - timing
QoS (quality of service)
bandwidth
how much information per second
latency
how long it takes (delay)
jitter
how consistent is the delay
reliability
some messages are lost
… need to be resent … increases jitter
connection set-up
need to handshake to start
bandwidth, latency and
jitter
bandwidth
how much
latency
how long
send
receive
time
jitter
how variable
Web Content
Static
: unchanging pictures and text
Dynamic : interaction and applications on the web