S KOM 1200716 Chapter5
BAB IV
HASIL PENELITIAN DAN PEMBAHASAN
Pada bab ini akan dijelaskan pengembangan model,pengjian dan hasil analisis
penelitian.
4.1 Pengembangan Model
Pengembangan sistem penilain esai otomatis dalam penelitian ini
mengikuti model proses sequental linear. Modul-modul yang dikembangkan
meliputi text preprocessing, pembentukan model graph dan perhitungan
menggunakan pendekatan cosine similarity.
4.1.1 Alur Model Penilaian Jawaban Esai
Dalam proses penilaian jawaban esai dibangi menjadi 2 proses yaitu
dengan model graph dan dengan term frekuensi, untuk proses dengan model graph
data kunci dan jawaban dimasukan oleh user lalu dibaca oleh sistem. Kemudian
dilakukan pra pemprosesan awal terhadap data-data tersebut melalui modul text
preprocessor. Data diubah menjadi matrik berupa kemunculan kata dalam
frekuensi kata di dalam dokumen untuk kemudian diproses menjadi sebuat graph.
Output dari pemprosesan model graph berupa graph yang siap dihitung
menggunakan pendekatan cosine similarity. Dan data hasil nilai ditampilkan
dalam bentuk tabel.dan untuk proses dengan menggunakan term frekuensi data
kunci dan jawaban dimasukan oleh user lalu dibaca oleh sistem. Kemudian
dilakukan pra pemprosesan awal terhadap data-data tersebut melalui modul text
preprocessor. Data diubah menjadi matrik berupa kemunculan kata dalam
frekuensi kata di dalam dokumen yang selanjutnya diproses dengan term
frekuensi didapatkan hasil berupa matrik menunculan kata. Lalu selanjutnya
dihitung kemiripanya dengan menggukan cosine similarity.
25
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
4.1.2 Text Preprocessing
Text preprocessing merupakan tahap pengolahan awal data siswa dan
kunci jawaban, pada tahap pra pemrosesan ini dilakuakn beberapa tahan secara
berurutan yaitu :
1. Case Folding
Pada tahap ini dilakukan pengubahan huruf besan menjadi huruf kecil.
Proses ini dilakukan terhadap sebuah semua data baik kunci jawaban maupun
data jawaban peserta. Adapun contohnya yaitu sebagai berikut :
Kedaulatan Rakyat adalah
sistem kedaulatan tertinggi
yang dipegang oleh rakyat
kedaulatan rakyat adalah
sistem kedaulatan tertinggi
yang dipegang oleh rakyat
Gambar 1 case folding
2. Tokenizing
Tokenizing merupakan proses pengubahan dokumen menjadi kumpulan
kata mandiri. Seperti halnya case folding proses ini juga dikenakan terhadap
seluruh data,baik itu kunci jawaban, maupun jawaban peserta. Tujuan dari peoses
ini adalah untuk mempermudah proses pengolahan data berikutnya, sebagai
berikut :
Kedaulatan Rakyat
adalah sistem kedaulatan
tertinggi yang dipegang
oleh rakyat
kedaulatan
rakyat
adalah
sistem
kedaulatan
tertinggi
yang
dipegang
oleh
rakyat
Gambar 2 Tokenizing
26
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
3. Filtering
Pada tahap Filtering dilakukan penghapusan bagan-bagian yang dianggap
tidak penting dari data, baik dari data jawaban peserta maupun dari kunci
jawaban. Bagian-bagian yang dihapus meliputi :
a. karakter tanda baca
b. Tag HTML
c . kata yang dianggap tidak penting (Stop word)
adapun contoh proses Filtering yaitu sebagai berikut :
Kedaulatan
Rakyat
Adalah
Sistem
Kedaulatan
Tertinggi
Yang
dipengan
Oleh
Rakyat
Kedaulatan rakyat
Sistem
Kedaulatan
Tertinggi
Yang
Dipegang
Oleh
Rakyat
Gambar 3 Filtering
4. Stemming
Steaming merupakan proses pemotongan atau perhilangan impuhan pada
kata. Proses ini dilakukan pada dokumen jawaban peserta maupun kunci jawaban,
tujuan dari proses ini adalah untuk memperkrcil rumang semantic. Adapun
pemotongan imbuhan (Stemmer) yang dilakukan dalam penelitian ini adalah
menggunakan algoritma Nazief dan Adriani. Berkut contoh proses stemming
dalam penelitian ini :
Kedaulatan
Daulat
Rakyat
Sistem
Daulat
Tinggi
Pegang
rakyat
Rakyat
Sistem
Kedaulatan
Tertinggi
Dipegang
27
Ranti Saidah,
2016
Rakyat
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Gambar 4 Contoh stemming
4.1.3 Pembentukan Frekuensi kata
Setelah pra proses pengolahan data, langkah selanjutnya adalah
pembetukan frekuensi kata dari dokuemen kunci dan jawaban peserta.
Pembentukan frekuensi kata dalam penelitian ini adalah menggunkan algoritma
term frekunesi. Dalam tahap ini, dokuem kunci dan jawaban peserta digabungkan
kemudian dibentuk menjadi frekuensi kata dengan melihat kemunculan kata
sebanyak 2 kali. Kemudian kemunculan kata tersebut disimpat disebuah matrik
frekuensi kata. Adapun contohnya sebagai berikut:
Kunci
daulat
rakyat
sistem
daulat
tertinggi
pegang
rakyat
daulat
rakyat
sistem
daulat
tertinggi
pegang
rakyat
Jawaban peserta 1
daulat
sistem
daulat
rakyat
rakyat
rakyat
Gambar 5 Contoh frekuensi kata
4.1.4 Pembentukan Pola Term
28
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Setelah preproses dan pembentukan frekunesi kata, langkah selanjutnya
adalah pembentukan pola term . Dalam proses ini setiap jawaban peserta maupun
kunci jawaban disebut dokumen. Dokumen-kokumen tersebut yang terdiri dari
kumpulan kata diubah menjadi sebuah matrik. Kolom matrik mempresentasikan
dokumen, sedangkan barisnya mempresentasikan kata. Kemudian setiap kata yang
ada dalam dokumen diubah menjadi label yang mempresentasikan matrik
frekuensi kata. Bila dalam dokumen tersebut terdapat kata yang sama dengan
frekuensi kata ke-2 maka label kata tersebut 2. Adapun contohnya sebagai berikut
:
DF : daulat rakyat sistem tinggi pegang
DK : daulat rakyat sistem tinggi pegang rakyat
D1 : daulat rakyat sistem rakyat rakyat rakyat
D2 : daulat rakyat sistem tinggi
DN : daulat tinggi
Keterangan :
DF : dokumen frekuensi
DK : dokumen kunci
D1 : dokumen jawaban siswa ke-1
D2 : dokumen jawaban siswa ke-2
DN : dokumen jawaban siswa ke-n
Dokumen dokumen diatas diubah menjadi matrik kemunculan kata frekuensi.
Sebagai berikut :
Tabel Matrik kemunculan frekuensi
Tabel 1 matrik kemunculan frekuensi
Dokumen
Kemunculan
DK
D1
D2
…
DN
F1
F1
F1
…
F1
29
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
F2
F2
F2
…
F3
F3
F3
…
F4
F2
F4
…
F5
F2
-
…
F2
F2
-
…
F4
Setelah terbentuk matrik kemunculan frekuensi pada dokumen seperti
diatas, maka selanjutnya akan melakukan prses penbentukan model graph.
4.1.5 Term frekuensi
Proses ini adalah proses perhitungan kata disetiang frekuensi yang telah
terbentuk . adapun contohnya sebagai berikut
DF : daulat rakyat sistem tinggi pegang
DK : daulat rakyat sistem tinggi pegang rakyat
D1 : daulat rakyat sistem rakyat rakyat rakyat
D2 : daulat rakyat sistem tinggi
DN : daulat tinggi
Keterangan :
DF : dokumen frekuensi
DK : dokumen kunci
D1 : dokumen jawaban siswa ke-1
D2 : dokumen jawaban siswa ke-2
DN : dokumen jawaban siswa ke-n
Dokumen dokumen diatas diubah menjadi matrik perhitungan kata yang muncul
sebagai berikut :
Tabel Matrik kemunculan frekuensi
Tabel 2 matrik kemunculan frekuensi
30
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Frekuensi
Dokumen
DK
D1
D2
..
DN
daulat
1
1
1
..
1
rakyat
2
4
1
..
0
sistem
1
1
1
..
0
tinggi
1
0
1
..
1
pegang
1
0
0
..
0
4.1.6 Pembentukan Model graph
Peoses inti dalam penilaian esai adalah pembentukan model graph. Pada
tahap ini dilakukan pembangunan model graph dengan melihat pola term. Yang
selanjutnya akan dibentuk model graph secara hirarki. Adapun contohnya sebagai
berikut:
ro
ot
F1
F2
F3
F2
F4
F2
F5
d2
F2
31
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
F2
d1
dk
Gambar 6 pola graph
Keterangan :
Dk = dokumen kunci
D1 = dokumen jawaban siswa ke-1
D2= dokumen jawaban siswa ke -2
4.2 Pengujian
Proses pengujian dilakukan untuk mendapatkan data penelitian yang akan
dianalisis sebagai dasar penarikan kesimpulan. Skenario pengujian dibuat
sedemikina rupa agar dapat menjawab rumusan yang telah ditentukan.
4.2.1 Skenario Pengujian
Pengujian terhadap sistem yang dilakukan melalui 4 skenario , yaitu:
1. Skenario 1, dilakukan dengan menggunakan pra proses pemotongan imbuhan
(stemming) dan menggunakan model graph.
2. Skenario 2 , dilakukan dengan menggunakan pra proses pemotongan imbuhan
(stemming) dan menggunakan term frekuensi.
Disamping itu , guna melihat pengaruh jumlah jawaban esai yang dinilai terhadap
akurasi hasil penilaian sistem, dalam setiap skenario pengjian tersebut dilakukan
dengan menggunkan 2 dataset yang didalmnya menggunakan pengkelasan data.
Untuk Dataset 1 data berjumlah 43 jawaban peserta dalam masing-masing soal
dibagi menjadi 3 kelas yaitu :
1. kelas kecil jumlah peserta 14 orang
2. kelas sedang dengan jumlah peserta 28 orang
3. kelas besar dengan jumlah peserta 43 orang.
32
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Dan untuk dataset 2 berjumlah 45 jawaban peserta dalam masing-masing soal
dibagi menjadi 3 kelas yaitu:
1. kelas kecil jumlah peserta 15 ornag
2.kelas sedang jumlah peserta 30 orang
3.kelas besar jumlah peserta 45 orang
Masing- masing kelas tersebut mewakili sepertiga jumlah data, dua per
tiga jumlah data, dan keseluruhan jumlah data.
4.2.2 Data Pengujian
Adapun data soal dan jawaban dataset 1 yang digunakan dalam pengujian ini
merupakan soal tes ulangan harian di SMPN 29 Bandung, kelas VIII, mata
pelajaran Pendidikan Kewarganegaraan dari penelitian sebelumnya.
dan untuk dataset 2 yang digunakan dalam pengujian ini merupakan soal tes
ulangan tengah semester di SMP Lab School Bandung , kelas VII, mata pelajaran
Pendidikan Kewarganegaran.
a) Data kunci jawaban
1. Dataset 1
Data soal dan kunci jawaban dalam dataset 1 yang digunakan adalah sebagai
berikut:
1. Pertanyaan : Apakah yang dimaksud dengan kedaulatan rakyat?
Kunci Jawaban : Kedaulatan Rakyat adalah suatu kekuasaan pemerintahan yang
sepenuhnya ada di tangan rakyat
Skor : 20
2. Pertanyaan : Sebutkan dan jelaskan 2 Jenis Kedaulatan?
Kunci Jawaban : Jenis kedaulatan ada 2, yaitu:
1. Kedaulatan ke dalam, adalah suatu bangsa atau negara yang merdeka
memiliki hak untuk mengatur rumah tangganya sendiri tanpa campur
tangan dari bangsa atau negara lain.
33
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
2. Kedaulatan ke luar, adalah suatu bangsa atau negara yang merdeka
mempunyai kekuasaan atau hak untuk mengadakan hubungan atau
kerjasama dengan negara-negara lain sesuai dengan keinginannya.
Skor : 20
3. Pertanyaan : Sebutkan dan jelaskan Teori-teori Kedaulatan, minimal 3?
Kunci Jawaban :
1. Teori Kedaulatan Tuhan, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi (kedaulatan) berasal dari Tuhan.
2. Teori Kedaulatan Negara, adalah teori yang menyebutkan bahwa
kekuasaan berasal atau ada pada negara.
3. Teori Kedaulatan Hukum, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi dalam suatu negara adalah hukum.
4. Teori Kedaualatan Raja, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi ada di tangan raja.
5. Teori Kedaulatan Rakyat, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi ada di tangan rakyat.
Skor : 20
4. Pertanyaan : Jelaskan macam-macam sistem pemerintahan yang telah kalian
pelajari?
Kunci Jawaban :
1. Sistem pemerintahan Presidensil, yaitu dimana kekuasaan pemerintahan
dalam suatu negara ada di tangan Presiden.
2. Sistem Pemerintahan Parlementer, yaitu dimana kekuasaan
pemerintahan dalam suatu negara ada di tangan Perdana Menteri
3. Sistem pemerintahan Semi presidensil, yaitu dimana kekuasaan
pemerintahan dalam suatu negara ada di tangan Presiden dan Perdana
Menteri
Skor : 20
5. Pertanyaan : Sebutkan Lembaga-Lembaga negara yang ada di Indonesia?
Kunci Jawaban : Presiden, MPR, DPR, DPD, MA, MK, KY, BPK.
34
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Skor : 20
2. Dataset 2
1. Pertanyaan : Jelaskan sejarah proses perumusan Pancasila sebagai Dasar
Negara !
Kunci jawaban :
Pancasila sebagai Dasar Negara dirumuskan oleh BPUPKI yang diketuai oleh
Dr. Radjiman Wedyodiningrat dan ketua muda R. P. Soeroso, dan disahkan
oleh PPKI sebagai badan nasional yang mewakili seluruh rakyat Indonesia
yang diketuai oleh Ir. Soekarno dan wakil ketua Drs. Moh. Hatta dalam
sidang PPKI pada tanggal 18 Agustus 1945 sehari setelah Indonesia
memproklamirkan kemerdekaannya pada tanggal 17 Agustus 1945.
Skor : 10
2. Pertanyaan : Jelaskan apa yang dimaksud :
a. Pancasila sebagai Pandangan Hidup Bangsa
b. Pancasila sebagai Kepribadian Bangsa
Kunci jawaban :
Pandangan hidup suatu bangsa adalah suatu kristalisasi dari nilai-nilai yang
dimiliki oleh bangsa itu sendiri yang diyakini kebenarannya dan menimbulkan
tekad pada bangsa untuk mewujudkannya.
Pancasila memberikan corak khas kepada bangsa Indonesia serta merupakan
ciri khas yang membedakan dengan bangsa lain.
Skor :10
3. Pertanyaan : Sebutkan dan berikan contoh nilai – nilai yang terkandung
dalam Pancasila !
Kunci jawaban :
1) Nilai Ketuhanan, contoh Menjalankan ibadah sesuai dengan ajaran agama
dan kepercayaan masing-masing
2) Nilai Kemanusiaan, contoh Mengakui persamaan hak sesama manusia
3) Nilai Persatuan, contoh Bangga sebagai bangsa Indonesia
4) Nilai Kerakyatan, contoh Musyawarah dalam mengambil keputusan
5) Nilai Kemanusiaan, contoh Melaksanakan gotong royong
Skor : 10
4. Pertanyaan : Menurut pendapatmu, apakah nilai – nilai yang terkandung
dalam pancasila saat ini sudah diterapkan dengan baik dalam kehidupan
berbangsa dan bernegara? Berikan penjelasan !
Kunci jawaban :
35
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
- Sudah, karena dalam pelaksanaan kehidupan berbangsa dan bernegara
nilai – nilai pancasila telah menjadi pedoman sehari – hari. Nilai - nilai
pancasila tersebut sudah tertanam dalam hati, tercermin dalam sikap dan
perilaku masyarakat Indonesia.
- Belum, karena masih lemahnya keteladanan bangsa Indonesia terhadap
nilai-nilai Pancasila. Hal ini dibuktikan dengan masih dijumpainya
perilaku-perilaku yang bertentangan dengan nilai-nilai pancasila.
5. Pertanyaan : Sebutkan keistimewaan Pancasila sehingga dijadikan dasar
Negara !
Kunci jawaban :
1) Pancasila digali dan dirumuskan untuk kepentingan negara dan bangsa
Indonesia.
2) Pancasila memiliki karakter utama sebagai ideologi nasional
3) Pancasila sebagai pedoman untuk menentukan arah dan tujuan kehidupan
berbangsa dan bernegara
4) Pancasila merupakan pemersatu bangsa yang majemuk (beragam)
Skor : 10
6. Pertanyaan : Sebutkan tokoh panitia sembilan yang dibentuk ketika sidang
BPUPKI II !
Kunci jawaban:
1) Ir. Soekarno
2) Drs. Mohammad Hatta
3) Mr. Mohammad Yamin
4) Mr. Achmad Subardjo
5) Mr. A. A. Maramis
6) Abdulkahar Muzakir
7) K.H. Wachid Hasyim
8) H. Agus Salim
9) Abikusno Tjokrosuyoso
Skor : 10
7. Pertanyaan : Pada tanggal 22 Juni 1945 panitia sembilan mengadakan
pertemuan dengan tokoh –tokoh BPUPKI dan menyetujui susunan dasar
Negara Repubik Indonesia yang dikenal dengan Piagam Jakarta (Jakarta
Charter). Sebutkan rumusan dasar negara yang tercantum dalam naskah
Piagam Jakarta tersebut !
Kunci jawaban :
36
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
1) Ketuhanan, dengan kewajiban menjalankan syariat Islam bagi pemelukpemeluknya
2) kemanusiaan yang adil dan beradab
3) Persatuan indonesia.
4) Kerakyatan
yang
dipimpin
oleh
kebijaksanaan
dalam
permusyawaratan/perwakilan.
5) Keadilan sosial bagi seluruh rakyat indonesia.
Skor : 10
8. Pertanyaan : Para pendiri bangsa dalam merumuskan Pancasila sebagai dasar
negara memiliki komitmen yang kuat terhadap bangsa dan negara Indonesia.
Sebutkan komitmen yang dimiliki oleh para pendiri bangsa Indonesia !
Kunci jawaban:
1) Mengutamakan semangat persatuan, kesatuan, dan nasionalisme.
2) Adanya rasa memiliki terhadap bangsa Indonesia
3) Selalu bersemangat dalam berjuang
4) Mendukung dan berupaya secara aktif dalam mencapai cita-cita bangsa
5) menempatkan kepentingan negara di atas kepentingan pribadi, serta
mendukung keputusan yang menguntungkan bangsa dan negara.
Skor :10
9. Pertanyaan : Dalam mewujudkan masyarakat yang adil dan makmur
diperlukan pola hidup masyarakat yang dilandasi oleh keimanan dan
ketaqwaan terhadap Tuhan Yang Maha Esa. Sebutkan pola hidup
berlandaskan Pancasila yang dapat meningkatkan perilaku iman dan taqwa
kepada Tuhan Yang Maha Esa !
Kunci jawaban :
1) Saling menghormati dan menjalankan ibadah sesuai dengan agama dan
kepercayaan masing masing.
2) Meningkatkan kerukunan antar umat seagama maupun berbeda agama
dengan pemerintah.
3) Membangun sarana peribadahan sesuai dengan agama masing – masing.
4) Memperkokoh persatuan dan kesatuan bangsa yang berbeda agama dan
kepercayaan.
Skor : 10
10. Pertanyan : Dalam mengahadapi tantangan globalisasi maka perlu diiringi
oleh sikap dan perilaku yang menunjukkan keimanan dan ketaqwaan kepada
Tuhan Yang Maha Esa sebagai upaya pencegahan terhadap disintegrasi
(perpecahan) bangsa. Sebutkan sikap yang perlu kita hindari agar menangkal
kerawanan perpecahan bangsa tersebut !
Kunci jawaban :
37
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
1)
2)
3)
4)
Mencampuradukan ajaran agama
Sikap fanatik yang berlebihan
Bersikap acuh tak acuh, dan
Memaksakan agama dan kepercayaan kepada orang lain yang sudah
memeluk agama.
Skor : 10
b) Data jawaban peserta
1. Dataset 1
Adapun jawaban peserta dataset 1 yang digunakan dalam penelitian ini,
penulis lampirkan di lembar lampiran, mengingat begitu banyaknya data tersebut.
2. Dataset 2
Adapun jawaban peserta dataset 2 yang digunakan dalam penelitian ini,
penulis lampirkan di lembar lampiran , mengingat begitu banyaknya data tersebut.
c) Data nilai peserta yang diberikan oleh guru penilai
Data nilai hasil penilaian guru terhadap tes pada Dataset 1 dan 2 sebagai
berikut
1. Dataset 1
Data nilai penilaian guru terhadap tes pada dataset 1 disajikan dalam tabel
berikut
Tabel 3 nilai peserta
No.siswa
1
2
3
4
5
6
7
8
9
10
11
12
Soal-1
20
15
5
10
10
15
10
15
15
10
15
20
Soal-2
20
10
5
5
3
10
5
5
20
15
8
10
Nilai
Soal-3
20
20
20
3
5
20
13
20
20
10
20
10
Soal-4
15
20
5
5
5
10
0
13
10
8
10
15
Soal-5
20
20
20
20
15
20
0
20
20
20
20
20
38
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
15
15
15
15
10
15
15
15
10
15
20
20
20
8
10
10
3
20
20
10
3
20
15
20
15
15
20
15
10
20
20
8
20
20
20
5
10
20
8
10
20
5
20
5
10
10
5
8
5
5
20
20
5
5
20
8
20
20
8
20
20
5
3
20
20
20
15
8
20
15
20
20
20
20
5
15
20
5
20
20
5
5
20
20
20
20
5
20
20
20
20
20
5
3
20
10
20
3
8
20
5
18
20
10
20
5
5
5
5
5
3
5
5
5
5
5
18
5
5
20
5
20
8
5
20
20
20
20
20
20
20
20
20
20
20
20
20
20
20
20
20
3
20
20
20
20
20
20
5
20
20
20
20
20
20
2. Dataset 2
No siswa
Nilai
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
1
2
3
4
5
6
7
8
9
10
1
6
6
10
10
6
6
4
4
2
6
2
0
0
2
10
0
6
0
0
0
0
3
8
2
6
4
6
6
0
6
0
4
4
0
0
4
6
2
6
6
0
2
2
39
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
5
6
0
10
2
2
10
10
0
2
6
6
6
4
10
10
4
8
10
4
4
8
7
6
4
4
10
4
6
4
4
4
6
8
10
4
6
10
4
6
10
8
4
2
9
4
4
6
8
8
6
10
4
6
8
10
10
4
4
10
4
4
8
2
4
4
11
8
6
2
8
6
8
10
2
4
6
12
4
2
6
10
2
8
6
2
2
2
13
6
4
10
10
0
10
10
2
4
6
14
4
4
4
10
4
4
0
2
2
2
15
2
4
6
10
2
8
2
6
2
4
16
8
6
4
10
4
10
0
6
2
0
17
6
2
6
10
2
8
10
6
4
6
18
2
2
4
6
2
2
2
2
0
0
19
10
4
2
6
0
6
0
0
4
2
20
0
2
0
0
0
10
0
0
0
0
21
6
4
4
10
4
6
0
6
2
4
22
10
6
4
10
4
6
4
4
6
6
23
6
8
6
10
4
10
10
4
6
8
24
4
2
2
10
2
6
0
2
2
2
25
8
10
10
10
10
10
10
10
10
10
26
0
10
10
0
0
10
0
0
0
0
27
0
0
0
6
0
10
0
0
0
0
28
4
4
10
10
4
6
10
4
4
8
29
4
6
8
10
0
8
8
0
4
8
30
6
10
10
10
2
10
10
2
2
8
31
4
2
10
10
2
4
10
0
4
4
32
4
4
10
10
2
6
0
4
2
2
33
4
4
10
10
2
10
8
2
2
2
34
0
0
6
10
5
6
8
0
0
4
35
4
2
8
10
2
6
2
4
4
4
36
8
8
10
10
4
10
10
4
4
4
37
10
0
8
10
0
10
10
4
4
4
38
4
10
10
10
2
10
8
0
4
4
39
4
6
4
8
6
10
0
0
4
10
40
10
6
6
6
4
8
8
4
2
8
40
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
41
6
8
8
10
6
10
8
4
4
4
42
6
6
4
10
4
8
4
2
2
4
43
6
6
4
10
6
8
4
6
8
6
44
4
4
6
2
6
10
4
0
4
4
45
6
4
8
10
0
10
10
4
4
6
Setiap data disajikan dalam file Microsoft exel (.csv) 2003. Data tersebut
kemudian diupload ke dalam sistem untuk dilakukan proses penilaian.
4.2.3 hasil pengujian
1. Pengujian Skenario 1
Pada pengujian sekenario 1, dilakukan text processing pemotongan
imbuhan (stemming) lalu menggunakan model graph. Pengujian ini dilakukan
pada dataset 1 dan dataset 2 dan dilakukan pada tiga kelas berbeda , yaitu kelas
kecil, kelas sedang , kelas besar.
1. Dataset 1
a. hasil pengujian kelas kecil
pengujian kelas kecil dilakukan terhadap empat belas peserta pada masingmasing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru. Adapun hasilnya yaitu sebagai berkut :
Tabel 4 Pengujian kelas kecil
No
Soal 1
sisw
PS
Soal 2
Soal 3
Soal 4
PG
S
PS
PG
S
PS
PG
S
20.0
12.0
2.0
20.0
17.9
1.7
20.0
18.2
0
0
5
0
5
1
0
9
1.4
10.0
2.1
20.0
17.8
3
0
9
0
1
1.6
20.0
18.3
4
0
6
3.00
5.00
PS
Soal 5
PG
S
PS
PG
S
0.0
20.0
20.0
0
0
0
a
1
2
3
4
5
8.00
5.71
0.00
5.71
17.1
15.0
0
5.00
10.0
0
10.0
9.29
5.00
4.29
7.14
1.4
3
1.3
8
1.5
8.57
5.00
3.57
5.00
3.62
3.00
1.46
0.0
0
0.0
5.58
15.0
0
9.42
20.0
11.1
4.4
20.0
15.5
0
1
4
0
6
6.06
5.00
1.06
0.0
20.0
20.0
0
0
0
3.00
6.67
5.00
1.67
2.3
20.0
17.6
5
0
5
5.00
10.0
5.00
5.00
3.3
15.0
11.6
8.89
41
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
6
7
8
9
10
11
12
13
14
4
0
10.0
15.0
0
0
6.67
15.0
0
3.00
15.0
8.85
0
13.3
10.0
3
0
10.0
15.0
0
0
20.0
20.0
0
0
3.33
5.00
0.00
15.0
9.29
0
13.3
15.0
3
0
Rata-rata
3.33
0
0
5.71
5.00
10.0
12.0
6.15
4
1.67
0
4.7
10.0
1
0
1.5
13.0
11.4
1.1
4
0
6
8
5.00
3.52
1.2
20.0
1
0.0
0
1.4
8
2.3
5
10.0
6
0
9.23
5.00
3.82
6.90
0.5
20.0
19.4
7
0
3
18.7
3.0
20.0
16.9
0
9
8
0
2
15.0
15.0
1.9
10.0
0
0
8
0
8.00
5.65
1.7
20.0
18.2
1
0
9
0.6
10.0
3
0
10.0
3
0
1.3
1.7
8.24
1.4
5.29
0
8.57
0.0
8.02
9.14
5.71
4.76
3.00
3.00
6.25
6.67
1.9
20.0
18.0
2.3
20.0
17.6
5
0
5
5
0
5
0
7.00
9.37
8.00
3
4.55
1.27
3
0
7
20.0
10.7
6.1
20.0
13.8
0
7
5
0
5
0.00
6.90
0.00
5.00
0.0
20.0
20.0
0
0
0
6.6
20.0
13.3
7
0
3
5.0
20.0
15.0
0
0
0
2.3
20.0
17.6
13.0
0
10.0
0
8.00
10.0
0
8.45
3.00
1.14
4.29
5.0
0
5
0
5
15.0
10.2
4.7
20.0
15.2
0
4
1
0
9
3.00
3.25
0.0
20.0
20.0
0
0
0
20.0
18.7
2.3
20.0
17.6
0
3
5
0
5
5.51
9.1
11.94
6.78
15.9
27.54%
45.7%
59.7%
33.93%
79.5%
selisih
Presentase
rata-rata
selisih(%)
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-20
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 27.56% , 45.7% , 59.7% , 33.93% dan
79.5%. hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 72.43%, 54.22% , 40.29% , 66.06% dan 20.48%. akurasi tertinggi terdapat
pada penilaian soal nomor satu yaitu sebesar 72.43% dan terendah terjadi pada
penilaian nomor lima yaitu sebesar 20.48%.
42
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
b. Hasil Pengujian kelas Sedang
Pengujian kelas sedang dilakukan terhadap 28 jawaban peserta pada
masing-masing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru, hasilnya yaitu sebagai berikut:
Tabel 5 Pengujian Skenario 1 kelas sedang
No
Soal 1
sisw
PS
Soal 2
Soal 3
Soal 4
Soal 5
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
20.0
12.0
0.9
20.0
19.0
1.4
20.0
18.5
0.9
15.0
14.0
20.0
20.0
0
0
5
0
5
1
0
9
3
0
7
0
0
1.2
10.0
1.5
20.0
18.4
2.0
20.0
17.9
5
0
8.75
4
0
6
7
0
3
6.67
20.0
13.3
0
3
1.6
20.0
18.3
0.0
5.00
3.71
2
0
8
0
5.00
5.00
0.00
20.0
20.0
0
0
5.00
3.75
3.00
3.00
5.00
5.00
7.06
20.0
12.9
0
4
10.0
15.0
8
3.00
1.62
0
5.00
5.00
4
5.00
0.56
0
0
1.0
10.0
1.7
10.0
3.0
20.0
16.9
12.3
20.0
3
0
8.97
1
0
8.29
8
0
2
1
0
0.0
13.0
13.0
15.0
0.00
1.38
3
0.00
0.63
0
0
0
0
a
1
8.00
2
15.0
5.71
0
9.29
0.00
5.00
5.00
3
1.2
4
5
6
10.0
5.71
0
11.4
10.0
3
0
10.0
15.0
0
0
7
8
3.64
9
10
12
14
0.0
0.0
1.3
0
4.4
0.6
8
15.0
11.3
1.3
0.0
20.0
20.0
0.0
13.0
13.0
0
6
3
5.00
3.67
0
0
0
0
0
0
2.22
1.0
20.0
18.9
1.0
20.0
18.9
1.9
10.0
3
0
7
3
0
7
5
0
8.05
8.89
0.0
15.0
15.0
1.9
10.0
0
0
0
5
0
8.05
3
8.00
4.57
1.2
20.0
18.7
0.0
10.0
10.0
0
8.00
8.00
5
0
5
0
0
0
1.2
10.0
0.0
10.0
10.0
0.0
15.0
15.0
9
0
8.71
0
0
0
0
0
0
9.41
1
8.00
6.79
0
3.00
3.00
0
3.00
3.00
2.22
0.8
20.0
19.1
1.6
20.0
18.3
1.2
20.0
18.7
9
0
1
7
0
3
3
0
7
2.11
0.7
20.0
19.2
1.5
20.0
18.4
1.7
10.0
8
0
2
4
0
6
4
0
8.26
0.00
0
10.0
15.0
0
0
16.0
20.0
0
0
8.85
1.11
0.0
5.00
4.00
15.0
5.71
0
13.3
15.0
3
0
1.2
9.29
1.67
15.0
16
0
3.33
0
8.57
17
5.00
10.0
15
0.0
0
8.89
13
5
1.3
1.43
15.0
6.15
11
1.2
4.29
10.0
6.67
9
0.00
0
6.43
15.0
3.4
0.0
5.00
7.69
10.0
5.00
0
20.0
17.7
0
8
20.0
11.1
0
1
10.0
20.0
10.0
0
0
0
20.0
12.9
0
4
20.0
10.5
0
9
20.0
17.7
0
8
20.0
17.8
0
9
20.0
20.0
0
0
7.06
0.0
1.0
20.0
19.0
1.1
20.0
18.9
1.3
20.0
18.6
20.0
18.1
8.00
0
7.00
0
0
0
0
0
0
1
0
9
1.90
0
0
7.27
10.0
2.73
1.4
5.00
3.57
1.1
15.0
13.8
1.2
3.00
1.71
13.3
20.0
6.67
43
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
18
6.15
1.0
10.0
0
1
2.1
9
3
0
0.0
10.0
20.0
10.0
0
0
0
20.0
17.7
0
8
20.0
12.5
0
0
20.0
12.5
0
0
20.0
15.5
6
8.85
5
0
8.95
4
8.00
5.86
0
8.00
8.00
10.5
1.0
20.0
19.0
1.5
20.0
18.4
1.9
20.0
18.1
4.44
0
6
0
0
0
6
0
4
0
0
0
16.0
15.0
0.0
15.0
15.0
2.5
0
0
0
0
0
0
5.00
2.50
0.4
20.0
19.5
2.5
18.0
15.5
1.3
1.00
10.0
3.64
8
8.00
1.0
10.0
6.62
2.22
7.50
0
6.36
3
0
8.97
9
0
1
0
0
0
15.0
11.3
1.0
20.0
18.9
0.4
20.0
19.5
0.0
20.0
20.0
0
6
8
0
2
8
0
2
0
0
0
4.44
0
20.0
13.3
1.1
1.1
20.0
18.8
3.0
20.0
16.9
11.4
10.0
0
3
8
5.00
3.82
8
0
2
8
0
2
3
0
1.43
20.0
16.3
0.9
20.0
19.0
0.0
20.0
20.0
2.3
20.0
17.6
20.0
12.5
3.64
0
6
8
0
2
0
0
0
1
0
9
0
0
10.0
20.0
10.0
2.7
20.0
17.7
0
0
0
6
5.00
2.22
0
8
1.0
10.0
10.9
20.0
0
0
1
0
1.0
10.0
17.1
20.0
3
0
8.97
0
2.86
20.0
17.8
5.00
3.71
0
9
22
3.64
23
6.67
24
26
27
9
15.0
21
25
3
15.0
0
19
20
0
8.89
8.00
17.7
10.0
8
0
28
0.89
7.78
10.0
7.27
Rata-rata
2.1
2.24
9.00
1.2
0
2.73
9
7.50
0.0
4
5.00
2.86
0
0.5
15.0
14.4
3.3
7
0
3
3
0.0
20.0
20.0
3.4
0
0
0
3
5.00
5.00
0.0
0
7.50
5.00
5.00
5.00
1.67
5.00
1.57
4
5.00
3.79
2.11
1.2
1
6.67
9.94
13.5
10.15
12.9
33.38%
49.72%
67.8%
50.76%
64.58%
9.09
selisih
Persentase
rata-rata
selisih %
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-20
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 33.38%, 49.72%, 67.8%, 50.76% dan
64.58% hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 66.6%, 50.26% , 32.13% , 49.23% dan 35.41%. akurasi tertinggi terdapat
44
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
pada penilaian soal nomor empat yaitu sebesar 66.6% dan terendah terjadi pada
penilaian nomor lima yaitu sebesar 35.41%.
c. Hasil pengujian kelas besar
Pengujian kelas kecil dilakukan terhadap 43 peserta pada masing-masing
soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil penilaian guru.
Adapun hasilnya yaitu sebagai berkut :
Tabel 6 Pengujian Skenario 1 Kelas Besar
No
Soal 1
sisw
PS
Soal 2
Soal 3
Soal 4
Soal 5
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
20.0
12.0
0.8
20.0
19.1
1.3
20.0
18.6
0.9
15.0
14.0
0
0
9
0
1
8
0
2
3
0
7
1.1
10.0
2.0
20.0
17.9
2.0
20.0
17.9
4
0
3
0
7
3
0
7
1.6
20.0
18.4
0.0
0
0
0
0
PS
PG
S
20.0
20.0
0
0
20.0
15.5
0
6
20.0
20.0
0
0
20.0
17.6
0
5
15.0
15.0
0
0
20.0
16.9
3.08
0
2
0.00
5.00
5.00
20.0
20.0
0
0
20.0
13.3
0
3
20.0
17.5
0
0
20.0
17.6
0
5
20.0
15.2
0
9
20.0
20.0
0
0
20.0
17.8
0
9
20.0
20.0
0
0
a
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
8.00
15.0
5.71
0
9.29
8.86
1.1
3.33
5.00
1.67
10.0
8
5.00
3.82
1.1
0.0
5.71
0
4.29
4
22.8
10.0
12.8
1.2
6
0
6
5
3.00
13.3
15.0
0.9
10.0
3
0
5
0
10.0
10.0
0
0
10.9
15.0
1
0
1.67
5.00
3.86
1.75
9.05
5
4.09
15.0
8.85
3.00
3.00
0.00
1.25
0.00
0
5.00
5.00
2.35
4.4
0
5.00
1.6
10.0
9
0
5.00
8.31
0.0
1.2
5.00
4.44
0.0
0.0
1.2
0.00
0
5.00
0.00
4
5.00
0.56
4.1
20.0
15.9
0
0
0
0.0
13.0
13.0
0
0.00
0.00
0
0
0
0.0
20.0
20.0
0.0
13.0
13.0
0
0.00
1
5.00
3.79
0
0
0
0
0
0.9
20.0
19.0
1.0
20.0
19.0
1.9
10.0
0.00
5
0
5
0
0
0
5
0
8.05
6.67
0.0
15.0
15.0
1.9
10.0
0
0
0
3
0
8.07
3
8.00
4.57
2.50
1.6
20.0
18.3
0.0
10.0
10.0
8.00
9
0
1
0
0
0
0.6
10.0
0.0
15.0
15.0
3
0
9.38
0
0
0
4.71
0.00
6.15
0
17.7
10.0
8
0
13.3
15.0
3
0
1.67
0
8.00
10.0
20.0
10.0
2.2
10.0
0
0
0
2
0
7.78
1
8.00
6.89
0
3.00
3.00
0
3.00
3.00
0.8
20.0
19.1
1.6
20.0
18.3
1.2
20.0
18.7
2
0
8
4
0
6
3
0
7
2.11
0.7
20.0
19.2
1.5
20.0
18.4
2.5
10.0
4
0
6
2
0
8
5
0
7.45
0.00
7.78
0.0
15.0
5.71
0
16.6
15.0
7
0
1.1
9.29
1.67
15.0
8.57
0
6.43
3.4
0.0
2.35
0.0
45
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
16.0
15.0
0
0
14.5
10.0
5
0
1.00
20.0
19.1
2.0
20.0
17.9
1.7
20.0
18.2
5
0
5
8
0
2
6
0
4
1.90
1.6
15.0
13.3
1.2
9
5.00
3.71
9
0
1
9
3.00
1.71
2.86
2.50
1.2
4.55
15.0
6.15
0.8
0.9
10.0
0
8.85
8
0
9.02
2.1
1
8.00
5.89
0.0
0
8.00
8.00
15.0
10.5
0.9
20.0
19.0
1.4
20.0
18.5
1.7
20.0
18.2
4.44
0
6
1
0
9
8
0
2
9
0
1
0.00
24.0
15.0
0.0
15.0
15.0
2.5
0
0
5
8.00
6.75
0
0
0
0
5.00
2.50
0.00
0.9
10.0
0.4
20.0
19.5
3.3
18.0
14.6
5
0
9.05
8
0
2
3
0
7
1.2
9.00
10.0
6.67
0
10.9
15.0
1.0
20.0
19.0
1.4
20.0
18.6
0.0
20.0
20.0
1
0
4.09
0
0
0
0
0
0
0
0
0
3.33
0.00
1.67
20.0
18.1
0
0
20.0
17.1
0
4
20.0
17.5
0
0
20.0
20.0
0
0
20.0
20.0
0
0
20.0
20.0
0
0
20.0
18.3
0
3
20.0
13.8
1.0
1.7
20.0
18.2
3.0
20.0
16.9
6.15
0
5
3
5.00
3.97
4
0
6
8
0
2
10.9
20.0
0.9
20.0
19.0
0.5
20.0
19.4
2.3
20.0
17.6
1
0
1
0
9
6
0
4
1
0
9
0.00
13.3
20.0
3
0
6.67
0
5.00
2.50
1
5.00
2.89
0
5.00
5.00
0.00
0.9
10.0
0.5
15.0
14.4
3.3
8
8.00
9.78
3
0
6
0
4
3
5.00
1.67
0.00
26.6
10.0
16.6
0.9
10.0
0.0
20.0
20.0
3.4
7
0
7
3
0
9.07
0
0
0
3
5.00
1.57
8.57
14.5
10.0
5
0
5.00
3.82
0
5.00
5.00
1
5.00
3.79
2.11
1.6
20.0
18.3
0.0
10.6
20.0
8.00
7.02
2
0
8
0
5.00
5.00
7
0
9.33
0.0
20.0
20.0
0.0
5.00
3.79
0
0
0
0
3.00
3.00
0.00
3.00
3.00
20.0
12.9
0
4
20.0
15.7
0
9
20.0
14.6
0
7
20.0
20.0
0
0
20.0
17.5
0
0
20.0
20.0
9.09
2.5
17.7
25.0
0
3.00
18.1
20.0
8
0
18.1
20.0
8
0
0
25.0
0
3.00
24.0
20.0
0
0
10.0
15.0
0
0
20.0
20.0
0
0
18.1
15.0
8
0
8
22.0
0.9
0
8
0
1
1.2
1.82
0.0
0.0
1.2
1.82
1.2
0.0
3.4
1
5.00
3.79
0
0.7
20.0
19.2
0.0
6.92
8
0
2
0
5.00
5.00
1
22.0
0.8
20.0
19.1
1.7
20.0
18.2
0.0
0
5
0
5
6
0
4
0
1.8
20.0
18.1
2.9
2
0
8
3
1.0
20.0
18.9
0.0
1.0
4.00
5
5.00
3.95
1.1
5.00
0.00
3.18
8.33
5.00
5.00
3
5.00
1.57
7.06
1.2
5.00
5.00
5.00
3.79
5.00
2.07
4.21
5.33
0.00
7.14
20.0
20.0
0
0
20.0
20.0
0
0
20.0
20.0
0
0
20.0
11.4
0
3
20.0
17.8
0
9
5.00
3.82
7
0
3
0
5.00
5.00
1.6
20.0
18.3
2.8
20.0
17.1
0.0
18.0
18.0
7
0
3
6
0
4
0
0
0
0.00
0
0
5.00
5.00
0.00
5.00
5.00
20.0
20.0
0
0
2.7
2.50
0
8
1.0
15.0
6.67
9.07
1.1
4.55
10.0
3.08
2.1
10.0
2.86
0.0
5
8.00
6.95
6
5.00
2.24
0
0.8
20.0
19.1
2.3
20.0
17.6
0.0
3
0
7
2
0
8
0
5.00
5.00
0.00
46
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
39
40
41
42
43
14.5
20.0
5
0
16.6
15.0
7
0
1.67
10.0
0
0.00
5.71
9.23
Rata-rata
0.8
20.0
19.1
1.0
20.0
19.0
1.8
20.0
18.1
10.0
20.0
10.0
2
0
8
0
0
0
8
0
3
0
0
0
1.7
20.0
18.2
2.2
20.0
20.0
9
8.00
7.11
1
0
9
9
5.00
2.71
0.00
0
0
10.0
1.6
20.0
18.4
1.7
20.0
18.2
3.0
20.0
16.9
20.0
18.5
0
0
0
0
8
0
2
8
0
2
1.48
0
2
20.0
14.2
0.9
20.0
19.0
0.0
20.0
20.0
0.0
20.0
20.0
0
9
1
0
9
0
0
0
0
8.00
8.00
0.00
0
0
20.0
10.7
1.2
20.0
15.0
0
7
1
5.00
3.79
5.00
2.33
5.00
2.71
5.00
0
0
5.45
0.8
2.6
7
2.2
9
7.22
10.52
13.79
8.9
16.3
36.13%
52.63%
68.9%
44.5%
81.5%
selisih
Rata-rata
selisih dalam
persentase %
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-20
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 36.13%, 53.63%,68.9%, 44.5% dan 81.5%.
hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan adalah
63.87%,47.37%, 31.1%, 55.4% dan 18.5% akurasi tertinggi terdapat pada
penilaian soal nomor satu yaitu sebesar 63.87%
dan terendah terjadi pada
penilaian nomor tiga yaitu sebesar 18.5%.
d. Hasil Pengujian Skenario 1
Dari keseluruhan pengujian pada setiap kelas unutk pengujian skenario 1,
didapat hasil sebagai berikut:
Tabel 7 Tahap hasil pengujian skenario 1 seluruh
No. soal
Selisih
47
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Kecil
Sedang
Besar
1
27.56%
33.38%
36.13%
2
45.7%
49.72%
53.63%
3
59.7%
67.8%
68.9%
4
33.93%
50.76%
44.5%
5
79.5%
64.58%
81.5%
Rata-rata selisih
49.27%
53.25%
56.93%
Rata-rata akurasi
50.72%
46.75%
43.7%
2. Dataset 2
a. Hasil pengujian kelas kecil
Pengujian kelas kecil dilakukan terhadap lima belas peserta pada masingmasing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru. Hasil dibagi menjadi 2 tabel yaitu tabel untuk soal no 1 sampai 5
dan tabel untuk soal no 6 sampai 10 . Adapun hasilnya yaitu sebagai berkut :
Tabel 8 hasil pengujian kelas kecil 1-5
No
Soal 1
siswa
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
1
0.00
6.00
6.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
10.00
10.00
2.35
6.00
3.65
2
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.00
2.00
2.05
10.00
7.95
0.00
0.00
0.00
3
0.00
8.00
8.00
0.00
2.00
2.00
0.00
6.00
6.00
0.00
4.00
4.00
1.74
6.00
4.26
4
0.00
0.00
0.00
0.00
0.00
0.00
1.70
4.00
2.30
0.00
6.00
6.00
0.00
2.00
2.00
5
4.10
6.00
1.90
0.00
0.00
0.00
0.71
10.00
9.29
0.00
2.00
2.00
2.50
2.00
0.50
6
0.00
6.00
6.00
1.38
4.00
2.62
1.36
10.00
8.64
0.00
10.00
10.00
2.50
4.00
1.50
7
0.85
6.00
5.15
1.60
4.00
2.40
0.00
4.00
4.00
0.00
10.00
10.00
2.22
4.00
1.78
8
0.00
10.00
10.00
0.00
4.00
4.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
4.00
4.00
9
0.00
4.00
4.00
0.00
4.00
4.00
0.75
6.00
5.25
0.00
8.00
8.00
0.00
8.00
8.00
10
0.98
10.00
9.02
0.00
4.00
4.00
0.91
4.00
3.09
0.00
10.00
10.00
0.00
4.00
4.00
11
0.00
8.00
8.00
0.00
6.00
6.00
0.00
2.00
2.00
0.00
8.00
8.00
1.74
6.00
4.26
12
0.00
4.00
4.00
0.00
2.00
2.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
2.00
2.00
13
2.29
6.00
3.71
0.00
4.00
4.00
1.60
10.00
8.40
0.00
10.00
10.00
0.00
0.00
0.00
14
0.00
4.00
4.00
0.00
4.00
4.00
0.00
4.00
4.00
0.00
10.00
10.00
0.00
4.00
4.00
15
0.00
2.00
2.00
0.00
4.00
4.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
2.00
2.00
Rata-rata
Soal 2
Soal 3
Soal 4
Soal 5
4.79
3.00
5.53
8.40
2.80
47.85%
30.01%
55.30%
83.96%
27.96%
selisih
Presentase
48
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
rata-rata
selisih(%)
Tabel 9 hasil pengujian kelas kecil soal no 6 – 10
No
Soal 6
siswa
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
1
5.52
6.00
0.48
0.00
4.00
4.00
0.00
4.00
4.00
0.00
2.00
2.00
1.38
6.00
4.62
2
4.14
6.00
1.86
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
3
1.60
6.00
4.40
0.00
0.00
0.00
0.00
6.00
6.00
0.00
0.00
0.00
0.00
4.00
4.00
4
3.33
6.00
2.67
0.93
6.00
5.07
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
5
4.71
10.00
5.29
3.20
10.00
6.80
0.00
0.00
0.00
1.60
2.00
0.40
0.00
6.00
6.00
6
0.00
8.00
8.00
0.00
10.00
10.00
0.00
4.00
4.00
0.00
4.00
4.00
4.14
8.00
3.86
7
3.48
6.00
2.52
0.95
4.00
3.05
0.00
4.00
4.00
0.00
4.00
4.00
0.00
6.00
6.00
8
1.60
6.00
4.40
3.27
10.00
6.73
0.00
8.00
8.00
0.00
4.00
4.00
0.00
2.00
2.00
9
0.00
6.00
6.00
0.89
10.00
9.11
0.00
4.00
4.00
0.00
6.00
6.00
0.00
8.00
8.00
10
5.00
4.00
1.00
2.42
8.00
5.58
0.00
2.00
2.00
1.67
4.00
2.33
1.82
4.00
2.18
11
2.67
8.00
5.33
1.86
10.00
8.14
0.00
2.00
2.00
0.00
4.00
4.00
0.00
6.00
6.00
12
0.00
8.00
8.00
0.00
6.00
6.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
13
2.96
10.00
7.04
0.00
10.00
10.00
1.74
2.00
0.26
0.00
4.00
4.00
0.00
6.00
6.00
14
0.00
4.00
4.00
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
15
1.60
8.00
6.40
1.38
2.00
0.62
0.00
6.00
6.00
0.00
2.00
2.00
0.00
4.00
4.00
Rata-rata
Soal 7
Soal 8
Soal 9
Soal 10
4.49
5.01
2.95
2.58
3.91
44.93%
50.06%
29.50%
25.82%
39.109%
selisih
Presentase
rata-rata
selisih(%)
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-10
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara hasil
penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan soal
nomor sepuluh secara berurutan adalah 47.85%, 30.01%,55.30%,83.96%,
27.96%, 44.93% , 50.06% , 29.50%,25.82% dan 39.10%. hal ini menunjukan
49
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
akurasi sistem untuk setiap soal secara berurutan adalah 52.15%, 69.99%,
44.70%, 16.04% ,72.04%,55.06%, 49.94%, 70.50% , 74.18%, 39.11% . akurasi
tertinggi terdapat pada penilaian soal nomor sembilan yaitu sebesar 74.18% dan
terendah terjadi pada penilaian nomor empat yaitu sebesar 16.04%.
b. Hasil Pengujian kelas Sedang
Pengujian kelas sedang dilakukan terhadap 30 jawaban peserta pada
masing-masing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru, Hasil dibagi menjadi 2 tabel yaitu tabel untuk soal no 1 sampai 5
dan tabel untuk soal no 6 sampai 10 . Adapun hasilnya yaitu sebagai berkut :
Tabel 10 hasil pengujian kelas sedang no 1-5
No
Soal 1
Soal 2
Soal 3
Soal 4
Soal 5
siswa
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
1
0.95
6.00
5.05
0.00
6.00
6.00
0.00
10.00
10.00
0.83
10.00
9.17
0.00
6.00
6.00
2
0.00
0.00
0.00
0.00
0.00
0.00
2.61
2.00
0.61
1.95
10.00
8.05
0.00
0.00
0.00
3
0.00
8.00
8.00
0.00
2.00
2.00
1.63
6.00
4.37
0.00
4.00
4.00
1.38
6.00
4.62
4
0.00
0.00
0.00
0.00
0.00
0.00
4.08
4.00
0.08
0.00
6.00
6.00
0.00
2.00
2.00
5
0.95
6.00
5.05
0.00
0.00
0.00
0.63
10.00
9.37
0.00
2.00
2.00
1.90
2.00
0.10
6
0.00
6.00
6.00
3.33
4.00
0.67
2.62
10.00
7.38
0.00
10.00
10.00
1.82
4.00
2.18
7
0.00
6.00
6.00
1.29
4.00
2.71
1.82
4.00
2.18
0.00
10.00
10.00
1.82
4.00
2.18
8
0.00
10.00
10.00
0.00
4.00
4.00
2.22
6.00
3.78
0.00
10.00
10.00
0.00
4.00
4.00
9
0.00
4.00
4.00
0.00
4.00
4.00
2.22
6.00
3.78
0.00
8.00
8.00
0.00
8.00
8.00
10
0.00
10.00
10.00
0.00
4.00
4.00
2.73
4.00
1.27
0.00
10.00
10.00
0.00
4.00
4.00
11
0.00
8.00
8.00
0.00
6.00
6.00
2.29
2.00
0.29
0.00
8.00
8.00
0.00
6.00
6.00
12
0.00
4.00
4.00
0.00
2.00
2.00
2.22
6.00
3.78
0.00
10.00
10.00
0.00
2.00
2.00
13
0.00
6.00
6.00
0.00
4.00
4.00
2.31
10.00
7.69
0.00
10.00
10.00
0.00
0.00
0.00
14
0.00
4.00
4.00
0.00
4.00
4.00
2.29
4.00
1.71
0.00
10.00
10.00
0.00
4.00
4.00
15
0.00
2.00
2.00
0.00
4.00
4.00
1.45
6.00
4.55
0.00
10.00
10.00
0.00
2.00
2.00
16
0.98
8.00
7.02
1.90
6.00
4.10
2.05
4.00
1.95
0.00
10.00
10.00
1.90
4.00
2.10
17
0.00
6.00
6.00
0.00
2.00
2.00
2.05
6.00
3.95
0.00
10.00
10.00
2.11
2.00
0.11
18
0.00
2.00
2.00
0.00
2.00
2.00
1.90
4.00
2.10
0.00
6.00
6.00
0.00
2.00
2.00
19
0.00
10.00
10.00
0.00
4.00
4.00
2.29
2.00
0.29
0.00
6.00
6.00
0.00
0.00
0.00
20
1.29
0.00
1.29
0.00
2.00
2.00
2.58
0.00
2.58
0.00
0.00
0.00
0.00
0.00
0.00
21
1.82
6.00
4.18
0.00
4.00
4.00
2.73
4.00
1.27
0.00
10.00
10.00
0.00
4.00
4.00
22
0.00
10.00
10.00
1.21
6.00
4.79
2.16
4.00
1.84
0.00
10.00
10.00
0.00
4.00
4.00
23
0.00
6.00
6.00
1.11
8.00
6.89
4.32
6.00
1.68
1.05
10.00
8.95
0.00
4.00
4.00
24
0.00
4.00
4.00
3.87
2.00
1.87
3.43
2.00
1.43
0.00
10.00
10.00
0.00
2.00
2.00
50
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
25
0.00
8.00
8.00
0.89
10.00
9.11
0.00
10.00
10.00
0.00
10.00
10.00
1.18
10.00
8.82
26
0.00
0.00
0.00
0.00
10.00
10.00
2.42
10.00
7.58
0.00
0.00
0.00
0.00
0.00
0.00
27
0.00
0.00
0.00
0.00
0.00
0.00
2.58
0.00
2.58
0.00
6.00
6.00
2.22
0.00
2.22
28
0.00
4.00
4.00
0.00
4.00
4.00
2.11
10.00
7.89
0.00
10.00
10.00
1.38
4.00
2.62
29
1.14
4.00
2.86
0.95
6.00
5.05
2.22
8.00
5.78
0.00
10.00
10.00
0.00
0.00
0.00
30
0.00
6.00
6.00
1.95
10.00
8.05
1.88
10.00
8.13
0.00
10.00
10.00
0.00
2.00
2.00
Rata-rata
4.98
3.71
4.00
8.07
2.70
49.81%
37.07%
39.95%
80.72%
29.98%
selisih
Persentase
rata-rata
selisih %
Tabel 11 hasil pengujian kelas sedang no 5-10
No
Soal 6
siswa
PS
PG
S
Soal 7
PS
PG
S
Soal 8
PS
PG
S
Soal 9
PS
PG
S
Soal 10
PS
PG
S
1
2.58
6.00
3.42
0.00
4.00
4.00
0.00
4.00
4.00
0.00
2.00
2.00
0.00
6.00
6.00
2
2.58
6.00
3.42
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
3
0.00
6.00
6.00
0.00
0.00
0.00
0.00
6.00
6.00
0.00
0.00
0.00
0.00
4.00
4.00
4
3.08
6.00
2.92
0.93
6.00
5.07
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
5
5.26
10.00
4.74
10.40
10.00
0.40
0.00
0.00
0.00
0.00
2.00
2.00
0.00
6.00
6.00
6
0.00
8.00
8.00
0.00
10.00
10.00
0.00
4.00
4.00
0.00
4.00
4.00
1.33
8.00
6.67
7
2.96
6.00
3.04
0.93
4.00
3.07
0.00
4.00
4.00
0.00
4.00
4.00
0.00
6.00
6.00
8
0.00
6.00
6.00
10.61
10.00
0.61
0.00
8.00
8.00
0.00
4.00
4.00
0.00
2.00
2.00
9
0.00
6.00
6.00
0.87
10.00
9.13
0.00
4.00
4.00
0.00
6.00
6.00
0.00
8.00
8.00
10
3.08
4.00
0.92
3.64
8.00
4.36
0.00
2.00
2.00
1.33
4.00
2.67
1.60
4.00
2.40
11
2.35
8.00
5.65
2.79
10.00
7.21
0.00
2.00
2.00
0.00
4.00
4.00
0.00
6.00
6.00
12
1.38
8.00
6.62
0.00
6.00
6.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
13
2.76
10.00
7.24
0.00
10.00
10.00
1.48
2.00
0.52
0.00
4.00
4.00
1.82
6.00
4.18
14
0.00
4.00
4.00
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
15
0.00
8.00
8.00
1.38
2.00
0.62
0.00
6.00
6.00
0.00
2.00
2.00
0.00
4.00
4.00
16
0.00
10.00
10.00
0.00
0.00
0.00
0.00
6.00
6.00
0.00
2.00
2.00
0.00
0.00
0.00
17
1.48
8.00
6.52
0.00
10.00
10.00
0.00
6.00
6.00
0.00
4.00
4.00
0.00
6.00
6.00
18
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
0.00
0.00
0.00
0.00
0.00
19
0.00
6.00
6.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
4.00
4.00
0.00
2.00
2.00
20
0.00
10.00
10.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
21
0.00
6.00
6.00
0.00
0.00
0.00
1.67
6.00
4.33
0.00
2.00
2.00
0.00
4.00
4.00
22
0.00
6.00
6.00
1.18
4.00
2.82
0.00
4.00
4.00
0.00
6.00
6.00
0.00
6.00
6.00
23
0.00
10.00
10.00
0.00
10.00
10.00
0.00
4.00
4.00
0.00
6.00
6.00
0.00
8.00
8.00
24
5.13
6.00
0.87
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
25
2.29
10.00
7.71
12.55
10.00
2.55
0.00
10.00
10.00
0.00
10.00
10.00
0.00
10.00
10.00
51
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
26
5.13
10.00
4.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
27
5.13
10.00
4.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
28
4.14
6.00
1.86
6.27
10.00
3.73
0.00
4.00
4.00
0.00
4.00
4.00
0.00
8.00
8.00
29
2.58
8.00
5.42
0.91
8.00
7.09
0.00
0.00
0.00
0.00
4.00
4.00
1.74
8.00
6.26
30
2.50
10.00
7.50
0.00
10.00
10.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
8.00
8.00
Rata-rata
5.52
3.62
2.96
2.89
4.05
55.19%
36.22%
29.61%
28.88%
40.50%
selisih
Persentase
rata-rata
selisih %
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-10
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor se
HASIL PENELITIAN DAN PEMBAHASAN
Pada bab ini akan dijelaskan pengembangan model,pengjian dan hasil analisis
penelitian.
4.1 Pengembangan Model
Pengembangan sistem penilain esai otomatis dalam penelitian ini
mengikuti model proses sequental linear. Modul-modul yang dikembangkan
meliputi text preprocessing, pembentukan model graph dan perhitungan
menggunakan pendekatan cosine similarity.
4.1.1 Alur Model Penilaian Jawaban Esai
Dalam proses penilaian jawaban esai dibangi menjadi 2 proses yaitu
dengan model graph dan dengan term frekuensi, untuk proses dengan model graph
data kunci dan jawaban dimasukan oleh user lalu dibaca oleh sistem. Kemudian
dilakukan pra pemprosesan awal terhadap data-data tersebut melalui modul text
preprocessor. Data diubah menjadi matrik berupa kemunculan kata dalam
frekuensi kata di dalam dokumen untuk kemudian diproses menjadi sebuat graph.
Output dari pemprosesan model graph berupa graph yang siap dihitung
menggunakan pendekatan cosine similarity. Dan data hasil nilai ditampilkan
dalam bentuk tabel.dan untuk proses dengan menggunakan term frekuensi data
kunci dan jawaban dimasukan oleh user lalu dibaca oleh sistem. Kemudian
dilakukan pra pemprosesan awal terhadap data-data tersebut melalui modul text
preprocessor. Data diubah menjadi matrik berupa kemunculan kata dalam
frekuensi kata di dalam dokumen yang selanjutnya diproses dengan term
frekuensi didapatkan hasil berupa matrik menunculan kata. Lalu selanjutnya
dihitung kemiripanya dengan menggukan cosine similarity.
25
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
4.1.2 Text Preprocessing
Text preprocessing merupakan tahap pengolahan awal data siswa dan
kunci jawaban, pada tahap pra pemrosesan ini dilakuakn beberapa tahan secara
berurutan yaitu :
1. Case Folding
Pada tahap ini dilakukan pengubahan huruf besan menjadi huruf kecil.
Proses ini dilakukan terhadap sebuah semua data baik kunci jawaban maupun
data jawaban peserta. Adapun contohnya yaitu sebagai berikut :
Kedaulatan Rakyat adalah
sistem kedaulatan tertinggi
yang dipegang oleh rakyat
kedaulatan rakyat adalah
sistem kedaulatan tertinggi
yang dipegang oleh rakyat
Gambar 1 case folding
2. Tokenizing
Tokenizing merupakan proses pengubahan dokumen menjadi kumpulan
kata mandiri. Seperti halnya case folding proses ini juga dikenakan terhadap
seluruh data,baik itu kunci jawaban, maupun jawaban peserta. Tujuan dari peoses
ini adalah untuk mempermudah proses pengolahan data berikutnya, sebagai
berikut :
Kedaulatan Rakyat
adalah sistem kedaulatan
tertinggi yang dipegang
oleh rakyat
kedaulatan
rakyat
adalah
sistem
kedaulatan
tertinggi
yang
dipegang
oleh
rakyat
Gambar 2 Tokenizing
26
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
3. Filtering
Pada tahap Filtering dilakukan penghapusan bagan-bagian yang dianggap
tidak penting dari data, baik dari data jawaban peserta maupun dari kunci
jawaban. Bagian-bagian yang dihapus meliputi :
a. karakter tanda baca
b. Tag HTML
c . kata yang dianggap tidak penting (Stop word)
adapun contoh proses Filtering yaitu sebagai berikut :
Kedaulatan
Rakyat
Adalah
Sistem
Kedaulatan
Tertinggi
Yang
dipengan
Oleh
Rakyat
Kedaulatan rakyat
Sistem
Kedaulatan
Tertinggi
Yang
Dipegang
Oleh
Rakyat
Gambar 3 Filtering
4. Stemming
Steaming merupakan proses pemotongan atau perhilangan impuhan pada
kata. Proses ini dilakukan pada dokumen jawaban peserta maupun kunci jawaban,
tujuan dari proses ini adalah untuk memperkrcil rumang semantic. Adapun
pemotongan imbuhan (Stemmer) yang dilakukan dalam penelitian ini adalah
menggunakan algoritma Nazief dan Adriani. Berkut contoh proses stemming
dalam penelitian ini :
Kedaulatan
Daulat
Rakyat
Sistem
Daulat
Tinggi
Pegang
rakyat
Rakyat
Sistem
Kedaulatan
Tertinggi
Dipegang
27
Ranti Saidah,
2016
Rakyat
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Gambar 4 Contoh stemming
4.1.3 Pembentukan Frekuensi kata
Setelah pra proses pengolahan data, langkah selanjutnya adalah
pembetukan frekuensi kata dari dokuemen kunci dan jawaban peserta.
Pembentukan frekuensi kata dalam penelitian ini adalah menggunkan algoritma
term frekunesi. Dalam tahap ini, dokuem kunci dan jawaban peserta digabungkan
kemudian dibentuk menjadi frekuensi kata dengan melihat kemunculan kata
sebanyak 2 kali. Kemudian kemunculan kata tersebut disimpat disebuah matrik
frekuensi kata. Adapun contohnya sebagai berikut:
Kunci
daulat
rakyat
sistem
daulat
tertinggi
pegang
rakyat
daulat
rakyat
sistem
daulat
tertinggi
pegang
rakyat
Jawaban peserta 1
daulat
sistem
daulat
rakyat
rakyat
rakyat
Gambar 5 Contoh frekuensi kata
4.1.4 Pembentukan Pola Term
28
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Setelah preproses dan pembentukan frekunesi kata, langkah selanjutnya
adalah pembentukan pola term . Dalam proses ini setiap jawaban peserta maupun
kunci jawaban disebut dokumen. Dokumen-kokumen tersebut yang terdiri dari
kumpulan kata diubah menjadi sebuah matrik. Kolom matrik mempresentasikan
dokumen, sedangkan barisnya mempresentasikan kata. Kemudian setiap kata yang
ada dalam dokumen diubah menjadi label yang mempresentasikan matrik
frekuensi kata. Bila dalam dokumen tersebut terdapat kata yang sama dengan
frekuensi kata ke-2 maka label kata tersebut 2. Adapun contohnya sebagai berikut
:
DF : daulat rakyat sistem tinggi pegang
DK : daulat rakyat sistem tinggi pegang rakyat
D1 : daulat rakyat sistem rakyat rakyat rakyat
D2 : daulat rakyat sistem tinggi
DN : daulat tinggi
Keterangan :
DF : dokumen frekuensi
DK : dokumen kunci
D1 : dokumen jawaban siswa ke-1
D2 : dokumen jawaban siswa ke-2
DN : dokumen jawaban siswa ke-n
Dokumen dokumen diatas diubah menjadi matrik kemunculan kata frekuensi.
Sebagai berikut :
Tabel Matrik kemunculan frekuensi
Tabel 1 matrik kemunculan frekuensi
Dokumen
Kemunculan
DK
D1
D2
…
DN
F1
F1
F1
…
F1
29
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
F2
F2
F2
…
F3
F3
F3
…
F4
F2
F4
…
F5
F2
-
…
F2
F2
-
…
F4
Setelah terbentuk matrik kemunculan frekuensi pada dokumen seperti
diatas, maka selanjutnya akan melakukan prses penbentukan model graph.
4.1.5 Term frekuensi
Proses ini adalah proses perhitungan kata disetiang frekuensi yang telah
terbentuk . adapun contohnya sebagai berikut
DF : daulat rakyat sistem tinggi pegang
DK : daulat rakyat sistem tinggi pegang rakyat
D1 : daulat rakyat sistem rakyat rakyat rakyat
D2 : daulat rakyat sistem tinggi
DN : daulat tinggi
Keterangan :
DF : dokumen frekuensi
DK : dokumen kunci
D1 : dokumen jawaban siswa ke-1
D2 : dokumen jawaban siswa ke-2
DN : dokumen jawaban siswa ke-n
Dokumen dokumen diatas diubah menjadi matrik perhitungan kata yang muncul
sebagai berikut :
Tabel Matrik kemunculan frekuensi
Tabel 2 matrik kemunculan frekuensi
30
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Frekuensi
Dokumen
DK
D1
D2
..
DN
daulat
1
1
1
..
1
rakyat
2
4
1
..
0
sistem
1
1
1
..
0
tinggi
1
0
1
..
1
pegang
1
0
0
..
0
4.1.6 Pembentukan Model graph
Peoses inti dalam penilaian esai adalah pembentukan model graph. Pada
tahap ini dilakukan pembangunan model graph dengan melihat pola term. Yang
selanjutnya akan dibentuk model graph secara hirarki. Adapun contohnya sebagai
berikut:
ro
ot
F1
F2
F3
F2
F4
F2
F5
d2
F2
31
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
F2
d1
dk
Gambar 6 pola graph
Keterangan :
Dk = dokumen kunci
D1 = dokumen jawaban siswa ke-1
D2= dokumen jawaban siswa ke -2
4.2 Pengujian
Proses pengujian dilakukan untuk mendapatkan data penelitian yang akan
dianalisis sebagai dasar penarikan kesimpulan. Skenario pengujian dibuat
sedemikina rupa agar dapat menjawab rumusan yang telah ditentukan.
4.2.1 Skenario Pengujian
Pengujian terhadap sistem yang dilakukan melalui 4 skenario , yaitu:
1. Skenario 1, dilakukan dengan menggunakan pra proses pemotongan imbuhan
(stemming) dan menggunakan model graph.
2. Skenario 2 , dilakukan dengan menggunakan pra proses pemotongan imbuhan
(stemming) dan menggunakan term frekuensi.
Disamping itu , guna melihat pengaruh jumlah jawaban esai yang dinilai terhadap
akurasi hasil penilaian sistem, dalam setiap skenario pengjian tersebut dilakukan
dengan menggunkan 2 dataset yang didalmnya menggunakan pengkelasan data.
Untuk Dataset 1 data berjumlah 43 jawaban peserta dalam masing-masing soal
dibagi menjadi 3 kelas yaitu :
1. kelas kecil jumlah peserta 14 orang
2. kelas sedang dengan jumlah peserta 28 orang
3. kelas besar dengan jumlah peserta 43 orang.
32
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Dan untuk dataset 2 berjumlah 45 jawaban peserta dalam masing-masing soal
dibagi menjadi 3 kelas yaitu:
1. kelas kecil jumlah peserta 15 ornag
2.kelas sedang jumlah peserta 30 orang
3.kelas besar jumlah peserta 45 orang
Masing- masing kelas tersebut mewakili sepertiga jumlah data, dua per
tiga jumlah data, dan keseluruhan jumlah data.
4.2.2 Data Pengujian
Adapun data soal dan jawaban dataset 1 yang digunakan dalam pengujian ini
merupakan soal tes ulangan harian di SMPN 29 Bandung, kelas VIII, mata
pelajaran Pendidikan Kewarganegaraan dari penelitian sebelumnya.
dan untuk dataset 2 yang digunakan dalam pengujian ini merupakan soal tes
ulangan tengah semester di SMP Lab School Bandung , kelas VII, mata pelajaran
Pendidikan Kewarganegaran.
a) Data kunci jawaban
1. Dataset 1
Data soal dan kunci jawaban dalam dataset 1 yang digunakan adalah sebagai
berikut:
1. Pertanyaan : Apakah yang dimaksud dengan kedaulatan rakyat?
Kunci Jawaban : Kedaulatan Rakyat adalah suatu kekuasaan pemerintahan yang
sepenuhnya ada di tangan rakyat
Skor : 20
2. Pertanyaan : Sebutkan dan jelaskan 2 Jenis Kedaulatan?
Kunci Jawaban : Jenis kedaulatan ada 2, yaitu:
1. Kedaulatan ke dalam, adalah suatu bangsa atau negara yang merdeka
memiliki hak untuk mengatur rumah tangganya sendiri tanpa campur
tangan dari bangsa atau negara lain.
33
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
2. Kedaulatan ke luar, adalah suatu bangsa atau negara yang merdeka
mempunyai kekuasaan atau hak untuk mengadakan hubungan atau
kerjasama dengan negara-negara lain sesuai dengan keinginannya.
Skor : 20
3. Pertanyaan : Sebutkan dan jelaskan Teori-teori Kedaulatan, minimal 3?
Kunci Jawaban :
1. Teori Kedaulatan Tuhan, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi (kedaulatan) berasal dari Tuhan.
2. Teori Kedaulatan Negara, adalah teori yang menyebutkan bahwa
kekuasaan berasal atau ada pada negara.
3. Teori Kedaulatan Hukum, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi dalam suatu negara adalah hukum.
4. Teori Kedaualatan Raja, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi ada di tangan raja.
5. Teori Kedaulatan Rakyat, adalah teori yang menyebutkan bahwa
kekuasaan tertinggi ada di tangan rakyat.
Skor : 20
4. Pertanyaan : Jelaskan macam-macam sistem pemerintahan yang telah kalian
pelajari?
Kunci Jawaban :
1. Sistem pemerintahan Presidensil, yaitu dimana kekuasaan pemerintahan
dalam suatu negara ada di tangan Presiden.
2. Sistem Pemerintahan Parlementer, yaitu dimana kekuasaan
pemerintahan dalam suatu negara ada di tangan Perdana Menteri
3. Sistem pemerintahan Semi presidensil, yaitu dimana kekuasaan
pemerintahan dalam suatu negara ada di tangan Presiden dan Perdana
Menteri
Skor : 20
5. Pertanyaan : Sebutkan Lembaga-Lembaga negara yang ada di Indonesia?
Kunci Jawaban : Presiden, MPR, DPR, DPD, MA, MK, KY, BPK.
34
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Skor : 20
2. Dataset 2
1. Pertanyaan : Jelaskan sejarah proses perumusan Pancasila sebagai Dasar
Negara !
Kunci jawaban :
Pancasila sebagai Dasar Negara dirumuskan oleh BPUPKI yang diketuai oleh
Dr. Radjiman Wedyodiningrat dan ketua muda R. P. Soeroso, dan disahkan
oleh PPKI sebagai badan nasional yang mewakili seluruh rakyat Indonesia
yang diketuai oleh Ir. Soekarno dan wakil ketua Drs. Moh. Hatta dalam
sidang PPKI pada tanggal 18 Agustus 1945 sehari setelah Indonesia
memproklamirkan kemerdekaannya pada tanggal 17 Agustus 1945.
Skor : 10
2. Pertanyaan : Jelaskan apa yang dimaksud :
a. Pancasila sebagai Pandangan Hidup Bangsa
b. Pancasila sebagai Kepribadian Bangsa
Kunci jawaban :
Pandangan hidup suatu bangsa adalah suatu kristalisasi dari nilai-nilai yang
dimiliki oleh bangsa itu sendiri yang diyakini kebenarannya dan menimbulkan
tekad pada bangsa untuk mewujudkannya.
Pancasila memberikan corak khas kepada bangsa Indonesia serta merupakan
ciri khas yang membedakan dengan bangsa lain.
Skor :10
3. Pertanyaan : Sebutkan dan berikan contoh nilai – nilai yang terkandung
dalam Pancasila !
Kunci jawaban :
1) Nilai Ketuhanan, contoh Menjalankan ibadah sesuai dengan ajaran agama
dan kepercayaan masing-masing
2) Nilai Kemanusiaan, contoh Mengakui persamaan hak sesama manusia
3) Nilai Persatuan, contoh Bangga sebagai bangsa Indonesia
4) Nilai Kerakyatan, contoh Musyawarah dalam mengambil keputusan
5) Nilai Kemanusiaan, contoh Melaksanakan gotong royong
Skor : 10
4. Pertanyaan : Menurut pendapatmu, apakah nilai – nilai yang terkandung
dalam pancasila saat ini sudah diterapkan dengan baik dalam kehidupan
berbangsa dan bernegara? Berikan penjelasan !
Kunci jawaban :
35
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
- Sudah, karena dalam pelaksanaan kehidupan berbangsa dan bernegara
nilai – nilai pancasila telah menjadi pedoman sehari – hari. Nilai - nilai
pancasila tersebut sudah tertanam dalam hati, tercermin dalam sikap dan
perilaku masyarakat Indonesia.
- Belum, karena masih lemahnya keteladanan bangsa Indonesia terhadap
nilai-nilai Pancasila. Hal ini dibuktikan dengan masih dijumpainya
perilaku-perilaku yang bertentangan dengan nilai-nilai pancasila.
5. Pertanyaan : Sebutkan keistimewaan Pancasila sehingga dijadikan dasar
Negara !
Kunci jawaban :
1) Pancasila digali dan dirumuskan untuk kepentingan negara dan bangsa
Indonesia.
2) Pancasila memiliki karakter utama sebagai ideologi nasional
3) Pancasila sebagai pedoman untuk menentukan arah dan tujuan kehidupan
berbangsa dan bernegara
4) Pancasila merupakan pemersatu bangsa yang majemuk (beragam)
Skor : 10
6. Pertanyaan : Sebutkan tokoh panitia sembilan yang dibentuk ketika sidang
BPUPKI II !
Kunci jawaban:
1) Ir. Soekarno
2) Drs. Mohammad Hatta
3) Mr. Mohammad Yamin
4) Mr. Achmad Subardjo
5) Mr. A. A. Maramis
6) Abdulkahar Muzakir
7) K.H. Wachid Hasyim
8) H. Agus Salim
9) Abikusno Tjokrosuyoso
Skor : 10
7. Pertanyaan : Pada tanggal 22 Juni 1945 panitia sembilan mengadakan
pertemuan dengan tokoh –tokoh BPUPKI dan menyetujui susunan dasar
Negara Repubik Indonesia yang dikenal dengan Piagam Jakarta (Jakarta
Charter). Sebutkan rumusan dasar negara yang tercantum dalam naskah
Piagam Jakarta tersebut !
Kunci jawaban :
36
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
1) Ketuhanan, dengan kewajiban menjalankan syariat Islam bagi pemelukpemeluknya
2) kemanusiaan yang adil dan beradab
3) Persatuan indonesia.
4) Kerakyatan
yang
dipimpin
oleh
kebijaksanaan
dalam
permusyawaratan/perwakilan.
5) Keadilan sosial bagi seluruh rakyat indonesia.
Skor : 10
8. Pertanyaan : Para pendiri bangsa dalam merumuskan Pancasila sebagai dasar
negara memiliki komitmen yang kuat terhadap bangsa dan negara Indonesia.
Sebutkan komitmen yang dimiliki oleh para pendiri bangsa Indonesia !
Kunci jawaban:
1) Mengutamakan semangat persatuan, kesatuan, dan nasionalisme.
2) Adanya rasa memiliki terhadap bangsa Indonesia
3) Selalu bersemangat dalam berjuang
4) Mendukung dan berupaya secara aktif dalam mencapai cita-cita bangsa
5) menempatkan kepentingan negara di atas kepentingan pribadi, serta
mendukung keputusan yang menguntungkan bangsa dan negara.
Skor :10
9. Pertanyaan : Dalam mewujudkan masyarakat yang adil dan makmur
diperlukan pola hidup masyarakat yang dilandasi oleh keimanan dan
ketaqwaan terhadap Tuhan Yang Maha Esa. Sebutkan pola hidup
berlandaskan Pancasila yang dapat meningkatkan perilaku iman dan taqwa
kepada Tuhan Yang Maha Esa !
Kunci jawaban :
1) Saling menghormati dan menjalankan ibadah sesuai dengan agama dan
kepercayaan masing masing.
2) Meningkatkan kerukunan antar umat seagama maupun berbeda agama
dengan pemerintah.
3) Membangun sarana peribadahan sesuai dengan agama masing – masing.
4) Memperkokoh persatuan dan kesatuan bangsa yang berbeda agama dan
kepercayaan.
Skor : 10
10. Pertanyan : Dalam mengahadapi tantangan globalisasi maka perlu diiringi
oleh sikap dan perilaku yang menunjukkan keimanan dan ketaqwaan kepada
Tuhan Yang Maha Esa sebagai upaya pencegahan terhadap disintegrasi
(perpecahan) bangsa. Sebutkan sikap yang perlu kita hindari agar menangkal
kerawanan perpecahan bangsa tersebut !
Kunci jawaban :
37
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
1)
2)
3)
4)
Mencampuradukan ajaran agama
Sikap fanatik yang berlebihan
Bersikap acuh tak acuh, dan
Memaksakan agama dan kepercayaan kepada orang lain yang sudah
memeluk agama.
Skor : 10
b) Data jawaban peserta
1. Dataset 1
Adapun jawaban peserta dataset 1 yang digunakan dalam penelitian ini,
penulis lampirkan di lembar lampiran, mengingat begitu banyaknya data tersebut.
2. Dataset 2
Adapun jawaban peserta dataset 2 yang digunakan dalam penelitian ini,
penulis lampirkan di lembar lampiran , mengingat begitu banyaknya data tersebut.
c) Data nilai peserta yang diberikan oleh guru penilai
Data nilai hasil penilaian guru terhadap tes pada Dataset 1 dan 2 sebagai
berikut
1. Dataset 1
Data nilai penilaian guru terhadap tes pada dataset 1 disajikan dalam tabel
berikut
Tabel 3 nilai peserta
No.siswa
1
2
3
4
5
6
7
8
9
10
11
12
Soal-1
20
15
5
10
10
15
10
15
15
10
15
20
Soal-2
20
10
5
5
3
10
5
5
20
15
8
10
Nilai
Soal-3
20
20
20
3
5
20
13
20
20
10
20
10
Soal-4
15
20
5
5
5
10
0
13
10
8
10
15
Soal-5
20
20
20
20
15
20
0
20
20
20
20
20
38
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
15
15
15
15
10
15
15
15
10
15
20
20
20
8
10
10
3
20
20
10
3
20
15
20
15
15
20
15
10
20
20
8
20
20
20
5
10
20
8
10
20
5
20
5
10
10
5
8
5
5
20
20
5
5
20
8
20
20
8
20
20
5
3
20
20
20
15
8
20
15
20
20
20
20
5
15
20
5
20
20
5
5
20
20
20
20
5
20
20
20
20
20
5
3
20
10
20
3
8
20
5
18
20
10
20
5
5
5
5
5
3
5
5
5
5
5
18
5
5
20
5
20
8
5
20
20
20
20
20
20
20
20
20
20
20
20
20
20
20
20
20
3
20
20
20
20
20
20
5
20
20
20
20
20
20
2. Dataset 2
No siswa
Nilai
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
Soal-
1
2
3
4
5
6
7
8
9
10
1
6
6
10
10
6
6
4
4
2
6
2
0
0
2
10
0
6
0
0
0
0
3
8
2
6
4
6
6
0
6
0
4
4
0
0
4
6
2
6
6
0
2
2
39
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
5
6
0
10
2
2
10
10
0
2
6
6
6
4
10
10
4
8
10
4
4
8
7
6
4
4
10
4
6
4
4
4
6
8
10
4
6
10
4
6
10
8
4
2
9
4
4
6
8
8
6
10
4
6
8
10
10
4
4
10
4
4
8
2
4
4
11
8
6
2
8
6
8
10
2
4
6
12
4
2
6
10
2
8
6
2
2
2
13
6
4
10
10
0
10
10
2
4
6
14
4
4
4
10
4
4
0
2
2
2
15
2
4
6
10
2
8
2
6
2
4
16
8
6
4
10
4
10
0
6
2
0
17
6
2
6
10
2
8
10
6
4
6
18
2
2
4
6
2
2
2
2
0
0
19
10
4
2
6
0
6
0
0
4
2
20
0
2
0
0
0
10
0
0
0
0
21
6
4
4
10
4
6
0
6
2
4
22
10
6
4
10
4
6
4
4
6
6
23
6
8
6
10
4
10
10
4
6
8
24
4
2
2
10
2
6
0
2
2
2
25
8
10
10
10
10
10
10
10
10
10
26
0
10
10
0
0
10
0
0
0
0
27
0
0
0
6
0
10
0
0
0
0
28
4
4
10
10
4
6
10
4
4
8
29
4
6
8
10
0
8
8
0
4
8
30
6
10
10
10
2
10
10
2
2
8
31
4
2
10
10
2
4
10
0
4
4
32
4
4
10
10
2
6
0
4
2
2
33
4
4
10
10
2
10
8
2
2
2
34
0
0
6
10
5
6
8
0
0
4
35
4
2
8
10
2
6
2
4
4
4
36
8
8
10
10
4
10
10
4
4
4
37
10
0
8
10
0
10
10
4
4
4
38
4
10
10
10
2
10
8
0
4
4
39
4
6
4
8
6
10
0
0
4
10
40
10
6
6
6
4
8
8
4
2
8
40
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
41
6
8
8
10
6
10
8
4
4
4
42
6
6
4
10
4
8
4
2
2
4
43
6
6
4
10
6
8
4
6
8
6
44
4
4
6
2
6
10
4
0
4
4
45
6
4
8
10
0
10
10
4
4
6
Setiap data disajikan dalam file Microsoft exel (.csv) 2003. Data tersebut
kemudian diupload ke dalam sistem untuk dilakukan proses penilaian.
4.2.3 hasil pengujian
1. Pengujian Skenario 1
Pada pengujian sekenario 1, dilakukan text processing pemotongan
imbuhan (stemming) lalu menggunakan model graph. Pengujian ini dilakukan
pada dataset 1 dan dataset 2 dan dilakukan pada tiga kelas berbeda , yaitu kelas
kecil, kelas sedang , kelas besar.
1. Dataset 1
a. hasil pengujian kelas kecil
pengujian kelas kecil dilakukan terhadap empat belas peserta pada masingmasing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru. Adapun hasilnya yaitu sebagai berkut :
Tabel 4 Pengujian kelas kecil
No
Soal 1
sisw
PS
Soal 2
Soal 3
Soal 4
PG
S
PS
PG
S
PS
PG
S
20.0
12.0
2.0
20.0
17.9
1.7
20.0
18.2
0
0
5
0
5
1
0
9
1.4
10.0
2.1
20.0
17.8
3
0
9
0
1
1.6
20.0
18.3
4
0
6
3.00
5.00
PS
Soal 5
PG
S
PS
PG
S
0.0
20.0
20.0
0
0
0
a
1
2
3
4
5
8.00
5.71
0.00
5.71
17.1
15.0
0
5.00
10.0
0
10.0
9.29
5.00
4.29
7.14
1.4
3
1.3
8
1.5
8.57
5.00
3.57
5.00
3.62
3.00
1.46
0.0
0
0.0
5.58
15.0
0
9.42
20.0
11.1
4.4
20.0
15.5
0
1
4
0
6
6.06
5.00
1.06
0.0
20.0
20.0
0
0
0
3.00
6.67
5.00
1.67
2.3
20.0
17.6
5
0
5
5.00
10.0
5.00
5.00
3.3
15.0
11.6
8.89
41
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
6
7
8
9
10
11
12
13
14
4
0
10.0
15.0
0
0
6.67
15.0
0
3.00
15.0
8.85
0
13.3
10.0
3
0
10.0
15.0
0
0
20.0
20.0
0
0
3.33
5.00
0.00
15.0
9.29
0
13.3
15.0
3
0
Rata-rata
3.33
0
0
5.71
5.00
10.0
12.0
6.15
4
1.67
0
4.7
10.0
1
0
1.5
13.0
11.4
1.1
4
0
6
8
5.00
3.52
1.2
20.0
1
0.0
0
1.4
8
2.3
5
10.0
6
0
9.23
5.00
3.82
6.90
0.5
20.0
19.4
7
0
3
18.7
3.0
20.0
16.9
0
9
8
0
2
15.0
15.0
1.9
10.0
0
0
8
0
8.00
5.65
1.7
20.0
18.2
1
0
9
0.6
10.0
3
0
10.0
3
0
1.3
1.7
8.24
1.4
5.29
0
8.57
0.0
8.02
9.14
5.71
4.76
3.00
3.00
6.25
6.67
1.9
20.0
18.0
2.3
20.0
17.6
5
0
5
5
0
5
0
7.00
9.37
8.00
3
4.55
1.27
3
0
7
20.0
10.7
6.1
20.0
13.8
0
7
5
0
5
0.00
6.90
0.00
5.00
0.0
20.0
20.0
0
0
0
6.6
20.0
13.3
7
0
3
5.0
20.0
15.0
0
0
0
2.3
20.0
17.6
13.0
0
10.0
0
8.00
10.0
0
8.45
3.00
1.14
4.29
5.0
0
5
0
5
15.0
10.2
4.7
20.0
15.2
0
4
1
0
9
3.00
3.25
0.0
20.0
20.0
0
0
0
20.0
18.7
2.3
20.0
17.6
0
3
5
0
5
5.51
9.1
11.94
6.78
15.9
27.54%
45.7%
59.7%
33.93%
79.5%
selisih
Presentase
rata-rata
selisih(%)
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-20
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 27.56% , 45.7% , 59.7% , 33.93% dan
79.5%. hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 72.43%, 54.22% , 40.29% , 66.06% dan 20.48%. akurasi tertinggi terdapat
pada penilaian soal nomor satu yaitu sebesar 72.43% dan terendah terjadi pada
penilaian nomor lima yaitu sebesar 20.48%.
42
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
b. Hasil Pengujian kelas Sedang
Pengujian kelas sedang dilakukan terhadap 28 jawaban peserta pada
masing-masing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru, hasilnya yaitu sebagai berikut:
Tabel 5 Pengujian Skenario 1 kelas sedang
No
Soal 1
sisw
PS
Soal 2
Soal 3
Soal 4
Soal 5
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
20.0
12.0
0.9
20.0
19.0
1.4
20.0
18.5
0.9
15.0
14.0
20.0
20.0
0
0
5
0
5
1
0
9
3
0
7
0
0
1.2
10.0
1.5
20.0
18.4
2.0
20.0
17.9
5
0
8.75
4
0
6
7
0
3
6.67
20.0
13.3
0
3
1.6
20.0
18.3
0.0
5.00
3.71
2
0
8
0
5.00
5.00
0.00
20.0
20.0
0
0
5.00
3.75
3.00
3.00
5.00
5.00
7.06
20.0
12.9
0
4
10.0
15.0
8
3.00
1.62
0
5.00
5.00
4
5.00
0.56
0
0
1.0
10.0
1.7
10.0
3.0
20.0
16.9
12.3
20.0
3
0
8.97
1
0
8.29
8
0
2
1
0
0.0
13.0
13.0
15.0
0.00
1.38
3
0.00
0.63
0
0
0
0
a
1
8.00
2
15.0
5.71
0
9.29
0.00
5.00
5.00
3
1.2
4
5
6
10.0
5.71
0
11.4
10.0
3
0
10.0
15.0
0
0
7
8
3.64
9
10
12
14
0.0
0.0
1.3
0
4.4
0.6
8
15.0
11.3
1.3
0.0
20.0
20.0
0.0
13.0
13.0
0
6
3
5.00
3.67
0
0
0
0
0
0
2.22
1.0
20.0
18.9
1.0
20.0
18.9
1.9
10.0
3
0
7
3
0
7
5
0
8.05
8.89
0.0
15.0
15.0
1.9
10.0
0
0
0
5
0
8.05
3
8.00
4.57
1.2
20.0
18.7
0.0
10.0
10.0
0
8.00
8.00
5
0
5
0
0
0
1.2
10.0
0.0
10.0
10.0
0.0
15.0
15.0
9
0
8.71
0
0
0
0
0
0
9.41
1
8.00
6.79
0
3.00
3.00
0
3.00
3.00
2.22
0.8
20.0
19.1
1.6
20.0
18.3
1.2
20.0
18.7
9
0
1
7
0
3
3
0
7
2.11
0.7
20.0
19.2
1.5
20.0
18.4
1.7
10.0
8
0
2
4
0
6
4
0
8.26
0.00
0
10.0
15.0
0
0
16.0
20.0
0
0
8.85
1.11
0.0
5.00
4.00
15.0
5.71
0
13.3
15.0
3
0
1.2
9.29
1.67
15.0
16
0
3.33
0
8.57
17
5.00
10.0
15
0.0
0
8.89
13
5
1.3
1.43
15.0
6.15
11
1.2
4.29
10.0
6.67
9
0.00
0
6.43
15.0
3.4
0.0
5.00
7.69
10.0
5.00
0
20.0
17.7
0
8
20.0
11.1
0
1
10.0
20.0
10.0
0
0
0
20.0
12.9
0
4
20.0
10.5
0
9
20.0
17.7
0
8
20.0
17.8
0
9
20.0
20.0
0
0
7.06
0.0
1.0
20.0
19.0
1.1
20.0
18.9
1.3
20.0
18.6
20.0
18.1
8.00
0
7.00
0
0
0
0
0
0
1
0
9
1.90
0
0
7.27
10.0
2.73
1.4
5.00
3.57
1.1
15.0
13.8
1.2
3.00
1.71
13.3
20.0
6.67
43
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
18
6.15
1.0
10.0
0
1
2.1
9
3
0
0.0
10.0
20.0
10.0
0
0
0
20.0
17.7
0
8
20.0
12.5
0
0
20.0
12.5
0
0
20.0
15.5
6
8.85
5
0
8.95
4
8.00
5.86
0
8.00
8.00
10.5
1.0
20.0
19.0
1.5
20.0
18.4
1.9
20.0
18.1
4.44
0
6
0
0
0
6
0
4
0
0
0
16.0
15.0
0.0
15.0
15.0
2.5
0
0
0
0
0
0
5.00
2.50
0.4
20.0
19.5
2.5
18.0
15.5
1.3
1.00
10.0
3.64
8
8.00
1.0
10.0
6.62
2.22
7.50
0
6.36
3
0
8.97
9
0
1
0
0
0
15.0
11.3
1.0
20.0
18.9
0.4
20.0
19.5
0.0
20.0
20.0
0
6
8
0
2
8
0
2
0
0
0
4.44
0
20.0
13.3
1.1
1.1
20.0
18.8
3.0
20.0
16.9
11.4
10.0
0
3
8
5.00
3.82
8
0
2
8
0
2
3
0
1.43
20.0
16.3
0.9
20.0
19.0
0.0
20.0
20.0
2.3
20.0
17.6
20.0
12.5
3.64
0
6
8
0
2
0
0
0
1
0
9
0
0
10.0
20.0
10.0
2.7
20.0
17.7
0
0
0
6
5.00
2.22
0
8
1.0
10.0
10.9
20.0
0
0
1
0
1.0
10.0
17.1
20.0
3
0
8.97
0
2.86
20.0
17.8
5.00
3.71
0
9
22
3.64
23
6.67
24
26
27
9
15.0
21
25
3
15.0
0
19
20
0
8.89
8.00
17.7
10.0
8
0
28
0.89
7.78
10.0
7.27
Rata-rata
2.1
2.24
9.00
1.2
0
2.73
9
7.50
0.0
4
5.00
2.86
0
0.5
15.0
14.4
3.3
7
0
3
3
0.0
20.0
20.0
3.4
0
0
0
3
5.00
5.00
0.0
0
7.50
5.00
5.00
5.00
1.67
5.00
1.57
4
5.00
3.79
2.11
1.2
1
6.67
9.94
13.5
10.15
12.9
33.38%
49.72%
67.8%
50.76%
64.58%
9.09
selisih
Persentase
rata-rata
selisih %
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-20
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 33.38%, 49.72%, 67.8%, 50.76% dan
64.58% hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 66.6%, 50.26% , 32.13% , 49.23% dan 35.41%. akurasi tertinggi terdapat
44
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
pada penilaian soal nomor empat yaitu sebesar 66.6% dan terendah terjadi pada
penilaian nomor lima yaitu sebesar 35.41%.
c. Hasil pengujian kelas besar
Pengujian kelas kecil dilakukan terhadap 43 peserta pada masing-masing
soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil penilaian guru.
Adapun hasilnya yaitu sebagai berkut :
Tabel 6 Pengujian Skenario 1 Kelas Besar
No
Soal 1
sisw
PS
Soal 2
Soal 3
Soal 4
Soal 5
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
20.0
12.0
0.8
20.0
19.1
1.3
20.0
18.6
0.9
15.0
14.0
0
0
9
0
1
8
0
2
3
0
7
1.1
10.0
2.0
20.0
17.9
2.0
20.0
17.9
4
0
3
0
7
3
0
7
1.6
20.0
18.4
0.0
0
0
0
0
PS
PG
S
20.0
20.0
0
0
20.0
15.5
0
6
20.0
20.0
0
0
20.0
17.6
0
5
15.0
15.0
0
0
20.0
16.9
3.08
0
2
0.00
5.00
5.00
20.0
20.0
0
0
20.0
13.3
0
3
20.0
17.5
0
0
20.0
17.6
0
5
20.0
15.2
0
9
20.0
20.0
0
0
20.0
17.8
0
9
20.0
20.0
0
0
a
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
8.00
15.0
5.71
0
9.29
8.86
1.1
3.33
5.00
1.67
10.0
8
5.00
3.82
1.1
0.0
5.71
0
4.29
4
22.8
10.0
12.8
1.2
6
0
6
5
3.00
13.3
15.0
0.9
10.0
3
0
5
0
10.0
10.0
0
0
10.9
15.0
1
0
1.67
5.00
3.86
1.75
9.05
5
4.09
15.0
8.85
3.00
3.00
0.00
1.25
0.00
0
5.00
5.00
2.35
4.4
0
5.00
1.6
10.0
9
0
5.00
8.31
0.0
1.2
5.00
4.44
0.0
0.0
1.2
0.00
0
5.00
0.00
4
5.00
0.56
4.1
20.0
15.9
0
0
0
0.0
13.0
13.0
0
0.00
0.00
0
0
0
0.0
20.0
20.0
0.0
13.0
13.0
0
0.00
1
5.00
3.79
0
0
0
0
0
0.9
20.0
19.0
1.0
20.0
19.0
1.9
10.0
0.00
5
0
5
0
0
0
5
0
8.05
6.67
0.0
15.0
15.0
1.9
10.0
0
0
0
3
0
8.07
3
8.00
4.57
2.50
1.6
20.0
18.3
0.0
10.0
10.0
8.00
9
0
1
0
0
0
0.6
10.0
0.0
15.0
15.0
3
0
9.38
0
0
0
4.71
0.00
6.15
0
17.7
10.0
8
0
13.3
15.0
3
0
1.67
0
8.00
10.0
20.0
10.0
2.2
10.0
0
0
0
2
0
7.78
1
8.00
6.89
0
3.00
3.00
0
3.00
3.00
0.8
20.0
19.1
1.6
20.0
18.3
1.2
20.0
18.7
2
0
8
4
0
6
3
0
7
2.11
0.7
20.0
19.2
1.5
20.0
18.4
2.5
10.0
4
0
6
2
0
8
5
0
7.45
0.00
7.78
0.0
15.0
5.71
0
16.6
15.0
7
0
1.1
9.29
1.67
15.0
8.57
0
6.43
3.4
0.0
2.35
0.0
45
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
16.0
15.0
0
0
14.5
10.0
5
0
1.00
20.0
19.1
2.0
20.0
17.9
1.7
20.0
18.2
5
0
5
8
0
2
6
0
4
1.90
1.6
15.0
13.3
1.2
9
5.00
3.71
9
0
1
9
3.00
1.71
2.86
2.50
1.2
4.55
15.0
6.15
0.8
0.9
10.0
0
8.85
8
0
9.02
2.1
1
8.00
5.89
0.0
0
8.00
8.00
15.0
10.5
0.9
20.0
19.0
1.4
20.0
18.5
1.7
20.0
18.2
4.44
0
6
1
0
9
8
0
2
9
0
1
0.00
24.0
15.0
0.0
15.0
15.0
2.5
0
0
5
8.00
6.75
0
0
0
0
5.00
2.50
0.00
0.9
10.0
0.4
20.0
19.5
3.3
18.0
14.6
5
0
9.05
8
0
2
3
0
7
1.2
9.00
10.0
6.67
0
10.9
15.0
1.0
20.0
19.0
1.4
20.0
18.6
0.0
20.0
20.0
1
0
4.09
0
0
0
0
0
0
0
0
0
3.33
0.00
1.67
20.0
18.1
0
0
20.0
17.1
0
4
20.0
17.5
0
0
20.0
20.0
0
0
20.0
20.0
0
0
20.0
20.0
0
0
20.0
18.3
0
3
20.0
13.8
1.0
1.7
20.0
18.2
3.0
20.0
16.9
6.15
0
5
3
5.00
3.97
4
0
6
8
0
2
10.9
20.0
0.9
20.0
19.0
0.5
20.0
19.4
2.3
20.0
17.6
1
0
1
0
9
6
0
4
1
0
9
0.00
13.3
20.0
3
0
6.67
0
5.00
2.50
1
5.00
2.89
0
5.00
5.00
0.00
0.9
10.0
0.5
15.0
14.4
3.3
8
8.00
9.78
3
0
6
0
4
3
5.00
1.67
0.00
26.6
10.0
16.6
0.9
10.0
0.0
20.0
20.0
3.4
7
0
7
3
0
9.07
0
0
0
3
5.00
1.57
8.57
14.5
10.0
5
0
5.00
3.82
0
5.00
5.00
1
5.00
3.79
2.11
1.6
20.0
18.3
0.0
10.6
20.0
8.00
7.02
2
0
8
0
5.00
5.00
7
0
9.33
0.0
20.0
20.0
0.0
5.00
3.79
0
0
0
0
3.00
3.00
0.00
3.00
3.00
20.0
12.9
0
4
20.0
15.7
0
9
20.0
14.6
0
7
20.0
20.0
0
0
20.0
17.5
0
0
20.0
20.0
9.09
2.5
17.7
25.0
0
3.00
18.1
20.0
8
0
18.1
20.0
8
0
0
25.0
0
3.00
24.0
20.0
0
0
10.0
15.0
0
0
20.0
20.0
0
0
18.1
15.0
8
0
8
22.0
0.9
0
8
0
1
1.2
1.82
0.0
0.0
1.2
1.82
1.2
0.0
3.4
1
5.00
3.79
0
0.7
20.0
19.2
0.0
6.92
8
0
2
0
5.00
5.00
1
22.0
0.8
20.0
19.1
1.7
20.0
18.2
0.0
0
5
0
5
6
0
4
0
1.8
20.0
18.1
2.9
2
0
8
3
1.0
20.0
18.9
0.0
1.0
4.00
5
5.00
3.95
1.1
5.00
0.00
3.18
8.33
5.00
5.00
3
5.00
1.57
7.06
1.2
5.00
5.00
5.00
3.79
5.00
2.07
4.21
5.33
0.00
7.14
20.0
20.0
0
0
20.0
20.0
0
0
20.0
20.0
0
0
20.0
11.4
0
3
20.0
17.8
0
9
5.00
3.82
7
0
3
0
5.00
5.00
1.6
20.0
18.3
2.8
20.0
17.1
0.0
18.0
18.0
7
0
3
6
0
4
0
0
0
0.00
0
0
5.00
5.00
0.00
5.00
5.00
20.0
20.0
0
0
2.7
2.50
0
8
1.0
15.0
6.67
9.07
1.1
4.55
10.0
3.08
2.1
10.0
2.86
0.0
5
8.00
6.95
6
5.00
2.24
0
0.8
20.0
19.1
2.3
20.0
17.6
0.0
3
0
7
2
0
8
0
5.00
5.00
0.00
46
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
39
40
41
42
43
14.5
20.0
5
0
16.6
15.0
7
0
1.67
10.0
0
0.00
5.71
9.23
Rata-rata
0.8
20.0
19.1
1.0
20.0
19.0
1.8
20.0
18.1
10.0
20.0
10.0
2
0
8
0
0
0
8
0
3
0
0
0
1.7
20.0
18.2
2.2
20.0
20.0
9
8.00
7.11
1
0
9
9
5.00
2.71
0.00
0
0
10.0
1.6
20.0
18.4
1.7
20.0
18.2
3.0
20.0
16.9
20.0
18.5
0
0
0
0
8
0
2
8
0
2
1.48
0
2
20.0
14.2
0.9
20.0
19.0
0.0
20.0
20.0
0.0
20.0
20.0
0
9
1
0
9
0
0
0
0
8.00
8.00
0.00
0
0
20.0
10.7
1.2
20.0
15.0
0
7
1
5.00
3.79
5.00
2.33
5.00
2.71
5.00
0
0
5.45
0.8
2.6
7
2.2
9
7.22
10.52
13.79
8.9
16.3
36.13%
52.63%
68.9%
44.5%
81.5%
selisih
Rata-rata
selisih dalam
persentase %
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-20
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 36.13%, 53.63%,68.9%, 44.5% dan 81.5%.
hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan adalah
63.87%,47.37%, 31.1%, 55.4% dan 18.5% akurasi tertinggi terdapat pada
penilaian soal nomor satu yaitu sebesar 63.87%
dan terendah terjadi pada
penilaian nomor tiga yaitu sebesar 18.5%.
d. Hasil Pengujian Skenario 1
Dari keseluruhan pengujian pada setiap kelas unutk pengujian skenario 1,
didapat hasil sebagai berikut:
Tabel 7 Tahap hasil pengujian skenario 1 seluruh
No. soal
Selisih
47
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
Kecil
Sedang
Besar
1
27.56%
33.38%
36.13%
2
45.7%
49.72%
53.63%
3
59.7%
67.8%
68.9%
4
33.93%
50.76%
44.5%
5
79.5%
64.58%
81.5%
Rata-rata selisih
49.27%
53.25%
56.93%
Rata-rata akurasi
50.72%
46.75%
43.7%
2. Dataset 2
a. Hasil pengujian kelas kecil
Pengujian kelas kecil dilakukan terhadap lima belas peserta pada masingmasing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru. Hasil dibagi menjadi 2 tabel yaitu tabel untuk soal no 1 sampai 5
dan tabel untuk soal no 6 sampai 10 . Adapun hasilnya yaitu sebagai berkut :
Tabel 8 hasil pengujian kelas kecil 1-5
No
Soal 1
siswa
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
1
0.00
6.00
6.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
10.00
10.00
2.35
6.00
3.65
2
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.00
2.00
2.05
10.00
7.95
0.00
0.00
0.00
3
0.00
8.00
8.00
0.00
2.00
2.00
0.00
6.00
6.00
0.00
4.00
4.00
1.74
6.00
4.26
4
0.00
0.00
0.00
0.00
0.00
0.00
1.70
4.00
2.30
0.00
6.00
6.00
0.00
2.00
2.00
5
4.10
6.00
1.90
0.00
0.00
0.00
0.71
10.00
9.29
0.00
2.00
2.00
2.50
2.00
0.50
6
0.00
6.00
6.00
1.38
4.00
2.62
1.36
10.00
8.64
0.00
10.00
10.00
2.50
4.00
1.50
7
0.85
6.00
5.15
1.60
4.00
2.40
0.00
4.00
4.00
0.00
10.00
10.00
2.22
4.00
1.78
8
0.00
10.00
10.00
0.00
4.00
4.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
4.00
4.00
9
0.00
4.00
4.00
0.00
4.00
4.00
0.75
6.00
5.25
0.00
8.00
8.00
0.00
8.00
8.00
10
0.98
10.00
9.02
0.00
4.00
4.00
0.91
4.00
3.09
0.00
10.00
10.00
0.00
4.00
4.00
11
0.00
8.00
8.00
0.00
6.00
6.00
0.00
2.00
2.00
0.00
8.00
8.00
1.74
6.00
4.26
12
0.00
4.00
4.00
0.00
2.00
2.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
2.00
2.00
13
2.29
6.00
3.71
0.00
4.00
4.00
1.60
10.00
8.40
0.00
10.00
10.00
0.00
0.00
0.00
14
0.00
4.00
4.00
0.00
4.00
4.00
0.00
4.00
4.00
0.00
10.00
10.00
0.00
4.00
4.00
15
0.00
2.00
2.00
0.00
4.00
4.00
0.00
6.00
6.00
0.00
10.00
10.00
0.00
2.00
2.00
Rata-rata
Soal 2
Soal 3
Soal 4
Soal 5
4.79
3.00
5.53
8.40
2.80
47.85%
30.01%
55.30%
83.96%
27.96%
selisih
Presentase
48
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
rata-rata
selisih(%)
Tabel 9 hasil pengujian kelas kecil soal no 6 – 10
No
Soal 6
siswa
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
1
5.52
6.00
0.48
0.00
4.00
4.00
0.00
4.00
4.00
0.00
2.00
2.00
1.38
6.00
4.62
2
4.14
6.00
1.86
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
3
1.60
6.00
4.40
0.00
0.00
0.00
0.00
6.00
6.00
0.00
0.00
0.00
0.00
4.00
4.00
4
3.33
6.00
2.67
0.93
6.00
5.07
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
5
4.71
10.00
5.29
3.20
10.00
6.80
0.00
0.00
0.00
1.60
2.00
0.40
0.00
6.00
6.00
6
0.00
8.00
8.00
0.00
10.00
10.00
0.00
4.00
4.00
0.00
4.00
4.00
4.14
8.00
3.86
7
3.48
6.00
2.52
0.95
4.00
3.05
0.00
4.00
4.00
0.00
4.00
4.00
0.00
6.00
6.00
8
1.60
6.00
4.40
3.27
10.00
6.73
0.00
8.00
8.00
0.00
4.00
4.00
0.00
2.00
2.00
9
0.00
6.00
6.00
0.89
10.00
9.11
0.00
4.00
4.00
0.00
6.00
6.00
0.00
8.00
8.00
10
5.00
4.00
1.00
2.42
8.00
5.58
0.00
2.00
2.00
1.67
4.00
2.33
1.82
4.00
2.18
11
2.67
8.00
5.33
1.86
10.00
8.14
0.00
2.00
2.00
0.00
4.00
4.00
0.00
6.00
6.00
12
0.00
8.00
8.00
0.00
6.00
6.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
13
2.96
10.00
7.04
0.00
10.00
10.00
1.74
2.00
0.26
0.00
4.00
4.00
0.00
6.00
6.00
14
0.00
4.00
4.00
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
15
1.60
8.00
6.40
1.38
2.00
0.62
0.00
6.00
6.00
0.00
2.00
2.00
0.00
4.00
4.00
Rata-rata
Soal 7
Soal 8
Soal 9
Soal 10
4.49
5.01
2.95
2.58
3.91
44.93%
50.06%
29.50%
25.82%
39.109%
selisih
Presentase
rata-rata
selisih(%)
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-10
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara hasil
penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan soal
nomor sepuluh secara berurutan adalah 47.85%, 30.01%,55.30%,83.96%,
27.96%, 44.93% , 50.06% , 29.50%,25.82% dan 39.10%. hal ini menunjukan
49
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
akurasi sistem untuk setiap soal secara berurutan adalah 52.15%, 69.99%,
44.70%, 16.04% ,72.04%,55.06%, 49.94%, 70.50% , 74.18%, 39.11% . akurasi
tertinggi terdapat pada penilaian soal nomor sembilan yaitu sebesar 74.18% dan
terendah terjadi pada penilaian nomor empat yaitu sebesar 16.04%.
b. Hasil Pengujian kelas Sedang
Pengujian kelas sedang dilakukan terhadap 30 jawaban peserta pada
masing-masing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru, Hasil dibagi menjadi 2 tabel yaitu tabel untuk soal no 1 sampai 5
dan tabel untuk soal no 6 sampai 10 . Adapun hasilnya yaitu sebagai berkut :
Tabel 10 hasil pengujian kelas sedang no 1-5
No
Soal 1
Soal 2
Soal 3
Soal 4
Soal 5
siswa
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
PS
PG
S
1
0.95
6.00
5.05
0.00
6.00
6.00
0.00
10.00
10.00
0.83
10.00
9.17
0.00
6.00
6.00
2
0.00
0.00
0.00
0.00
0.00
0.00
2.61
2.00
0.61
1.95
10.00
8.05
0.00
0.00
0.00
3
0.00
8.00
8.00
0.00
2.00
2.00
1.63
6.00
4.37
0.00
4.00
4.00
1.38
6.00
4.62
4
0.00
0.00
0.00
0.00
0.00
0.00
4.08
4.00
0.08
0.00
6.00
6.00
0.00
2.00
2.00
5
0.95
6.00
5.05
0.00
0.00
0.00
0.63
10.00
9.37
0.00
2.00
2.00
1.90
2.00
0.10
6
0.00
6.00
6.00
3.33
4.00
0.67
2.62
10.00
7.38
0.00
10.00
10.00
1.82
4.00
2.18
7
0.00
6.00
6.00
1.29
4.00
2.71
1.82
4.00
2.18
0.00
10.00
10.00
1.82
4.00
2.18
8
0.00
10.00
10.00
0.00
4.00
4.00
2.22
6.00
3.78
0.00
10.00
10.00
0.00
4.00
4.00
9
0.00
4.00
4.00
0.00
4.00
4.00
2.22
6.00
3.78
0.00
8.00
8.00
0.00
8.00
8.00
10
0.00
10.00
10.00
0.00
4.00
4.00
2.73
4.00
1.27
0.00
10.00
10.00
0.00
4.00
4.00
11
0.00
8.00
8.00
0.00
6.00
6.00
2.29
2.00
0.29
0.00
8.00
8.00
0.00
6.00
6.00
12
0.00
4.00
4.00
0.00
2.00
2.00
2.22
6.00
3.78
0.00
10.00
10.00
0.00
2.00
2.00
13
0.00
6.00
6.00
0.00
4.00
4.00
2.31
10.00
7.69
0.00
10.00
10.00
0.00
0.00
0.00
14
0.00
4.00
4.00
0.00
4.00
4.00
2.29
4.00
1.71
0.00
10.00
10.00
0.00
4.00
4.00
15
0.00
2.00
2.00
0.00
4.00
4.00
1.45
6.00
4.55
0.00
10.00
10.00
0.00
2.00
2.00
16
0.98
8.00
7.02
1.90
6.00
4.10
2.05
4.00
1.95
0.00
10.00
10.00
1.90
4.00
2.10
17
0.00
6.00
6.00
0.00
2.00
2.00
2.05
6.00
3.95
0.00
10.00
10.00
2.11
2.00
0.11
18
0.00
2.00
2.00
0.00
2.00
2.00
1.90
4.00
2.10
0.00
6.00
6.00
0.00
2.00
2.00
19
0.00
10.00
10.00
0.00
4.00
4.00
2.29
2.00
0.29
0.00
6.00
6.00
0.00
0.00
0.00
20
1.29
0.00
1.29
0.00
2.00
2.00
2.58
0.00
2.58
0.00
0.00
0.00
0.00
0.00
0.00
21
1.82
6.00
4.18
0.00
4.00
4.00
2.73
4.00
1.27
0.00
10.00
10.00
0.00
4.00
4.00
22
0.00
10.00
10.00
1.21
6.00
4.79
2.16
4.00
1.84
0.00
10.00
10.00
0.00
4.00
4.00
23
0.00
6.00
6.00
1.11
8.00
6.89
4.32
6.00
1.68
1.05
10.00
8.95
0.00
4.00
4.00
24
0.00
4.00
4.00
3.87
2.00
1.87
3.43
2.00
1.43
0.00
10.00
10.00
0.00
2.00
2.00
50
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
25
0.00
8.00
8.00
0.89
10.00
9.11
0.00
10.00
10.00
0.00
10.00
10.00
1.18
10.00
8.82
26
0.00
0.00
0.00
0.00
10.00
10.00
2.42
10.00
7.58
0.00
0.00
0.00
0.00
0.00
0.00
27
0.00
0.00
0.00
0.00
0.00
0.00
2.58
0.00
2.58
0.00
6.00
6.00
2.22
0.00
2.22
28
0.00
4.00
4.00
0.00
4.00
4.00
2.11
10.00
7.89
0.00
10.00
10.00
1.38
4.00
2.62
29
1.14
4.00
2.86
0.95
6.00
5.05
2.22
8.00
5.78
0.00
10.00
10.00
0.00
0.00
0.00
30
0.00
6.00
6.00
1.95
10.00
8.05
1.88
10.00
8.13
0.00
10.00
10.00
0.00
2.00
2.00
Rata-rata
4.98
3.71
4.00
8.07
2.70
49.81%
37.07%
39.95%
80.72%
29.98%
selisih
Persentase
rata-rata
selisih %
Tabel 11 hasil pengujian kelas sedang no 5-10
No
Soal 6
siswa
PS
PG
S
Soal 7
PS
PG
S
Soal 8
PS
PG
S
Soal 9
PS
PG
S
Soal 10
PS
PG
S
1
2.58
6.00
3.42
0.00
4.00
4.00
0.00
4.00
4.00
0.00
2.00
2.00
0.00
6.00
6.00
2
2.58
6.00
3.42
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
3
0.00
6.00
6.00
0.00
0.00
0.00
0.00
6.00
6.00
0.00
0.00
0.00
0.00
4.00
4.00
4
3.08
6.00
2.92
0.93
6.00
5.07
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
5
5.26
10.00
4.74
10.40
10.00
0.40
0.00
0.00
0.00
0.00
2.00
2.00
0.00
6.00
6.00
6
0.00
8.00
8.00
0.00
10.00
10.00
0.00
4.00
4.00
0.00
4.00
4.00
1.33
8.00
6.67
7
2.96
6.00
3.04
0.93
4.00
3.07
0.00
4.00
4.00
0.00
4.00
4.00
0.00
6.00
6.00
8
0.00
6.00
6.00
10.61
10.00
0.61
0.00
8.00
8.00
0.00
4.00
4.00
0.00
2.00
2.00
9
0.00
6.00
6.00
0.87
10.00
9.13
0.00
4.00
4.00
0.00
6.00
6.00
0.00
8.00
8.00
10
3.08
4.00
0.92
3.64
8.00
4.36
0.00
2.00
2.00
1.33
4.00
2.67
1.60
4.00
2.40
11
2.35
8.00
5.65
2.79
10.00
7.21
0.00
2.00
2.00
0.00
4.00
4.00
0.00
6.00
6.00
12
1.38
8.00
6.62
0.00
6.00
6.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
13
2.76
10.00
7.24
0.00
10.00
10.00
1.48
2.00
0.52
0.00
4.00
4.00
1.82
6.00
4.18
14
0.00
4.00
4.00
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
15
0.00
8.00
8.00
1.38
2.00
0.62
0.00
6.00
6.00
0.00
2.00
2.00
0.00
4.00
4.00
16
0.00
10.00
10.00
0.00
0.00
0.00
0.00
6.00
6.00
0.00
2.00
2.00
0.00
0.00
0.00
17
1.48
8.00
6.52
0.00
10.00
10.00
0.00
6.00
6.00
0.00
4.00
4.00
0.00
6.00
6.00
18
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
0.00
0.00
0.00
0.00
0.00
19
0.00
6.00
6.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
4.00
4.00
0.00
2.00
2.00
20
0.00
10.00
10.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
21
0.00
6.00
6.00
0.00
0.00
0.00
1.67
6.00
4.33
0.00
2.00
2.00
0.00
4.00
4.00
22
0.00
6.00
6.00
1.18
4.00
2.82
0.00
4.00
4.00
0.00
6.00
6.00
0.00
6.00
6.00
23
0.00
10.00
10.00
0.00
10.00
10.00
0.00
4.00
4.00
0.00
6.00
6.00
0.00
8.00
8.00
24
5.13
6.00
0.87
0.00
0.00
0.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
2.00
2.00
25
2.29
10.00
7.71
12.55
10.00
2.55
0.00
10.00
10.00
0.00
10.00
10.00
0.00
10.00
10.00
51
Ranti Saidah, 2016
PERBANDINGAN MODEL GRAPH DAN TERM FREKUENSI PADA SISTEM PENILAIAN JAWABAN ESAI
OTOMATIS
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
26
5.13
10.00
4.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
27
5.13
10.00
4.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
28
4.14
6.00
1.86
6.27
10.00
3.73
0.00
4.00
4.00
0.00
4.00
4.00
0.00
8.00
8.00
29
2.58
8.00
5.42
0.91
8.00
7.09
0.00
0.00
0.00
0.00
4.00
4.00
1.74
8.00
6.26
30
2.50
10.00
7.50
0.00
10.00
10.00
0.00
2.00
2.00
0.00
2.00
2.00
0.00
8.00
8.00
Rata-rata
5.52
3.62
2.96
2.89
4.05
55.19%
36.22%
29.61%
28.88%
40.50%
selisih
Persentase
rata-rata
selisih %
Keterangan :
PS : penilaian sistem
PG : penilaian guru
Skor : 0-10
S : selisih antara penilaian guru dan penilaian sistem
Dari hasil pengujian di atas, diketahui persentase rata-rata selisih antara
hasil penilaian guru dan penilaain sistem untuk soal nomor satu sampai dengan
soal nomor se