Institutional Repository | Satya Wacana Christian University: Alih Aksara Jawa Menjadi Huruf Latin Berdasarkan Metode Template Matching T1 612007009 BAB IV
BAB IV
PENGUJIAN PERANGKAT LUNAK DAN ANALISIS HASIL
PENGUJIAN
Pada bab ini dibahas hasil pengujian yang dilakukan terhadap perangkat lunak sistem alih aksara dengan menggunakan citra hasil cropping sejumlah 321 sebagai datasetnya. Pengujian yang dilakukan meliputi performa sistem alih aksara dalam mengenali baris dan akurasi sistem dalam melakukan alih aksara pada citra uji.
Citra uji berupa tulisan tangan diperoleh dari majalah mingguan Panjebar Semangat. Citra dataset dengan citra uji berasal dari seri yang berbeda tetapi dengan judul yang sama yaitu “Katuturane Sejarah Pararaton” karangan Raden
Mas Mangkudimeja. Citra uji didigitalisasi menggunakan scanner dengan
pengaturan resolusi sebesar 600 ppi. Gambar citra uji dapat dilihat pada lampiran B.
4.1. Pengenalan Baris
Perhitungan baris merupakan pengujian sistem dalam mengenali suatu baris secara sempurna dengan mengubah nilai ambang baris tb. Pengenalan baris secara sempurna didefinisikan dengan kemampuan sistem memisahkan baris tanpa menghilangkan sandhangan maupun pasangan. Perhitungan jumlah baris yang dideteksi digunakan persamaan 3.
Pengenalan baris (%) =
(3)
Tabel. 4.1. Perhitungan jumlah baris
Citra Uji Pengenalan Baris (%)
tb=0.4 tb=0.45 tb=0.5
1 66,67 75 75
2 60.86 65.21 65.21
3 60 64 64
(2)
5 73.91 86.95 78.26
6 73.91 82.6 73.91
7 69.56 73.91 82.6
8 72.72 81.81 77.27
9 68.18 81.81 72.72
10 63.63 72.72 77.27
Penggunaan proyeksi vertikal pada citra uji menggunakan aksara tangan dirasa sudah baik untuk menghasilkan batasan baris. Pada Tabel 4.1 dapat dilihat hasil paling tinggi dalam pengenalan baris mencapai 86.95%. Baris yang tidak dikenali biasanya merupakan baris yang memiliki aksara yang sedikit sehingga jumlah pixelnya hitamnya terlalu sedikit. Pemilihan nilai ambang tb memiliki peranan penting dalam penentuan baris. Bila nilai tb terlalu besar maka 1 baris bisa dideteksi menjadi 2 atau lebih baris. Namun, bila tb terlalu kecil maka jumlah yang dikenali semakin sedikit. Selain dipengaruhi oleh oleh nilai ambang dan jumlah aksara penyusun dalam satu baris pasangan dan sandhangan yang berada diatas dan dibawah sebuah aksara dalam satu baris yang banyak menyulitkan menentukan nilai ambang batas baris (tb) yang tepat. Selain itu jarak antar baris yang tidak sama membuat penentuan nilai offset yang digunakan tidak efektif memisahkan satu baris dengan baris yang lain secara sempurna. Pada gambar 4.1 akan disajikan contoh hasil dari pengenalan baris yang dilakukan.
Gambar 4.1 (a) Hasil pengenalan baris yang sempurna, (b) hasil pengenalan baris tidak sempurna pada citra
(3)
4.2. Perhitungan Akurasi 4.2.1. Tulisan Tangan
Perhitungan akurasi juga dilakukan untuk mengetahui keakuratan sistem alih aksara dalam mengenali aksara dalam citra uji. Perhitungan akurasi dan error
rate menggunakan persamaan 4 dan 5.
(4)
#Hit = Jumlah aksara Jawa yang berhasil dialih aksarakan dengan benar.
#Missed Detection (MD)= Jumlah aksara yang tidak teralih –aksarakan. #False Alarm (FA)= Jumlah aksara yang di alih aksarakan salah.
#Diversed Detection (DD)= Jumlah aksara yang dialihaksarakan lebih dari 1 aksara tetapi salah satunya benar.
#Correct Rejection (CR)= Jumlah aksara yang tidak dikenali karena tidak ada data dalam dataset.
(5) ER = error rate (%)
Tabel 4.2. Akurasi Dan Erorr Rate Citra Uji
Citra Uji #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
1 19 60 5 0 6 6.67 93.33
2 36 49 3 0 11 11.11 88.89
3 45 32 2 0 7 8.14 91.86
4 26 65 0 0 4 4.21 95.79
5 48 43 0 0 2 2.15 97.85
6 23 59 2 0 2 2.33 97.67
% 100 # # # # # # # DD CR FA MD Hit CR Hit Akurasi % 100 # # # # # # # # DD CR FA MD Hit DD MD FA ER
(4)
7 29 56 0 0 1 1.16 98.84
8 47 51 0 0 3 2.97 97.03
9 41 45 3 0 2 2.19 97.81
10 33 57 1 0 1 1.1 98.9
Hasil yang didapat pada Tabel 4.2 menunjukan kinerja sistem alih aksara Jawa menjadi huruf latin jauh dari target yang telah ditetapkan. Hal ini disebabkan oleh beberapa faktor seperti:
1. Kemiripan aksara
Pada saat proses pengujian dijumpai satu aksara dialih aksarakan menjadi beberapa aksara atau aksara tersebut dialih aksarakan menjadi aksara lain. Hal ini disebabkan adanya kemiripan satu aksara dengan aksara yang lain atau hanya memiliki perbedaan pada sandhangan dan pasangan saja. Seperti pada Tabel 4.3.
Tabel 4.3.Kemiripan Aksara
Citra Uji Citra Dataset Korelasi
0.632 0.641 0.593 0.58 0.591
0.57 0.576 0.572
(5)
0.576
2. Ukuran aksara
Perbedaan ukuran aksara pada citra uji dengan dataset akan
menghasilkan korelasi yang sangat rendah. Kecilnya nilai korelasi ini akan membuat citra yang diuji tidak akan terdeteksi oleh sistem. Gambar 4.1 akan dicari nilai korelasinya dengan aksara yang sama.
137×193 Gambar 4.2. Citra aksara tu
Pada Tabel 4.4 akan disajikan hasil korelasi antara aksara tu dengan aksara tu yang mengalami perubahan ukuran.
Tabel 4.4. Hasil korelasi aksara yang diperkecil
Ukuran 124×174 110×155 96×136 83×166 69×97
Korelasi 0.64 0.45 0.36 0.37 0.43
4.2.2. Aksara Cetak
Sebagai pembanding, sistem alih aksara akan diuji menggunakan aksara
Jawa cetak nglenggana. Huruf cetak aksara Jawa ini diperoleh dengan
menggunakan software Pallawa. Huruf untuk dataset berupa aksara Jawa
nglenggana berukuran 14. Pengujian dilakukan dengan cara membandingkan dengan citra uji yang memiliki ukuran huruf sama dan citra uji yang memiliki ukuran huruf yang berbeda.
(6)
Gambar 4.1. Citra aksara Jawa cetak ukuran 14
Gambar 4.3. Citra uji aksara Jawa cetak ukuran (a)12, (b)13, (c)15 dan (d)16. Percobaan cetak_1 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 14. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.5.
(7)
Tabel 4.5. Hasil percobaan cetak_1
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.7 0 0 3 0 17 85 15
0.8 0 0 2 0 18 90 10
0.9 0 0 0 0 20 100 0
Percobaan cetak_2 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 13. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.6.
Tabel 4.6. Hasil percobaan cetak_2
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.6 1 1 11 0 6 30 70
0.7 4 3 0 0 13 65 35
0.75 17 0 0 0 3 15 85
Percobaan cetak_3 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 12. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.7.
Tabel 4.7. Hasil percobaan cetak_3
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.45 0 16 4 0 0 0 100
0.5 2 15 3 0 1 5 95
0.55 8 8 1 0 3 15 75
Percobaan cetak_4 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 15. Hasil dari percobaan cetak_4 disajikan dalam Tabel 4.8.
(8)
Tabel 4.8. Hasil percobaan cetak_4
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.55 1 1 15 0 3 15 85
0.6 3 5 5 0 7 35 65
0.7 16 3 0 0 1 5 95
Percobaan cetak_5 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 16. Hasil dari percobaan cetak_5 disajikan dalam Tabel 4.9.
Tabel 4.9. Hasil percobaan cetak_5
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.53 3 14 2 0 1 5 95
0.55 5 14 0 0 1 5 95
0.6 11 8 0 0 1 0 100
Huruf cetak yang menggunakan ukuran aksara yang sama memiliki hasil yang lebih baik dari pada yang memiliki ukuran berbeda. Kesamaan ukuran akan menghasilkan nilai korelasi antara dataset dan aksara dalam citra uji yang tinggi. Pengubahan ukuran aksara yang dilakukan sangat mempengaruhi akurasi kebenaran sistem.
Pengujian sistem untuk huruf cetak juga dilakukan untuk aksara ha yang diberi sandhangan. Aksara untuk citra uji maupun dataset memiliki besar yang sama yaitu berukuran 14 seperti pada gambar 4.2(a).
(a)
(b)
(9)
Pada thsebesar 0,97 diperoleh hasil seperti yang ada pada Tabel 4.10.
Tabel 4.10.Hasil pengujian aksara ber-sandhangan
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.93 0 0 4 0 5 55.56 44.44
Aksara cetak tidak menghasilkan alih aksara yang baik ketika digunakan untuk mengalih aksarakan aksara yang memiliki sandhangan i, u, o dan h. Pada aksara ber-sandhangan tersebut terjadi pengalih aksaran ganda(#DD).
(1)
7 29 56 0 0 1 1.16 98.84
8 47 51 0 0 3 2.97 97.03
9 41 45 3 0 2 2.19 97.81
10 33 57 1 0 1 1.1 98.9
Hasil yang didapat pada Tabel 4.2 menunjukan kinerja sistem alih aksara Jawa menjadi huruf latin jauh dari target yang telah ditetapkan. Hal ini disebabkan oleh beberapa faktor seperti:
1. Kemiripan aksara
Pada saat proses pengujian dijumpai satu aksara dialih aksarakan menjadi beberapa aksara atau aksara tersebut dialih aksarakan menjadi aksara lain. Hal ini disebabkan adanya kemiripan satu aksara dengan aksara yang lain atau hanya memiliki perbedaan pada sandhangan dan pasangan saja. Seperti pada Tabel 4.3.
Tabel 4.3.Kemiripan Aksara
Citra Uji Citra Dataset Korelasi 0.632 0.641 0.593 0.58 0.591
0.57 0.576 0.572
(2)
0.576
2. Ukuran aksara
Perbedaan ukuran aksara pada citra uji dengan dataset akan menghasilkan korelasi yang sangat rendah. Kecilnya nilai korelasi ini akan membuat citra yang diuji tidak akan terdeteksi oleh sistem. Gambar 4.1 akan dicari nilai korelasinya dengan aksara yang sama.
137×193 Gambar 4.2. Citra aksara tu
Pada Tabel 4.4 akan disajikan hasil korelasi antara aksara tu dengan aksara tu yang mengalami perubahan ukuran.
Tabel 4.4. Hasil korelasi aksara yang diperkecil Ukuran 124×174 110×155 96×136 83×166 69×97 Korelasi 0.64 0.45 0.36 0.37 0.43
4.2.2. Aksara Cetak
Sebagai pembanding, sistem alih aksara akan diuji menggunakan aksara Jawa cetak nglenggana. Huruf cetak aksara Jawa ini diperoleh dengan menggunakan software Pallawa. Huruf untuk dataset berupa aksara Jawa nglenggana berukuran 14. Pengujian dilakukan dengan cara membandingkan dengan citra uji yang memiliki ukuran huruf sama dan citra uji yang memiliki ukuran huruf yang berbeda.
(3)
Gambar 4.1. Citra aksara Jawa cetak ukuran 14
Gambar 4.3. Citra uji aksara Jawa cetak ukuran (a)12, (b)13, (c)15 dan (d)16. Percobaan cetak_1 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 14. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.5.
(4)
Tabel 4.5. Hasil percobaan cetak_1
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.7 0 0 3 0 17 85 15
0.8 0 0 2 0 18 90 10
0.9 0 0 0 0 20 100 0
Percobaan cetak_2 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 13. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.6.
Tabel 4.6. Hasil percobaan cetak_2
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.6 1 1 11 0 6 30 70
0.7 4 3 0 0 13 65 35
0.75 17 0 0 0 3 15 85
Percobaan cetak_3 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 12. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.7.
Tabel 4.7. Hasil percobaan cetak_3
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.45 0 16 4 0 0 0 100
0.5 2 15 3 0 1 5 95
0.55 8 8 1 0 3 15 75
Percobaan cetak_4 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 15. Hasil dari percobaan cetak_4 disajikan dalam Tabel 4.8.
(5)
Tabel 4.8. Hasil percobaan cetak_4
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.55 1 1 15 0 3 15 85
0.6 3 5 5 0 7 35 65
0.7 16 3 0 0 1 5 95
Percobaan cetak_5 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 16. Hasil dari percobaan cetak_5 disajikan dalam Tabel 4.9.
Tabel 4.9. Hasil percobaan cetak_5
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.53 3 14 2 0 1 5 95
0.55 5 14 0 0 1 5 95
0.6 11 8 0 0 1 0 100
Huruf cetak yang menggunakan ukuran aksara yang sama memiliki hasil yang lebih baik dari pada yang memiliki ukuran berbeda. Kesamaan ukuran akan menghasilkan nilai korelasi antara dataset dan aksara dalam citra uji yang tinggi. Pengubahan ukuran aksara yang dilakukan sangat mempengaruhi akurasi kebenaran sistem.
Pengujian sistem untuk huruf cetak juga dilakukan untuk aksara ha yang diberi sandhangan. Aksara untuk citra uji maupun dataset memiliki besar yang sama yaitu berukuran 14 seperti pada gambar 4.2(a).
(a)
(b)
(6)
Pada thsebesar 0,97 diperoleh hasil seperti yang ada pada Tabel 4.10. Tabel 4.10.Hasil pengujian aksara ber-sandhangan
th #MD #FA #DD #CR #HIT Akurasi
(%)
ER (%)
0.93 0 0 4 0 5 55.56 44.44
Aksara cetak tidak menghasilkan alih aksara yang baik ketika digunakan untuk mengalih aksarakan aksara yang memiliki sandhangan i, u, o dan h. Pada aksara ber-sandhangan tersebut terjadi pengalih aksaran ganda(#DD).