penurunan sebesar 57, sedangkan EBM mengalami penurunan sebesar 50 terhadap nilai optimal. Penurunan ini disebabkan peringkat penyakit
dokumen asma yang terpaut jauh dari penyakit dokumen TBC. Pemilihan TBC sebagai penyakit dokumen relevan oleh responden R1
sangat mempengaruhi nilai precision. Penyakit TBC berada pada peringkat 6 enam pada PM, 7 tujuh pada VSM dan 6 enam pada EBM.
Jika dilihat dari data gejala umum penyakit TBC, query 1 tidak relevan untuk penyakit TBC. Istilah yang muncul dalam dokumen TBC
hanyalah “batuk”, “dada”, “makan”, “napas” dan “sesak”, sehingga sesuai dengan perhitungan kemiripan dokumen TBC mempunyai bobot rendah
dan mempunyai urutan rendah. Responden R1 mengatakan memasukkan TBC ke dalam differential diagnose karena menurut R1 gejala – gejala
pada query dapat berkembang menjadi sebuah gejala TBC. Dapat dikatakan kompetensi responden dalam memprediksi perkembangan gejala
sangat berpengaruh pada penentuan penyakit dokumen yang dianggap relevan pada differential diagnose.
5.2. Analisa Unjuk Kerja Model
Bagian ini akan memaparkan mengenai perhitungan unjuk kerja dan perbandingan lama waktu pencarian untuk PM, VSM, dan EBM pada
seluruh responden dan query. Perhitungan unjuk kerja dilakukan dengan
menghitung penurunan nilai precision untuk setiap data recall terhadap nilai optimal, nilai precision yang bernilai 1.0. Setiap query dilakukan oleh
4 empat responden R1, R2, R3, dan R4, sehingga diperlukan perhitungan rerata dari perhitungan interpolasi dari setiap responden untuk menganalisa
unjuk kerja model. Semakin mendekati optimal, maka unjuk kerja model semakin baik. Pemilihan penyakit dokumen yang dianggap relevan oleh
responden sangat berpengaruh dalam analisa unjuk kerja model. Berikut adalah perhitungan rerata interpolasi untuk setiap model:
Tabel 5. 32 Perhitungan rerata interpolasi PM
rj Pr1
Pr2 Pr3
Pr4 Pr5
... Pr21
Average
0,0
1 1
1 1
0,6667 1
0,74306
0,1
1 1
1 1
0,6667 1
0,74306
0,2
1 1
1 1
0,6667 1
0,73710
0,3
1 1
1 1
0,6667 1
0,73710
0,4
0,55 0,5833
1 1
0,75 1
0,67917
0,5
0,55 0,5833
1 1
0,75 1
0,67917
0,6
0,3833 0,5833
0,5 1
0,75 1
0,56383
0,7
0,4583 0,4821
0,5 0,6667
0,8 1
0,51791
0,8
0,4583 0,4821
0,5 0,6667
0,8 1
0,51865
0,9
0,4583 0,4821
0,5 0,6667
0,8 1
0,51865
1
0,4583 0,4821
0,5 0,6667
0,8 1
0,51865
Tabel 5. 33 Perhitungan rerata interpolasi VSM
rj Pr1
Pr2 Pr3
Pr4 Pr5
... Pr21
Average
0,0
1 1
1 1
0,3333 1
0,81448
0,1
1 1
1 1
0,3333 1
0,81448
0,2
1 1
1 1
0,3333 1
0,81448
0,3
1 1
1 1
0,4167 1
0,82242
0,4
1 0,8333
1 1
0,4167 1
0,80258
0,5
1 0,8333
1 1
0,4167 1
0,80258
0,6
0,8214 0,8333
0,5 0,6667
0,4667 0,5
0,65929
0,7
0,3929 0,375
0,5 0,6667
0,5143 0,5
0,53350
0,8
0,3929 0,375
0,5 0,6667
0,5 0,5
0,53373
0,9
0,3929 0,375
0,5 0,6667
0,5 0,5
0,53373
1
0,3929 0,375
0,5 0,6667
0,5 0,5
0,53373
Tabel 5. 34 Perhitungan rerata interpolasi EBM
rj Pr1
Pr2 Pr3
Pr4 Pr5
... Pr21
Average 0,0
1 1
1 1
0,3333 1
0,87004 0,1
1 1
1 1
0,3333 1
0,87004 0,2
1 1
1 1
0,3333 1
0,87004 0,3
1 1
1 1
0,3667 1
0,87321 0,4
1 0,8333
1 1
0,45 1
0,86131 0,5
1 0,8333
1 1
0,45 1
0,86131 0,6
0,8214 0,7083
0,5 1
0,5 1
0,71565 0,7
0,3929 0,375
0,5 1
0,4643 1
0,58554 0,8
0,3929 0,375
0,5 1
0,5 1
0,59053 0,9
0,3929 0,375
0,5 1
0,5 1
0,59053 1
0,3929 0,375
0,5 1
0,5 1
0,59053
Dari perhitungan rerata pada tabel 5.32, 5.33, dan 5.34, kemudian digambarkan ke dalam grafik interpolasi untuk melihat grafik interpolasi
model.
Grafik 5. 4 Grafik unjuk kerja PM pada pencarian query Grafik interpolasi PM menunjukkan penurunan nilai precision
pada recall ke 0.0 sebesar 0,256944444444444 terhadap nilai optimal. Recall
ke 0.2 dan 0.3 mengalami penurunan nilai precision sebesar 0,00595238095238093 dari recall ke 0.1. Penurunan precision kembali
terjadi pada recall ke 0.4 dan 0.5 sebesar 0,057936507936508 dari recall 0.2 dan 0.3. Penurunan precision ketiga sebesar 0,115334467120181
terjadi pada recall ke 0.6 dari recall ke 0.4, dan 0.5. Penurunan precision kembali terjadi pada recall ke 0.7 sebesar 0,0459183673469388 dari recall
ke 0.6. Tidak hanya mengalami penurunan, PM juga mengalami kenaikan nilai precision untuk recall ke 0.8, 0.9 dan 1.0 sebesar
0,000736961451247242 dari recall ke 0.6. Dengan perhitungan nilai penurunan maka dapat dibuat daftar penurunan nilai precision pada PM
terhadap optimal 1.0.
0, 743055556
0, 737103175
0, 737103175
0, 679166667
0, 679166667
0, 5638322
0, 517913832
0, 518650794
0, 518650794
0, 518650794
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
PM Optimal
P r
e c
i s
i o
n
Recall
Tabel 5. 35 Daftar penurunan nilai precision PM rj
PM Penurunan
0,0 0,7430556 0,2569444 0,1 0,7430556 0,2569444
0,2 0,7371032 0,2628968 0,3 0,7371032 0,2628968
0,4 0,6791667 0,3208333 0,5 0,6791667 0,3208333
0,6 0,5638322 0,4361678 0,7 0,5179138 0,4820862
0,8 0,5186508 0,4813492 0,9 0,5186508 0,4813492
1 0,5186508 0,4813492
Rerata Penurunan
0,3676046 Selanjutnya, perhitungan pada VSM dilakukan dengan cara yang
sama pada perhitungan pada PM. Berikut grafik interpolasi pada VSM.
Grafik 5. 5 Grafik unjuk kerja VSM pada pencarian query Interpolasi VSM menunjukkan adanya penurunan nilai precision.
Nilai precision pada recall ke 0.0 mengalami penurunan hingga 0,185515873015873 terhadap nilai optimal. Pada recall ke 0.3, precision
mengalami kenaikan nilai sebesar 0,00793650793650813 dari recall ke 0.1
0, 814484127
0, 814484127
0, 822420635
0, 802579365
0, 802579365
0, 659297052
0, 533503401
0, 533730159
0, 533730159
0, 533730159
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
VSM Optimal
P r
e c
i s
i o
n
Recall
dan 0.2. Recall ke 0.4 dan 0.5 mengalami penurunan sebesar 0,01984126984127 dari recall ke 0.3. Penurunan precision kedua terjadi
pada recall ke 0.6 dengan selisih yang cukup besar, yaitu sebesar 0,14328231292517 dari recall ke 0.5. Penurunan terjadi kembali pada
recall ke 0.7 sebesar 0,125793650793651 dari recall ke 0.6. Recall ke 0.8,
0.9, dan 1.0 mengalami sedikit kenaikan sebesar 0,000226757369614528 dari recall ke 0.7. Dengan perhitungan nilai penurunan precision maka
dapat dibuat daftar penurunan nilai precision pada VSM terhadap optimal. Tabel 5. 36 Daftar penurunan nilai precision VSM
rj VSM
Penurunan 0,0 0,8144841 0,1855159
0,1 0,8144841 0,1855159 0,2 0,8144841 0,1855159
0,3 0,8224206 0,1775794 0,4 0,8025794 0,1974206
0,5 0,8025794 0,1974206 0,6 0,6592971 0,3407029
0,7 0,5335034 0,4664966 0,8 0,5337302 0,4662698
0,9 0,5337302 0,4662698
1 0,5337302 0,4662698
Rerata Penurunan
0,3031798
Jika dibandingkan dengan PM, rerata nilai penurunan precision terhadap nilai optimal VSM lebih sedikit. VSM lebih unggul sebesar
0,0644248608534321. Tetapi ini belum dapat dijadikan ukuran yang terbaik karena belum adanya perhitungan pada EBM. Perhitungan
berikutnya merupakan perhitungan pada EBM.
Grafik 5. 6 Grafik unjuk kerja EBM pada pencarian query Interpolasi EBM menunjukkan adanya penurunan nilai precision.
Nilai precision pada recall ke 0.0 mengalami penurunan hingga 0,129960317460317 terhadap nilai optimal. Pada recall ke 0.3, precision
mengalami kenaikan nilai precision sebesar 0,00317460317460316 dari recall
ke 0.1 dan 0.2. Recall ke 0.4 dan 0.5 mengalami penurunan sebesar 0,011904761904762 dari recall ke 0.3. Sedangkan, untuk recall ke 0.6
mengalami penurunan precision kembali sebesar 0,145663265306122 dari recall
ke 0.4 dan 0.5. Penurunan sebesar 0,130102040816327 terjadi pada recall
ke 0.7 dari recall ke 0.6. Recall ke 0.8 hingga 1.0 mengalami kenaikan nilai precision sebesar 0,00498866213151927 dari recall ke 0.7.
Dengan perhitungan nilai penurunan precision maka dapat dibuat daftar penurunan nilai precision pada EBM terhadap optimal.
0, 885912698
0, 885912698
0, 870039683
0, 811309524
0, 811309524
0, 641723356
0, 538095238
0, 542063492
0, 542063492
0, 542063492
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
EBM Optimal
Recall P
r e
c i
s i
o n
Tabel 5. 37 Daftar penurunan nilai precision EBM rj
EBM Penurunan
0,0 0,8859127 0,1140873
0,1 0,8859127 0,1140873
0,2 0,8859127 0,1140873
0,3 0,8700397 0,1299603
0,4 0,8113095 0,1886905
0,5 0,8113095 0,1886905
0,6 0,6417234 0,3582766
0,7 0,5380952 0,4619048
0,8 0,5420635 0,4579365
0,9 0,5420635 0,4579365
1 0,5420635 0,4579365
Rerata Penurunan 0,2473871
Untuk setiap rerata model, akan dihitung kembali rerata keseluruhan model. Dengan perhitungan tersebut, nilai penurunan
precision rerata setiap model terhadap nilai optimal dapat dihitung.
Tabel 5. 38 Perhitungan rerata interpolasi seluruh model beserta nilai penurunan terhadap optimal
rj Rerata
Penurunan Seluruh
Model
0,1 0,8144841
0,1855159 0,2
0,8125 0,1875
0,3 0,8098545
0,1901455 0,4
0,7643519 0,2356481
0,5 0,7643519
0,2356481 0,6
0,6216175 0,3783825
0,7 0,5298375
0,4701625 0,8
0,5314815 0,4685185
0,9 0,5314815
0,4685185 1
0,5314815 0,4685185
Rerata Penurunan 0,3288558
Perhitungan rerata keseluruhan model, kemudian dirubah ke dalam bentuk grafik bersama rerata setiap model untuk membantu dalam
membandingkan nilai interpolasi model. Perbandingan ini berpengaruh dalam pemilihan model terbaik yang kemudian akan digunakan menjadi
default model. Berikut grafik dari setiap model.
Grafik 5. 7 Grafik interpolasi seluruh model
Dari ketiga model yang digunakan, tidak ada yang menyinggung garis optimal, atau dapat dikatan tidak ada nilai precision 1.0 pada recall
0.0 hingga 1.0. Berdasarkan pada grafik 5.7, dapat dilihat PM menghasilkan nilai interpolasi paling rendah dan berada di bawah rata –
rata interpolasi. VSM dan EBM berada di atas rata – rata interpolasi, tetapi EBM yang paling mendekati titik optimal untuk recall ke 0.0 hingga 0.3.
Nilai precision tertinggi terdapat pada interpolasi EBM dengan nilai 0,870039682539683. Nilai precision tertinggi tersebut berada pada recall
ke 0.0 hingga 0.3. Untuk nilai precision terendah berada pada interpolasi
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
0,1 0,2
0,3 0,4
0,5 0,6
0,7 0,8
0,9 1
Interpolasi
EBM PM
VSM Average
Model Optimal
recall P
r e
c i
s i
o n
PM dengan nilai 0,517913832199547. Nilai precision terendah ini berada pada recall ke 0.7.
Nilai penurunan precision PM lebih tinggi jika dibandingkan dengan rerata interpolasi seluruh model. Selisih nilai penurunan precision
PM dengan rerata interpolasi seluruh model mencapai 0,0615474472617329 lebih besar dari rerata interpolasi seluruh model.
Untuk VSM mempunyai nilai 0,00287741359169918 lebih kecil dari nilai penurunan pada rerata interpolasi seluruh model. Nilai penurunan
precision pada EBM mempunyai selisih nilai 0,0586700336700336 lebih
kecil dari nilai penurunan pada rerata interpolasi seluruh model. Tabel 5.39 adalah pemaparan selisih rerata penurunan terhadap nilai optimal dari
seluruh algoritma dan rerata dari keseluruhan algoritma untuk setiap titik recall.
Tabel 5. 39 Tabel perbandingan nilai penurunan precision seluruh model rj
PM VSM
EBM SEMUA
0,2569444 0,1855159 0,1299603 0,1908069 0,1
0,2569444 0,1855159 0,1299603 0,1908069 0,2
0,2628968 0,1855159 0,1299603 0,192791
0,3 0,2628968 0,1775794 0,1267857 0,1890873
0,4 0,3208333 0,1974206 0,1386905 0,2189815
0,5 0,3208333 0,1974206 0,1386905 0,2189815
0,6 0,4361678 0,3407029 0,2843537 0,3537415
0,7 0,4820862 0,4664966 0,4144558 0,4543462
0,8 0,4813492 0,4662698 0,4094671 0,4523621
0,9 0,4813492 0,4662698 0,4094671 0,4523621
1 0,4813492 0,4662698 0,4094671 0,4523621
Rerata Penurunan 0,3676046 0,3031798 0,2473871 0,3060572 Selisih
-0,061547 0,0028774 0,05867
Kolom selisih pada tabel 5.39 merupakan jarak atau selisih antara rerata penurunan tiap model dengan rerata penurunan dengan perhitungan
rerata seluruh model. Dari tabel 5.39 dapat dilihat untuk recall ke 0.1 hingga 0.5, EBM mempunyai nilai penurunan precision yang paling kecil.
Dengan demikian untuk recall ke 0.0 hingga 0.5, EBM mempunyai nilai precision
yang paling mendekati optimal. Pada recall ke 0.6 VSM mempunyai nilai penurunan terkecil, sehingga dapat dikatakan VSM
mempunyai nilai paling mendekati optimal pada recall ke 0.6. Untuk recall
ke 0.7 hingga ke 1.0, EBM mempunyai nilai penurunan precision paling kecil diantara seluruh model. EBM mempunyai rata – rata
penurunan nilai precision terhadap nilai optimal yang terkecil diantara semua model.
5.3. Perbandingan Lama Waktu Pencarian
