Hasil Pengukuran kuesioner HASIL DAN PEMBAHASAN

BAB V HASIL DAN PEMBAHASAN

Pada bab ini akan dipaparkan mengenai hasil dan analisa dari hasil percobaan yang telah dilakukan.

5.1. Hasil Pengukuran kuesioner

Hasil pengukuran ini didapatkan dengan mencocokkan hasil luaran sistem dengan kuesioner yang telah diisi. Kuesioner diisi oleh 4 empat orang dokter untuk mengetahui differential diagnose. Dokter tersebut kemudian melakukan pengujian sistem dengan menggunakan semua algoritma. Hasil luaran sistem dari setiap query dan model dicatat untuk dicocokkan dengan kuesioner. Dalam pengisian kuesioner dan pengujian sistem, terdapat 21 skenario query yang dilakukan. Contoh lembar kuesioner terlampir di dalam dokumen ini. Daftar 21 query yang dilakukan dalam penelitian ini adalah: 125 Tabel 5. 1 Daftar query Q Gejala 1 Demam, Muntah setelah makan, Hidung tersumbat, Batuk kering, Sesak napas, Napas cuping hidung, Denyut jantung cepat, Rinorea, Mengi, Retraksi dinding dada, 2 Demam, Muntah setelah makan, Batuk terus – menerus, Sianosis, Sesak napas, Ada riwayat infeksi saluran napas, Rinorea, Mengi 3 Batuk darah, Batuk kronis, Penurunan berat badan, Keringat malam +, Sesak napas, Sakit di dada, Pembesaran kelenjar getah bening leher, Riwayat kontak penderita TB + 4 Sesak nafas, Nafas cuping hidung, Melibatkan otot leher, Indikasi emosional tinggi, Mengi, Sianosis, Eksperium diperpanjang 5 Batuk kronis, Penurunan berat badan, Sesak napas, Dada sesak, Retraksi dinding dada, Napas cuping hidung, Suara nafas menggesek, Batuk darah, Sianosis 6 Batuk serak, Sesak napas, Dada sakit, Batuk khronis, Pekerjaan tukang batu, Demam, Sakit kepala 7 Demam, Batuk berdahak, Sesak napas, Napas cepat, Mudah lelah, Riwayat infeksi saluran nafas atas, Sakit kepala 8 Sesak nafas, Batuk berdahak, Eksperium diperpanjang, Mengi, Retraksi dinding dada, Sianosis, Kumat kumatan 9 Batuk kronis, Sesak napas, Mengi, Tidak nafsu makan, Ada kontak dengan asbes, Dada sakit 10 Demam, Batuk kronis, Bunyi nafas menggesek, Tidak selera makan, Mudah lelah, sesak napas, Penurunan berat badan, Sakit di dada 11 Batuk kronis, Mudah lelah, Bernafas cepat, Penurunan berat badan, Sakit di dada, Ada kontak dengan senyawa silikon 12 Batuk kronis, Bernapas cepat, Sesak napas, Warna biru pada kulit, Sianosis, Penurunan berat badan, Postur leher buruk, Postur bahu buruk, Ada bagian redup pada perkusi dada 13 Batuk kronis, Bernapas cepat, Mengi, sesak napas, Sianosis, Mudah lelah, Penurunan berat badan 14 Demam, Batuk terus menerus, Batuk kronis, Batuk bercampur darah, Sesak napas, Nyeri di dada, Bernapas cepat, Postur leher buruk 15 Batuk kronis, Dada sesak, Sesak napas, Bernapas cepat, Mengi, Sianosis, Postur leher buruk, Postur bahu buruk, Napas cuping hidung 16 Batuk kering, Mudah lelah, Nyeri pada sendi, Berat badan turun, Ruam kulit gatal, Pembengkakan pembuluh darah pada mata 17 Batuk kering, Mialgia, Rasa lemah pada tangan, Rasa lelah berlebihan, Berat badan turun 18 Panas ngelemeng, Batuk kronis, Batuk berdahak dan bercampur darah, Sesak napas, Nyeri dada, Badan lemah, Nafsu makan menurun, Berkeringat pada malam hari, Ada kontak dengan penderita TB paru BTA + 19 Demam selama 2 hari, Panas nglemeng saat periksa, Denyut jantung tidak normal tinggi, Batuk kronis, Batuk berdahak, Sesak napas, Nyeri di dada, Rasa lelah, Malaise, Penurunan berat badan 20 Batuk kronis, Bernapas cepat, Mengi, Sesak napas, Sianosis, Badan lemah, Penurunan berat badan, Malaise, Pembesaran limfonodi leher 21 Demam, Kurang enak badan, Sesak napas, Badan lemah, Tidak nafsu makan, Keringat berlebihan pada malam hari, Ada kontak dengan penderita TB paru BTA + Penggunaan tanda baca “,” pada tabel 5.1 hanya sebagai pemisah gejala. Pada percobaannya, tanda baca “,” diganti dengan menekan tombol “Enter”. Berikut akan dipaparkan mengenai rekapitulasi hasil kuesioner yang didapatkan untuk masing – masing query. Tanda “” menunjukkan bahwa penyakit yang dipilih responden termasuk dalam differential diagnose dokumen relevan. Tabel 5. 2 Rekap kemungkinan differential diagnose query 1 Nama Penyakit R1 R2 R3 R4 Asma Bronkiolitis TBC Tabel 5. 3 Rekap differential diagnose query 2 Nama Penyakit R1 R2 R3 R4 Asma Bronkiolitis Fibrosis Paru TBC Tabel 5. 4 Rekap differential diagnose query 3 Nama Penyakit R1 R2 R3 R4 Asbestosis Bronkiolitis Silikosis TBC Tabel 5. 5 Rekap differential diagnose query 4 Nama Penyakit R1 R2 R3 R4 Asma Bronkiolitis Tabel 5. 6 Rekap differential diagnose query 5 Nama Penyakit R1 R2 R3 R4 Asbestosis Displasia Bronkopulmoner Fibrosis Paru Silikosis TBC Tabel 5. 7 Rekap differential diagnose query 6 Nama Penyakit R1 R2 R3 R4 Asbestosis Fibrosis Paru Silikosis Tabel 5. 8 Rekap differential diagnose query 7 Nama Penyakit R1 R2 R3 R4 Asma Bronkiolitis TBC Tabel 5. 9 Rekap differential diagnose query 8 Nama Penyakit R1 R2 R3 R4 Asma Tabel 5. 10 Rekap differential diagnose query 9 Nama Penyakit R1 R2 R3 R4 Asbestosis Asma Silikosis Tabel 5. 11 Rekap differential diagnose query 10 Nama Penyakit R1 R2 R3 R4 Displasia Bronkopulmoner Fibrosis Paru TBC Tabel 5. 12 Rekap differential diagnose query 11 Nama Penyakit R1 R2 R3 R4 Asbestosis Displasia Bronkopulmoner Silikosis Tabel 5. 13 Rekap differential diagnose query 12 Nama Penyakit R1 R2 R3 R4 Asma Displasia Bronkopulmoner Fibrosis Paru TBC Tabel 5. 14 Rekap differential diagnose query 13 Nama Penyakit R1 R2 R3 R4 Asma Displasia Bronkopulmoner Fibrosis Paru TBC Tabel 5. 15 Rekap differential diagnose query 14 Nama Penyakit R1 R2 R3 R4 Asma Displasia Bronkopulmoner TBC Tabel 5. 16 Rekap differential diagnose query 15 Nama Penyakit R1 R2 R3 R4 Asma Displasia Bronkopulmoner TBC Tabel 5. 17 Rekap differential diagnose query 16 Nama Penyakit R1 R2 R3 R4 Displasia Bronkopulmoner Fibrosis Paru Tabel 5. 18 Rekap differential diagnose query 17 Nama Penyakit R1 R2 R3 R4 Displasia Bronkopulmoner Fibrosis Paru Tabel 5. 19 Rekap differential diagnose query 18 Nama Penyakit R1 R2 R3 R4 TBC Tabel 5. 20 Rekap differential diagnose query 19 Nama Penyakit R1 R2 R3 R4 Bronkiolitis TBC Tabel 5. 21 Rekap differential diagnose query 20 Nama Penyakit R1 R2 R3 R4 Asma Bronkiolitis TBC Tabel 5. 22 Rekap differential diagnose query 21 Nama Penyakit R1 R2 R3 R4 Bronkiolitis TBC Selanjutnya untuk setiap responden pada masing – masing query pengujian, akan dihitung nilai precision-recall. Berikut merupakan capture – screen hasil pencarian untuk responden R1 pada query 1 pada semua model adalah sebagi berikut: Gambar 5. 1 Hasil pencarian PM query 1 Gambar 5. 2 Hasil pencarian VSM query 1 Gambar 5. 3 Hasil pencarian EBM query 1 Dari gambar 5.1, sistem merekomendasikan 6 penyakit pada PM, 7 penyakit pada EBM dan VSM untuk query yang diberikan. Menurut responden R1, penyakit dokumen yang relevan terhadap query 1 adalah bronkiolitis, asma, dan TBC. Dengan menggunakan data tersebut akan dihitung nilai precision dan recall sebagai berikut: Tabel 5. 23 Precision-Recall responden R1 pada query 1 PM no Dok Recall Precision 1 Bronkiolitis 13=0,333 11=1 2 Asbestosis 13=0,333 12=0,5 3 Silikosis 13=0,333 13=0,333 4 Displasia Bronkopulmoner 13=0,333 14=0,25 5 Asma 23=0,667 25=0,4 6 TBC 33=1 36=0,5 7 Fibrosis Paru 33=1 47=0,429 Perhitungan interpolasi diambil dari nilai precision tertinggi dari setiap titik recall yang didapat. Dengan demikian, batas maksimal precision untuk setiap titik recall adalah: Tabel 5. 24 Maksimal precision setiap titik recall R1 pada query 1 PM Recall Precision 1.0 0,5 0.6 0,4 0.3 1 Perhitungan recall – precision juga dilakukan pada VSM untuk query 1 pada responden R1. Tabel 5. 25 Precision-Recall responden R1 pada query 1 VSM no Dok Recall Precission 1 Bronkiolitis 13=0,333 11=1 2 Asma 23=0,667 22=1 3 Asbestosis 23=0,667 23=0,667 4 Silikosis 23=0,667 24=0,5 5 Fibrosis Paru 23=0,667 25=0,4 6 Displasia Bronkopulmoner 23=0,667 26=0,333 7 TBC 33=1 37=0,429 Batas maksimal precision untuk setiap titik recall pada VSM adalah: Tabel 5. 26 Maksimal precision setiap titik recall R1 pada query 1 VSM Recall Precision 1.0 0, 0,429 0.6 1 0.3 1 Perhitungan recall – precision pada EBM untuk query 1 pada responden R1 adalah sebagai berikut: Tabel 5. 27 Precision-Recall responden R1 pada query 1 EBM no Dok Recall Precission 1 Bronkiolitis 13=0,333 11=1 2 Asma 23=0,667 22=1 3 Asbestosis 23=0,667 23=0,667 4 Silikosis 23=0,667 24=0,5 5 Displasia Bronkopulmoner 23=0,667 25=0,4 6 Fibrosis Paru 23=0,667 26=0,333 7 TBC 33=1 37=0,429 Batas maksimal precision untuk setiap titik recall pada EBM adalah: Tabel 5. 28 Maksimal precision setiap titik recall R1 pada query 1 EBM Recall Precision 1.0 0,429 0.6 1 0.3 1 Nilai recall menunjukkan kemampuan sistem menampilkan seluruh dokumen yang relevan. Hasil perhitungan precision dan recall untuk setiap responden dan query terlampir di dalam dokumen ini. Kemudian dilakukan perhitungan interpolasi terhadap hasil perhitungan precision dengan rumus: ��� � � = max �� � � ≤ � ≤ � � + 1 � � � {0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0} � = 0.0, � 1 = 0.1, … … . . . � 10 = 1.0 Aturan interpolasi adalah recall standar ke-i memiliki nilai interpolated precision sebesar maksimum precision pada recall yang lebih besar dari recall standar ke-i. Perhitungan akan dilakukan dari recall 1.0, karena diambil nilai maksimal precision untuk nilai recall. Berikut merupakan hasil perhitungan interpolasi pada query responden R1 pada setiap model terpapar pada tabel 5.29 hingga tabel 5.31. Tabel 5. 29 Perhitungan interpolasi responden R1 untuk query 1 PM rj Prj 1 0,5 0,9 0,5 0,8 0,5 0,7 0,5 0,6 0,4 0,5 0,4 0,4 0,4 0,3 1 0,2 1 0,1 1 0,0 1 Tabel 5. 30 Perhitungan interpolasi responden R1 untuk query 1 VSM rj Prj 1 0,42857 0,9 0,42857 0,8 0,42857 0,7 0,42857 0,6 1 0,5 1 0,4 1 0,3 1 0,2 1 0,1 1 0,0 1 Tabel 5. 31 Perhitungan interpolasi responden R1 untuk query 1 EBM rj Prj 1 0,5 0,9 0,5 0,8 0,5 0,7 0,5 0,6 1 0,5 1 0,4 1 0,3 1 0,2 1 0,1 1 0,0 1 Hasil lengkap untuk setiap query dan responden terlampir pada dokumen ini. Berdasarkan pada tabel 5.29, 5.30 dan 5.31, kemudian dibuat grafik interpolasi. Grafik 5.1 hingga grafik 5.3 merupakan grafik interpolasi dari semua perhitungan recall-precision tiap algoritma. Grafik 5. 1 Grafik interpolasi responden R1 untuk query 1 PM Grafik 5. 2 Grafik interpolasi responden R1 untuk query 1 VSM 1 1 1 1 0, 4 0, 4 0, 4 0, 5 0, 5 0, 5 0, 5 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Optimal PM recall p r e c i s i o n 1 1 1 1 1 1 1 0, 428571429 0, 428571429 0, 428571429 0, 428571429 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 VSM Optimal recall p r e c i s i o n Grafik 5. 3 Grafik interpolasi responden R1 untuk query 1 EBM Grafik interpolasi PM menunjukkan terdapat 4 tiga nilai yang sejajar dengan grafik optimal 1.0. Hal ini disebabkan karena PM menempatkan bronkiolitis, asma, dan TBC pada urutan ke 1, 5, dan 6 dengan jumlah total hasil pencarian adalah 7 tujuh dokumen. Dokumen yang dianggap relevan oleh responden R1 yang memiliki precision tinggi adalah bronkiolitis. Grafik interpolasi PM mengalami penurunan precision pada recall 0.4 sebesar 60 terhadap nilai optimal. Grafik interpolasi PM juga memperlihatkan adanya kenaikan precision pada recall 0.7 sebesar 25 dari nilai precision pada recall ke 0.6. Penurunan nilai precision terhadap nilai optimal ini disebabkan karena selisih urutan antara bronkiolitis dan asma besar. Sedangkan, kenaikan nilai precision ini disebabkan urutan asma 0.6 dan TBC 1.0 tidak terpaut terlalu jauh. Berbeda dengan PM, grafik interpolasi VSM dan EBM justru memperlihatkan adanya penurunan precision. VSM dan EBM sama – sama mengalami 1 satu kali penurunan pada recall 0.7. VSM mengalami 1 1 1 1 1 1 1 0, 428571429 0, 428571429 0, 428571429 0, 428571429 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 EBM Optimal recall p r e c i s i o n penurunan sebesar 57, sedangkan EBM mengalami penurunan sebesar 50 terhadap nilai optimal. Penurunan ini disebabkan peringkat penyakit dokumen asma yang terpaut jauh dari penyakit dokumen TBC. Pemilihan TBC sebagai penyakit dokumen relevan oleh responden R1 sangat mempengaruhi nilai precision. Penyakit TBC berada pada peringkat 6 enam pada PM, 7 tujuh pada VSM dan 6 enam pada EBM. Jika dilihat dari data gejala umum penyakit TBC, query 1 tidak relevan untuk penyakit TBC. Istilah yang muncul dalam dokumen TBC hanyalah “batuk”, “dada”, “makan”, “napas” dan “sesak”, sehingga sesuai dengan perhitungan kemiripan dokumen TBC mempunyai bobot rendah dan mempunyai urutan rendah. Responden R1 mengatakan memasukkan TBC ke dalam differential diagnose karena menurut R1 gejala – gejala pada query dapat berkembang menjadi sebuah gejala TBC. Dapat dikatakan kompetensi responden dalam memprediksi perkembangan gejala sangat berpengaruh pada penentuan penyakit dokumen yang dianggap relevan pada differential diagnose.

5.2. Analisa Unjuk Kerja Model