UJIAN AKHIR SEMESTER AUDIT PERANGKAT LUN

Abstract—Proses mining termasuk penemuan proses dari event log secara otomatis. Salah satu masalah penting process mining adalah bahwa kita tidak bisa berasumsi telah melihat semua perilaku yang ada pada event log tersebut. Oleh karena itu, teknik sintesis yang sebelumnya tidak sesuai karena teknik tersebut hanya bertujuan untuk mencari model yang mampu mereproduksi event log. Teknik process mining yang ada mencoba untuk menghindari “overfitting” dari generalisasi model yang memungkinkan lebih banyak perilaku. Tak satupun teknik dari yang sudah ada memungkinkan pengguna untuk mengontrol keseimbangan antara “overfitting” dan “underfitting”. Untuk mengatasi hal ini, maka diusulkan 2 langkah pendekatan, yaitu pertama menggunakan transition system dan yang kedua dengan menggunakan “theory of regions”. Pendekatan ini diimplementasikan dengan menggunakan ProM dan banyak mengatasi keterbatasan pendekatan tradisional.

Keywords—process mining, event log, overfitting, underfitting.

I. LATAR BELAKANG

emakin banyak informasi tentang proses dicatat oleh sistem informasi yang disebut "event log". Berbagai macam Process-Aware Information Systems (PAISs) merupakan rekaman data untuk peristiwa yang sebenarnya terjadi, Enterprise Resource Planning (ERP), WorkFlow Management (WFM), Customer Relationship Management (CRM), Supply Chain Management (SCM), dan Product Data Management (PDM) sistem adalah contoh dari sistem tersebut. Dengan adanya sistem tersebut maka dapat memperoleh informasi yang diinginkan dengan asumsi bahwa prosesnya tetap (tidak berubah-ubah) dan telah diketahui sebelumnya. Namun, banyak domain proses yang berkembang dan orang-orang biasanya menyederhanakannya secara berlebihan dan terkadang tidak sesuai dengan proses yang nyata. Oleh karena itu, teknik process mining berupaya untuk mengekstrak informasi penting dan berguna. Salah satu aspek process mining adalah control-flow discovery, yaitu secara otomatis membuat sebuah proses model ( Petri Net) yang mendeskripsikan hubungan dependensi antar aktifitas. Pemikiran dasar dari control-flow discovery sangat sederhana, yaitu memberikan sebuah event log yang berisi serangkaian trace yang secara otomatis membangun proses model yang

sesuai dengan deskripsi perilaku yang ada pada log. Kebanyakan algoritma process mining memproduksi diagram seperti spaghetti yang tidak sesuai dengan proses model yang sah (misalnya model memiliki deadlock, dsb) dan yang tidak memberikan informasi yang berguna. Pengalaman ini menunjukkan bahwa masalah utama adalah menemukan keseimbangan antara “overfitting” dan “underfitting”. Beberapa algoritma memiliki kecenderungan untuk membuat proses model yang “underfit”, yaitu beberapa model yang ditemukan memungkinkan untuk memiliki perilaku lebih dibandingkan dengan apa yang benar-benar tercatat dalam log. Pendekatan sintesis seperti “theory of regions” bertujuan untuk membuat model yang mampu mereproduksi log yang sebenarnya. Dengan demikian, model hanyalah representasi lain dari log. Karena fokus utama adalah untuk menyeimbangkan overfitting dan underfitting maka dari itu akan diuraikan kedua pengertian tersebut. Permisalan L adalah sebuah log dan M adalah sebuah model.

- M overfitting L jika M tidak menggeneralisasi dan sesuai dengan yang ada pada L. Dalam kasus yang besar, M bisa hanya menjadi representasi dari log tanpa kesimpulan apapun. Algoritma mining memproduksi model overfitting jika penghapusan atau penambahan pdari proses yang ada di L akan menyebabkan model yang berbeda.

- M underfitting L jika M memungkinkan untuk “terlalu banyak perilaku” yang tidak ada pada log L dengan kata lain “over generalisasi”. Hal ini sangat mudah untuk membangun model yang memungkinkan untuk perilaku yang terlihat dalam log tetapi juga perilaku yang berbeda sepenuhnya.

Laporan ini menyajikan proses penemuan yang baru dengan menggunakan 2 langkah pendekatan, yaitu menghasilkan transisi sistem yang digunakan sebagai representasi intermediate dan mendapatkan Petri Net yang dibangun dengan “theory of regions” sebagai hasil akhir.

II. TINJAUAN PUSTAKA A. Process Mining

Process mining merupakan sebuah teknik yang dapat digunakan untuk mendapatkan model sesungguhnya dari proses bisnis yang terjadi dalam sebuah sistem informasi berdasarkan data yang berasal dari event logs. Model yang

Process mining: a two step approach to balance

between overfitting and underfitting

Miranti Abadi, 5110100129

Jurusan Teknik Informatika

Fakultas Teknologi Informasi

Institut Teknologi Sepuluh Nopember

diperoleh dapat digunakan untuk mengembangkan sistem atau juga sebagai alat feedback yang membantu proses audit, analisa maupun meningkatkan proses bisnis yang sudah ada. Inti dari process mining adalah untuk mengekstraksi informasi dari event logs dan kemudian menggambarkannya ke notasi grafik untuk merepresentasikan proses bisnisnya. Ide dari process mining adalah untuk menemukan, memantau dan meningkatkan proses nyata dengan mengekstrak informasi dari event log. Terdapat tiga tipe didalam process mining, yaitu discovery, conformance, dan enhancement.

Gambar 1. Proses pada process mining

Saat ini, tools untuk process mining sudah tersedia dan terintegrasi kedalam sistem besar. Tools yang terkenal adalah The ProM Framework yang menyediakan serangkaian analisis yang dapat diterapkan untuk proses enactments secara nyata ketika meliput seluruh spectrum. Manfaat lain dari teknik ini adalah mendapatkan informasi yang objektif karena data yang digunakan untuk process mining berasal dari proses bisnis yang benar-benar terjadi dalam organisasi, yang didapatkan dari event logs, bukan dari asumsi ataupun anggapan orang tentang apa yang

mereka kerjakan.

- Control flow discovery

Control flow discovery merupakan ekstraksi proses model dari event log. Dalam banyak kasus kita perlu mengekstrak event log dari sumber yang berbeda dan menggabungkannya. Tools seperti ProM Import Framework dapat digunakan untuk mengekstrak informasi dan berbagai sistem dan mengkonversi kedalam format MXML.

Gambar 2. Log yang merepresentasikan urutan kegiatan dan proses model yang diperoleh dengan menggunakan algoritma Alpha

Sebagai catatan bahwa α-algorithm merupakan algoritma yang paling sederhana sehingga masih banyak kekurangannya. Algoritma process mining yang telah ada untuk control-flow discovery memiliki beberapa masalah.

Masalah yang pertama adalah beberapa algoritma memiliki permasalahan dengan konstruksi control-flow yang kompleks. Kebanyakan algoritma tidak memungkinkan untuk apa yang disebut “non-free choice constructs” dimana concurrency dan choice bertemu. Konsep dari free-choice net didefinisikan dalam domain Petri Net. Namun, dalam kenyataannya proses cenderung non-free-choice. Jika bahasa yang digunakan sederhana atau terlalu informal, maka process mining akan menghasilkan hasil yang kurang relevan atau terlalu sederhana.

Masalah yang kedua adalah beberapa algoritma bermasalah dengan duplicates. Aktivitas yang sama mungkin muncul di tempat yang berbeda dalam proses atau kegiatan yang berbeda namun tidak dapat membedakannya.

Masalah ketiga adalah banyak algoritma memiliki kecenderungan untuk menghasilkan model yang tidak konsisten. Model yang tidak konsisten yang dimaksud tidak mengacu pada hubungan antara log dengan model melainkan konsistensi internal model itu sendiri.

Masalah keempat adalah algoritma yang sudah ada bermasalah dengan keseimbangan antara “overfitting” dan “underfitting”. Overfitting adalah model yang dihasilkan sangat spesifik, model menjelaskan sampel log tertentu tetapi log sampel berikutnya dari proses yang sama dapat menghasilkan proses model yang sepenuhnya berbeda. Underfitting adalah model over-generalisasi dimana model tersebut memungkinkan untuk perilaku yang sangat berbeda dari apa yang terlihat di log.

- Notions of completeness

Didalam process mining notion of completeness sangat penting. Completeness erat kaitannya dengan pengertian tentang overfitting dan underfitting. Algoritma process mining perlu keseimbangan antara “overfitting” dan “underfitting”. Sebuah model overfitting jika tidak menggeneralisasi dan hanya memungkinkan untuk perilaku yang dicatat dalam log. Ini berarti bahwa sesuai dengan asumsi process mining yaitu “Jika urutan tidak ada didalam event log maka itu tidak mungkin”. Model underfitting overgeneralisasi dengan hal-hal yang terlihat dalam log, yaitu memungkinkan adanya tambahan perilaku yang tidak didalam event log. Contohnya seperti berikut yang dinamakan “Flower Petri Net” memungkinkan untuk urutan apapun dimulai dengan start dan diakhiri dengan end dan mengandung setiap urutan A, B, C, D, dan E diantaranya.

Gambar 3 Flower Petri Net

Gambar 4. 2 buah log dan 2 buah model yang merepresentasikan persoalan yang berkaitan dengan completeness (“overfitting” dan

“underfitting”)

Petri Net harusnya dapat mengurai setiap kegiatan yang diamati. Memungkinkan untuk mengukur fitness sebagai ukuran antara 0 dan 1. Fitness mendekati 1 berarti peristiwa yang diamati dapat dijelaskan oleh model. Sayangnya, fitness yang baik saja tidak menyiratkan bahwa model ini memang sesuai, misalnya, mudah untuk membangun Petri Net yang mampu mereproduksi setiap event log. Oleh karena itu, dimensi kedua diperkenalkan yaitu appropriateness. Appropriateness mencoba untuk menjawab pertanyaan : “Apakah model menggambarkan proses yang diamati dengan cara singkat?”. Gagasan ini dapat dievaluasi antara structural dan behavioral perspective. Pada ProM conformance checker mendukung gagasan fitness dan berbagai gagasan appropriateness, yaitu untuk log yang diberikan dan model yang diberikan untuk menghitung perbedaan metrics.

Gambar 5. Gambar yang seperti spaghetti merupakan representasi dari overfitting

Gambar 6. Gambar model underfitting. B. Constructing a Transition System

a. Persiapan

Untuk menjelaskan perbedaan strategi dalam pembangunan system transisi dari event log, maka diperlukan beberapa notasi sebagai berikut :

f ϵ A → B adalah fungsi, dengan domain A dan range B f ϵ A → B adalah fungsi parsial, domain dari f kemungkinan adalah subset dari A.

Multi-set seperti sebuah set dimana setiap elemen kemungkinan bisa terjadi beberapa kali. Contohnya, {a, b2, c3, d} merupakan multiset dengan 7 elemen yaitu : satu a, dua b, tiga c, dan satu d.

b. Pendekatan basic

Gambar 7. Tiga dasar bahan yang dapat dianggap sebagai dasar untuk menghitung “state process” : (1) past/prefix (2) future/postfix

dan (3) past dan future

Serangkaian aktifitas dapat dicari dengan memeriksa log. Bagaimanapun aspek yang paling penting dalam proses discovery adalah menyimpulkan state dari proses operasional dalam log. Terdapat 3 pendekatan basic untuk mendefinisikan state yang sebagian dieksekusi dalam sebuah log, yaitu :

- Past (prefix) , state dibangun berdasarkan history kasus.

- Future (postfix), state dari sebuah case berdasarkan pada future

- Past and future, kombinasi dari keduanya

Past dari case adalah prefix dari complete trace. Demikian pula future adalah postfix dari complete trace. Abstraksi berikut ini dapat diaplikasikan pada prefix, postfix atau keduanya.

Abstraksi 1 : Maximal Horizon (h) Basis dari

perhitungan state dapat dihitung prefix yang komplit atau sebagian prefix (postfix). Misalnya terdapat complete

prefix {A, B, C, D, C, D, C, D, E} seperti pada gambar fig 6 diatas, hanya 4 event yang terakhir (h=4) : {D, C, C, E} yang dianggap. Dalam prefix hanya h event terakhir yang dianggap, sedangkan pada sebagian postfix hanya event setelah h yang akan diperhitungkan. Jika h = ∞ maka semua state pada prefix yang dianggap.

Abstraksi 2 : Filter (f) Abstraksi ini untuk menyaring sebagian prefix dan atau postfix. Filtering dapat dilihat sebagai proyek horizon kedalam sebuah set aktifitas F. Contohnya, jika F = {C, D}, dan prefix {A, B, C, D, C, D, C, D, E} dikurangi menjadi {C, D, C, D, C, D}. Sebagai catatan bahwa filtering diimplementasikan pada hasil secara sequence dari horizon.

Gambar 8. Transition system berbasis pada prefix dan postfix

Abstraksi 3 : Maximum number of filtered events (m) Hasil sequencial setelah melakukan filtering. Nomer dari m menentukan nomer maximum berapa kali melakukan filter event. Misalnya terdapat prefix {A, B, C, D, C, D, C, D, E}, dengan h = 6 maka abstraksi pertama diperoleh {D,C,D,C,D,E}. Misalkan F = {C, E}, maka abstraksi kedua diperoleh {C,C,E}. Misalkan m=2, maka abstraksi ketiga diperoleh {C,E}. Jika h=2, F={C,E} dan m=6 , maka hasilnya adalah {E}. Catatan bahwa m=∞ mengimplikasikan bahwa tidak ada event yang dihapus pada abstraksi ketiga.

Gambar 9. Inisialisasi traces

Abstraksi 4 : Sequence, bag, or set (q) mekanisme abstraksi keempat merupakan pilihan untuk menghapus urutan atau frekuensi dari trace yang dihasilkan. Terdapat 3 cara untuk mewakili pengetahuan tentang prefix dan postfix :

- Sequence, semua aktifitas yang ada dalam state dan juga mencatat berapa kali setiap aktifitas terjadi. Misalnya A=2, B=0, C=1 jadi A terjadi 2 kali, B belum pernah terjadi, dan C terjadi 1 kali.

- Multi-set, berapa kali masing-masing aktifitas dieksekusi

- Set, aktifitas yang sering muncul namun mengabaikan berapa kali kejadian masing-masing aktifitas.

Anggap saja prefix {A, B,C, D,C, D,C, D, E} dan misalnya h = ∞ , F= A, dan m= ∞, maka langkah abstraksi keempat secara berurutan { A, B,C, D,C, D,C, D, E } (sequence), { A, B,C3, D3, E } (multiset) dan { A, B, D, E } (set).

Gambar 11. Transition system dengan q = multiset

. Gambar 12. Transition system dengan q = set

Abstraksi 5 : Visible activities (V) abstraksi kelima focus pada label transisi. Aktivitas didalam V ⊆ A ditunjukkan secara explicit pada arcs ketika aktifitas di A\V tidak ditunjukkan. Hanya arc yang berlabel yang ditampilkan. Abstraksi ini berguna jika banyak aktifitas yang memiliki efek yang mirip dalam perubahan state.

Gambar 13. Transition system berbasis pada set dan abstraksi B dan C. Keempat abstraksi sebelumnya dapat diterapkan untuk prefix, postfix atau keduanya. Bahkan abstraksi yang berbeda dapat diterapkan pada prefix dan postfix sedangkan abstraksi terakhir diterapkan pada system transisi yang akan dihasilkan. Jika lebih banyak abstraksi yang digunakan, maka jumlah state akan kecil dan adanya “underfitting”. Pada sisi lain, jika abstraksi yang digunakan sedikit, jumlah state mungkin lebih besar sehingga mengakibatkan “overfitting”.

C. Synthesis using regions

Pada pendekatan kedua ini, sebuah proses model yang disintesis dari hasil system transisi dari langkah pertama.

a. Constructing Petri nets using regions

Gambar 14. Transition system berbasis pada prefix dan abstraksi h=∞, F=A, m=∞, q=set, dan V=A, merupakan konversi kedalam Petri Net menggunakan “theory of regions”. Keenam region saling mengaitkan dengan

place yang dalam Petri Net.

State based region theory menggunakan system transisi sebagai input. Languaged based region theory tidak menggunakan system transisi sebagai input tetapi language.

b. More on regions

Gambar 15. Petri Net sisi kiri dapat mengurai log apapun sementara untuk sisi sebelah kanan adalah traces yang sudah diberi jejak.

Berikut ini merupakan cara yang digunakan dalam pendekatan “theory of region” :

Generalisasi, Theory regions bertujuan sintesis, yaitu Petri net harus memiliki perilaku yang identik dengan perilaku awal yang ditetapkan. Oleh karena itu Petri net yang ditampilkan pada sisi kiri Gambar 12 merupakan permasalahan dari sudut pandang sintesis.

Selecting the target format tujuan dari proses mining adalah untuk menghasilkan model yang dapat diinterpretasikan dengan mudah dengan analisis proses dan end-users.

D. Kelebihan

 Aplikasi ini tidak terbatas untuk proses administrative dan juga dapat digunakan dalam pembangunan proses dan proses yang rumit

 Proses mining cocok untuk pemantauan interaksi layanan web

 Dengan menggunakan regions maka dapat melihat concurrency dan hasilnya menjadi lebih compact serta mudah diterjemahkan dengan bahasa proses modeling lainnya seperti EPCs, BPMN, UML, activity diagrams,dll.

 Mampu menangani advanced control flow-constructs

 Kebenaran modelnya terjamin

E. Kekurangan

 Pendekatan yang ada hanya bisa diterapkan pada satu algoritma proses mining

 Tidak seperti pendekatan yang telah ada, aplikasi ini tidak dapat dilakukan pada system yang memiliki banyak komponen didalamnya.

III. KONTRIBUSI

Melakukan uji coba untuk mencari keseimbangan antara overfitting dengan underfitting dengan berbagai macam teknik. Sesuai dengan uji coba yang ada di paper yaitu mencari Petri Net yang seimbang antara overfitting dan underfitting dengan pendekatan yang telah dijelaskan sebelumnya yaitu dengan membuat transition system setelah itu dikonversi menjadi petri net. Namun sebelum itu mencari petri net yang diidentifikasi sebagai overfitting dan petri net

yang diidentifikasi sebagai underfitting. Setelah itu hasil dari ketiga uji coba tersebut dibandingkan. Kemudian juga menganalisa 4 dimensi conformance checking yaitu fitness, precision, structure, dan generalisasi. Setelah itu melakukan simulasi pada CPN Tools.

IV. HASIL UJI COBA A. Skenario Uji Coba

Studi kasus yang akan digunakan dalam percobaan ini adalah case sederhana yaitu sebagai berikut :

Case1 A C E G Case2 A E C G Case3 B D F G Case4 B F D G

Dengan case tersebut jika dituliskan jejaknya maka akan seperti berikut:

Current state

TRACE : A C A E A C E A C E G B D B F B D F B

Prefix Postfix

Prefix dan Postfix Gambar 16. Trace dari event log sederhana

Untuk melakukan pengujian, berdasarkan metodologi yang telah dijelaskan sebelumnya terdapat 2 langkah, yaitu : 1.Membuat Transition System

Dari yang sudah dijelaskan pada bab sebelumnya jika ingin membuat transition system yang dapat

menyeimbangkan antara overfitting dengan underfitting terdapat beberapa abstraksi yang dilakukan, yaitu :

Abstraksi pertama, menentukan Maximal horizon (h),bagian yang diperhatikan adalah bagian prefix {A, C, A, E, A, C, E, A, C, E, G} dengan maximal horizon h = ∞, yang berarti tidak adanya batas maximal horizon (complete prefix).

Abstraksi kedua, menentukan aktifitas apa yang akan difilter dengan Filter (f). Jika aktifitas tersebut difilter maka aktifitas tersebut yang akan ditampilkan di transition system dan sisanya terhapus atau tidak muncul kedalam transition system. Nilai filter f = ∞ yang berarti tidak ada aktifitas yang difilter (semua aktifitas ditampilkan).

Abstraksi ketiga, menentukan nilai maximum dari kegiatan filter (m) yaitu m = ∞ yang berarti bahwa tidak ada yang dihapus.

Abstraksi keempat, menentukan pilihan untuk menghapus

frekuensi dari trace yang dihasilkan (q) apakah sequence atau multiset atau set. Pilihan untuk tampilan transition system q = set yang berarti bahwa transition system tidak menampilkan frekuensi tiap-tiap aktifitas dan telah mereduce apabila ada kegiatan yang sama.

Abstraksi kelima, menentukan aktifitas apa saja yang akan ditampilkan pada transition system (V). Aktifitas yang akan ditampilkan ke transition system adalah V = ∞, yang artinya semua aktifitas ditampilkan.

Dari kelima abstraksi tersebut maka diperoleh transition system sebagai berikut :

Gambar 17. Transition system 2. Membangun Petri Net

Dari transition system yang telah diperoleh sebelumnya maka dikonversi kedalam bentuk Petri Net seperti berikut :

Gambar 18. Petri Net

B. Hasil Uji Coba

Berdasarkan skenario uji coba dalam tahap pembuatan Transition System, saya menggunakan tools Prom 5.2 dan analisis menggunakan FSM Miner. Berikut adalah screenshot hasil uji coba :

Gambar 19. Transition System dengan h=∞, F=∞, m=∞, q=set, V=∞ pada ProM 5.2

Gambar 20. Transition System

Dikarenakan hasil transition system pada ProM 5.2 tidak dapat dikonversi menjadi Petrify, maka menggunakan Prom 6.2 untuk melihat hasil Petri Net. Caranya sama yaitu membuat transition system terlebih dahulu dengan menggunakan plugin Mine Transition System dengan konfigurasi sebagai berikut :

Gambar 21. Konfigurasi TS Miner pada ProM 6.2

Maka akan menghasilkan transition system yang sama yang diperoleh dari uji coba pada ProM 5.2.

Gambar 23. Transition system pada ProM 6.2

Untuk pembangunan Petri Net hasil dari transition system dikonversi menjadi Petri Net, sesuai dengan teory yang digunakan yaitu menggunakan “theory of region” maka konversi Petri Net pada ProM 6.2 menggunakan plugin Convert to Petri Net using Regions dan hasilnya seperti berikut :

Gambar 24. Petri Net pada ProM 6.2

Untuk melakukan conformance checking maka dapat menggunakan plugin Conformance Checker pada ProM 5.2 yang sebelumnya membuat Petri Net dengan menggunakan plugin Region Miner.

Gambar 25. Petri Net hasil dari analisis Region Miner pada ProM 5.2 Kemudian dilakukan analisis dengan menggunakan plugin Conformance Checker pada ProM 5.2 untuk menganalisa 3 dimensi conformance checking yaitu fitness, precision, structure, serta generalization.

a. Conformance checker petri net yang seimbang antara overfitting dan underfitting.

Gambar 26. Konfigurasi Conformance Checker pada ProM 5.2

Gambar 27. Hasil Conformance Checker analisa fitness

Pada gambar diatas menganalisa nilai fitness yang diperoleh yaitu 0,8888889 untuk semua case.

Gambar 28. Hasil Conformance Checker analisa precision Gambar diatas menganalisa Precision diperoleh Advanced Behavioral Appropriateness = 1.0 dan Degree of Model Flexibility = 0,23214287.

Sedangkan untuk analisa Structure diperoleh Advanced Structural Appropriateness = 0,875. Hasilnya dapat dilihat pada gambar berikut.

Gambar 29. Hasil Conformance Checker analisa structure b. Conformance checker untuk petri net yang overfitting

Conformance checker untuk mengecek apakah event log tersebut merupakan overfitting atau bukan. Sebuah petri net dikatakan overfitting apabila fitness dari model tersebut adalah 1.0 yang artinya kesesuaian antara event log dengan peti net sangat akurat. Untuk melakukan pengujian maka menggunakan algoritma Alpha dimana memperoleh nilai fitness = 1.0, Advanced Behavioral Appropriateness = 1.0, Degree of Model Flexibility = 0.23214287, dan Advanced Structural Appropriateness = 1.0. Dari hasil fitness diperoleh fitness = 1.0 dan kelayakan model = 1,0 yang berarti model tersebut menggambarkan semua aktivitas yang ada di event log.

Gambar 30. Hasil Conformance Checker analisa fitness

Gambar 31. Hasil Conformance Checker analisa precision

Gambar 32. Hasil Conformance Checker analisa structure

c. Conformance checker untuk underfitting

Untuk mengecek apakah model tersebut termasuk underfitting atau tidak dapat pula dilihat dari nilai fitness. Dengan menggunakan algoritma Genetic maka dapat mencari model pada fitness berapa yang diindikasi sebagai underfitting. Maka diperoleh model dengan

fitness = 0.6901961, Advanced Behavioral

Appropriateness = 1.0, Degree of Model Flexibility = 0.1904762, dan Advanced Structural Appropriateness = 1.0. mengapa model tersebut dikatakan underfitting? Karena jika diperhatikan model tersebut tidak memenuhi informasi yang tercatat di event log untuk aktifitas D yang tercatat dalam log tidak tergambar dalam model dan untuk

aktifitas C dan E didalam event log menuju ke G, namun dalam model tidak tergambar.

Gambar 33. Hasil Genetic Miner dengan individual fitness yang dipilih 0.10648148148148148

Gambar 34. Hasil Conformance Checker analisa fitness

Gambar 35. Hasil Conformance Checker analisa precision

Gambar 36. Hasil Conformance Checker analisa structure d. Simulasi dengan menggunakan CPN Tools

Gambar 37. Simulasi petri net dengan Alpha Algorithm pada CPN Tools

Gambar 38. Simulasi petri net dengan Alpha Algorithm pada CPN Tools

V. KESIMPULAN

Laporan ini menyajikan 2 langkah pendekatan process mining. Menggunakan cara untuk membangun transition system dan region untuk mesintesis proses model dalam hal Petri Net. Dengan menggunakan pendekatan ini maka memungkinkan untuk menemukan proses model yang sesuai untuk menggambarkan perilaku yang dicatat dalam log. Pendekatan yang ada biasanya menyediakan algoritma process mining tunggal, yaitu “satu ukuran cocok untuk semua” dan tidak dapat disesuaikan pada aplikasi tertentu. Kekuatan pendekatan dalam laporan ini adalah memungkinkan untuk menggunakan berbagai strategi. Menggunakan theory of regions, hasil dari transition system diubah menjadi Petri Net yang ekuivalen. Pada tahap ini juga pengaturan yang berbeda dapat digunakan untuk mengatur hasil akhir yang diinginkan.

Teori dari regions bertujuan untuk mengembangkan Petri Net yang ekuivalen sementara di bidang process mining proses model yang dihasilkan lebih sederhana dan akurat daripada model kompleks yang hanya mampu mereproduksi log. Oleh karena itu menarik untuk mengembangkan “new theory of regions” disesuaikan terhadap process mining.

Dengan melakukan conformance checker maka dapat dianalisa apakah model tersebut merupakan overfitting, underfitting atau yang seimbang antara overfitting dan underfitting.

REFERENSI

[1] W.M.P. van der Aalst, H.A. Reijers, A.J.M.M. Weijters, B.F. van Dongen, A.K. Alves de Medeiros, M. Song, and H.M.W. Verbeek. Business Process Mining: An Industrial Application. Information Systems, 32(5):713{732, 2007.

[2] W.M.P. van der Aalst, V. Rubin, B.F. van Dongen, E. Kindler, and C.W. GÄunther. Process Mining: A Two-Step Approach using Transition Systems and Regions. BPM Center Report BPM-06-30, BPMcenter.org, 2006.

[3] W.M.P. van der Aalst, A.J.M.M. Weijters, and L. Maruster. Workflow Mining: Discovering Process Models from Event Logs. IEEE Transactions on Knowledge and Data Engineering, 16(9):1128{1142, 2004.

[4] W.M.P. van der Aalst. Process Mining: On the Balance Between Underfitting and Overfitting. IEEE Transactions on Knowledge and Data Engineering

[5] Wil M. P. van der Aalst, V. R. (n.d.). Process Mining: A two-step Approach using Transition Systems and Regions.

[6] Aalst, W. v., Adriansyah, A., & Dogen, B. v. (n.d.). Replaying History on Process Models for Conformance Checking and PErformance Analysis.

[7] Badouel, E., Darondeau, P.: Theory of regions. In: Reisig, W., Rozenberg, G. (eds.) Lectures on Petri Nets I: Basic Models. Lecture Notes in Computer Science, vol. 1491, pp. 529–586. Springer, Berlin (1998)

[8] Wil van der Aalst, Joos Buijs, and Boudewijn van Dongen. Towards Improving the Representational Bias of Process Mining.

b. More on regions

Gambar 15. Petri Net sisi kiri dapat mengurai log apapun sementara untuk sisi sebelah kanan adalah traces yang sudah diberi jejak.

Berikut ini merupakan cara yang digunakan dalam pendekatan “theory of region” :

Generalisasi, Theory regions bertujuan sintesis, yaitu Petri net harus memiliki perilaku yang identik dengan perilaku awal yang ditetapkan. Oleh karena itu Petri net yang ditampilkan pada sisi kiri Gambar 12 merupakan permasalahan dari sudut pandang sintesis.

Selecting the target format tujuan dari proses mining adalah untuk menghasilkan model yang dapat diinterpretasikan dengan mudah dengan analisis proses dan end-users.

D. Kelebihan

 Aplikasi ini tidak terbatas untuk proses administrative dan juga dapat digunakan dalam pembangunan proses dan proses yang rumit  Proses mining cocok untuk pemantauan interaksi

layanan web

 Dengan menggunakan regions maka dapat melihat concurrency dan hasilnya menjadi lebih compact serta mudah diterjemahkan dengan bahasa proses modeling lainnya seperti EPCs, BPMN, UML, activity diagrams,dll.

 Mampu menangani advanced control flow-constructs  Kebenaran modelnya terjamin

E. Kekurangan

 Pendekatan yang ada hanya bisa diterapkan pada satu algoritma proses mining

 Tidak seperti pendekatan yang telah ada, aplikasi ini tidak dapat dilakukan pada system yang memiliki banyak komponen didalamnya.

III. KONTRIBUSI

Melakukan uji coba untuk mencari keseimbangan antara overfitting dengan underfitting dengan berbagai macam teknik. Sesuai dengan uji coba yang ada di paper yaitu mencari Petri Net yang seimbang antara overfitting dan underfitting dengan pendekatan yang telah dijelaskan sebelumnya yaitu dengan membuat transition system setelah itu dikonversi menjadi petri net. Namun sebelum itu mencari petri net yang diidentifikasi sebagai overfitting dan petri net

yang diidentifikasi sebagai underfitting. Setelah itu hasil dari ketiga uji coba tersebut dibandingkan. Kemudian juga menganalisa 4 dimensi conformance checking yaitu fitness, precision, structure, dan generalisasi. Setelah itu melakukan simulasi pada CPN Tools.

IV. HASIL UJI COBA

A. Skenario Uji Coba

Studi kasus yang akan digunakan dalam percobaan ini adalah case sederhana yaitu sebagai berikut :

Case1 A C E G Case2 A E C G Case3 B D F G Case4 B F D G

Dengan case tersebut jika dituliskan jejaknya maka akan seperti berikut:

Current state

TRACE : A C A E A C E A C E G B D B F B D F B

Prefix Postfix

Prefix dan Postfix Gambar 16. Trace dari event log sederhana

Untuk melakukan pengujian, berdasarkan metodologi yang telah dijelaskan sebelumnya terdapat 2 langkah, yaitu : 1.Membuat Transition System

Dari yang sudah dijelaskan pada bab sebelumnya jika ingin membuat transition system yang dapat

menyeimbangkan antara overfitting dengan underfitting terdapat beberapa abstraksi yang dilakukan, yaitu :

Abstraksi pertama, menentukan Maximal horizon (h),bagian yang diperhatikan adalah bagian prefix {A, C, A, E, A, C, E, A, C, E, G} dengan maximal horizon h = ∞, yang berarti tidak adanya batas maximal horizon (complete prefix).

Abstraksi kedua, menentukan aktifitas apa yang akan difilter dengan Filter (f). Jika aktifitas tersebut difilter maka aktifitas tersebut yang akan ditampilkan di transition system dan sisanya terhapus atau tidak muncul kedalam transition system. Nilai filter f = ∞ yang berarti tidak ada aktifitas yang difilter (semua aktifitas ditampilkan).

Abstraksi ketiga, menentukan nilai maximum dari kegiatan filter (m) yaitu m = ∞ yang berarti bahwa tidak ada yang dihapus.

Abstraksi keempat, menentukan pilihan untuk menghapus frekuensi dari trace yang dihasilkan (q) apakah sequence atau multiset atau set. Pilihan untuk tampilan transition system q = set yang berarti bahwa transition system tidak menampilkan frekuensi tiap-tiap aktifitas dan telah mereduce apabila ada kegiatan yang sama.

Abstraksi kelima, menentukan aktifitas apa saja yang akan ditampilkan pada transition system (V). Aktifitas yang akan ditampilkan ke transition system adalah V = ∞, yang artinya semua aktifitas ditampilkan.

Dari kelima abstraksi tersebut maka diperoleh transition system sebagai berikut :

Gambar 17. Transition system 2. Membangun Petri Net

Dari transition system yang telah diperoleh sebelumnya maka dikonversi kedalam bentuk Petri Net seperti berikut :

Gambar 18. Petri Net

B. Hasil Uji Coba

Berdasarkan skenario uji coba dalam tahap pembuatan Transition System, saya menggunakan tools Prom 5.2 dan analisis menggunakan FSM Miner. Berikut adalah screenshot hasil uji coba :

Gambar 19. Transition System dengan h=∞, F=∞, m=∞, q=set, V=∞ pada ProM 5.2

Gambar 20. Transition System

Dikarenakan hasil transition system pada ProM 5.2 tidak dapat dikonversi menjadi Petrify, maka menggunakan Prom 6.2 untuk melihat hasil Petri Net. Caranya sama yaitu membuat transition system terlebih dahulu dengan menggunakan plugin Mine Transition System dengan konfigurasi sebagai berikut :

Gambar 21. Konfigurasi TS Miner pada ProM 6.2

Maka akan menghasilkan transition system yang sama yang diperoleh dari uji coba pada ProM 5.2.

Gambar 23. Transition system pada ProM 6.2

Untuk pembangunan Petri Net hasil dari transition system dikonversi menjadi Petri Net, sesuai dengan teory yang digunakan yaitu menggunakan “theory of region” maka konversi Petri Net pada ProM 6.2 menggunakan plugin Convert to Petri Net using Regions dan hasilnya seperti berikut :

Gambar 24. Petri Net pada ProM 6.2

Untuk melakukan conformance checking maka dapat menggunakan plugin Conformance Checker pada ProM 5.2 yang sebelumnya membuat Petri Net dengan menggunakan plugin Region Miner.

Gambar 25. Petri Net hasil dari analisis Region Miner pada ProM 5.2 Kemudian dilakukan analisis dengan menggunakan plugin Conformance Checker pada ProM 5.2 untuk menganalisa 3 dimensi conformance checking yaitu fitness, precision, structure, serta generalization.

a. Conformance checker petri net yang seimbang antara overfitting dan underfitting.

Gambar 26. Konfigurasi Conformance Checker pada ProM 5.2

Gambar 27. Hasil Conformance Checker analisa fitness

Pada gambar diatas menganalisa nilai fitness yang diperoleh yaitu 0,8888889 untuk semua case.

Gambar 28. Hasil Conformance Checker analisa precision Gambar diatas menganalisa Precision diperoleh Advanced Behavioral Appropriateness = 1.0 dan Degree of Model Flexibility = 0,23214287.

Sedangkan untuk analisa Structure diperoleh Advanced Structural Appropriateness = 0,875. Hasilnya dapat dilihat pada gambar berikut.

Gambar 29. Hasil Conformance Checker analisa structure b. Conformance checker untuk petri net yang overfitting

Conformance checker untuk mengecek apakah event log tersebut merupakan overfitting atau bukan. Sebuah petri net dikatakan overfitting apabila fitness dari model tersebut adalah 1.0 yang artinya kesesuaian antara event log dengan peti net sangat akurat. Untuk melakukan pengujian maka menggunakan algoritma Alpha dimana memperoleh nilai fitness = 1.0, Advanced Behavioral Appropriateness = 1.0, Degree of Model Flexibility = 0.23214287, dan Advanced Structural Appropriateness = 1.0. Dari hasil fitness diperoleh fitness = 1.0 dan kelayakan model = 1,0 yang berarti model tersebut menggambarkan semua aktivitas yang ada di event log.

Gambar 30. Hasil Conformance Checker analisa fitness

Gambar 31. Hasil Conformance Checker analisa precision

Gambar 32. Hasil Conformance Checker analisa structure

c. Conformance checker untuk underfitting

Untuk mengecek apakah model tersebut termasuk underfitting atau tidak dapat pula dilihat dari nilai fitness. Dengan menggunakan algoritma Genetic maka dapat mencari model pada fitness berapa yang diindikasi sebagai underfitting. Maka diperoleh model dengan

fitness = 0.6901961, Advanced Behavioral

Appropriateness = 1.0, Degree of Model Flexibility = 0.1904762, dan Advanced Structural Appropriateness = 1.0. mengapa model tersebut dikatakan underfitting? Karena jika diperhatikan model tersebut tidak memenuhi informasi yang tercatat di event log untuk aktifitas D yang tercatat dalam log tidak tergambar dalam model dan untuk

aktifitas C dan E didalam event log menuju ke G, namun dalam model tidak tergambar.

Gambar 33. Hasil Genetic Miner dengan individual fitness yang dipilih 0.10648148148148148

Gambar 34. Hasil Conformance Checker analisa fitness

Gambar 35. Hasil Conformance Checker analisa precision

Gambar 36. Hasil Conformance Checker analisa structure d. Simulasi dengan menggunakan CPN Tools

Gambar 37. Simulasi petri net dengan Alpha Algorithm pada CPN Tools

Gambar 38. Simulasi petri net dengan Alpha Algorithm pada CPN Tools

V. KESIMPULAN

Laporan ini menyajikan 2 langkah pendekatan process mining. Menggunakan cara untuk membangun transition system dan region untuk mesintesis proses model dalam hal Petri Net. Dengan menggunakan pendekatan ini maka memungkinkan untuk menemukan proses model yang sesuai untuk menggambarkan perilaku yang dicatat dalam log. Pendekatan yang ada biasanya menyediakan algoritma process mining tunggal, yaitu “satu ukuran cocok untuk semua” dan tidak dapat disesuaikan pada aplikasi tertentu. Kekuatan pendekatan dalam laporan ini adalah memungkinkan untuk menggunakan berbagai strategi. Menggunakan theory of regions, hasil dari transition system diubah menjadi Petri Net yang ekuivalen. Pada tahap ini juga pengaturan yang berbeda dapat digunakan untuk mengatur hasil akhir yang diinginkan.

Teori dari regions bertujuan untuk mengembangkan Petri Net yang ekuivalen sementara di bidang process mining proses model yang dihasilkan lebih sederhana dan akurat daripada model kompleks yang hanya mampu mereproduksi log. Oleh karena itu menarik untuk mengembangkan “new theory of regions” disesuaikan terhadap process mining.

Dengan melakukan conformance checker maka dapat dianalisa apakah model tersebut merupakan overfitting, underfitting atau yang seimbang antara overfitting dan underfitting.

REFERENSI

[1] W.M.P. van der Aalst, H.A. Reijers, A.J.M.M. Weijters, B.F. van

Dongen, A.K. Alves de Medeiros, M. Song, and H.M.W. Verbeek. Business Process Mining: An Industrial Application. Information Systems, 32(5):713{732, 2007.

[2] W.M.P. van der Aalst, V. Rubin, B.F. van Dongen, E. Kindler, and C.W.

GÄunther. Process Mining: A Two-Step Approach using Transition Systems and Regions. BPM Center Report BPM-06-30, BPMcenter.org, 2006.

[3] W.M.P. van der Aalst, A.J.M.M. Weijters, and L. Maruster. Workflow

Mining: Discovering Process Models from Event Logs. IEEE Transactions on Knowledge and Data Engineering, 16(9):1128{1142, 2004.

[4] W.M.P. van der Aalst. Process Mining: On the Balance Between

Underfitting and Overfitting. IEEE Transactions on Knowledge and Data Engineering

[5] Wil M. P. van der Aalst, V. R. (n.d.). Process Mining: A two-step

Approach using Transition Systems and Regions.

[6] Aalst, W. v., Adriansyah, A., & Dogen, B. v. (n.d.). Replaying History

on Process Models for Conformance Checking and PErformance Analysis.

[7] Badouel, E., Darondeau, P.: Theory of regions. In: Reisig, W.,

Rozenberg, G. (eds.) Lectures on Petri Nets I: Basic Models. Lecture Notes in Computer Science, vol. 1491, pp. 529–586. Springer, Berlin (1998)

[8] Wil van der Aalst, Joos Buijs, and Boudewijn van Dongen. Towards