Penerapan Algoritma Monte Carlo Tree Search Pada Permainan Komputer Maze Treasure
Vol. 1, No. 12, Desember 2017, hlm. 1660-1667 http://j-ptiik.ub.ac.id
Penerapan Algoritma Monte Carlo Tree Search Pada Permainan
Komputer Maze Treasure
1 2 3 Nazzun Hanif Ahsani , Eriq Muh. Adams Jonemaro , Candra DewiProgram Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya 1 2 3 Email: nazzunhanif@gmail.com, eriq.adams@ub.ac.id, dewi_candra@ub.ac.id
Abstrak
Pada penelitian terdahulu, algoritma Monte Carlo Tree Search (MCTS) terbukti telah sukses diterapkan pada permainan turn-based GO. Pada penerapan tersebut, MCTS telah menghasilkan skor tertinggi dibanding dengan skor-skor sebelumnya. Penerapan MCTS juga dilakukan pada permainan
realtime Ms. Pac-man dimana dihasilkan skor yang memuaskan dibanding dengan skor tertinggi
sebelumnya. Melihat kesuksesan penerapan MCTS tersebut, pada penelitian disini dilakukan penerapan MCTS pada agen enemy dalam permainan Maze Treasure. Pengujian dilakukan untuk mengetahui menvalidasi behavior dan performa agen dalam permainan. Untuk validasi behavior dilakukan dengan cara melihat tingkat completeness. Tingkat completeness tersebut diuji dengan cara membandingkan skor yang didapatkan agen dan skor yang tersedia. Hasil dari pengujian validasi
behavior menunjukkan bahwa tingkat completeness dari 25 map simulasi adalah 100%, dimana
completeness tiap map bernilai benar semua. Untuk pengujian performa dilakukan dengan
membandingkan besar frames per second (FPS) pada tiap map simulasi. Hasil menunjukkan bahwa rata-rata performa terbaik ada pada map ukuran 16x12 grid sebesar 261.78 FPS. Peningkatan ukuran map labirin akan menyebabkan penurunan terhadap performa. Penggunaan MCTS pada ukuran map diatas 52x39 grid akan menyebabkan permainan tidak layak dimainkan, dimana minimum FPS untuk permainan yang layak dimainkan sebesar 30 FPS.
Kata kunci: monte carlo tree search, FPS, maze
Abstract
In a previous study, the Monte Carlo Tree Search (MCTS) algorithm proved to have been successfully
applied to turn-based GO games. In the application, MCTS has produced the highest score compared
with previous scores. The application of MCTS is also performed on Ms. Pacman realtime games,
where the resulting score is satisfactory compared to the previous highest score. Seeing the success of
the application of MCTS, in this research applied MCTS to the enemy agent in the game Maze
Treasure. Testing is done to find out how to validate the behavior and performance of agents in the
game. For behavior validation is done by looking at the level of completeness. The completeness level
is tested by comparing the scores obtained by the agent and the scores available. The result of the
behavior validation test shows that the completeness level of 25 simulation maps is 100%, where the
completeness value of each map is true. For performance testing is done by comparing the frames per
second (FPS) in each simulation map. The results show that the best average performance is on the
16x12 grid with value 261.78 FPS. An increament in the size of the labyrinth will cause a decrease in
performance. The use of MCTS on the size of the above 52x39 grid map will cause the game not well
to be played, which is the minimum FPS for games that are worth for playing is 30 FPS.Keywords: monte carlo tree search, FPS, maze
permainan real-time , kesenangan yang 1. dihasilkan tidak akan maksimal apabila tidak
PENDAHULUAN
didukung dengan penerapan behaviors agen Permainan komputer saat ini memiliki cerdas/Non Player Characters (NPC) . berbagai macam gameplay yang membuat
Permainan akan terasa kurang menyenangkan variasi kesenangan bermain game semakin apabila NPC yang ada di dalamnya berperilaku beragam. Namun, pada gameplay dengan model tidak semestinya/bodoh. Prilaku agen yang
Fakultas Ilmu Komputer Universitas Brawijaya
1660 tampak bodoh bisa berupa pergerakan yang mudah ditebak atau bahkan pergerakan yang acak. Pergerakan agen yang seperti itu akan membuat permainan terasa kurang menyenangkan. Sebaliknya, agen yang telah terpasang kecerdasan tersendiri dan sesuai dengan tujuan permainan, akan meningkatkan kesenangan pemain. Kesenangan yang lebih akan didapatkan apabila NPC memiliki variasi
behavior yang berbeda-beda, serta respon yang
Oleh karena itu pada penelitian disini akan dibahas mengenai penerapan algoritma Monte
2.2 Permainan maze
yang ada di dalam diri agen, misalnya health point dan skill.
internal knowledge berkaitan dengan informasi
diperoleh diluar dari objek agen dalam permainan, misalnya kondisi environtment, halangan, maupun jumlah item. Sedangkan
External knowledge merupakan informasi yang
Adapun rupa knowledge tersebut dibagi menjadi 2 macam, yaitu external knowledge dan internal knowledge (Millington, 2009).
Sebelum bisa memilih aksi tertentu, agen memerlukan informasi-informasi yang biasa disebut dengan knowledge. Knowledge di dalam decision making bertindak sebagai input dan aksi merupakan output yang diperoleh (Millington, 2009).
2.1 Decision making pada agen game Decision making berkaitan proses pemilihan aksi yang akan dilakukan oleh agen.
2. LANDASAN KEPUSTAKAAN
Carlo Tree Search dalam permainan Maze Treasure .
penelitian terdahulu, untuk penerapan agen cerdas Ms Pac-Man, MCTS telah menghasilkan hasil yang baik dalam kompetisi agen cerdas MS Pac-Man dan bahkan menghasilkan record score tertinggi saat itu (Ikehata, 2011).
sesuai dengan perubahan strategi pemain (Umarov, 2012).
Treasure . Seperti yang telah diketahui dalam
hanya memiliki tepat 1 rute untuk menuju ke suatu titik dari titik tertentu dan kedua agen harus mendapatkan skor sebaik mungkin. Dengan aktifitas agen yang sama dan environtment yang bermiripan, maka dimungkinkan pula diterapkan algoritma dari agen Ms Pac-Man untuk menghasilkan agen cerdas yang baik pada permainan Maze
Treasure
Permainan ini memiliki kemiripan dengan permaian Pac-man dimana environment berupa labirin dan pemain diharuskan untuk mengumpulkan skor. Perbedaannya adalah labirin yang digunakan dalam permainan Maze
Permainan Maze Treasure adalah permainan realtime dengan environment berupa labirin. Di dalam permainan ini terdapat agen pemain dan agen enemy yang mana kedua agen tersebut memiliki tujuan sama, yakni mengumpulkan skor sebanyak-banyaknya.
menghasilkan keluaran dalam waktu yang sangat singkat. Walaupun demikian, MCTS juga menghasilkan hasil yang memuaskan pada beberapa penelitian yang menerapkan MCTS pada permainan realtime. Penelitian sebelumnya (Pepels, 2014), juga sudah menerapkan MCTS pada permainan real-time Ms Pac-Man yang melibatkan agen ghost dan pac-man. Pada penelitian tersebut, agen cerdas memiliki aksi untuk memilih rute terbaik dengan memaksimalkan skor kemenangan tertinggi. Penelitian tersebut menghasilkan kesimpulan bahwa penerapan MCTS pada permainan real-time MS Pac-Man menghasilkan skor yang tinggi, dan bahkan lebih tinggi dibanding dengan skor-skor sebelumnya yang menggunakan algoritma berbeda.
realtime mengharuskan sistem untuk
permainan realtime. Penerapan MCTS pada permainan realtime merupakan tantangan baru mengingat besar sumber daya yang digunakan untuk melakukan komputasi pada MCTS. Berbeda dengan turn-based , permainan
based , MCTS juga mulai diterapkan pada
Setelah sukses penerapan MCTS pada permaian GO yang merupakan permainan turn-
Algoritma Monte Carlo Tree Search (MCTS) merupakan salah satu algoritma yang digunakan sebagai penghasil keputusan dari agen cerdas.. Algoritma MCTS mulai banyak diminati oleh para peneliti semenjak sukses diterapkannya pada permainan Go (Alhejali, 2013). Semenjak suksesnya penerapan MCTS pada permainan GO tersebut, juga menjadikan MCTS sebagai salah satu metode favorit dalam pengembangan Artificial Intellegence (AI) agen..
Permainan maze merupakan permainan dengan environment utama berupa labirin. Adapun labirin tersebut tersusun dari banyak percabangan jalur yang mengharuskan pemain untuk mengambil jalur yang tepat untuk menuju suatu titik tertentu. Dalam pembuatan
environment
(1) Dimana merupakan rata-rata skor yang didapat, C adalah konstanta eksplorasi, adalah jumlah pengunjungan pada node parent. Dan adalah jumlah pengunjungan pada node saat ini.
Pada tahap ini akan dijelaskan mengenai
3. METODOLOGI
Permainan ini terdiri dari 2 aktor, yaitu aktor pemain dan aktor enemy. Masing-masing aktor memiliki tujuan yang sama, yaitu mengumpulkan skor sebanyak-banyaknya. Tiap aktor juga memiliki kontrol pergerakan yang sama, yaitu bergerak ke arah depan, belakang, kanan dan kiri. Untuk mendapatkan skor, aktor diharuskan untuk mengambil sebaran treasure dan rare treasure yang tersebar secara acak. Adapun untuk enemy ada tambahan skor yaitu apabila enemy berhasil membunuh aktor pemain.
2.5 Maze Treasure
selection atau eksplorasi, menuju ke parent hingga mencapai node root kembali.
Pada tahap ini, akan dilakukan update skor mulai dari node yang telah dipilih pada tahap
2.4.4 Backpropagation
Pada tahap play-out, node terpilih yang telah diproses pada tahap sebelumnya, akan dilakukan proses simulasi. Proses simulasi untuk tiap game yang berbeda akan menghasilkan proses yang berbeda-beda juga. Umumnya proses simulasi dilakukan dengan mengambil pergerakan acak yang dilakukan secara berulang-ulang.
2.4.3 Play-out
Tahap exploration adalah tahapan untuk memilih node child yang belum pernah dikunjungi. Pada tahap selection, node child akan di seleksi apabila semua node telah dikunjungi dengan minimal pengunjungan adalah 1. Namun apabila terdapat node child yang belum dikunjungi, maka node tersebut akan menjadi pilihan dan dilanjutkan pada tahap selanjutnya.
2.4.2 Exploration
ln
maze, ada banyak algoritma yang bisa digunakan, seperti Depth First Search (DFS),
= + √
Search (UCT). Adapun persamaan UCT ditunjukkan pada Persamaan (1).
Tahap selection merupakan proses pemilihan node yang ada di dalam tree hingga mencapai node leaf. Proses pememilihan tersebut bisa dilakukan melalui pemilihan acak maupun dengan menggunakan algoritma seleksi lainnya, seperti Upper Confident Bound Tree
selection, exploration, play-out, dan backpropagation .
MCTS memiliki 4 tahap utama dalam penerapannya. Tahapan tersebut antara lain
Penerapan MCTS telah terbukti sukses pada agen cerdas komputer dengan tipe permainan seperti puzzle, card, dan board (Pepels, 2014). Kesuksesan MCTS tersebut umumnya terdapat pada penerapan permainan bertipe turn-based. Namun, pada penelitian lain, MCTS juga sukses diterapkan pada permainan realtime, yakni pada permainan Ms. Pac-man. Penerapan MCTS pada permainan Ms Pac-man telah menghasilkan skor yang lebih tinggi dibandingkan dengan skor-skor yang ada pada kompetisi sebelumnya (Ikehata, 2011).
merupakan salah satu algoritma search tree yang digunakan untuk mengambil keputusan berdasarkan sampel yang acak dalam suatu ruang sampel (Browne, 2012). Proses pemilihan sampel tersebut melalui 2 cara, yaitu eksplorasi dan eksploitasi. Melalui eksplorasi, sampel yang diambil merupakan sampel yang belum pernah digunakan sebelumnya, sedangkan eksploitasi adalah memilih dari sampel-sampel yang sebelumnya pernah digunakan.
2.4 Monte Carlo Tree Search Monte Carlo Tree Search (MCTS)
Adapun frame berisi komputasi dari semua proses yang ada di dalam aplikasi. Pada permainan komputer, semua proses komputasi harus dilakukan dalam 1 frame (Rabin, 2009). Dalam permainan yant terterara keterangan 60 FPS atau 30 FPS memiliki arti bahwa permainan tersebut harus memproses semua komputasi dalam waktu 16 ms atau 33 ms.
2.3 Frames per second (FPS) Frames per second merupakan jumlah frame yang dapat diproses tiap detiknya.
Prim’s, dan Recursive Definiton Algorithm.
2.4.1 Selection
tahapan selama proses penulisan dilakukan. Adapun tahapan-tahapan tersebut ditunjukkan pada Gambar 1.
Gambar 1. Metodologi penelitian
Pengujian dan analisis Penutup
Search
Implementasi simulasi dan algoritma Monte Carlo Tree
Search
Perancangan simulasi dan algoritma Monte Carlo Tree
Map simulasi yang digunakan berupa labirin. Selama pengujian, map simulasi yang digunakan sudah ditetapkan. Sedangkan selama permainan biasa, map yang digunakan adalah map acak. Tiap map simulasi yang digunakan sudah memiliki ukuran yang pasti. Adapun untuk contoh map simulasi pada labirin ditunjukkan pada Gambar 2. Studi Literatur
4.3 Perancangan map simulasi
treasure didapatkan, dan aktor pemain berhasil dibunuh.
berniali 1 apabila treasure didapatkan, rare
treasure , dan survive. masing-masing nilai akan
Untuk skor yang digunakan pada metode MCTS yang dipasang pada agen enemy, ada 3 kriteria yang digunakan, yaitu treasure, rare
Untuk aktor pemain, skor dapat diproleh melalui pengambilan treasure dan rare treasure yang tersebar di dalam labirin. Sedangkan untuk aktor enemy, skor diperoleh selain dari pengambilan treasure dan rare tresure, juga didapat dari kriteria survive aktor pemain. Masing-masing kriteria skor memiliki nilai poin yang berbeda. Untuk tresure memiliki nilai sebesar 1 poin, rare treasure memiliki nilai sebesar 10, dan untuk survive memiliki nilai sebesar 2. Pada kriteria survive, akan dihitung poinnya apabila enemy berhasil membunuh aktor pemain.
4.2 Perancangan skor
MCTS. Untuk masing-masing aktor memiliki kontrol pergerakan yang sama. Adapun untuk aktor enemy terdapat satu kemampuan yang dapat digunakan untuk membunuh aktor. Kemampuan tersebut berupa menembakkan sebuah peluruh ke arah aktor pemain. Untuk menembakkan peluru tersebut, enemy diharuskan untuk menghadap ke arah aktor pemain dan beraada pada jarak tembak.
Aktor pada permainan dibedakan menjadi 2, yaitu aktor yang digerakkan oleh pemain dan aktor yang bergerak menggunakan algoritma
dalam jalur terdapat treasure atau rare treasure, maka masing-masing kriteria skor tersebut bernilai 1, kalau tidak ditemukan, maka akan bernilai 0. Survive akan bernilai 1 apabila di dalam jalur terdapat aktor permain dan bernilai 0 bila sebaliknya. Ketiga kriteria skor tersebut nantinya akan di rata-rata untuk mendapatkan nilai tunggal yang dijadikan sebagai skor dalam MCTS.
survive adalah status dari aktor pemain. Apabila
dan rare treasure merupakan item-item yang tersebar di dalam jalur labirin sedangkan
Treasure menggunakan 3 kriteria skor, yaitu treasure, rare tresure, dan survive. Treasure
Penerapan MCTS pada permaian Maze
4. PERANCANGAN
4.1 Perancangan aktor
Gambar 2. Rancangan map simulasi
play-out selesai, akan masuk ke tahap terkahir, yaitu tahap backpropagation.
2.93GB RAM Hardisk 366GB Graphic Card Intel(R) HD Graphics
Memory
Processor Intel(R) Pentium(R) CPU P6200 @2.13GHz 2.13GHz
Tabel 1. Spesifikasi perangkat keras Komponen Spesifikasi
Berikut adalah spesifikasi dari perangkat keras dan perangkat lunak yang digunakan selama proses implementasi metode MCTS pada permainan Maze Treasure . Untuk spesifikasi perangkat keras ditunjukkan pada Tabel 1.
IMPLEMENTASI
Gambar 4. Diagram alir MCTS 5.
Pada Gambar 4 ditnjukkan bahwa keempat tahapan MCTS dilakukan perulangan sebanyak n kali. Adapun pada tahap pertama dilakukan proses selection yang digunakan untuk memilih node MCTS yang akan digunakan pada tahap simulasi. Apabila pada tahap ini ditemukan ada node MCTS yang belum pernah dikunjungi, maka proses akan berlanjut ke tahap 2, yaitu tahap eksplorasi . setelah node berhasil ditemukan, baik itu beasal dari tahap selection ataupun tahap eksplorasi, selanjutnya akan masuk ke tahap play-out dan melakukan simualasi simulasi sebanyak n2. Setelah tahap
4.4 Perancangan node MCTS
diagram alur untuk mendapatkan hasil keputusan berdasarkan keempat tahapan ditunjukkan pada Gambar 4.
play-out , dan backpropagation. Adapun untuk
Penerapan algoritma MCTS meliputi 4 tahapan utama yang digunakan sehingga bisa mendapatkan hasil keputusan. Tahapan-tahapn tersebut antara lain selection, eksploration,
4.5 Perancangan algoritma MCTS
Pada Gambar 3 ditunjukkan sekumpulan angka-angka yang menunjukkan bahwa node- node tersebut adalah node MCTS. Adapun kriteria yang digunakan untuk menjadi grid yang ada di dalam labirin menjadi node MCTS. Kriteria tersebut antara lain, grid dengan tepat 1 tentangga atau 3 tetangga, serta grid dengan tepat 2 tetangga namun membentuk belokan untuk menuju ke grid tetangga.
Gambar 3. Rancangan node MCTS
Treasure . Adapun node-node yang digunakan di dalam labirin ditunjukkan pada Gambar 3.
Node MCTS adalah node-node yang digunakan dalam pembuatan tree pada algoritma MCTS di dalam permainan Maze
Untuk spesifikasi perangkat lunak yag digunakan dalam perapan dan pengujian ditunjukkan pada Tabel 2.
Tabel 2. Spesifikasi perangkat lunak Komponen Spesifikasi
39 1 1420 10 2 1432 1432 Ya 2 1420 10 2 1432 1432 Ya 3 1420 10 2 1432 1432 Ya 4 1420 10 2 1432 1432 Ya 5 1420 10 2 1432 1432 Ya
12 1 134 10 2 146 146 Ya 2 134 10 2 146 146 Ya 3 134 10 2 146 146 Ya 4 134 10 2 146 146 Ya 5 134 10 2 146 146 Ya 24x
16x
Trea sure Rare Trea sure Su rvi ve
Uku ran No . M ap Skor yang didapat Total skor yang didap at Total skor yang diingin kan Com plete ness
Tabel 3. Hasil pengujian validasi behavio r
Untuk pengujian performa dilakukan dengan menguji besar frames per second (fps) yang dihasilkan oleh agen dalam memproses MCTS. adapun hasil dari pengujian validasi behavior ditunjukkan pada Tabel 3.
30 1 839 10 2 851 851 Ya 2 839 10 2 851 851 Ya 3 839 10 2 851 851 Ya 4 839 10 2 851 851 Ya 5 839 10 2 851 851 Ya 52x
Pada Tabel 3. Ditunjukkan bahwa pada kolom Total skor yang didapatkan dan kolom Total yang diinginkan menghasilkan nilai yang sama. Kolom Skor terpenuhi akan bernilai benar apabila pada Kolom skor yang didapatkan dan kolom Total yang diinginkan memiliki nilai yang sama. Dan karena semua baris menujukkan bahwa kolom Skor terpenuhi memiliki nilai “Ya” semua, maka hal ini mengindikasikan bahwa penerapan MCTS pada permainan Maze Treasure berhasil dilalakukan.
22 1 462 10 2 474 474 Ya 2 462 10 2 474 474 Ya 3 462 10 2 474 474 Ya 4 462 10 2 474 474 Ya 5 462 10 2 851 851 Ya 40x
Operating System Windows 7 Ultimate SP1 32-bit
Pada Gambar 5, untuk aktor pamain berada pada ujung kiri atas. Aktor enemy berada di tengah labirin, di bagian yang diberi tanda area yang dikelilingi oleh caya. Treasure ditunjukkan berupa peti yang berwarna coklat dan rare treasure ditunjukkan berupa peti dengan warna putih. Adapun untuk kotak berwarna hitam, menunjukkan node MCTS yang digunakan.
Gambar 5. Hasil implementasi Maze Treasure
Adapun tampilan dari hasil implementasi metode MCTS pada permainan Maze Treasure ditunjukkan pada Gambar 5.
Software Editor Monodevelop 4
Software Development Kit Unity 5
Program Language C#
18 1 302 10 2 314 314 Ya 2 302 10 2 314 314 Ya 3 302 10 2 314 314 Ya 4 302 10 2 314 314 Ya 5 302 10 2 314 314 Ya 30x
6. PENGUJIAN
pengujian validasi behavior dilakukan dengan cara melihat tingkat completeness apakah skor selalu bisa dihabiskan oleh enemy atau tidak.
38.61
27.17
42.11
50.35
76.57
36.76 5 184.5
19.14
27.93
28.42 4 246.91 108.11
37.82
49.93
81.77
28.58 3 223.71
55.46
behavior dan performa agen cerdas. Untuk
73.48
22.69 2 261.78
27.89
71.17
75.41
1 178.89
Grid (16x12) Grid (24x18) Grid (30x22) Grid (40x30) Grid (52x39)
Map Frame per second (fps)
Tabel 4. Hasil pengujian performa agen No.
Pengujian dilakukan pada 25 map yang berbeda dimana dari 25 map tersebut terdiri dari 5 ukuran labirin yang berbeda-beda. Ukuran labirin tersebut diantaranya adalah 16x12 grid, 24x18 grid, 30x22 grid, 40x30 grid, dan 52x39 grid .
Adapun untuk pengujian performa agen dengan parameter besar frame per second yang
Ada dua pengujian yang digunakan pada penelitian disini, yaitu pengujian validasi
dihasilkan pada proses MCTS ditunjukkan pada Tabel 4.
Rata-
, 4(1), pp.1-
Intelligence and AI in games rata 219.16
83.07
50.97
33.11
28.72 43.
Pada Tabel 4, ditunjukkan bahwa performa Buckland M. 2002. AI techniques for game 1st ed. Premier press. terbaik berada pada labirin dengan ukuran programming. 16x12, yaitu pada map 2 dengan nilai 261.78
Galvan-Lopez, E., Li, R., Patsakis, C., Clarke, fps. Adapun performa terburuk berada pada S. & Cahill, V. 2014. Heuristic-Based labirin dengan ukuran 40x30 pada map 4 Multi-Agent Monte Carlo Tree Search. dengan nilai 19.14 fps. Berdasarkan rata-rata
In Information, Intelligence, Systems and fps yang dihasilkan dari masing-masing ukuran
Applications,
IISA 2014, The 5th
labirin, menunjukkan bahwa semakin besar
International Conference, Greece, 7 - 9
ukuran labirin yang digunakan, akan Juli 2014 on (pp. 177-182). menurunkan performa dari permainan tersebut.
Ikehata, N. & Ito, T. 2011. Monte-carlo tree search in ms. pac-man. In Computational
7. KESIMPULAN Intelligence and Games (CIG), 2011
Berdasarkan hasil pengujian yang telah
IEEE Conference, South Korea,
31 dilakukan untuk mengetahui validasi behavior, Agustus – 3 September on (pp. 39-46). efisiensi, dan stabilitas kinerja agen cerdas, Kozlova, A., Brown, J.A. & Reading, E. 2015. didapatkan kesimpulan sebagai berikut.
Examination of representational 1. Penerapan metode Monte Carlo Tree expression in maze generation algorithms.
Search berhasil dilakukan pada agen cerdas
In Computational Intelligence and Games enemy dalam permainan Maze Treasure.
(CIG), Taiwan, 31 Agustus
- – 2 September Hasil pengujian menunjukkan dari 25 map 2015 IEEE Conference on (pp. 532-533).
yang disediakan yang terdiri dari 5 ukuran Li, X., Hou, L. & Wu, L. 2014. UCT algorithm yang berbeda, didapatkan bahwa semua simulasi yang dilakukan menunjukkan agen in Amazons human-computer games.
In Control and Decision Conference
enemy berhasil untuk mendapatkan semua (2014 CCDC), China, 31 Mei
skor yang tersedia di dalam masing-masing – 2 Juni map.
2017 The 26th Chinese (pp. 3358-3361). Millington, I. & Funge, J. 2009. Artificial 2. Agen cerdas enemy dengan menggunakan
intellegence for games . 2nd ed. San
metode MCTS dengan rata-rata performa Francisco: Morgan Kaufmann Publishers terbaik terdapat pada labirin dengan ukuran Inc. 16x12 grid. Adapun untuk tiap penambahan ukuran labirin yang digunakan dalam
Nguyen, K.Q. & Thawonmas, R. 2013. Monte pengujian agen, menunjukkan bahwa dengan carlo tree search for collaboration control semakin meningkatkya ukuran labirin, maka of ghosts in ms. pac-man. IEEE akan menurunkan performa kinerja agen
Transactions on Computational
yang diukur berdasarkan frame per second
Intelligence and AI in Games , 5(1), pp.57- (FPS) yang dihasilkan.
68. Pepels, T., Winands, M.H. & Lanctot, M. 2014.
8. DAFTAR PUSTAKA
Real-time monte carlo tree search in ms Alhejali, A.M. & Lucas, S.M. 2013. Using pac-man. IEEE Transactions on genetic programming to evolve heuristics
Computational Intelligence and AI in
for a Monte Carlo Tree Search Ms Pac- games , 6(3), pp.245-257. Man agent. In Computational Intelligence
Rabin, S. 2010. Introduction to game
in Games (CIG), Canada, 11-13 Agustus 2013 IEEE Conference on (pp. 1-8). development. 2nd ed. Nelson Education.
Umarov, I. & Mozgovoy, M. 2012. Believable Browne, C.B., Powley, E., Whitehouse, D., and effective AI agents in virtual worlds:
Lucas, S.M., Cowling, P.I., Rohlfshagen, P., Tavener, S., Perez, D., Samothrakis, S. Current state and future perspectives. International Journal of & Colton, S. 2012. A survey of monte
Gaming and Computer-Mediated
carlo tree search methods. IEEE Simulations (IJGCMS) , 4(2), pp.37-59.
Transactions on Computational Yoshida, S., Ishihara, M., Miyazaki, T., Nakagawa, Y., Harada, T. & Thawonmas, R. 2016. Application of Monte-Carlo tree search in a fighting game AI.
In Consumer Electronics, 2016 IEEE 5th Global Conference on (pp. 1-2). Zuo, G. & Wu, C. 2016. A heuristic Monte
Carlo tree search method for surakarta chess. In Control and Decision Conference
(CCDC), 2016 Chinese (pp. 5515-5518)