4.7.2 Validasi Model
Nilai RMSE model AMH hasil validasi silang Leave One Out Cross Validation LOOCV digunakan sebagai ukuran kestabilan model. Berdasarkan hasil validasi di
tiap cluster di hasilkan RMSE dari 30 ulangan training dan testing. Grafik box plot RMSE tersebut menunjukkan RMSE rataan pola-1 sebesar 1.6 dasarian 16 hari,
RMSE rataan pola-2 sebesar 1.6 dasarian 16 hari, RMSE rataan pola-3 sebesar 1.6 dasarian 16 hari. Secara umum RMSE rataan validasi model tiap pola menunjukkan
error model kurang dari dua dasarian dan sebanyak 30 nilai RMSE tiap ZOM memilki sebaran normal hal itu mengindikasikan model cukup stabil Gambar 16
Gambar 17. RMSE Validasi Silang Model Prediksi AMH di Tiap Pola
. ZOM 13 menunjukkan RMSE rataan model sebesar 2.8 dan sebaran nilai RMSE 30 training tidak menyebar normal, hal itu mengindikasikan model ZOM 13
selama validasi tampak tidak stabil. Kestabilan model diukur berdasarkan nilai RMSE rataan dalam 30 kali ulangan training
≤ 2 dasarian. Selain itu, pola kecenderungan trend hasil prediksi model mengikuti garis observasi juga di amati
selama 30 kali ulangan testing. Validasi model yang stabil didapatkan apabila model menunjukkan ukuran nilai RMSE rata-rata
≤ 2 dasarian dan pola trend ulangan testing sesuai dengan observasi. Grafik trend tiap ulangan testing selama 30 kali di
semua model ZOM disajikan pada lampiran 7. Trend hasil testing ZOM 13 pada grafik 30 kali ulangan testing tampak menyimpang dari obesrvasi. Hal yang serupa di
temukan pada model ZOM 8, dimana RMSE rataan 1.6 dasarian namun pada grafik 30 kali ulangan testing tampak menyimpang dari obesrvasi. Hasil itu menunjukkan
model tidak cukup stabil, pernyataan tersebut mendukung hasil korelasi sebelumnya bahwa ZOM 8 dan ZOM 13 tidak memiliki pola hubungan dengan domain prediktor.
4.7.3 Verifikasi Model
Prediktor yang di jadikan masukan model saat verifikasi adalah hasil reduksi anomali SML bulan JJA tahun 2008 di domain terpilih pada masing-masing pola.
Tingkat akurasi model dalam memprediksi awal musim hujan Tahun 2008 dapat di tentukan dengan menilai tingkat kesalahan prediksi terhadap observasi error di tiap
pola. Grafik prediksi terhadap observasi awal musim hujan tiap pola hasil verifikasi ditampilkan pada Gambar 17. Apabila sebaran titik berada di bawah garis fitting
maka prediksi AMH mundur dari observasi dan sebaliknya bila sebaran titik berada di atas garis fitting maka prediksi AMH maju dari observasi. Prediksi AMH di pola-
1 yang terdiri dari 4 ZOM tampak mundur 1-2 dasarian dan pola-2 yang terdiri dari 18 ZOM secara umum tampak mundur 1-2 dasarian kecuali ZOM 13 yang mundur
hingga 5 dasarian. Pola-3 tampak menyebar di sekitar garis fitting yang menunjukkan prediksi sesuai dengan observasi. Verifikasi secara umum, prediksi AMH Tahun
2008 yang memberikan error prediksi sebesar ≤ 1 dasarian sebanyak 18 ZOM. Hal itu
menunjukkan bahwa sebanyak 60 model prediksi di Jawa cukup baik di gunakan karena hasil verifikasi pada 18 ZOM mendekati observasi deviasi 10 hari. Verifikasi
pada 40 ZOM lainnya menunjukkan error sebesar 1 dasarian hasil itu mengindikasikan model pada 12 ZOM perlu ditingkatkan akurasinya. Akan tetapi
bila toleransi batas error prediksi di naikan sebesar ≤ 2 dasarian maka model di 12
ZOM tersebut masih cukup layak digunakan. Bila tetapan toleransi batas error
prediksi verifikasi dinaikan menjadi ≤ 2 dasarian, maka sebanyak 93 model AMH
di Jawa layak diaplikasikan dalam operasional. Namun dengan melonggarkan nilai toleransi error verifikasi tentunya model yang dihasilkan menjadi tidak terlalu baik.
Gambar 18. Prediksi Terhadap observasi tiap Pola
4.8 Evalusi Skill Model
Kategori