Model Campuran Ketidaksamaan Jensen

commit to user 7 ∏ ∑

2.1.4 Model Campuran

Fungsi distribusi model campuran merupakan kombinasi linear dari dua atau lebih fungsi kepadatan probabilitas fkp. Kegunaan mendasar dari model campuran adalah dapat menggambarkan fkp yang rumit atau kompleks. Berikut diberikan dua definisi mengenai fkp model campuran dan fungsi log likelihood data lengkap yang diambil dari McLachlan dan Peel [12]. Definisi 2.5. Dimisalkan adalah sampel random berukuran , adalah vektor random berdimensi p dalam dengan fungsi kepadatan probabilitas dengan . Dimisalkan adalah sampel random terobservasi dengan adalah nilai terobservasi dari vektor random . Diasumsikan diskrit, fungsi kepadatan probabilitas dari dapat ditulis sebagai ∑ dengan dan ∑ . Parameter proporsi campuran dan adalah fungsi kepadatan campuran untuk komponen . Banyaknya komponen campuran biasanya telah diketahui, tetapi pada banyak kasus banyaknya komponen campuran tidak diketahui dan harus ditentukan menggunakan data terobservasi. Definisi 2.6. Data lengkap didefinisikan sebagai dengan adalah data dari variabel tidak terobservasi yang berpasangan satu-satu dengan sebagai data dari variabel yang terobservasi. Digunakan vektor indikator commit to user 8 dan untuk menentukan keanggotaan setiap individu dalam komponen model campuran dengan bernilai 1 jika berasal dari kelas dan bernilai 0 untuk yang lain, fungsi log likelihoodnya adalah ∑ ∑

2.1.5 Ketidaksamaan Jensen

Ketidaksamaan Jensen merupakan alat statistik yang sangat bermanfaat dalam perhitungan matematika yang sulit, seperti logaritma penjumlahan dalam analisis kelas laten. Aplikasi dari ketidaksamaan Jensen meliputi algoritma EM, metode estimasi Bayesian dan inferensi Bayesian. Berikut diberikan teorema dan definisi mengenai ketidaksamaan Jensen untuk fungsi cembung dan cekung yang diambil dari Harpaz dan Haralick [8]. Teorema 2.2. Ketidaksamaan Jensen menyatakan jika adalah suatu fungsi cembung dan suatu variabel random, berlaku Definisi 2.7. Suatu fungsi dikatakan sebagai fungsi cembung pada interval jika dan berlaku Teorema 2.3. Jika adalah fungsi cembung pada interval dan jika dan dengan ∑ maka ∑ ∑ commit to user 9 Bukti Teorema 2.3: Teorema 2.3 dibuktikan secara induksi matematika. Persamaan 2.4 benar untuk dan , diasumsikan benar untuk dan akan dibuktikan benar untuk , ∑ ∑ ∑ ∑ ∑ Terbukti Bukti Teorema 2.2: Jika adalah variabel random diskrit dengan sebagai probabilitasnya, maka persamaan 2.4 dapat ditulis kembali sebagai berikut dan jika benar-benar cembung strictly convex maka Terbukti Teorema 2.4. Jika diturunkan dua kali dalam dan maka disebut fungsi cembung dalam Bukti : Untuk membuktikan Teorema 2.4, digunakan deret Taylor orde dua yaitu ⁄ Jika maka Untuk dan diperoleh maka commit to user 10 + Dengan cara yang sama untuk diperoleh maka Dengan mengalikan terhadap persamaan 2.5 dan terhadap persamaan 2.6 kemudian dijumlahkan akan menunjukkan ketidaksamaan kecembungan sebagai berikut Terbukti Definisi 2.8. Fungsi benar-benar cekung strictly concave jika – adalah benar-benar cembung. Teorema 2.5. adalah benar-benar cembung dalam . Bukti: maka ⁄ untuk . Terbukti Berdasarkan Teorema 2.5 dan Definisi 2.8, diketahui bahwa adalah fungsi yang benar-benar cekung, sehingga untuk berlaku

2.1.6 Algoritma