Edy Susanto : Analisis Kinerja Kode BCH, 2010.
2.4.1 Ukuran Informasi
Kandungan informasi dari suatu kejadian terkait dengan probabilitas kejadiannya. Suatu pesan dengan probabilitas kejadian tinggi mempunyai
informasi yang sedikit. Sebaliknya pesan dengan probabilitas rendah mempunyai informasi yang lebih besar. Suatu sumber informasi yang mengirimkan satu dari
sejumlah q pesan yang mungkin : dengan probabilitas kemunculan
: mempunyai probabilitas total
. Jumlah informasi yang terkandung dalam pesan ke-i yang dilambangkan dengan I
i
akan berbanding terbalik dengan probabilitasnya. I akan mendekati 0 jika p mendekati
1 dan I tidak boleh bernilai negatif karena setiap pesan mengandung informasi. Formula matematisnya dinyatakan sebagai berikut
8
: untuk
…2.1a
untuk
…2.1b
untuk
….2.1c
Untuk sumber yang mengeluarkan dua pesan berurutan yang independent : x
A
dan x
B
dengan probabilitas bersama , maka
8
: ...2.2
Shannon mendefinisikan ukuran informasi dari suatu pesan A dengan probabilitas kejadian P
A
yang memenuhi persamaan 2.1-2.2 adalah suatu fungsi
logaritmik.
Edy Susanto : Analisis Kinerja Kode BCH, 2010.
...2.3
dimana I disebut self-information dan b adalah basis logaritma. Basis logaritma yang dipergunakan menentukan satuan informasi. Basis
logaritma bilangan natural e menghasilkan informasi dengan satuan nat, basis 10 mempunyai satuan decit dan basis 2 mempunyai satuan bit.
2.4.2 Entropy dan Kecepatan Informasi
Tinjau suatu sumber informasi yang mengeluarkan sederetan simbol yang berasal dari M simbol yang berbeda, yang dinyatakan dengan
. Masing masing simbol mempunyai probabilitas P
i
dan self information I
i
. Keseluruhan probabilitas simbol harus memenuhi
...2.4
Asumsi yang diberikan adalah bahwa sumber stationary dan simbol simbol bersifat statistically independent. Sumber mengeluarkan simbol dengan
kecepatan r simboldetik. Properti seperti ini didefinisikan sebagai discrete memoryless source. Nilai kandungan informasi per simbol diberikan oleh rata rata
statistik :
...2.5
yang disebut entropy sumber. Jadi, untuk suatu deretan simbol yang panjang, rata rata kandungan informasi tiap simbol adalah H bit, tanpa harus tahu seperti apa
deretan simbol tersebut. Jika sumber mengeluarkan simbol, total informasi
yang dikirm adalah nH bits. Karena sumber mengeluarkan sejumlah r simbol per detik, maka durasi waktu dari deretan simbol ini adalah nr. Jadi, informasi harus
dikirim dengan kecepatan rata rata :
Edy Susanto : Analisis Kinerja Kode BCH, 2010.
...2.6
Dimana R adalah kecepatan transmisi informasi. Shannon menegaskan bahwa informasi dari suatu sumber diskrit tanpa memori
bisa dikodekan dalam digit biner dan ditransmisikan melalui kanal bebas noise dengan kecepatan :
binitdetik...2.7
2.5 Kanal Komunikasi
Kategori