2.7.3 Entropi Rate Dari Suatu Sumber
Entropy rate dari suatu sumber adalah suatu bilangan yang bergantung hanya pada statistik alami sumber. Jika sumber mempunyai suatu model sederhana, maka nilai
tersebut dapat dengan mudah dikalkulasi. Berikut ini, contoh dari sumber yang berubah-ubah:
X = X
1
, X
2
, X
3
, X
4
, ...,
Dimana X merupakan teks dalam bahasa Inggris. Maka model statistik sumber
di atas adalah sebagai berikut: A.
Zero-Order Model. Karakter-karakter secara statistik bersifat bebas untuk
setiap alphabet A dan secara bersamaan muncul. Misalkan m merupakan
ukuran dari alphabet. Dalam kasus ini, entropy rate dapat dinyatakan dengan persamaan:
H= log
2
m bitschar ..................................................................................... 2.3
Untuk teks dalam bahasa Inggris, ukuran alphabet m = 27. Jadi, jika ini
merupakan model akurat untuk teks dalam bahasa Inggris, maka entropy rate akan bernilai H = log
2
27 = 4,75 bitscharacter.
B. First-Order Model. Karakter-karakter secara statistik bersifat bebas. Misalkan
m adalah ukuran dari alphabet dan misalkan P
i
merupakan probabilitas dari huruf ke-i dalam alphabet.
Entropy ratenya adalah: H= ∑
�
�
���
2
�
� �
�=1
bitschar .............................. 2.4 Dengan menggunakan first-order distribution, entropy rate dari teks Inggris
sebesar 4,07 bitscharacter. A.
Second-Order Model. Misalkan P
j i
adalah probabilitas yang berkondisi untuk karakter yang berlaku saat ini dan merupakan huruf ke-j dalam alphabet yang
merupakan karakter sebelumnya yaitu huruf ke-i. maka entropy ratenya adalah:
H= ∑
�
�
∑ �
�|� �
�=1
���
2
�
�|� �
�=1
bitschar ................................................... 2.5 Dengan menggunakan second-order distribution, entropy rate dengan model
di atas adalah 3,36 bitscharacter.
Universitas Sumatera Utara
D. Third-Order Model. Misalkan P
k j,i
adalah probabilitas berkondisi yang berlaku untuk karakter saat ini dan merupakan karakter ke-k dalam alphabet
yang didapat dari karakter sebelumnya yaitu huruf ke-j dan satu karakter sebelum huruf ke-i. Entropy rate untuk model tersebut adalah:
H= ∑
�
�
∑ �
�|� �
�=1
∑ �
�|�,� �
�=1
���
2
�
�|�,� �
�=1
bitschar ............................... 2.6 Dengan menggunakan third-order distribution, entropy rate dari teks Inggris
dengan model di atas adalah 2,77 bitscharacter. B.
General Model. Misalkan B
n
merepresentasikan karakter n pertama. Entropy
rate dalam kasus yang umum dinyatakan dengan persamaan berikut ini: H =
lim
�→∞ 1
�
∑ ��
�
���
2
��
�
bitschar ......................................... 2.7
Dimana seluruh jumlah dari semua m
n
merupakan kemungkinan nilai dari B
n
. Adalah tidak mungkin untuk menghitung entropy rate menurut persamaan di
atas. Dengan menghitung metoda prediksi, Shannon mampu memperkirakan entropy rate dari ke-27 teks Inggris adalah 2,3 bitscharacter.
Hanya terdapat satu entropy rate untuk suatu sumber yang diberikan. Semua definisi di atas untuk entropy rate saling bersesuaian satu sama lainnya.
2.7.4 Dalil Shannon Mengenai Lossless Source Coding
Kategori