Teori Dasar Informasi teori sistem

PART I : Digital Communication System

CHAPTER II
INFORMATION THEORY
Presented By:
Syahroni Wahyu Iriananda

Sekilas tentang Informasi

What is Information?

Informasi
Informasi

adalah hasil dari
pengolahan data
Informasi adalah data/fakta yang
sudah diolah menjadi suatu
bentuk yang berarti bagi
penggunakan dan bermanfaat
bagi pengambilan keputusan

saat ini atau mendatang

Dasar Sistem Komunikasi

Basic Communication
System

Early Communication
System
Early Communication System Before 1948
 Telegraph (Morse, 1830-an)
 Telephone (Bell, 1876)
 Wireless Telegraph (Marconi, 1887)
 AM Radio (awal 1900-an)
 Single-Sideband Modulation (Carson, 1922)
 Television (1925 – 1927)
 Teletype (1931)
 Frequency Modulation (Amstrong, 1936)
 Pulse-Code Modulation (PCM) (Reeves, 1937 – 1939)
 Vocoder (Dudley, 1939)

 Spread Spectrum (1940-an)

Teori Informasi

Information Theory





Pada
tahun
1948,
Claude
Shannon
meletakkan asas Teori Informasi dalam
sebuah
paper
“Teori
Matematika

Komunikasi” yang diterbitkan pada jurnal
Bell System Technical Journal. Teori tersebut
menjadi dasar dari seluruh pengembangan
telekomunikasi dalam kurun waktu lima
dekade terakhir.
Teori
Informasi
merupakan
cabang
penerapan matematika, teknik elektro, ilmu
komputer, dsb.

Teori Informasi Shannon
 Secara

umum, Teori Informasi
Shannon (Teori Matematis) ini
memandang bahwa komunikasi
sebagai
fenomena

mekanistis,
matematis dan informatif, yaitu
 Komunikasi
sebagai
transmisi
pesan, dan bagaimana transmiter
dapat menggunakan kanal/saluran
sebagai media komunikasi.

 Pemahaman

yang baik terhadap
konsep ini merupakan keharusan
bagi setiap SDM Telekomunikasi
pemula.
 Buku
tersebut
mempelajari
kontribusi Shannon untuk bidang
komunikasi

modern
(Era
Informasi)

Syarat Sistem
Komunikasi
Dalam setiap sistem komunikasi
 Sumber Informasi yang
menghasilkan Informasi dalam
berbagai bentuk.
 Dan sebuah wadah infomasi/tujuan
(Information Sink) yang menyerap
informasi.
 Media komunikasi menghubungkan
antara “Sumber” dengan “Tujuan”.

 Maksud

dari sistem komunikasi
adalah untuk mengirimkan informasi

dari “sumber“ ke “tujuan” tanpa
terjadi kesalahan.
 Namun media komunikasi akan
selalu terjadi beberapa error karena
adanya Noise/Derau.

Persyaratan paling mendasar dari
sistem komunikasi adalah
mengirimkan informasi tanpa
adanya kesalahan meskipun
pada kenyataanya terjadi NOISE
di media komunikasi.

Konsep Umum Sistem
Komunikasi
 Sumber

Informasi memproduksi simbol-simbol
berupa karakter/huruf/teks, pidato, video, dsb
yang dikirimkan melalui transmisi media oleh

Transmitter (TX).
 Media komunikasi memperkenalkan noise dan
beberapa kesalahan terjadi pada saat pengiriman
data.
 Pada sisi penerimaan akhir, Receiver (RX)
melakukan dekode data dan melanjutkannya ke
tujuan informasi (wadah)
 Pada slide berikutnya merupakan diagram blok
dari sistem komunikasi pada umumnya.

Konsep Umum Sistem
Komunikasi

Information Source : Sumber Informasi, yang memproduksi
simbol (teks, video, audio, pidato, gambar, dsb).
Transmitter: Mengirim Sinyal
Channel: Kanal sebagai media transmisi dapat menghasilkan noise,
jadi error dapat terjadi pada saat data di transmisikan.
Receiver: Menerima Sinyal kemudian dilanjutkan ke Tujuan yang
akan menyerap informasi.

 Information

Source memproduksi dua
simbol A dan B,
 Transmitter kemudian mengkodekan
simbol tersebut menjadi aliran bit (bit
stream).
 A = 1, B =0.
 Aliran bit yang dikirimkan melalui media.
 Sebagai ilustrasi, Noise dapat saja
menyebabkan 1 menjadi 0 atau
sebaliknya ditempat yang acak.

Simbol Asli

B

B

A

A

B

A

B

B

Aliran Bit Sumber/Dikirim

0

0

1

1

0

1

0

0

Aliran Bit Diterima

0

0

1

1

1

1

0

0

Pada penerima, satu bit diterima dalam
kesalahan. Bagaimana untuk memastikan
bahwa data yang diterima dibuat bebas dari
kesalahan?
 Shannon menjawabnya dalam Sistem
komunikasi yang disarankan


Sistem Komunikasi Shannon
(Digital)


Sistem Komunikasi yang diajukan oleh
TX
Shannon

RX

Dalam sistem komunikasi digital,
karena efek dari noise/derau,
terjadi kesalahan. Akibatnya, 1
dapat menjadi 0 dan 0 mungkin
menjadi 1.

Pada

diagram tersebut
terdapat dua macam jenis
pengkodean
 Source Encoder/Decoder
 Channel Encoder/Decoder

 Simbol-simbol

kemudian
dimodulasikan dan dikirim melalui
medium.
 Pada sisi penerima, sinyal
termodulasi di demodulasi, dan
dilakukan operasi kebalikan dari
Channel Encoding dan Source
encoding (channel decoding dan
sumber decoding).
 Maka informasi yang disajikan untuk

Seperti yang diusulkan oleh
Shannon, sistem komunikasi
terdiri dari Enkoder Sumber,
Enkoder Saluran encoder dan
modulator pada akhir transmisi,
dan demodulator, Dekoder
Saluran dan Dekoder sumber
pada akhir penerima.

Information Source
Sumber informasi:
 Sumber informasi menghasilkan
simbol. Jika sumber informasi,
misalnya, mikrofon, sinyal dalam
bentuk analog. Jika sumber
adalah komputer, sinyal dalam
bentuk digital (1 set simbol).

Source Encoder
 Source

Encoder/Decoder

 Mengkonversi sinyal yang diproduksi

oleh sumber menjadi aliran data.
 Jika sinyal input berupa analog, maka
dapat dikonversi oleh ADC
 Jika sinya input berupa aliran simbol
(digital), maka dapat dikonversikan
menjadi alirat bit 1 dan 0 melalui
mekanisme tertentu

Source Encoder
 Enkoder

Sumber mengubah sinyal yang
dihasilkan oleh sumber informasi ke dalam
aliran data.
 Jika sinyal input analog, dapat dikonversi ke
dalam bentuk digital menggunakan
converter ADC.
 Jika input ke encoder sumber merupakan
aliran simbol, dapat dikonversi ke dalam
aliran bit (bit stream) 1 dan 0 menggunakan
beberapa jenis mekanisme pengkodean.

 Misalnya,

jika sumber menghasilkan
simbol A dan B, A dapat dikodekan
sebagai 1 dan B sebagai 0.
 Sumber Teorema pengkodean
Shannon memberitahu kita
bagaimana melakukan coding ini
secara efisien.

Source Encoding
 Dilakukan

untuk mengurangi
penumpukan sinyal (redundancy)
 Terdapat 2 teknik encoding:
 Losseless Encoding (Tidak

Berkurang/Hilang)
▪ ZIP, GZ, RAR dsb

 Lossy Encoding (Berkurang)
▪ JPEG, GIF, MKV, dsb

Pengkodean Sumber dilakukan untuk
mengurangi redundansi dalam sinyal.
Teknik Pengkodean Sumber dapat
dibagi menjadi teknik pengkodean
lossless dan teknik pengkodean lossy.
Dalam teknik encoding lossy, beberapa
informasi hilang. Contohnya pada
kompresi data jpg, gif, png dsb.

Lossless Source
Encoding
 Dalam

coding lossless, tidak ada
informasi yang hilang. Ketika kita
kompres file komputer kita
menggunakan teknik kompresi
(misalnya, WinZip), tidak ada
kehilangan informasi.
 Teknik coding seperti ini disebut
teknik coding lossless.

Lossy Source Encoding
 Dalam

coding lossy, beberapa informasi
hilang saat melakukan coding sumber.
Selama kerugian tidak signifikan, kita
bisa mentolerir hal itu.
 Ketika gambar diubah menjadi format
JPEG, coding adalah pengkodean lossy
karena beberapa informasi hilang.
 Sebagian besar teknik yang digunakan
untuk suara, gambar, dan video coding
teknik coding lossy.

Catatan
Utilitas kompresi yang kita gunakan
untuk kompres file data
menggunakan teknik lossless
encoding.
Kompresi gambar JPEG adalah teknik
lossy karena beberapa informasi
hilang.

Channel Encoder
 Jika

memecahkan kode informasi dengan
benar, bahkan jika kesalahan terjadi
pada media
 Perlu ditempatkan beberapa bit
tambahan (redundant bits) dalam data
sumber yang telah dikodekan
 sehingga informasi tambahan
(redundant bits) dapat digunakan untuk
mendeteksi dan memperbaiki kesalahan.

Channel Encoder
Proses

penambahan bit
dilakukan oleh encoder
saluran.
Teorema Channel Coding
Shannon memberitahu kita
bagaimana untuk mencapai
hal ini.

Channel Encoder
Dalam Channel encoding,
redundansi diperkenalkan
sehingga pada akhir
penerimaan, bit redundant
dapat digunakan untuk
mendeteksi kesalahan atau
koreksi kesalahan.

Modulator/Demodulator
Modulator

Merupakan proses
transformasi sinyal, sehingga
sinyal dapat ditransimisikan
melalui berbagai media
Demodulator melakukan
proses kebalikan dari
Modulator

Channel Decoder
Menganalisa

aliran bit yang
diterima dan mendeteksi dan
mengoreksi jika ada kesalahan
menggunakan bit tambahan
(redundant bits) hasil dari
Channel Encoder
Channel Decoder melakukan
proses kebalikan dari Encoder

Source Decoder
 Source

decoder mengubah aliran bit
ke dalam informasi yang
sebenarnya. Jika konversi Analog ke
Digital dilakukan pada encoder
sumber,
 konversi digital ke analog dilakukan
pada decoder sumber. Jika simbol
dikodekan ke 1 dan 0 pada encoder
sumber, aliran bit diubah kembali ke
simbol oleh decoder sumber.

Information Sink
 Menyerap

informasi

Entropi Sumber
Informasi

Bagaimana Mengukur
Informasi?
Apakah

informasi?
Bagaimana kita mengukur
informasi? Ini adalah
masalah mendasar yang
dapat dijawab oleh
Shannon.

Kita

dapat mengatakan
bahwa kami menerima
beberapa informasi jika ada
"penurunan ketidakpastian."
Dengan kata lain factor
ketidakpastian (Uncertainty)
berkurang.

Misalkan

sumber informasi
yang menghasilkan dua simbol
A dan B. sumber telah
mengirim A, B, B, A, dan
sekarang kami menunggu
simbol berikutnya. Yang simbol
itu akan dihasilkannya?

 Jika

menghasilkan A, ketidakpastian
yang ada dalam masa tunggu
(waiting period) hilang, dan kami
mengatakan bahwa "informasi"
yang dihasilkan.
 Perhatikan bahwa kita
menggunakan istilah "informasi" dari
sudut pandang teori komunikasi; itu
tidak ada yang harus dilakukan
dengan "kegunaan" informasi.

Entropy & Redundancy
 Entropi

dan Redunansi merupakan
konsep dasar yang dikemukakan
dalam teori Informasi Shannon ini.
 Kedua konsep ini saling terikat dan
saling berpengaruh seperti hukum
sebab-akibat (kausalitas)
 Entropi akan sangat berpengaruh
terhadap Redundansi yang akan
timbul dalam proses komunikasi

Entropy
 Entropi

merupakan konsep
keacakan, dimana terdapat suatu
keadaan yang tidak dapat dipastikan
kemungkinannya

Redundancy
 Konsep

kedua adalah redundancy, yang
merupakan kebalikan dari entropy. dudansi
adalah sesuatu yang bisa diramalkan atau
diprediksikan (predictable).
 Karena prediktabilitasnya tinggi (high
predictable), maka informasi pun rendah
(low information).
 Redundansi apabila dikaitkan dengan
masalah teknis, ia dapat membantu untuk
mengatasi masalah komunikasi praktis.

 Kekurangan-kekurangan

dari saluran
(channel) yang mengalami
gangguan (noisy channel) juga dapat
diatasi oleh bantuan redundancy.

 Dengan

memandang informasi sebagai
entropy, Shannon mencetuskan ide bahwa
sebuah sumber informasi bersifat probabilistik
dengan mengajukan pertanyaan:
 jika sebuah sumber informasi memproduksi
pesan-pesan dengan cara memilih simbolsimbol dari himpunan simbol terhingga, dan
probabilitas simbol-simbol yang muncul
bergantung pada pilihan sebelumnya, maka
seberapa banyakkah informasi yang terkait
dengan sumber tersebut?

 Shannon

menjelaskan hal tersebut
dengan sebuah persamaan yang
memaparkan hubungan antara
entropy dan redundancy. Jika sebuah
sumber informasi tidak mempunyai
banyak pilihan atau memiliki derajat
keacakan yang rendah, maka
informasi atau entropy tersebut
rendah.
  Redundancy =

Entropy of The Source
 Shannon

mengusulkan formula untuk
mengukur informasi.
 Ukuran informasi disebut Entropy of the
Source/Entropi Sumber Informasi.
 Jika sumber menghasilkan simbol ke-N,
dan jika semua simbol sama-sama
mungkin terjadi, entropi sumber diberikan
oleh:

H = log2N bits/simbol

 Sebagai

contoh, asumsikan bahwa
Source menghasilkan huruf(A
sampai Z, sebanyak 27, sebagai
simbol), dan semua simbol-simbol ini
akan diproduksi dengan probabilitas
yang sama. Dalam kasus seperti itu,
entropi adalah
H = log227
H

= 4,75 bits/simbol

 Sumber

informasi tidak dapat
menghasilkan semua simbol dengan
probabilitas yang sama.
 Misalnya, dalam bahasa Inggris
huruf "E" memiliki frekuensi
tertinggi (dan karenanya
probabilitas tertinggi terjadinya),
dan huruf-huruf lainnya terjadi
dengan probabilitas yang berbeda.

Secara

umum, jika sumber
menghasilkan simbol (i)
dengan probabilitas P (i),
entropi sumber diberikan oleh
H = - ∑ P(i) log2P(i) s
i

 Jika

teks besar dianalisis dan
probabilitas dari semua simbol (atau
huruf) yang diperoleh dan diganti
dalam formula, maka entropi adalah

H = 4.07 bits/symbol

 Catatan

Perhatikan kalimat berikut:

"I do not knw wheter this is
undrstandble“
 Terlepas

dari fakta bahwa sejumlah
karakter dalam kalimat ini hilang,
Anda tetap dapat mengerti teks
tersebut. Dengan kata lain, ada
banyak redundansi dalam teks ini.

 Ini

disebut pendekatan first-order
approximation untuk perhitungan
entropi sumber informasi.
 Dalam karakter alfabet, ada
ketergantungan dari satu huruf pada
surat sebelumnya. Misalnya, huruf
'U' selalu terjadi setelah huruf 'Q'.

 Jika

kita mempertimbangkan
probabilitas dua simbol bersamasama (aa, ab, ac, iklan, .. ba, bb,
dan sebagainya), maka hal itu
disebut pendekatan orde kedua.
 Jadi, di pendekatan orde kedua, kita
harus mempertimbangkan
probabilitas diagram bersyarat (atau
dua simbol bersama-sama).

 Entropi

orde kedua dari sumber
memproduksi karakter alfabet dapat
bekerja untuk menjadi
 H = 3.36 bit / simbol

Bagaimana Mengukur
Informasi?
 Satuan

Terkecil Informasi dinyatakan
dengan Binary Digit (BIT)
YA
BENAR
TRUE
ON
HITAM
NYALA
YES

1

TIDAK
SALAH
FALSE
OFF
PUTIH
PADAM
NO

Bit Hanya dapat membedakan 2
Hal

Misal:

 00  A
 01  B
 10  C
 11  D
Sehingga

n Bit = 2n Hal

Channel Capacity (Bit
Rate)

Channel Capacity
 BITRATE

 Kapasitas Kanal dapat
digambarkan
sebagai
rata-rata
maksimum pada informasi yang bisa
dikirim tanpa ada kesalahan, dan
untuk
maksud
transmisi
data,
mungkin diukur dalam bit perdetik.

 Rata-rata

data yang dapat dikirim
pada
kanal
sebanding
dengan
bandwidth kanal itu.

Channel Capacity
Kapasitas maksimum sebuah kanal
komunikasi
C = W LOG2 (1 + S/N)
Dengan
C : Kapasitas maksimum dalam bps
W : Bandwidth
S/N : Perbandingan daya sinyal dan noise
Bila S/N =1000 dan W=3300Hz maka C=32.9 Kbps
Formula Shannon [1948] untuk menghitung Kapasitas Kanal:

Kapasitas Informasi [bps] = (Lebar Pita Frekuensi [Hertz])*
2
log ( 1 + S/N)

 dB

= 10 Log (Signal Power/Noise
Power)
 The value of the channel capacity
obtained using this formula is the
theoretical maximum.
 As an example, consider a voicegrade line for which W = 3100Hz,
SNR = 30dB (i.e., the signal-to-noise
ratio is 1000:1)

 So,

we cannot transmit data at a rate
faster than this value in a voicegrade line.
 An important point to be noted is
that in the above formula, Shannon
assumes only thermal noise.

 To

increase C, can we increase W?
No, because increasing W increases
noise as well, and SNR will be
reduced. To increase C, can we
increase SNR? No, that results in
more noise, called intermodulation
noise.
 The entropy of information source
and channel capacity are two
important concepts, based on which

 The

bandwidth of the channel,
signal energy, and noise energy
are related by the formula C = W
log2(1 + S/N) bps where C is the
channel capacity, W is the
bandwidth, and S/N is the signalto-noise ratio.

 Bit

Rate (Kapasitas Kanal) : banyaknya informasi yang
dapat dikirimkan melalui suatu saluran komunikasi dalam
satu satuan waktu [bit per second, bps]
 BW (Bandwidth, Lebar Pita Frekuensi) : spektrum
isyarat yang dapat melewati suatu saluran komunikasi:
frekuensi tertinggi – frekuensi terendah [Hertz, getaran
per detik, cycles per second, cps]
 S/N (Signal to Noise ratio) : menunjukkan kualitas saluran
komunikasi = perbandingan antara daya isyarat yang
dipancarkan dengan daya derau atau ”kebisingan” (noise)
yang menggangu penyaluran atau transmisi isyarat

Teorema Shannon

Teorema “Source
Coding”
Diketahui sebuah channel yang memiliki kapasitas C
dan sebuah sumber entropy discrete per second H.
Jika H C maka akan ada kemungkinan
untuk meng-encode pesan sehingga pesan yang
ambigu bernilai kurang dari H-C + e dimana e sangat
kecil.
Tidak ada metode yang mengenkode pesan dimana
tingkat ke-ambiguitasnya kurang dari H-C.

Teorema “Channel
Coding”
 Berhubungan

dengan sistem
komunikasi pada channel tanpa
noise

Terdapat sebuah sumber informasi yang
memiliki entropy H (bits per symbol) dan
sebuah channel dengan kapasitas C (bits per
transmit) dengan laju rata-rata C/H – e symbol
per second dimana e sangat kecil. Tidak
mungkin untuk dapat melakukan transmisi
dengan laju rata-rata lebih dari C/H.

 Ide

utama dibalik teorema ini adalah bahwa
jumlah informasi yang mungkin untuk
ditransmisikan berdasar pada besarnya
entropy atau derajat keacakkan.
 Berdasarkan sifat-sifat statistik dari sumber
informasi, ini memungkinkan untuk
dilakukannya pengkodean informasi
 Sehingga memungkinkannya untuk
melakukan pentransmisian informasi pada
laju maksimum yang diperbolehkan channel.

References








[1] Dr. K.V. Prasad,”Principles of Digital
Communication Systems and Computer
Networks“, Charles River Media, 2003
[2] S. Verdu, “Fifty years of shannon theory”, IEEE
Transaction on information theory, vol. 44, no.6,
October 1998.
[3] C.E. Shannon, “A mathematical theory of
communication”, Bell Syst. Tech., J., vol. 27, pp.
379-423, 623-656, July-Ock. 1948.
[4] H. Nyquist, “Certain factors affecting
telegraph speed”, Bell Syst. Tech. J., vol. 3, pp.
324-352, Apr. 1924.