Program Studi D3TT Teknik Telekomunikasi Bandung – 2016

SISTEM KOMUNIKASI

  Program Studi D3TT Teknik Telekomunikasi Bandung – 2016

  Block diagram of a DCS

  Pulse Bandpass Source Channel

  Sumber modulate modulate encode encode

  Informasi

  Ch

  Digital modulation

  an ne

  Digital demodulation

  l Demod.

  Channel Source

  Tujuan Detect

  Sample decode decode

  Informasi

  Teori Informasi menjawab 2 pertanyaan fundamental di dalam teori

  komunikasi, yaitu:

   Berapa besar kompresi data/kompresi sumber informasi dapat

  dilakukan, jawabannya adalah entropy H

   Berapa besar kecepatan transmisi suatu komunikasi, jawabannya adalah kapasitas kanal C

  Introduction 

  Pada thn 1940-an ada pendapat bahwa menaikkan rate transmisi melalui kanal komunikasi akan menaikkan “probability of error’.

   Shannon membuktikan bahwa pendapat di atas

  tidak benar selama rate transmisi lebih rendah dari kapasitas kanal. Kapasitas dapat dihitung dari derau di kanal.

   Shannon juga berpendapat bahwa proses acak

  (speech, music) mempunyai nilai kompleksitas yang tidak dapat diperkecil, nilai tersebut adalah batas kompresi sinyal, yang diberi nama “entropy”.

   Bila entropy sumber informasi lebih kecil dari _{Mathematicians/Shannon.html www-gap.dcs.st-and.ac.uk/~history/}

  kapasitas kanal, maka komunikasi bebas error secara asimtotis bisa dicapai.

  Ada 2 ekstrem : entropy       kapasitas kanal Semua cara-cara modulasi dan kompresi data terletak diantara dua ekstrem tersebut

  

Besaran-besaran dalam Teori Informasi



  Sumber Informasi 

  Kandungan Informasi 

  Entropy 

  Joint Entropy 

  Conditional Entropy 

  Mutual Information

Yang didefinisikan sebagai fungsi Peluang / Distribusi Peluang



  Kapasitas kanal

  Sumber Informasi 

  

Sumber informasi adalah suatu obyek yang menghasilkan

event, dimana keluaran sumber informasi tergantung dari

distribusi probability

  

Dalam praktek, sumber informasi dapat dianggap sebagai

suatu device yang menghasilkan pesan, dan dapat berupa

analog atau diskrit

   Dalam kuliah teori informasi ini, sumber informasi yang sering dibahas adalah sumber informasi diskrit

   Pada sumber informasi diskrit akan menghasilkan sekumpulan (set) simbol yang disebut SOURCE

ALPHABET. Dan elemen dari set source alphabet disebut

SIMBOL atau LETTERS

  Klasifikasi Sumber Informasi 

  Memory : munculnya simbol bergantung pada simbol sebelumnya

   Memoryless : munculnya simbol tidak bergantung pada simbol sebelumnya

   Sumber Informasi diskrit yang memoryless disebut juga Discrete Memoryless Source (DMS)

  Kandungan Informasi Misal suatu DMS (discrete memoryless sources) yang dinotasikan S={s , s ,.., s }, dengan masing-masing

  1 2 q q probability p(s )=p , dan berlaku i i p s 

  ( )

  1 i

   i

  Maka kandungan informasi dari simbol S adalah : i

  1 I s    p s ( ) log log ( ) i i

  2

  2 p s

  ( ) i

  Satuan yang digunakan adalah bits

  

Information

Example 1: S={s , s , s , s }, p =1/2, p =1/4, p = p =1/8.

  1

  2

  3

  4

  1

  2

  3

  4 I(s )=log 2=1 bits

  1

  2 I(s )=log 4=2 bits

  2

  2 I(s )=I(s )=log 8=3 bits

  3

  4

2 Example 2: S={s , s , s , s }, p = p = p = p =1/4.

  1

  2

  3

  4

  1

  2

  3

  4 I(s )=I(s )=I(s )=I(s )=log 4=2 bits

  1

  2

  3

  4

  2

  Information Properties of I(s)

  1) I(s)  0 (a real nonnegative measure) 2) I(s s ) = I(s )+I(s ) for independent event.

  1

  2

  1

  2 3) I(s) is a continuous function of p.

  4) I(s) = 0 for p(s )=1 i

   I(s ) > I(s ) if p(s ) < p(s ) 5)

  1

  2

  1

  2 Intuitively, property 2 tells us that each outcome, e.g., coin or die, has no influence on the outcome of the other.

  Entropy 

  

Adalah parameter yang menyatakan kandungan informasi

rata-rata persimbol 

  Entropy dari sumber S yang mempunyai simbol-simbol s i q dan probability p : i

  1 H ( S )  p log ( )  H ( P ) i

  2  p i 

  

1

i Example 1 : S={s , s , s , s }, p =1/2, p =1/4, p = p =1/8.

  1

  2

  3

  4

  1

  2

  3

  4

  1

  1

  1

  1 H ( S )  log 2  log 4  log 8  log

  8

  2

  2

  2

  2

  2

  4

  8

  8

  1

  1

  1

  1

  11   2   3   3    1 . 75 bits

  2

  4

  8

  8

  8 Example 2: S={s , s , s , s }, p = p = p = p =1/4.

  1

  2

  3

  4

  1

  2

  3

  4

  1

  1

  1

  1 H S      bits ( ) log 4 log 4 log 4 log

  4

  2

  2

  

2

  2

  2

  4

  4

  4

  4

  

Entropy dari sumber memoryless binary

Consider the distribution consisting of just two events [S , S ].

  1

  2 Let p be the probability of the first symbol (event).

  Then, the entropy function is :

H (S)= p log (1/p) + (1- p)log [1/(1-p)]= H (P)

  2

  2

  2

  2 (P) occurs when p =1/2.

  The maximum of H

  2 

  1

  1 I s I s      ( ) ( ) log log

  2

  1  

  1

  2

  2

  2

  2

  1

  

1

H S I s I s    ( ) ( ) ( )

  1

  2

  1

  2

  2

  

2

  Entropy dari sumber memoryless binary

  1.00

  0.80

  0.60 H(P)

  0.40

  0.20

  0.00

  0.00

  0.20

  0.40

  0.60

  0.80

  1.00 P

SOURCE CODING

   Adalah konversi output dari DMS ke bentuk binary sequence, devicenya disebut SOURCE ENCODER

  discrete Source memoryless encoder sources

  S i

  Binary sequence S={s , s ,.., s } 1 2 q

  X={x , x }

  1

  2 

  

Tujuan dari source coding adalah untuk meminimalisasi bit

rate rata-rata yang merepresentasikan DMS dengan cara

mereduksi redundansi dari DMS (mengurangi jumlah simbol yang sering muncul)

  

Panjang Kode & Efisiensi Kode



  Misal S adalah DMS dengan entropi H(S) dan alphabet

  S={s , s ,.., s }

  1 2 q

  dengan masing-masing probability

  p(s )=p , (i =1, 2,…, q) i i

  

  Code dari binary sequence keluaran Source Encoder X memiliki

  i

  , maka panjang code word rata-rata didefinisikan:

  panjang n bit i q

   L p ( S ). n i i

   i 

  1 

  Parameter L merepresentasikan jumlah bit per sumber simbol yang merupakan keluaran dari Source Encoder

  

  Efisiensi dari codeword didefinisikan sebagai berikut:

  L

min

    L

   L adalah nilai L minimum yang mungkin muncul. Apabila

   = 1 maka

  min kode dikatakan efisien.

  

  Sedangkan redundansi dari kode didefinisikan:

      1

TEOREMA SOURCE CODING

  

  Teorema Source Coding menyatakan bahwa untuk DMS dari S dengan entropy H(S), maka panjang codeword rata-rata dibatasi oleh:

  L  H (S ) H ( S )

   Apabila L = H(S), maka:

    min

  L 

  Secara umum:

     L L dan

  

1

min

  

  Suatu Source Coding dikatakan optimal jika panjang kode minimal (memiliki )

  L min

  

Kraft In-Equality (ketidaksamaan Kraft)

  Jika S adalah DMS dengan alphabet

  S={s , s ,.., s } dan masing-masing

  1 2 q

  codeword yang dihasilkan adalah n

   , maka berlaku :

i

q

  

 ni



  2

  1  i 

  1

CONTOH SOURCE CODING (1)

   SHANNON – FANO CODING

  PROSEDUR: 1) Urutkan sumber simbol berdasarkan probabiltas dari yang terbesar ke yang terkecil

  2) Bagi sumber simbol menjadi 2 set dimana masing-masing set mempunyai probabilitas yang hampir sama. Beri tanda bit “0” untuk set yang tinggi dan bit “1” untuk set yang lebih rendah

  

3) Ulangi proses di atas sampai tidak mungkin sumber simbol

dibagi lagi

  Contoh: Tentukan keluaran Source Coding dengan prosedur

Shannon-Fano untuk keluaran DMS sebanyak 6 simbol

dengan peluangnya 0,05; 0,08; 0,12; 0,20; 0,25; 0,30

  Solusi: 

  S i

P(S

   L=2,38 bits/simbol 

  1

  10 110 1110 1111

  01

  00

  1

  1

  1

  1

  1

  1

  1

  1

  =0,99

  1

  Buktikan bahwa: 

  6 0,30 0,25 0,20 0,12 0,08 0,05

  5 S

  4 S

  3 S

  2 S

  1 S

  Codeword S

  i

) Step 1 Step 2 Step 3 Step 4

Step 5

  H(S) = 2,36 bits/simbol

  1

CONTOH SOURCE CODING (2)

  PROSEDUR:

  1. Urutkan simbol berdasarkan probabilitasnya dari terbesar ke terkecil

  2. Jumlahkan probabilitas 2 buah simbol dari probabilitas terkecil dan

  urutkan kembali probabilitasnya mulai yang terbesar

  3. Beri tanda

  bit “0” untuk probabilitas yang lebih besar dan tanda bit “1” untuk probabilitas yang lebih kecil

  4. Ulangi langkah di atas sampai jumlah probabilitasnya = 1 Contoh: Tentukan keluaran Source Coding dengan prosedur Huffman

  untuk keluaran DMS sebanyak 6 simbol dengan peluangnya 0,05; 0,06; 0,10; 0,19; 0,25; 0,35

  HUFFMAN-CODING Source coding ini adalah salah satu kode yang optimum dan mempunyai efisiensi yang tinggi

  D.A. Huffman

  Solusi: S i P(S i ) Probability

  S

  S ₄ 1000 S ₃ “1” “0”

  11 S _{2 “1” “0”} S ₁ S S ₃ 101 0,10 0,11

  01 0,19 0,21 0,25 0,35 S ₂

  00 “1” “0” “1” “0” S ₁

  0,40 0,60 S

  1 “1” “0” S _i codeword

  5 0,05

  4 0,06 0,11 0,10

  S 0,35 0,35 0,35 0,35 0,35 0,35 0,40 0,40 0,60

  0,10 0,10 0,11 0,21 0,19 S

  3

  0,19 0,19 0,19 0,19 0,21 0,40 0,25 S

  2

  0,25 0,25 0,25 0,25 0,25 0,25 0,35 0,60 0,40 S

  1

  1 S

  S ₅ 1001 0,05 0,06 S ₅ S ₄

  Tugas, dikumpulkan !

1. Diketahui simbol-simbol keluaran DMS sebagai berikut:

  a. Dengan menggunakan prosedur Shannon- Simbol Probability

  Fano, tentukan simbol-simbol (codeword)

  S 0,4

  output Source Coding !

  S 0,2

  1

  b. Tentukan efisiensi codeword yang

  0,2

  S 2 dihasilkan (bag a)!

  S 0,1

  c. Dengan menggunakan prosedur Huffman,

  3

  tentukan simbol-simbol (codeword) output

  S 0,1

4 Source Coding !

d. Tentukan efisiensi codeword yang

  dihasilkan (bag c)!

2. Diketahui simbol-simbol keluaran DMS sebagai berikut:

  Simbol S S S S S S

  1

  2

  3

  4

  5 Probability 0,3 0,25 0,20 0,12 0,08 0,05

  Pertanyaan sama spt soal no 1

  Discrete Memoryless Channel 

  Merupakan pemodelan kanal secara statistik dari DMS

   X dan Y adalah random variable untuk input dan output dari DMC

  

  Kanal disebut ‘Discrete’ karena sumber simbol yang dikirimkan dan output kanal adalah diskrit dan ukurannya terbatas

   Pemodelan input : X = [x , x

  1 , ………………. , x

  J-1 ]

  

  Pemodelan output : Y = [y , y

  1 , ………………. , y

  K-1 ]

  Discrete Memoryless Channel 

  1

  ) ( ) | ( . .......... ) | ( ), | (

  ) | ( . .......... ) | ( ), | ( ) | ( . .......... ) | ( ), | (

  ) ( ) ( ) (

  1

  1

  1

  1

  1

  1

  1

  1

        

  1

  1

  1

  1

  1

  1

  1 j j k k k ^{j j k} x p x p x p x y p x y p x y p x y p x y p x y p x y p x y p x y p y p y p y p

  Pb of output channel matrix priori Pb

    

  

  1 / 1 ) ( k k j k

   ) ( ) (

         

  Probabilitas Transisi kanal (peluang bersyarat):

  Secara umum

  P(y

  k

  /x

  j

  ) = P[Y=y

  k

  /X=x

  j

  ]

  untuk semua j dan k

  

  0  P(y

          

  k

  /x

  j

  )  1

  untuk semua j dan k

   Model matrik DMC disebut juga Matrik Transisi atau Matrik Kanal: 

  Untuk 1 kolom yang sama berlaku: untuk setiap j

         

         

          

          

  P x y

  Discrete Memoryless Channel 

  Didefinisikan untuk j

  P(x ) = P[X=x ] = 0, 1, ……………., J-1 j j

  

  Adalah probabilitas munculnya pada input kanal disebut juga

  X=x j

  “apriori probability”

  

  Didefinisikan ‘Joint Probability Distribution’ dari random variable X dan Y

  P(x ,y ) = P[X=x ,Y=y ] j k j k

  

= P[Y=y /X=x ] . P[X=x ]

k j j

  = P[y /x ] . P[X=x ]

k j j

  

  Didefinisikan ‘Marginal Probability Distribution’ dari random variable Y :

  P y  P Y  y

  ( ) ( )

  k k J 

  1

   P (

  X  x ). P ( Y  y / X  x ) j k j

   j  J 

  1

   P x P y x ( ). ( / )

  j k j  j 

  Untuk setiap k = 0, 1, ……………., K-1

  

Kasus: Binary Simetric Channel



  1 =1/x

  X P

  1 ] / [ Ingat Model Matrik: ) ( ]. / [ ) (

  1

  X Y P

   p p p p

     

     

  Matrik Kanal

   Probabilitas error dinyatakan p, diagram probabilitas transisinya sbb:

  1 =1) = 1-p

  1 =1) = p P(y =0/x =0) = P(y

  Pada kasus ini kanal mempunyai 2 input simbol: x =0 dan x

  1 =1/x =0) = P(y =0/x

  P(y

  Kanal disebut simetrik karena:

  

  =1 Y

  1

  Dan mempunyai 2 output simbol: y =0 dan y

  X 

  =1

  1

  X Y P Y P 

  Latihan Soal: 

  “Joint probability” P(x ,y

  x 0,9

  1

  y x

  1

  ,y ) 0,1 y

  1

  ) dan P(x

  1

  c. Cari

  Diketahui suatu binary channel (bukan simetrik) sbb:

  ) !

  1

  b. Cari P(y ) dan P(y

  a. Cari matrik kanal !

  ) = 0,5

  1

  P(x ) = P(x

  

  0,2 0,8

  (

  1

  I  

  X|Y H H(X) X ; Y)

  X|Y y p y H X|Y) H  

  K k k k y x p y x p y x p y p y x p

  J j k j k k j

  1 ) log ( ) | ( ) ( ( J j k j k j

  1 ) log , ( ) | (

  1 ) | (

  2

  1

  2 -1 K k

    

  Mutual Information 

     

      

     

       

     

    

     

  Maka MUTUAL INFORMATION didefinisikan:

  

  Didefinisikan H(Y/X) = conditional entropy dari output kanal bila input dari kanal sudah diobservasi.

  

  Didefinisikan H(X/Y) = conditional entropy dari input kanal bila output dari kanal sudah diobservasi.

• -1 K k

  

Mutual Information



  MUTUAL INFORMATION merepresentasikan kandungan informasi dari X apabila output kanal sudah diketahui I(X;Y)

   Property of Mutual Information:

1) The mutual information of a channel is symmetric

    I  Y ; X  H  

  X H   Y|X

  I X ; Y 

  I Y ; X    

  uncertainty about the channel output that i s resolved bysending the channel input uncertainty about the channel input that is resolved by observing the channel output

   I  X ; Y 

  2) the mutual information is always nonnegative; that is

  Property of Mutual Information: 3) if the joint entropy H ( X , Y ) is defined by

  

  I   

  X H X ;Y

          X , Y H Y H

  J j K k k j

k j

y x p X , Y y x p H

  1

) log , (

  2 , (

  1

  1

     

  so: H

     

     

    

  이 나쁜 경우

  H(X , Y) 이 좋은 경우

  H( Y)

  X ; Y) I(

  X) I(

  (X|Y) H(

Y|X)

  Property of Mutual Information:

  Good Channel Bad Channel

H( H(

X) Y)

  H( X) H( Y)

  No error Worst channel

  H( X)

H(Y)

  H( Y)

H(X)

KAPASITAS KANAL

  

  Kapasitas kanal dari Discrete Memoryless Channel didefinisikan: [ bits /channel]

   C max I ( X;Y ) p ( x )

    j

   Jadi Kapasitas Kanal adalah mencari mutual information maksimum

  untuk semua Probabilitas simbol input yang mungkin

  p(x )

   0, untuk setiap j

  j 

  J

  1  p ( x )

  1 i

   i

   Contoh kasus BSC Binary Simetric Channel:

  1-p Y =0

  X =0 p p

  Y =1 X =1

  1

  1

  1-p

KAPASITAS KANAL

  

  Contoh kasus BSC Binary Simetric Channel

  

  Entropy dari X akan maksimum jika P(x ) = P(x ) = 0,5, sehingga I(X;Y)

  1 juga akan maksimal.

    I ( X ; Y ) H ( X ) H ( X | Y )

  1

  1   p ( x ) log p ( x ) log ₁ p ( x ) p ( x ) ₁

           

  1

  1

  1

  1     p ( x , y ) log p ( x , y ) log p ( x , y ) log p ( x , y ) log

   _{2 1 2 1 2 1 1 2}          p ( x | y ) p ( x | y ) p ( x | y ) p ( x | y )

     ^{1   1   1 1 }  _{1 1}  p ( y | x ) _{k j}

   p ( x , y ) log _{j k 2}

   p ( y ) _{j k}   _k

  1

   

p x , y p y | x p ( x ) ( 1 p ) ( x , y )

     

  1

  1

  2

  1    p x , y p y | x p ( x ) p p x , y

       

  1

  1

  1

  1

  2

  1

  1 p ( y )  p ( y ) 

  1

  2

  2

KAPASITAS KANAL

   Contoh kasus BSC Binary Simetric Channel

  1 

  1           C ( 1 p ) log 2 ( 1 p ) 2 p log 2 p

  2

  2

  2    

  2 2    

        ( 1 p ) 1 log ( 1 p ) p log p

  1    

  2   

  1 (1 p)log ( 1 ) log

• p  p p

  2

  2  Dari Grafik: 

  Jika kanal bebas noise (p=0), C akan maksimum yaitu 1 bits/ch; tetapi entropinya akan minimum [

  H(p)=0]

   Jika kanal ada noise dgn p=1/2, C akan

  minimum yaitu 0 bits/ch; tetapi entropinya akan maksimum [ H(p)=1] kondisi ini disebut useless

  

  Kondisi inverting Channel, Jika kanal bebas noise (p=1), C akan maksimum yaitu 1 bits/ch

  Information Capacity Theorem ( Shannon’s 3 rd theorem )

  2    

  membahas teori kapasitas informasi pada kanal “Additive

  Band Limited

  White Gausian Noise” dengan zero mean dan variansi 

  2 .

  

  Kapasitas pada kanal AWGN:

   Formula tersebut didapat dari: 

  



  I C _j x p

  X AWGN  

  B N P B C N S B N P

     

   Teori kapasitas informasi Shannon pada kanal AWGN adalah

X;Y

  

  N = No.B = Noise Power (W)

   P = average transmitted power (W) bps 1 log

  No = PSD AWGN (W/Hz)

  B = bandwidth kanal (Hz)

  

   N Y

  C = kapasitas (bps)

  ) ( max ) (

  

  Dimana:

  

  ideal system : bit rate R b = C

  C E P b

    power avg B C N E B C N E B C B C b b

  1

  2 1 log

  2  

     

     

      

  2 lim lim     

  







  

     

  2 log 1 log lim lim

  2

  P B N P B C C B B

  Shannon limit e N

       

     

     

     

  1

  

Information Capacity



  . 1 693 2 ln

  B C B b B b 6 .

  dB B C N E N E

  > C error

   R b

  <C error

  R b

  = C 

  

Eb/No = energi per bit to noise power spectral density ratio

 capacity boundary : R b

  <observation> 

• – free TX is possible

• –free TX is not possible

  Information Capacity

   horizontal line : for fixed R

  b / B , P e

  trade off E b / N vertical line : for fixed E b /N , P e trade off

  R b /B  error rate diagram of ideal system

  M-ary PSK th

• 5

  Lihat pula figure 9.17 Buku Simon Haykin 4 Edt: Pe vs Rb/B, pd P =10

  e Note! _k

• M = 2

  P E R b

  R M log b

  2 M    E N  but b

   B B

  2 E N

/ dB

b

  M-ary FSK th

• 5

  Lihat pula figure 9.17 Buku Simon Haykin 4 Edt: Pe vs Rb/B, pd P =10

  e Note! ^{M = 2 k}

• P

  E R b

  R M

  2 log

  b

2 M    & E / N 

  b

  

  B B M E N

/ dB

b