Information Theory and coding

C@"oJ

6d"u

r-lt-.-..

Tr:- Joteft J"odI

-*-hit'Tm\

-ffi

Ja,Lk\k- b;:Tca''[ L;^u

z'

il'

@

tffi-c'odt*

WWW;r")o)Jvw'

I .^ _{lt ^or,!at} rv^rt)ta-brhfnTtx

:

rfn-"rAilt

ry,!X^,Y

'ilo

ffiaffi-bur

oJ/s v

cI'r-"---'*Jfi 'ujE'^ _{r.E il}

a '^it\fvllr ffi t

h

t"fet*

%rr3"

i

Jr^r

d---4'{M

[d-#r

cr-ddqAa-r..orhrr Wo% W

oT\

*"

ffi;41

#,

Y\ '*Y JtJrfrt-@' -t*Vla! . o r ,,rr . *

*u

o[r

qdl-.ff

tftrr[--o''

_f:'M'Lr\? q^r,oc.t,^- -ery+{* \^* rr- &t/s

(

enn bj.r,'-'*1., O^,Lti.ttt I I A

.p,

ffi#{.#a-M-qAC,Sd.-ar\ E\lt-k--

M

*1^4

T+'ftfr

y",h;trbffiry

q

13

tfu

'ryy'rt'

or.. '

hnyfu) tuL Jrb _+rL

t

ftt 5, if $LLA n_t

*ile

, a' A;cu- ;

ttr-

: ft (

t

t (1t

, 1 |

r

dL o 'ds

t

*fu1

_fu1tu

l,l :t'-t frT\l

,

Tlloil

I

l"flhl

_I

l+il@+

I ',,Wk ,QtqY rrnYrEnt

IolIFl

,'m

arr

_ffit1

.;1;'*

iri,ryy,

ffi

_'h"flfJ"

*J

_lr,t'

_^?;'fi'=

I

r^uv;rJ[--r $ -,fu _;ilL

Aaflvafu-5;#*ffi"

%

*,t{cstr

c.

,,r\ta

-lt\

^s +^ft

-A"Jt'4ff

T

'

_.il*

_r.ie

"rf

'ffiWJhto

uJu^ rth:*;n+ _,sh *hr-

_^ffi#rf;

_{i io,^o}

I

'Jru,-ffi

tr^ffi"

pr*,tu^? tlf

\

H;"

_$f,ilf

_.nAoqr,,

JJ,\ ctt-tr.r-l4k

rk 4rrf {t-

;

firffi;:

,1

,T-#

t'

il f@ 4r.,

wz Lt,

r

s

#ffi*4n

y:y^ffrr-ba

l" $. o(t -fWL*Dsrnill

_@:

\=L

E .,0., K-3

o

f't, 1O qti

) ff -l itr

W%

t{"e

-

,w -a"'d'd-LA * oli

_P01h''

.,,r1 )e-htworvw ol\-a-

W

n^\i*

_@

,LU1

TltL #rY\,L dfirnctuk h-oJ\aw;u,tA f,I'ffi*

"trffi4tl vggd/.z nyvtuu* )oa., W' J&1 fu'n\)

) D l- fY1 tYr U ? _-,,, ,/\, , I tuo Y\01A*lT*,(

^ rL

,L$-tr|-

*rWWeru

i4

_{A,l1:,, t-eon} i= o)l)L-\

\

;?=

\tr!

ffii-L

ftov

'iri,tui _{rh obsw} t'fr'

##

"0

W\^'tL:

"#Xui;

. **tut4e 3'w?vYLw q t

r

_,Ut3;

tF^,

_$l'',

- _{,-, 1o} C')) roe*

#'r-@ry

i

**y*:

o,d*"k:'-qrtHP,#,-

--,f?.]:^X-f^tp hi \4k \)it o) o -o ,L / * t _{_to} d*onlr"e-t Lr)

y$,

vFL=

0

_+C

ilt

lzfr,,r,

ilrctx

rfuIl"uB

W

Jrg

^W

a'n o'^fP*-f

u*ffi

qtr-

iuj

/'vh,sv6Y)

%*

fx;l

=

lC'.,#,*l'l "fl

f'l

"3

_frr\"A-

--l

'ThA /WqI _ry"tr 'l..p 11"' 'f--'

dl&'

flr

t-"L rh'ao fuJ.DtD

@

'{\rrajbut* : '/ A o '"J- _t

^1 r A'tD otD oct) oLD

I- o tD q!2)

Ito

do I

g=l

c

o I

lcc

I lr

l"

I

t_i

rd \d. sD?

^d/.u

q

tf),

?,t'l

XY:-;}","

*

HWffiL#;i;u'd

[e

Y.r CL+rO

uoo q alrou,td. Jo-a* L7 n[ L+'tD

.rb

Ye-t

q rU c-8 |X''un bile'n H ?l''?,t' ro tD o-''q_ (c (o CO I tt I (D _f2)

fl;1;

un otDocr) _ dt dt ocDot2) (o do

?ll?P

oo

--q

#fi:],

x'k;"'[

ll'l

J{HI

)

[' tr d,fhA Wr\^/ 01rtry4 _^

YM^

/W W,

h,iiw

MEb

wvi(m,:m,w

7t\Nn

L*,

t

) t

l

ono *lD

Ki1

v.tD

charu[ oLD (m qcD {rn Cr--J. ,at\d

ffi?

sto

n$\

=

L

d''

hnr-{ {=o v f=o

1o'-=

_?:'

'*o

+

_?iw''*?l''

#

AS')= ro t

:l

*f

')=

_?Sn-r+ ?ln'nAe' n!:n

"{:

n,tO=

l'o

+

f

'l+O s

I

1"=

?SDn,

>+

?f'-,r?:'

(Tr _o

dn=

O'l

+

I'otl'l

=

l

t''=

7jn

ry

*3','' wz org'vn) q,jn=

_l'

t

t l'0 t

l'

o .4!D =t t

--4

H,-", 1

"l

n8

,L,n= _?!trnLr + ?i"rl,

+X[?-'?

]

"S,

_,t*',=

['l

o

+

l'r

*

l"o u*,'

:?:''d"?f''*

+t

7t'rn3

*t'=

o)r

l'ttl'

,U'20

_D

-o o{n= _?$n

"fr+f,'f;*#

*\

*l' )=

_^:tc+

('l 6 *fn= \

Tt..-e J,o.u.

flr-

e.*_*=ne

rrn^|.ffi

N'!-w-Miffi,H,Wtu

bb%

t*

_yorll'il:

'\',fLt

tt\\oot]

_a-

_U)

t,rutr

niLD=

kti,t)

f*eLsro 'JtcL/^'u- absl^l- (*cil"1,ll)

LU

V%qiG)=

I

ovg{, \[=

f

&o

(ottll

Cr) Cz) 'ltD 76 r * tD tr) ?f1 "lt ₎

*elu..llo-Eu\mffiYnry Lx u

i'e

_u=e

(*0^W:

?r,'I r r ii";

V

==

;f;

c5+

D)

lpl',o,rJ

,-S,

&,*"1

q-00 o0 OD o0

tl

A/eLd N= v-- D'cl h(L+rn) hA" ' )i : tl 00 D0 0o 00

I0 lt

0o o0 00

tl t0 tl

o0 0D 00

tt lD lt

00 oo

0o

tt

to

tt 00

o0

0o

tt

tD L to0

rf

tn

fo I oo {r I oo 0o

I

oo oo Loo oo ri t wut

lo0

ID t t ll tD 0o t t oo 00 OO OO 00 00 r

r

oo

r0

t t t I (0 ool oo I oo I

ril

{H

C -' ' Ct L tc )(r t Ctl _{c{CD >_o} Ctl

_c^z

ofurutfi

₊

c I () r -- _{/no ,, ^ Ar, l+}

ti't

_f.?

.-u,,.p,tL+< _.f, lftYY,

T;:-,1-C2) _^()) ID ?8"', Xi-t, _^-

?X

il"t .^l,wwlR-I u-l ----lu-P ta| ,tXrsgtd-. yon"

rrrt

nn^,lg _?Wrrta-L

*

rrrCD )= frio +m ,D **'f* ,.t?D)

=

_fb,

rn(D)

,,t'cr)

=

_f'(D)l,',crD

rrrht

"[?ol

=

t'r*

Yncu)

#?o)=

r+D'+#; o*+f"d=(,or

rl(,

olf

-dt-orj 6. _\

**1

ooo

/?rr

=

_tZP) .'- _(D)

=

_tir+f)

-Lt+#:q

=

r+

*+{+

D+X"&

h;V

"{,{

fi

l;,,;

,'}

,,hn:

r, corr) (t a r .,Cl)^^'- _I+D

+*

1 CD ) = | I -'/ | t'/ F (,

ot?o)=

_A^+

L+ D' rrn}) = t-t D'+D' xtoco) = PAna-r +o * ,)#+'oe=6t t ttour)

*,o

y=

C',rla,l

M

)

f,A.e-!J3e-lr oLiaerronY\a F. fu,ci'L 'bek d

#

(J

\-,

,\.\_/-s fo,\.\_/-s

sJ7xlz J'n&)a-

ztwr@

-f s-t0,[-[ So .>lA Sz 53

Va]-tA-0- 00 t0 0t tt

s

_€-

stuE

Affi

f^ilila-3p,po^fu[t

"l]:

?ccrr) a rcth- D +rt tn -z) 12) , bs,ttsttrr %f

u'-

zCn)i-? Cr *D t)\.-;d/ L 6l f'/ ,o ())

)v

ooD

PffiI

_vdeu' rlr _Y*"1

*rr-

_f r,^, r c n-Dtcn-z)

I "tt, $' .So I 0o

s1

_I

,o I

s2 I

ol I

s3 |

rl c I O I o I 0 t 9o Sr S2 s3 So S1 Sz_ S3 OD to ol tt oo t0 ot ll

f c o

o

lr o

o

lcto

Itto

looti II

lr

o ti

0o

ll lo ol II OO DI

lo

rill{D

,o. _{--.LO (Fi-*}CDd-e- *'t\.tt- * *lb IJ So Io Io

I-ll

vr tf rl (l tl

il

_t r_ l--l t1 I _lo' il -f I t S2 !s3 -t7 sz ,r -) S1 0l z *a-il- D) z6a h,i6

cL\o-ad{'kA

to"th'a-ryY\\fiw

.tC "rnl1=

Cto0tr)

_,il

,lr

=

(::,'orll

_'rt'r

orrots")f

-ttu

*4.'4M

W

;*r

Mk-.*.*Uffibj,fi

^!_0,,1

"*#ffiffi."rr

"C "&' -

t to^n e on[ tl,.'u

0€

z$,DIl f

-ffi0-*'

*u{.id, J'fi*

t, o'* t) _e'

h)er.ll c^A tbljlt ji^r -/

"Sl So SL s3 {=o oo oo \a, I \ ---- t0

z3

L 56+ zu'D Uib

*.W;

-{'ffi1d

ry

P-rdo,tun;

r. Fo\

#\!-

l,.rvl;i^z_

Tf.i;;

;" _W

h-u,l,Dt^-l-d) 4fu4 l}rc ,cnctr y.tnf-r-6,r4L Cfft'rte)ilt

(b

t

trffi

r\Ao

,Mq

ild,tb

.T,,,*-,

d\i)

\-

tr,ri,np #.lla-

.:

I}-otkr *n:ttrn ,{rud,L

-t7,.lu t.M?

/li' n

,,

(l 0

o'll)

tft

_,lr ( _toYn)

G""Iq-

to) uc;neLY ,-i* a L-' B{i DE_,c

d

wl+,^ Fd\ o-- Llr li D ?o)= ,ro

)

f'=

lo t ,C,trrrrr&Uffi*n

,f>

rr '

Gi) fjrve q^lu-\Afe{ .ancdffx

r?iir { cod-u ,-'*trr& ,<fr\)'rAfon&tnV

u t')

I;^Y**f?',7

5 "^"d",'

-idw

( a***;n

P v

f\-@

_{A*'v,Lb *ftry1g'..} t1 u r'( l{-t'l) [r.rr 01) ?t'': r r o

lo'-

tc I

!t":

rr\

t?r@WW

tr=b ₎ K=l > "ryl

=2-I

(z^> l .t')

l-1.-;

*'t1*=r--

fU-T,I

)

\

_!,*.:P

L\

I

liri

gx#|

g=:ili,c,+z)

I I

I-ttt Iot oti o0ooooco'oo"l

I

Iooottltotottoo0ooolJ;ll

looo

ooo

ttl

tot

otrooo ooo

t

I

(4--

\:3:;3i

#

jJ;

IIJ

[1

li:

\

I ' IOOO OOO0t;t" l)Ltt-t l'tt \L'/r - i I

t_

57L'

I 6tflil Yn = Ct t to D a ae _^,^^ r.r o I -dJ^^i-do11^oril

q+'""0^J13-

\

I

i,)=

_d''

;+

rn

=

tlto) x(t ll o

iJ

I

jr..ljH*

tilot

) 'Ldy-/\d ,1 rt) ) ,) C) @ln 3 t')

c2) C= = J2-) ₌ L (D f ':x m Derc_.. ( tot) >+ ftorr\J trot) >+CurDl)

tt\ ol

^(z) t- = ClllJO)l)o,,Orf) C

rtr)

x(ruDr)

I ll ol Ll

)o)l-,oro;l)r)

( t, I )of or cot) lic, tpc)lOl) cll

I o I c3i) \-. ...-I I I _c5) _ (--I J o\f= cs

*\n

J{T-

d-vt^^au>',:-co

vtP=

tt"

|'-tD

_{u rr..)}

=

l+ D _z ff'"(D)

=

l+o*D 5 [''Cr;

=

_fDr,

x

'nn cD)

t''(r)

₌

(r+o)' ( | +D*

**tD

ocil ₌

_{i+\t{+f*b,1$+#"f}

L

rr')ro)

₌

I-t

o3u",t+

f

)

r

-cr)_

_tf

oaltro)

^rC

tlr%

c%o)=

f'*

'Yrl cED

=

[r+D')'(t+D**+D+)

.

₌

_1+e+Xs&;t* tlnX**"

2

t+ D+D5+# on.

*D* Ll totoor)

C5)(,D= 7cg:CO rn('D) L LL,,)- 0 \---_2_1 _rri 2,rg

--

Li*D+f)

Cr-D+D-+

-*

l*\

_"A{+ff+e6

+fuJt*\+o\+X*'q

='

t+ u2+ Y5+De

."

ccL= ClDloclD

,,0 \/=.tl l) oto )oolrl' o)loollol''ott)'

I i ! -r 3.

s

alfl,

/*eir- -9'-b+, n?^6dasl\-ai'

l'-1B*-I-(ra

W

Wear"xo,r.l f:-aukm

rr

g,{nfo- s'GJa

frilz}e--rtCrr) + otCn-t) .I_C111 _+rtcn-z)

=

t

tn) +?ttn-t

l

L+ +D ct) A v --? (2) , Lb tb) L f D

jft@

+1t0.-,

-fiIlut_t;p,64 vafuir tlr _LrgI+ V t_,;,te.. ...1....r.r. I cr) ( 2-) _Ca) tt$r) x.[n -r)'rto 4)l e c c 0oo

tg?

olo

tlo

ooo

ttl

_€ 10t

ctc

So 00 O I =St6 s\ 00to S1 to 0 t se-33 ol ll '-32 ol o i So S1 oo lo o I ot ot ollI oo s3 _II o { S2 S3 ol tl

o It

I

ti

lle

0 cl

t loro

't,l

6l _to ?To-2

'n cca) COd! Ett- 1

*7=(

ttrlt}

sg }C

rl

CI lc

tt

co

Ic

CI

000

,f

It\ 0t O 0t o -tfl \^^^a=[trtottr)al ,,t >D S> otl Ito ot _o r{= oJ loo₎ r) ll t) \{= _[r u r o Io roo lT ll o-' [D O, tol _rolt)

,r

(rrt, D to) oo l, ot0t0o ll,ora tr (, f oo So .t"1 .n^^tr =(L

rtpf

9?Jo _tl^ -lr- ) O s3 US t0l ooil _o I

z

ttb t00 Sg 001 , _OtO 00, CCt Sj

gg&-So ooo Sr t t).. I,i \ rtt\ \ 'r\ z\ oto\ \ /r .r ' _o(o\ o/ *,/ \ 8z $Yt or0 \ i"; ) - -o-[ \ ----S3 o { 'b.fi

*? W'*t

tttot)

6,da^uo@ = (Ltt)0tD,0olr ttor t0o, \DlI

ou)

r

r-6t t-. u, tol / \

4*

r**

I I ollt 00 ro

Il

0l

lt 00 1o

t(

0t oc o0 t0 t t 00 Ccl Do tD t to 1 O tl] ) rn=_]

alvMulM

td#fl*-V

_K=l

sl

pnF,Oohr- 11 =L ₎

<_^

l) cr . ol _f .@ €z *r^ LXl1 P+rn) "is+fi=;a16 q-lo o0 0() CC CC 00 00 0D 00 ll 00 0f tl t1 0f o0 oo oo 00 u r. ',.I. ,;,

Ngoo

f:

Dq C/oo {(J 00 00 00

tl

oo oo

ol ll

oo

ll o/

tt (D

tt

_ot

Iro

/J;

l0o

fo"

il or

l/

lo lr

0r 00 f0 U oo 00 to o0 00 00 [o+otD

(= L'?:1,11,

l;1

Hil[]:'):

*)

(= tlDl

t.l _rQt, o ttotrlot)

ot l]

f=

_Llo, ilr ottstt olr tas lat ,,).

r

tt) c t) L: *titl'T^CcD o(D1.- t*r*,3_{n-'LD)= lt} D+ tr

u

_-L.# Prn

-

e+

o'-o

rn[o)

₌

t+

u3+D-.tD=

[ \tD+o) [t+#-tDD

=

t +

X*{-

D + X--t dt. X*#+ o? 4o

--

l+D

t

':Toe*Du

;.

D;-l oo oD I )o oo I f r oD

l;

ttlt

I

l

t

l,)

,-_

7(4_fi.m(o)

t')--o 1,.n,#al) Cr+ o3t'6O

.---*-'

-t _o+*

Xi

d

-t&\

*'fu X*

#

atD

₌

P+*+d+ok+o+ '" .. ,

to=

'q,*rH:)*SUf?r"

'Cr) rttooolll) ooo 'r*= 6tottitoot)

.

c--

c,o, ll)oltot.,ol)to'

t'"')

r

G ' jA ^t'*un n'*'

r

Fc

in-

ct;#;lrff#

_{q0^e4jre,\L!4}

$x'

4"il

fr!

Si, '

"'o

7Lt)-- Ct o t) dL+ (t t a)

tir

'ftrnr

i-;"f"

E'P'rDa h

ttb

,-""^tM

an'i'n

q'f'r"oo^A

'

ft or'.') Lr) C 4 rj) C A(2)

E|" uPu/r tleAtuih;

n

a] rr.!i :..,, t') !r CD C-{ o ot

?'=

r0 oa2

(li

T';

(rr) crD) Lr r) trl tot ooo t t t c00 0 00

-)L>

'rr( ++rn) =) . _Z^1, ex z _lL(z+ r) D= tt ot) 9r-ooo ooo r of 000 t tt l0l a Or cr) &

fr

t,

b

q=

Qr l.'\ to\ oo l.'tl o0 0 00

!'-'

ttotl

coo [01 It\ ooo 00 0 tDt r C1 = Ll I t r1 o \,

\\rtotl

d"&) . [ ; t, t\) 'tv ul-fur". tlr _^ufuh

fi

oE ,u) t2) _{r C2-)} L.3I L{) I =) _:) Lx _3Y n-(L+To)_1L ooo-l ooo \

Lroj

r= hz LL=

_[

t

tol

t0

t to oo o(D oCI ooo

f

oto

tto

ooo

I

oo0

olo

tto

I

ooo ooo oto

LLD

c>=

&

Qz-oo.-l 600 I It

,j

oCI0 t(0 ot0 Cz=toto., l

*9=

_'3y= c0\) Lt D "#'=-CoO rL) \ d* '= (. tto)

I

0 o.

f

I oro o

,)

)/ 0

ctAtu^ f\r _dirnctl 'olP 'td :)

(= q +LL

C1 lt\rLDl) ltl)tol

ulh"[, sLuil^lo ir.l _{PDfl? -7} qio= _L t\) 2 ltr> ,r\ ?lrr= c ro) -- \ "rtO- [rt) ₌ l+D

t;;(D)=

_{ttot) =}

l+&

oo' ) _{,r1t)*..,rr) : )} Cr +il t')=

?:')*Co

=

tt+ P ct

₌

-frr

t,i;

t+uz+ D+#

.fr=

,nD+ **os * (t t

lt)

8)=

ff",^CD)

:

l+ DL= tto ro)

\D=

ofo-Cp)

=

C i+

p)

Clru') C1 = -(r rrr\y) _{L g}

:

t+D-+D* o = t+D+**#,

_;iittD

rrl I rut'| C r ₌ UOL Ico; ou, ct= C ll'l ) lol, I ) 001,, t0 D 0 t C e ) I

6.

rrr.__.rmnxdh

a

c,ovw$"rfrfi.nQl wqd-rl il"4^^n g j/1 ffi ' _{^ ^r} rl o- n,orr^ff\ n '

,fl.

%

ffi

ffiY

\'^& c^rcDc,^'lr

ut)

tr,,\

"-^f

LD\t \

tti) v,^'t^d

tlr

rlr/rt

-EJo'sroJfu *r) oC\= Cl t) 1,q- rt r)

x'L'

cso -+ o ) [st+ i r) o) z) srolI,

@*oWe<

o t cr L o t .*)

1o

ol

U;rr) 7 /&a-trL \drrr!,| _"fn .rcn -D o t O t 6 t o t o I o I i ' tr 'l

CDdr fr&a"-I s, ccd.oJ,:Ltrcl-''=

.tfl

Y^lfl= ( tottD fo 11 -> t] 3o Ib _So

ot

,l

0 o So Si 0,..-5o )ol rol)l') (rtrto)ll cr r)

=

ttD) 0o-] oo I 60 I oo I I.OJ oo

13

ax (o+r)' 'x tL \r io 0o oo tl t0

co co

tt Cc 00 0o cc co oc oo 00 o0 00 lD 00 tr t0 Co tt q=

0 oo (= D'Ct

(=

Lr olrr]

L=ft

[ ; i,

fr

)lr l) o) l) l) o) ll o)l)l) o oo o 00 0 ?s3 tt I I lo o tt o o0 o oo 0 oo o0 00 t0 oc> f 1 t D ao t I o o oo o1 ol ol ol o_J ,( )z