( $ % !) % (
* $ + *(%
( !",, (
$ $
% (* $
$ (* $ .
** (* *(
*% /0**(
* * $ + *(%
Æ .
% &
0 *( $
**(
% 1 * $ %
' * 0*
- % / $ 2
-( '%
3 4 * *
$
% &/56
"%" % % % % % % % % % % % % % % % % % % "
"% 3% % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % 7
%" 6 % % % % % % % % % % % % % % % % % % % % % % % % % ,
% 1 ! & % % % % % % % % % % % 8
%7 2 ! & % % % % % % % % % % % % % "7
%9 1 % % % % % % % % % % % % % % % % % % % % % ",
!
7%" % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % ":
7% !5 % % % % % % % % % % % % % % % % % % % % % "8
7%7 & % % % % % % % % % % % % % % % % % % % % % % % % % % % % % %
7%9 2 % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % 7
7%, & 5 % % % % % % % % 7
" # $% &
9%" 15 ! & % % % % % % % % % ,
9% ! 15% % % % % % % % % % % % ;
9%7 ! 1 5 % % % % % % % % % % % <
9%; - &% % % % % % % % % % % % % % % % % % % % % % % 7
9%;%" + = = % % % % % % % % % % % % % % % % % % % % % 77
' #
,%" & 15 > ? % % % % % % % % % % % % % % % % % % 7,
,% @(
15 % % % % % % % % % % % % % % % % % % % % % % % % % % % % % 7;
( %& # $ ")
;%" % % % % % % % % % % % % % % % % % % % % % % % % % % % 9
;% &/56 % % % % % % % % % % % % % 97
;%%" = 6 % % % % % % % % % % % % % % % % 99
;%% = ! % % % % % % % % % % % % % % % % % 9;
;%%7 & % % % % % % % % % % % % % % % % % % 98
;%7 ) % % % % % % % % % % % % ,
"%" % % % % % % % % % % % % % % % % % % % % %
%" + *( % % % % % % % % % % % :
% 1 A$ % % % "7
%7 1 2 * *
-2% % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % "<
7%" ! B9% % % % % % % % % % % % % %
7% 1 % % % % % % % % % % % % % "
9%" # & ' % # # *
* $ % % % % % % % % % % % % % % % :
9% & 2 % % % % % % % % % % % % % % % % % % % 8
9%7 & ' % % % % % % % % % % % % % % % % % % % % % % % 7"
,%" ' % % % % % % % % % % % % % % 7,
,% ' >? % % % % % % % % % % % % % % % 7;
,%7 2 $ ( '
,%# B7% % % % % % % % % % % % % % % % % % % % % % % % 7:
,%9 2 $ ( '
,%# B9% % % % % % % % % % % % % % % % % % % % % % % % 78
;%" $
% % % % % % % % % % % % % % % % % % % % % % % % % 9,
;% * *
$ % '
;%7 6 2
% % % % % % % % % % % % % % % % % % % % % % % % % % % ,"
;%9 6 2
* $ 2 * 2
C"8: 777D%
2( * % /
* $ $ * 2 *
$C"<"8D
* 2 2 ( %
/ *(
'C",<D**>0$*%?
$ "%"%
* $
% & $ *
E
%
0 $
E
* 20
#%
0 * E
*
20#%
*%
# *
% /
# B
#% #
" $ *%
#%
# B
Decoder
Encoder
Channel
F
"%"G %
* * '
# B ### "%"#
B
##
# "%#
%
##
#
# * 2 $ $%
' #%
0 $ $ *
$ %
/ *( * *
*% @ # *
0 *% *
( # (
*% * * $
* 20
# 0 20 # 0
( % 2
F
B 2
$ $
20
#
F
B 2
2
## "%9#
$ $
* 20#%
/ $ # 0
# %
* 4
* *
#B
# "%,#
*
# " *%
* $$
0 Æ
* 20
# # %
* $
% /*$* .
C;D /. C77D 0 5-
2 % H -
C", <D * $ *
0 * $ *( $
0%
Æ
$*% I * >50$@*%? !$
C,D 2 *( 0 $ *%
7%
/ ' * 0
' * % & 2
' * '
2 2
% 9%
$ $
%
,$
' >?( %
' $
2 %
34';
&/56$ $
/0+*(
C;D C77D *
-*( 0 C", <D%
* *( $*
-% *
' * ( * 2%
$ Æ 0
$ *% 2 J
B J
#
J
J
J
B J
# J
#
% * *( >50
$@*%? ! * C7D%
+, / J# *
J G G $ $
$ J %%
J#BJ % $
$ $ %
-.&,
2#*
$ %
* *( 2 $% &
J#* # $
* *%
& %
# $
%
%#
**$
2-% $"%7 "%9
-0 J#
2# $%
/* J# 2# = % / * 0% @ $($ % " B # $ #
% @ B
B B #% / $
* " B" * $
G * $% / *
% @ G
#B # / % /
0 %% *$
G * #B # -.&,
3 2 0
( 2 B
" " " "
" " " "
" " " " $ # * $ * * (
* F F
F
#%
/ "%9 J# % %
F B C
##J#D B"< %"#
* # 0 * *%
2 * (
* * #B #J #J # %#
* * 0 0 #
*%
%"0 J#
* * (% ( # % % % % % % # # # #
& 2* % &
Ù ¼ × ¼ Ý ¼ Ù ½ × ½ Ý ½ Ù ¾ × ¾ Ý ¾ Ù ½ × ½ Ý ½
%"G + *( %
* #% #% #
2 $ %
(* **' " #B # # # # # # %7#
0+
*( C",D %"%
* $ $
*
$ $ * ' %7
% 0 %
$ * *
-(% *
#
*
B
# 0 *%
*
#B
##% !0
%7 J#
2# * $
( ( $%
0 $ +1 C;D
= C8 8D $%
!
-0 Æ #
$% 0
$ * $
%
*2%
-.&,
* *
!#"!# * Æ
!##
"!#
%
&0
!#"!#
"!#
!##%
/ 0 *
$ % ' $ *
+, & * $2
* $
$2 * * $% )$
$* $
%
/ ' * $2 $
* *%
@ ' $ $ B " $2
*
% $2 ' $2 #
$ G %% $ % (
$22 $2 #
* ( 0
$ %% $ #B # $ # %9#
/$2$>?
% G % #B # $ # %,# >? % 0 % / %
$2 $2 # * $2
$ % $
* %
$$$*
#% $$$
$2 * $
% %
* * $% *
% $
$ *(% &
$2%
*($2
*% I*$**
% 3 $
%
/( *
0% @&''$% $
* & ' ( ' * % @ (
$& (
$
'% * & '
* $2 (
$2 (
* $
$2 (
(
$
% 2
$ %
/ & ' * $*
(
(
( $ (
0 $
$ '% $
$ (
% %%
(
B "% / (
" &
( 0 $ $
'% )
( 0 $ $ &%
$ $2 0
%
$2 & (
% +
(0$$&% &$
* '
& * 0% &
( 0$ $ &%
' $ $
* (
$ % * (
( %% ( $ $
-$ $ * $
$%
-.&,
@ 2 $ %
0 ' %7 * '
**% * *
*$
*(
# "% /
$
*(
#
# " (
#
#
#
B
$ 2#
* (
#%
' * % B9%
& 2
*% $ ",
;7< 9: *% * ,; :<%
* ; < < ;% 6* ; < $ $
1
2
3
4
5
6
7
8
%G 1 A$ %
% * %
" # !$% !
@ $2 & * &# )&#%
$$ )&#"
**( )&#"# 0 $
$2 &# * * ( % /
* $ )&# * $ % &
$2 & ( )&# %
& $2 $2
%
* * $
$ * * )&#
$2 $2
)&# % + * $
"
7 ; % @
% @ B
B" "% &
$ % B B % * * B %:# * B B "
$ 7 ; % / $ *
*
* %
$2 $2
% )&#J"*
$2 & )&# )&#J"
* $ % *
)&#J" % $
* 7)&# %
$ $ $ 7)&#
% 0
$ $ )&# %
$2 (
& 2
C":D 7
*
J2
*
% %<%
& #
5$'*
$2*$
%
* * * $
2 ' *
* *%
* ' 2 *%
*$
% @
$% $ $
$ *
%
" * * % * $
' $
* (
2 $
% $%#
$ * * ' % /
* *$
% /$
* * *
$% * 2 * * Æ
. CD% * *
$ $ $ ' * * *
$' *$$2 * 2*
' 2%
'2*$$2
*'
$2
* $2 *
C", 9%,D% /
7%
2 ' $
0 $
$ 6 - C";D%
* 2 '
0 * ' $
2 $ %
& 2 '
**2$*'
* $ $2 ' *
$*$0*
* 2%
-.&,
/ $ 2 * *
' * 2 '
%
2 ' $ 0%
%
'* $2 $%7#% @
0 + 0 *%
@ + *% 2
$ * % + %< *
+ * * Æ
*J7*
"% *
* '
* %7# * $2
*
+Æ*J*
"% '
#
#
!
/($
#% $
C,D * Æ 0
$ *% & '
C",D% 3 ' * * $
%
" !
$ 6 G
, G
$
,#B
7%"#
/ * B
% @ B
B
*
"%
2 7%" 0% /
*
,
#B
#
7%#
2 * J % 2 ,
$ $
$ * %% #
B
B
J . % /
B
$2 * , %
' * $ $2 % *
' $
$2 %
"
5$ * C",D *
$2 $ $ * * $
* %
5$ * * $
$ % & $
%% $# %
C",D * 2 #
$2 ' %
' * $2
$2 * *
' * $2
%
/ %
$
% * *
# *
# *
*
J .
#% 7%" * B9%
* * $
-%
'
'
* *
2
7%"G ! B9%
% J).
J . *
%
J#JJ)# BJJJ) . * J
J) % *
*
$ %
*
% $ $2
B
" % ' * $2
* $2 *
# ' $2 # 4 # B "% /
$2 *
B
*'$2" $2 J"
*
B
' $2 % $ ' *
7% * $2
* * * %
"" !
' *$ $2
* * *
$*
% /
B
$2 % J . * 2
*
$2 % " *
$2
"
J"
B,
B
$2 J"% 6**
0
* '
,%
$2
$2 "% $ % / $2
$ $2 " $2 J"%
* $2 J" $ $2 %
,% $2
J"
* $
# *
*%
B
B
. 7%7#
, B
$2 * * 2
* $ $
%
$
C,D% / * % & $ 2*
$2 $
B
È
7%9#
> ? $ % & 2
* # # $
B
È
7%,#
"& # !$%
" $2 J"$ 0 $2 0
% 3 $
0
%
$2 J" * ( B * B
# "#
B "#
*
2 $ %
"' ( ! (
&//B C"9D% * 2 , #B # 7%;# * 2 7%% /
B" * % *
% * $ ' % 6 *$ ' * 2
# 2 2
#% / ' * % % **
2 %%
% * 2
** * # $ $ ' *
2%
/**'*(
( * $ * *
" # $
$ ' *
9%"
2% + ' * *
-$ 2
%
J#* -
$ $%
$
C7D * - %
&
!
+, & *$
* $ *
( $
* $ %
& '* '%
'
*$%
* $ $
G
'
* $
%
* $
$ $2%
( * ' % +
0 * *
$ $ %
%
* $ $% $ *
$2 %
C<D 5. *
( C"D2
* C7D% *
' * ,# >?
* 2 0 *
2 ' %
& )
@ / ' * $ " *
(
#% / ' / *
$
# $2
% / * * * ( (* *
$
# $ % *
% / ( % $
$ $2 * $2 *
*
* $2 $ $2% (
$
% %
$ 2
'
* $ * $%
''
$ * $ #B # $ # 9%"#
* B
% ' '$% +$ '* ' % * ( $ ( $ * % * 4 % ( ' % $ *
$ 4
4% 2
9%"%
-.&,
9%" * $ ' * ' %
4
% (* $2
* $ $ #B # # $ # 9%#
2 $
$ %
&" ) #%
9
, "
7
, "
7
$
$
$
$
$ $
# #
9%"G # & ' % # #* *
$ %
$ % 9% 2
%
/ *
%
* ( 2 *
% 2$
$2
' $2%
% *
$ * * *
9%G & 2
&& % ) #%
/ ' 9%#
0 ' % @ /
* ' % / ( / *
$% % @ $ $
$ & & %
/ $ *
& &% @$
#B"% 6* '%
$ $
$ $
* % * $
$
$ $
% / '**2 '
$ #B $ # ! # 9%7# $ #B $ # ! # 9%9# * * $ % * #B ! # 9%,# * * $ #B $ # # 9%;# $ #B $ # # 9%<# * * $ % / $ $ ' $ $ $
2% $
$ $ $ $ $ $ $ $
$ 0 2
0 B # *
$ B 0 " $ $ B 0$ 9%:#
* $ 2 4
2 2
$ $ " 7 9
9%7G & ' %
-.&,
9%7*'(
% *** $ #B # # # #$ # 9%8# @ #B # # # # 9%"# * * $ #B $ # # 9%""#
9%;% & 2 *
&' * !
0 $
*
$
#B
!
# 9%"#
/ 2
# 9%,
*
% *$
#B
# 9%"7#
* 0 (
$
2 0 * * %
/ * ( >? $ % +
$*0
* $ 1
#% +
2 %9 *
$2 *
1
#B$
#$
# 9%"9#
%% 1 -* $ $ $
% $
0 "
0 $ $
$
$ ( -*
$ %
&+ )! !
/*
J#*
>-?% 6* 2 0 2
$ 0 $
2% * $ 0%
-$ * $ $
$ $
* %
1 0 ** 0 $
4 0 "
%
J# 2 0 $
C"<D $ 0 *
$ $ 0 0 "
$ $ %
/ *( $$ $*
20 % 2***
-* $
2%
2 $ * $
$ 2 ( $ $ $
* 2 % 0
( C9D%
$, 2 0 $ $
0 B
)
9%",#
/ )% $ $
2
B
J)
J
)
$ 0 0 "
2
)
2
)
$%
3 * 2
)#
* $
2
)#
BJ
)
J)#
)
J 9%"<#
/ * 2 $
(
2 C"D $ $
* $# 2
%
>-? %% *
J# $ C7D C"D CD% !
% & #
' , - #
% * $ * * '
-$ % * Æ *
('
*
(
#
* (
#
,%"% '
$2
2 %
$ Æ
(
#0 %7%
* *
%
#
# ' ,%"% *
3 3
3
4
4
,%G ' >? %
$* * * 0
#B
#
#
# ,%"#
' * ,%%
$
C7D $ 4 4
2
% Æ%
0 4
4
3
( 4
4 % & $
$3
%
' )! )! ./
/',%*($
0 %% #B # # # ,%# / $ ' >? # % #
# * 0
%
/',%%% B7 B9% @
$ $% / $ *
"-2#% *
# # % # 0 #J
"#B"
# #% * * # ## % * * ( %#
,%7 * B7 *
"% 3 4 4
4
4 %# ,%9*
B9 * " %
* 2 $
#
#,% /
* , 2
,% C7D
$ $ '
% ' 2
%% , $ * *
Exact
Iterative
,%7G 2 $ ('
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Exact
Iterative
,%9G 2 $ ('
' $ #
C" 9D
$*
* 0 ( ( %
I * 5 * $ *
$ $ > ? C:D%
+ % )
(% C9D * $ $
( #
5 2% @
5#B#5
#5 $ 5#% $
*
6
$ 6
J6
;%"#
*
6
B 5
# ;%#
6
B
5
/ % /
C"7D %%
$ " * $
# B"# ;%9#
$%
# *%
*% *
"% ) ;%9# # $
% *
5 $ %% ###5 4 # 5# 6
$
2 $*
***
(0*% *(5 $
# $
# * 5
#5#
*4*
% @6
%
5#B 5
#5#
*
4 7 %
6* (
0 * * 6
* *
6
B
%
% 6
%
5# ;%,#
*
%
* *7% 6 2
* $6
$ (
0 ' $ *
%
%
6***
% /*5 6
0 (0%
& C9D 5
*4*8
*8
* &
%
/ * * 6
% 5
#
6
% 5
#B
-'Æ (
;%;#
*Æ B7 $
+ $%
5 #%
/$$(C9D% @
%
$
* ( % / $
9Æ#B
"
Æ
.Æ" ;%<#
% B
-)Æ(
;%:#
* ÆB7 %
;%,# ;%;# ;%:# * * 6
6
B
Æ
-'Æ)Æ(
;%8#
/ $
*
Æ
:Æ#J9Æ# ;%"#
6 :Æ# 9Æ#
%
/ * * *$ * 6
0
% * $;"#;%8#** $6
0 *
Æ
:Æ#J9Æ#.% / ;"# *
** * %
Æ C9D% 3 Æ
*
%
6* * * 5
% /
5 B##5 5 ;%""#
*#
$ $% 6* 5 $
####BJJ##B# ;%"#
5 $* $ 5 %
6 5 * 0 %
/ 5 6
0 (
% 5$ * 5 * 6
* *$ %
+ % ) 0 #
$ * 5 &/56# *
" J" " $
5 $ $%
% %% * $
B#J! ;%"7#
* ".! %%$
5 * 0 $ %
% B %
H $ 5
5 # #%
#BJ!# !# %%5$*
$ ( B# *
%% $ * 5 * 0 $ %
%
* 5 # *B# %
4 $ 4 :Æ%
# 4
% / *%
3
B
#
%
.8 ;%"9#
$ 8% 6
B
#
* $. % # ! $
** $ B#J! * $ B!#%
* !
! B # $ $
%
% 5# # $ %
( 8
%
6* * 6
%
5# B 5
#5# *
*
4
7 %
*
# * " &/56 #
*
# * (
* % * ( 5
#5#
$ 5
#5# $ 5
#%
;%" 5
# 5#%
5 # 5# 9 B %
9
9
)
5
#
5#
;%"G $
%
B# $ )B
7% ;%" * 5
#5#
* B
9
#
( 8
* % (ÆB7 * $
B%
"Æ%
;%",#
$ 9
#
9
( *
< &
K"##%
"-
- %# /
%
/
=5
##
%
#
8
;%";#
=5
#5##.
%
"Æ%
#
8
#
6
%
5#B6
Æ
5# 6
Æ 6 Æ . %
"Æ% # 8 ;%":# *$ 6 Æ "
"Æ% # ;%"8# % %% :Æ% #B "
"Æ% # ;%# * $ Æ "
"Æ%
#J9Æ#. ;%"#
* $ " % = Æ "
-)Æ Æ ;%# "% #;%# $
0 (
Æ $ Æ Æ % /* ( B #
.8 ;%7#
* ( $ $ % 0% 0 % $
* ( 8
( 8 % È # . 8
# . 8
0
5# 5 # 9 )B 7 7 7 9B%
;%G * *
$ % ' % %# 6
*B
#
%%5$* 0 $% * $ È # % .8 È #
.8 * "%
/ 5
# #* % # $ # * (
#% ;% ' 5
# 5#
# #% /
4 7
) *
B
# B #
7% ;%" *
5
#5# 9 * 9
* 9 B %
%
0
0 * $ 7 B 7 *$ B 7
"7 B
Æ
"Æ
;%9#
' # 9 B% " Æ
"Æ#%
;%,#
$
=5
#5##.
% " Æ
"Æ#% 8 # ;%;# / $ =5 ##B % # 8 # ;%<# 6 Æ B =5
#5##
=5 ## B % " Æ
"Æ#% 8 ;%:# * 6 Æ " " Æ
"Æ#% # ;%8# % %% :Æ% #B " " Æ
"Æ#% # ;%7# Æ " " Æ
"Æ#%
#J9Æ#. ;%7"#
* $ " % = Æ "
-)Æ
Æ
"Æ# ;%7#
B "%
#
$ 0 (
Æ $
Æ
Æ
I ;%7# $ #
$ > ?
%
$ C,D%
* * 5
%
* ( $* #
$ $
#*$8
#% '$
$ #% (
* 5 0
$* :Æ#$
:Æ%
#BÆ# 2
Ê
ÆÆ
/<# #Æ##) ;%77#
*
/< Æ#B < Æ
<
#J" #< Æ
" #<
# ;%79#
<#B6#J6"##B "
<%
&*
J
&*
# ;%7,#
#B
6"#
6#J6"# B
"
"J -&*
#
;%7;#
20 ;%77# 2 $ Æ#
* 2 $
Æ
#B
9 #" ##<#
"J
"J9( #" ##
* (
Æ#)BÆ%
+" 1! * ! #
&$*
%
*
9Æ#BÆ#J"# ;%7:#
/ $
$
$% ;%7
B "%
# *
% ;%9
2
B" %
# *
% / $ B
%# /
$$ *
#
* 2%
&$% /*
%
Æ
:Æ%
#JÆ#J"#B ;%78#
$9Æ#*%
*
B
Æ
:Æ%
#Æ#
J" ;%9#
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
−25
−20
−15
−10
−5
0
5
Code Rate R
E
s
/N
o
(dB)
Variance only
Mean and variance
Full distribution
;%7G 6 2
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
−2
−1
0
1
2
3
4
5
6
7
8
Code Rate R
E
b
/N
o
(dB)
Variance only
Mean and variance
Full distribution
;%9G 6 2
( $
C"D % &' 5% I % !) >$ *
? + % <; !& & "88:%
CD %!%&'5%+%I %1%!)!%L>$!-
-+? M
% ;:N;8 1 "88:%
C7D % !% &' % 1% !) > 0 $ *?
$ -9; % 7,N79;!%
C9D % &' I% 1 &% M( % 1% !) % 1% % !M >+
O . ?
& "888%
C,D %&'I%1%1%!)%1%!M> &/56
?
I I* 6$ %
C;D @% % + 1% ( % 1( 1% $$ >3
0 ? $%
% :9N:<!"8<9%
C<D 5% + &% 5$2 % ' >6
G ?
5$% ";9N"< ! "887%
C:D % $ >& + ) +( *
& ?1 @ !3
C8D 5% % 1% > = &? $% ;" % ;:N<:
! "8<7%
C"D 5% % % % M +% ! >$
%?
% ""N" "88:%
C""D +% 1% >+ *(
? %%H$% 36"88<%
C"D % 5% 5 >@* ( ? !
$% -: % "N: 1"8;%
C"7D % 5 "#$% $ !G !%% %
"8;7%
C"9D 6% 1 & '( 6* P(G /%I% "8:,%
C",D %=%1&)#%6*P(G -=
"88;%
C";D % =% 1 % 1 >31 ? *
+ , ' / % 7;-7;;
1 "889%
C"<D % @ +% !(% '%H$
"88;%
C":D % @% @0 % 1% >@ *
2 ?-!
& % ",<N9"8::%
C"8D % 1% % !M % !% 6>5 $ ?
CD % 1% % !M % !% 6 >6 *
-( ? " $% 7 % ";9,N";9; "88;%
" $%77 % 9,<N9,:"88;%
C"D % 1% % !M>5- $ ?
$% -9, % 788N97"! "888%
CD % 1% !) % +% & % & % %
6* P(G I "8:8%
C7D % 1% !) % 1% % !M 1% -% >
. O . ? -
$%"; % % "9N", "88:%
C9D % 1% !) )% % 1-% >
-? $
' % 7;;N7<83 "88,%
C,D &%=%3%/% %$'')*
46%1%G I"8:8%
C;D 1% ((!'' ! &G!
M "8::%
C<D 5% % % % > ?
$% % 7<N7, "88%
C:D % !% >& $ * 2 ?
$% -< % ,77-,9< "8:"%
C8D &%1%=>)$
? $% -"7%;N;8
&"8;<%
C7"D P% / /% % > 5
?H+( H+N
-88-"9; )
C7D /% % P% / >3 2 2-
-?!)@ 88-78
C77D 6% / > 5 5? % 99