Конспект лекции по ТЭС
.pdfЛЕКЦИЯ 11
Прием дискретных сообщений при действии межсимвольной интерференции (МСИ).
МСИ и её причины. Каналы с памятью. Методы обработки сигналов в каналах с МСИ: адаптивная коррекция, приём в целом, приём по правилу ОМП, алгоритм Витерби. Использование обратной связи по решению.
|
Поэлементный приём при действии МСИ |
|
|
|
|
|
|
|
|
|
||||||||||
|
,!,/$&1!,/. ")$/#!.% &2 / !, (&L2$!$/#+-")$/&"# )( 1 " )( 1, |
|||||||||||||||||||
D" 2 / ',$/ !,- |
/ "! "#$(-"! "& z )/- r:1 &2 /, (, !, |
|
|
|
||||||||||||||||
|
|
|
|
|
w7z ` b (r br i b/r 8 w7z ` s (r sr i s/r 8 |
|
|
|
|
|
|
|
||||||||
1)$ |
br i |
,!,/&+&($2.9 |
&2 / |
i = < m < |
|
|
m 6]L2 |
|
,/*, &", |
|||||||||||
b (r |
7br < br H br M 8 |
/$) ,"$/#! "# &2 / |
$($),!!.% |
) ,!,/&+&($2 1 |
||||||||||||||||
&2 /, |
b/r |
7br < br H br D 8 |
/$) ,"$/#! "# &2 / |
$($),!!.% |
/$ |
|||||||||||||||
,!,/&+&($2 1 &2 /, z7t8 |
22, &1!,/, & E 2, !, &!"$( ,/$,!,/&+, )/&"$/#! "#0 |
|||||||||||||||||||
TQ T |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F ! 4&- |
(, ) ) 6&-6$+ / !,-" ( 3),05&% &2 / (, !, |
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
mM < mD < |
|
|
|
|
|
|
|
|
|
|
|
|
w z ` br i w z ` b (r br i b/r |
P b (r l b/r k w z ` b (r l br i b/r k |
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
l = |
k = |
|
|
|
|
|
|
|
|
|
|
|
>(& |
" " " && |
w z ` b (r br i b/r w z ` br i |
'" |
|
,),$" |
* ! 4&$9 |
|||||||||||||
(, ) ) 6&-)/-,!,/, 6$+ |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
/& |
|
|
&2 /. |
|
!, |
|
$($),'$ |
","& "&'$& |
!$+, & &2.$ |
" |
|||||||||
w7z ` b (r br i b/r 8 w7z ` b ( bi b/ 8 & P b (r l br i b/r k P b (l P bi P b/k |
)/- /06 1 |
|||||||||||||||||||
! 2$(, r > D" 2 (, &/ 2, &2 2, , |
"$(& (! 9$(-"! "& 6 )$" (, ! |
|
|
|||||||||||||||||
|
|
|
|
|
|
|
mM < |
|
mD < |
|
|
|
|
|
|
|
|
|
||
|
|
|
id QRU PQa P7bi 8 P b (l |
P b/k w z ` b (l bi b/k |
|
|
|
|
||||||||||||
|
|
|
|
|
i = <m < |
l = |
|
k = |
|
|
|
|
|
|
|
|
|
|
||
|
Вычислительная |
сложность |
6(,6 " & |
&1!,/ &/& |
/ 3! "# |
($,/&+,4&& |
||||||||||||||
($E,05$1 |
(, &/, 4$!& ,$"- '& / 2 |
$(,4&9 2! 3$!&- & )$/$!&- , !,&6 /$$ |
||||||||||||||||||
"( ) L2 &$ $(,4&& !$6% )&2.% )/- |
/ '$!&- ($+ /#",", |
>(& |
|
"&2,/#! 2 |
||||||||||||||||
|
|
|
|
|
||||||||||||||||
D/$2$!"! 2 |
(&L2$ ! 3! .'& /-"# |
w z ` b (r br i b/r |
D" 2 .'& /&"$/#!,- |
|||||||||||||||||
/ 3! "# 6(,6 " & )/-,!,/, |
( |
(4& !,/#!,$/&'&!$ mM D < /& D" '& / |
||||||||||||||||||
.(,+&"# '$($+ D !$!" " |
1 (-" '" .'& /&"$/#!,- / 3! "# |
(, "L" |
||||||||||||||||||
D |
!$!4&,/#! ( " 2 '& /, M D >(, "&'$& |
'"& !$+2 3! ($,/&+ ,"# |
||||||||||||||||||
"&2,/#!.9 |
(&L2 (& .'& /&"$/#! 9 / 3! "& ($.E,05$9 '& / HG= |
" 2 '" |
||||||||||||||||||
",$ '& / |
$(,4&9 !$6% )&2 .'& /-"# ($,/#! 2 ($2$!& +, ($2- T (, !$ |
|||||||||||||||||||
)/&"$/#! "& |
$($),'& )! 1 &2 /, |
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
>,(,2$"(. M & D ($)$/-0" &!"$( ,/ ,!,/&+, TQ 7M D <8T 6.'! M Q |
|||||||||||||||||||
1)$ Q "! &"$/#!,- |
,2-"# ,!,/, >,(,2$"( D ($)$/-$" +,)$(3 |
(& (&!-"&& |
||||||||||||||||||
($E$!&->(& D Q 6(,6 "$'&". ,$"-" /# ', "# D!$(1&& &1!,/, ,!,/&+&($2 1 |
||||||||||||||||||||
&2 /, >(& D Q D!$(1&-&1!,/, ,!,/&+&($2 1 &2 /, '&". ,$"- /! "#0 >(& |
||||||||||||||||||||
D" 2$/&'& ,$"-(,+/&'&2 "# &1!,/ '" / 'E,$" ,'$" (,6 ". (&L2!& , |
|
|||||||||||||||||||
|
Причины МСИ <8 1(,!&'$!! "# / . |
( ,!&- ,!,/, H8 !$(, ! 2$(! "# |
||||||||||||||||||
; & !$/&!$9! "# F; ,!,/, A8 2! 1 / '$ $ (, |
( "(,!$!&$ &1!,/, ,3$ $/& |
|||||||||||||||||||
E 2, !$" " |
&+:+, |
2$% " 9'& "# "&2,/#!.% |
,/1 (&"2 |
(&L2, !$ |
||||||||||||||||
(, '&",!!.% )/- ,!,/, ($+ |
,),$" >(&'L2 |
. &"# $(! "# |
(&L2, |
|||||||||||||||||
!$+2 3! ),3$ (& !$1(,!&'$!! 2$/&'$!&& 2 5! "& $($),"'& , |
|
|
|
|||||||||||||||||
<==
МСИ приводит к тому, что отсчёты на выходе СФ, которые используются для вынесения решения, будут искажены из-за наложения сигналов соседних символов.
Субоптимальные способы поэлементного приёма для каналов с МСИ
1. Использование |
выравнивающего фильтра 7 (($"&( 05&9 |
*&/#"( &/& |
D ,/,9+$(8 >(& D" 2 |
6$ '&",0" '" !,&6 /#E&9 ($) $(! 2 |
(&L2 !,! &" |
D" 2 /&-!&$2 % )! 1 E 2, ($!$6($1,0" .(, !& ,05&9 *&/#"( ",!, /& ,0" !, % )$ (&L2!& , ) ($E,05$9 %$2. 1 +,),'$9 -/-$"- "(,!$!&$"L2 (($4&& ; & F; ,!,/, 7'" 6. &1!,/#!.9 &2 /# !, (&L2$ s& 7t8
) /$" (-/ 9 " " 'L"! "&8 > /$ "(,!$!&- 6(,6 " , &1!,/, &/#!( 5,$"-
Недостатки<8$'&". ,$"-% )! 9 E 2 /& % )! 9 E 2 6$/.9 " !, .% )$ .(, !& ,05$1 *&/#"(, ! ",! &"- (,E$!!.2 "&2,/#!.9 (&L2!& (, '&",!!.9 )/- 6$/ 1 E 2, !$ "&2,/$! )/- (,E$!! 1 E 2, H8 /& &1!,/#!.9 &2 /# !, .% )$,!,/, L2 ', " "! 2 $"($6 )$" &2$"# ! /& " (($4&0 ; !$+2 3! )$/,"# " 2 '" D**&4&$!" $($),'& .(, !& ,05$1 *&/#"(, !, D"&% ', " ",% ) /3$! 6."# (,$! 6$!$'! "&
2. Использование обратной связи по решению (ОСР) >(& & /#+ ,!&& ($E$!&- &2 /,2 b ( " (.$ 6./& (&!-". ) ,!,/&+&($2 1 &2 /, '&",0"-
) "$(!.2& > !&2 * (2&($"-&1!,/ sd ( 7t8 " (.9 .'&",$"-&+ &1!,/, z7t8
& "(,!-$" .+ ,!! 0 $($),'$9 &2 / b ( D" 2 / ',$. /!-"# ($)!$!&$
* ! 4&& (, ) ) 6&- |
&2 /,2 b ( !$! 3! |
|
|
|
||||
|
` bi |
|
|
|
mD < |
` bi b/k |
|
|
d |
|
d |
|
d |
7<@<8 |
|||
w z s ( |
w z s |
( ` bi b/k P b/k w z s ( |
||||||
|
|
|
|
|
k = |
|
(4& !,/#!, mD < '" |
|
!"$( ,/ ,!,/&+, T 7D <8T , / 3! "# 6(,6 " & |
( |
|||||||
|
|
Q |
|
|
|
|
|
|
5$"$!! 2$!#E$'$2 (& "&2,/#! 9 6(,6 "$ |
|
|
|
|||||
Недостатки/& ($E$!&-6 ) " E&6 '!.2& " &1!,/ sd ( 7t8 !$6 )$" |
,),"# |
|||||||
*, "&'$& )$9 " 05&2 &1!,/ 2 s ( 7t8 7!$&)$,/#!,- 6(,"!,- -+#8 1), /$ $1 |
||||||||
.'&",!&- ! !$ |
" /# !$ |
"(,!&" " ($).) 5&% |
&2 / &+ |
&1!,/, |
||||
/$) 05&% &2 / , !, 6 ( " !$L" ) /!&"$/#!$& ,3$!&$&1!,/, \" 0
'$($)# (&$)L" ! .2 E&6 ,2 "$ +!& ,$" (, |
( "(,!$!&$ E&6 |
, ( "(,!$!&$ E&6 ($(,5,$"- " /# /$ (, &/#! 1 |
(&L2, ($)$/L!! 1 |
'& /, /$) 05&% &2 / >(& 6 /#E 2 "! E$!&& &1!,/:E 2 % )E$!&$ ,'$" , (,6 ". (&L2!& , .+ ,!!$!$&)$,/#! 9 !$+!,'&"$/#!$
3. Использование правила обобщённого максимального правдоподобия с ОСР >(, &/ 6 65L!! 1 2, &2,/#! 1 (, ) ) 6&- 7,/1 (&"2 / 1 & /,$,8
d |
|
d |
` bi b/k |
|
7<@H8 |
i QRU PQa w z s ( |
|
||||
i k |
|
|
|
|
|
>(& & /#+ ,!&& D" 1 (, &/, ,'$"$ ( 3),05&% ,(,2$"( . " ,$" |
|||||
4$ ' , &2 / b/k , &1!,/ 4$ |
' & &2 / b ( 2 |
$! &($"- |
4$ & 6(,"! 9 |
||
-+& >(& D" 2 . /!-$"- |
(&L2 |
|
4$/ 2 |
2, &2 2 |
(, ) ) 6&- |
/$) ,"$/#! "& &2 / 7bi b/k 8 ! |
D/$2$!"!.2 ($E$!&$2 |
$( 2 &2 / |
|||
D" 9 /$) ,"$/#! "& |
|
|
|
|
|
/ 3! "# 6(,6 " & ( (4& !,/#!, mD < & ($)!-"# * ! 4&0 |
(, ) ) 6&-!$ |
||||
! 3!$) "," & "$3$'" (& , 3$!$ '&". ,$"-(, ($)$/$!&$ $(-"! "$9 $($), ,$2.% &2 /
>(& 6(,6 "$ )/- ($)$/$!&- ($E$!&9 "( &"- )$($ &+ 4$ '$ $+2 3!.% &2 / )/&! 0 D &2 / !, $"-% " (.% "2$',0"- "$5&$ (,+! "&
<=<
B&/#6$(" 2$3) (&!-".2 &1!,/ 2 & "$5&2 (!.2 &1!,/ 2 $" & \", (,+! "# !,+. ,$"-2$"(& 9 "& ,'$"$($E$!&-.6&(,$"-,2.9 $( .9 &2 / " 1 "&)$($ 2$"(& , " ( 1 2&!&2,/#!,- ,"$2 1/, ! "6(, . ,0"- "$ $" &
" (.$!$/0',0"$6-&2 / ($E$!&- |
|
4. Алгоритм Витерби/1 (&"2 &"$(6& . /!-$" "&2,/#!.9 |
(&L2 4$/ 2 |
2, &2 2 (, ) ) 6&- /$) ,"$/#! "& &2 / |
|
id QRU PQa w z ` bi |
7<@A8 |
i |
|
>(& (, "&'$9 ($,/&+,4&& ($E$!&- .!-"- D/$2$!"! |
$( 2 &2 / |
b=i ,!,/&+&($2 9 |
/$) ,"$/#! "& &2 / bi 7b=i b/k 8 \" " ,/1 (&"2 6$+ |
|
/ 3! "# 6(,6 " & ( (4& !,/#!, mQ < |
|
|
,/1 (&"2$ &"$(6& "( &"- ($EL" , $+2 3!.% |
/$) ,"$/#! "$9 &2 / |
|
7 "$98 )/&! 9 n &2 / '#& &1!,/. (, !& ,0"- |
(&!-".2 &1!,/ 2 & )/-,3) 9 |
|
$" & !, ($EL"$.'& /-$"- -2$"(& , ,'$"$($E$!&-.6&(,$"-,2.9 $( .9 |
||
&2 / " 1 "& |
($EL"$ 2$"(& , " ( 1 2&!&2,/#!, ( 4$ $ (,6 ". "$ "& |
|
" (.$ &2$0" 6 /#E&$ 2$"(& & "6(, . ,0"- > "# " (.9 ",$"- !,+. ,0" .3& E&2 "L2 ;& / +/ ($EL" & "/&'&& " )$($, !$ (, "L" (& $/&'$!&& &!"$( ,/, ,!,/&+, /&!, ($EL" & 6.'! .6&(,$"-(, ! 9 !$/# &2 +!,'$!&-2 Q
<=H
ЛЕКЦИЯ 12
ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
Основные задачи и понятия теории информации. Проблемы оценки потенциальных возможностей передачи сообщений по реальным каналам связи. Количественное определение информации. Энтропия и другие информационные характеристики источника дискретных сообщений.
Информация D" ! "#$)$!&9 L 2 3! +), ,"# !&'" 3,"# %(,!&"# $($), ,"# & ($) ", /-"# /06 9 ) 6! 9 * (2$ !, 6. ,$" /$+! 9 & 6$ /$+! 9 ) "$(! 9 & / 3! 9 , (&2$( !&1, D" & " '!& &!* (2,4&& ($) ", /$!! 9 &)$
/$) ,"$/#! "$9 &2 / &/& / +2 3! "# / '$!&-&!* (2,4&& "($6&"$/$2 " & " '!& , 5$"$!! +, & &"
" 6, $L ($) ", /$!&- , (&2$( $/& !&1, !, & ,!, !, !$&+$"! 2 -+.$ " &!* (2,4&0 )$(3,5 0-D" 9 !&1$!$+2 3! 6 )$" / '&"# ) "$% ( , !$ 6 ) " (, +!,!.$/ , D" 1-+. ,
)( 1 9 " ( !. / ',"$/- &!"$($ $" " /# &!* (2,4&- , !$ " , &2 6(,+ 2 !, ($) ", /$!, > D" 2 )/-"$(&&-+& ",/& , " ,/#!.2& ( .-+,!!.$$($),'$9 !$ 65$!&9 7)& ($"!.% &/& !$ ($(. !.%8 , ,2 9 &!* (2,4&& )$(3,5$9-D"&% 65$!&-% > & "$" !, D"& ( . (& L/ +),!&0 "$(&& &!* (2,4&&
! / 3!& 2 "$(&& &!* (2,4&& 2 3! '&","# / ), \/# ), c$!! !, " (.9 <WG@ 1 ) $( .$ 6/& ,/ (,6 " " ( 9 6./& $)$!. ! !.$ !-"&- ", &$ , /&'$" &!* (2,4&& D!"( &- ( !,- 6! "# & ) ,+,!.
! !.$ "$($2. "$(&& &!* (2,4&& -+,!!.$ |
"$!4&,/#!.2& +2 3! "-2& |
$($),'& &!* (2,4&& ,!,/,2-+& 2$%,2& |
|
Источник дискретных сообщений+,),L"-,/*, &" 2 A oa= a< am <p"-5&2 |
|
&+ m &2 / & (, ($)$/$!&$2 $(-"! "$9 P7a8 |
/$) ,"$/#! "$9 &2 / |
a 7a= a< an < 8 7 26&!,4&9 &/& / 8 )/&!. n ", /$!!.% &+ &2 / |
ar A |
||
r = < n < |
|
|
|
|
|
n |
|
|
" '!& |
|
|
|
a 7a= a< an < 8 |
|
|
|
A |
|
|
|
|
m |
|
& HM " '!& )& ($"!.% 65$!&9
,3).9 r:9 (-) /$) ,!&-&2 / ar .),L"-& " '!& 2 ( "#0 v&
&2 /$!)
Стационарный источник
",4& !,(!.9 & " '!& %,(, "$(&+$"- "$2 '" 2$"!,- $(-"! "# P7a8 P7a= a< an < 8 /06 1 '& /, /$) 05&% )( 1 +, )( 1 2 &2 / !$ +, & &" "
.6 (, !,',/#! 1 2 2$!", ($2$!& 7!,',/#! 1 (-) 1 ! 2$(,8 ( 1&2& / ,2& )/-",4& !,(! 1 & " '!& , ) /3! . /!-"#-(,$! "
P7a= r a< r an < r 8 P7a= a< an < 8 |
(& /06.% r & n |
7<@G8 |
Источник без памяти |
|
|
" '!& 6$+ ,2-"& %,(, "$(&+$"- "$2 '" &2 /. !, $1 .% )$ |
-/-0"- |
|
!$+, & &2 )( 1 " )( 1, C / &$!$+, & &2 "& &2 / 2 3! +,),"# .(,3$!&$2 |
||
n < |
|
|
P7a8 P7a= a< an < 8 P7ar 8 |
(& /06 2 n |
7<@ 8 |
r =
/- & ,!&- ", 1 & " '!& , ) "," '! +,),"# $(-"! "& P7ar 8 ")$/#!.% &2 / /$) ,"$/#! "&
<=A
/& & " '!& 6$+ ,2-"& ",4& !,(!.9 "
P7ar 8 P7a8 & P7a8 P7a8 n
Количество информации
;& / 9 2$( 9 &!* (2,4&& )$(3,5$9- /$) ,"$/#! "& &2 / a -/-$"- количество информации i7a8 /&'$" &!* (2,4&& ) /3! ) /$" (-"#
/$) 05&2 / &-2 |
|
< |
/&'$" &!* (2,4&& i7a8 ) /3! 6."# ,))&"& ! 9 * ! 4&$9 /& 65$!&- |
|
a< & aH +,&2! !$+, & &2. " i7a< aH 8 i7a< 8 i7aH 8 |
H |
/&'$" &!* (2,4&& )$(3,5$$ -) "$(! 2 65$!&& (, ! ! /0 "$ |
|
i7a8 = (& P7a8 < |
A |
/&'$" &!* (2,4&& ) /3! 6."# !$ ($(. ! 9 * ! 4&$9 " /# " |
|
$(-"! "& 65$!&- P7a8 "$ i7a8 f 7P7a88 |
\"&2 / &-2 "$" "$"$)&! "$!!,-* ! 4&-/ 1,(&*2, |
|
||||
|
< |
|
|
|
|
i7a8 gXU |
|
|
= |
7<@I8 |
|
P7a8 |
|||||
|
|
|
|
||
! ,!&$ / 1,(&*2, 2 3$" 6."# .6(,! ( &+ /#! /& .6&(,$"- / 1,(&*2 |
|||||
!," (,/#!.9 " $)&!&4$9 &+2$($!&- /&'$" , &!* (2,4&& -/-$"- нат 7 " / , !," (,/#!.98 /& / 1,(&*2 )$ -"&'!.9 " $)&!&4$9 -/-$"- дит ;,5$ $1 .6&(,$"- / 1,(&*2, ! ,!&$2 H $)&!&4$9 &+2$($!&- бит, " (.9 & 6 )$2 & /#+ ,"# ),/#!$9E$2
1 бит – это количество информации, содержащееся в двоичном символе, который с равной вероятностью может принимать значения 0 или 1
+ .E$ ,+,!! 1 /$)$" '" '$2 !$3&),!!$$ 65$!&$ a 7 P7a8 = 8 "$2 6 /#E$&!* (2,4&& )$(3&"-D" 2 65$!&&
Энтропия источника
($)!$$/&'$" &!* (2,4&& " ($)$(3&"-&2 /$65$!&-!, .% )$ & " '!& , !,+. ,0"энтропией источника
|
|
|
|
|
mr < |
|
< |
|
|
|
|
|
|
|
|
|
|
||||||
H 7A8 gZP |
|
i7a8 gZP |
|
P7ai |
8 gXU |
|
|
|
7<@M8 |
||
|
|
P7ai 8 |
|||||||||
r r |
|
|
r r |
i = |
|
|
|
|
|||
/& & " '!& .),L" /$) ,"$/#! "& &2 / ar (,+/&'! 9 )/&!. ni "
H 7A8 gZP i7a< aH ar 8 n r r
1)$ N '& / (,+/&'!.% 26&!,4&9 " ($ 2 3$" (&!&2,"# r:9 /$) ,!&-&2 / ar n ($)!--)/&!, " (,-(, !,
n |
gZP |
n< |
n |
H |
|
nr |
|
|
|
|
|
|
|||
|
r |
r |
|||||
7<@@8(-)
7<@W8
/- стационарного источника1), ar !$+, & &2.$& P7ar 8 P7a8
|
N < |
|
< |
|
|
|
N < |
|
||
|
, ($)!--)/&!, (, !, n P7ai 8ni |
7<W=8 |
||||||||
H 7A8 |
|
|
P7ai |
8 gXU |
|
|
||||
|
n |
P7ai 8 |
||||||||
|
|
i = |
|
|
|
|
i = |
|
||
\!"( &0 стационарного источника без памяти 2 3! !,9"& $/& (, 2 "($"#
/$) ,"$/#! "& &2 / & " '!& , )/&! 9 r < |
|
|
|
|||
m < |
|
|
< |
|
|
|
H 7A8 P7ai |
8 gXU |
|
|
|
|
7<W<8 |
P7a 8 |
||||||
i = |
|
|
i |
|
|
|
Свойства энтропии < = H 7A8 gXU m
<=G
,$! " ! /0 |
/ ',$"- $/& )! &+ 65$!&9 &2$$" $(-"! "# P7ai 8 < , |
|||
",/#!.$ P7a j 8 = i j , &2 2 D!"( |
&& ) "&1,$"-)/-& " '!& , 6$+ ,2-"& |
|||
(& (, !$(-"!.% &2 /,% P7ai 8 <? m |
|
|||
m < |
|
< |
|
|
H H 7A8 P7ai |
8 gXU |
|
H 7A86$+ ,2-"& |
|
P7a 8 |
||||
i = |
|
i |
|
|
\!"( &-/06 1 & " '!& , !$ ($.E,$" D!"( && & " '!& , 6$+ ,2-"&
Энтропия двоичного источника без памяти
\!"( &0 ) &'! 1 & " '!& , 6$+ ,2-"& !,9)L2 |
* (2 /$7<W<8 (& P7a= 8 P7=8 |
||||||||||
& P7a< 8 P7<8 < P7=8 |
|
|
|
|
|
|
|
|
|
|
|
H 7A8 P7=8 gXU P7=8 < P7=8 gXU < P7=8 |
7<WH8 |
||||||||||
|
H 7A8 < |
|
|
|
|
|
|
|
|
|
|
|
6&" |
|
|
|
|
|
|
|
|
|
|
|
= M |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
|
|
|
|
|
|
|
|
|
|
|
= |
= H = |
= M |
< |
|
|
|||||
|
|
|
|
P7=8 |
|
|
|
|
|
|
|
|
& H@ \!"( |
&-) &'! 1 & " '!& , 6$+ ,2-"& |
|
||||||||
Производительность источника сообщений |
($)$/-$"- , ($)!$$ /&'$" |
||||||||||
&!* (2,4&& " ($! .),L" !, L2 .% )$ $)&!&4 ($2$!& |
|
||||||||||
|
H 7A8 v& H 7A8 m6&"? n |
|
7<WA8 |
||||||||
1)$ v& <? T ( "# .),'& &2 / !, .% )$& " '!& ,$)&!&4 ($2$!& |
|||||||||||
, &2,/#! 0 |
( &+ )&"$/#! "# |
|
& " '!& , |
!,+. ,0" |
информационной |
||||||
скоростью источника |
R& v& gXUH m m6&"? n |
|
|
|
7<WG8 |
||||||
|
|
|
|
||||||||
Информативность источника 2 3! |
($)$/&"# , "! E$!&$ H 7A8 ? gXUH m !, |
||||||||||
($)$/-$" ($)!$2 ) /0 /&'$" , &!* (2,4&& " 2, &2,/#! +2 3! 9 " ( 0 /,). ,$" & " '!& )&! &2 /
Избыточность любого источника информации |
($)$/-$"- * (2 /$ |
|||
< |
H 7A8 |
&/& q <==q |
7<W 8 |
|
|
||||
|
gXUH m |
|
|
|
/-&+6." '! "& (,$)/& !$(,$! " |
|
|
||
|
|
= < |
|
7<WI8 |
+6." '! "# = "$" "$" & " '!& |
6$+ |
,2-"& (, !$(-"!.2& |
||
&2 /,2& $ ,3).9 &2 / ", 1 & " '!& , !$L" $6$ 2, &2,/#! +2 3!$ /&'$" &!* (2,4&& " '!& " (.9 .),L" !, L2 .% )$ "-!! )&! & " " 3$ &2 / ai 7 P7ai 8 <8 &/& )! & " 3$ /$) ,"$/#! "# &2 / ai 7 P7ai 8 8 &2$$"
2, &2,/#! 0 &+6." '! "# (, ! 0 <
/- D $(&2$!",/#! 1 .'& /$!&- D!"( && & /#+ 0" ","& "&'$&$ ),!!.$ частости -/$!&- &2 / !, .% )$ & " '!& , , (&2$( $/& 1(,!&'&"#- /$) ,"$/#! "-2& )/&! 9 n < " )/- "$", !, ,!1/&9 2-+.$ 2 3! / '&"#
d
4$! D!"( && H 7A8 G 6&"?6 /& (, 2 "($"# /$) ,"$/#! "& )/&! 9 n " )$9 " &"$/#!$+!,'$!&$D!"( && / '&2 (, ! 9 H 7A8 H 6&"?6 > /# '& /
<=
6 |
,!1/&9 1 ,/*, &", (, ! |
m HI " |
d |
< |
G |
= <GW <G Wq , |
|
|
|||||||
n < |
gXUH HI |
||||||
|
|
|
|
|
|
|
|
< |
H |
=MG M G q /$) ,"$/#! &+6." '! "# "$", !, ,!1/&9 2 -+.$ |
|||||
|
|||||||
gXUH HI
! ! 2 ($)$/-$"- 2! 1 2$(!.2& +, & &2 "-2& 2$3) 6 ,2& "$"$ \" "! &"-", 3$& )( 1&2-+. ,2
<
/-( 1-+. , H 7A8 < 6&"? &2 / , &+6." '! "# < gXUH AH = M M=q
Совместная энтропия
2$"!,- D!"( &- D" D!"( &- ) % &/& 6 /$$ & " '!& /& 6]$)&!&"# & " '!& & )&! " (.9 .),L" !, L2 .% )$ &2 / )$(3,5&9 &!* (2,4&0 символах $% & " '!& " 2$"!,-D!"( &-!, (&2$( ) % & " '!& (, !,
H 7A B8 gZP |
|
|
|
gZP |
|
P7a= |
ar < b= br <8 gXU |
|
|
|
< |
|
|
|
|
|
||||
i7a b8 |
|
|
|
|
|
|||||||||||||||
|
|
|
P7a |
a |
|
b b |
8 |
|
||||||||||||
r r |
|
|
r r |
a |
b |
|
|
|
|
r < |
|
|||||||||
|
|
|
|
|
|
k |
k |
|
|
|
|
|
= |
|
= |
r < |
|
|
|
|
/-",4& !,(!.% & " '!& 6$+ |
,2-"&совместная энтропия(, !, |
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
m < M < |
|
< |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
H 7A B8 P7ai bj 8 gXU |
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
P7a b |
8 |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
i = j = |
|
i j |
|
|
|
|
|
|
|
|
|
|
|
1)$ m & M 6]L2 ,/*, &" & " '!& A & B 2$"! 0 D!"( &0 2 3! ($) ", &"# &)$22.
7<WM8
7<W@8
|
|
|
|
H 7A B8 H 7A8 H 7B ` A8 H 7B8 H 7A ` B8 |
|
|
|
|
|
|
|
7<WW8 |
||||||||
1)$ H 7A ` B8 D!"( |
&- & " '!& , A |
(& / && )$9 " &- & " '!& , B H 7B ` A8 |
||||||||||||||||||
D!"( &-& " '!& , B (& / && )$9 " &-& " '!& , A |
|
|
|
|
|
|
|
|
|
|
||||||||||
H 7A ` B8 gZP |
|
|
|
gZP |
|
P7a= |
ar < b= br < 8 gXU |
|
|
|
< |
|
|
|
|
7H==8 |
||||
i7a ` b8 |
|
|
|
|
||||||||||||||||
|
|
|
P7a a |
|
` b b |
8 |
|
|||||||||||||
r r |
|
r r |
a |
k |
b |
|
r < |
|
|
|||||||||||
|
|
|
|
|
|
|
|
k |
|
|
= |
|
= |
r < |
|
|
|
|
||
H 7B ` A8 gZP |
|
|
|
gZP |
|
P7a= |
ar < b= br < 8 gXU |
|
|
|
< |
|
|
|
|
7H=<8 |
||||
i7b ` a8 |
|
|
|
|
||||||||||||||||
|
|
|
P7b b |
|
` a a |
|
8 |
|
||||||||||||
r r |
|
r r |
a |
k |
b |
|
|
r < |
|
|
||||||||||
|
|
|
|
|
|
|
|
k |
|
|
= |
r < |
= |
|
|
|
|
|||
/- H 7A B8 (,$)/& !$(,$! " |
|
= H 7A B8 H 7A8 H 7B8 |
7H=H8 |
1)$ H 7A B8 H 7A8 H 7B8 (& !$+, & &2 "& & " '!& A & B |
|
<=I
ЛЕКЦИЯ 13
Передача информации по дискретному каналу. Определение количества информации,
передаваемой по дискретному каналу с шумом. Скорость передачи информации и её верхняя граница – пропускная способность дискретного канала. Расчет пропускной способности различных видов дискретных каналов. Основная теорема оптимального кодирования для дискретного канала с шумом (теорема Шеннона). Основные принципы ее доказательства и практическое значение. Оптимальное кодирование в канале без шума.
Дискретный канал & . ,$"-,/*, &",2& !, % )$ X ox= x< xm <p 6]L2 2 m & .% )$ Y oy= y< yM <p 6]L2 2 M & / !.2 (, ($)$/$!&$2 $(-"! "$9 P7y ` x8 1)$ x 7x= x< xn < 8 & y 7 y= y< yn < 8 /$) ,"$/#! "& &2 / xr X
yr Y , 3$2 3! +,),"# ( "# |
$($),'& &2 / ,!,/$)&!&4 ($2$!& v |
||||||||||
дискретном канале без памяти |
-/$!&$ '$($)! 1 &2 /, !, .% )$ +, & &" |
||||||||||
" /# " " 1 , 9 &2 / 6./ |
),! !, % ) "$ P7 yr ` xr xr < x= 8 P7 yr ` xr 8 & |
||||||||||
n < |
|
|
|
|
|
|
|
|
|
|
|
P7y ` x8 P7 yr ` xr 8 /& ,!,/ ", 3$ ",4& !,(!.9 " )/- $1 |
& ,!&- ) "," '! |
||||||||||
r = |
|
|
|
|
|
|
|
|
|
|
|
+,),"# )! 2$(!$/ !$(, ($)$/$!&$ P7 y j ` xi 8 |
|
||||||||||
Примеры дискретных каналов |
|
|
|
|
|||||||
1. m - ичный симметричный канал |
без памяти " (.9 +,),L"- / !.2& |
||||||||||
$(-"! "-2& |
|
|
|
|
|
|
|
|
|
|
|
P7 y |
|
` x 8 |
|
< p |
|
j iK |
(& i j = < m < |
7H=A8 |
|||
|
j |
i |
|
p ?7m <8 |
|
j iK |
|
|
|||
|
|
|
|
|
|
|
|
|
|
||
2. Двоичный симметричный канал без памяти |
|
||||||||||
|
|
P7 y |
|
` x 8 |
|
< p |
j iK (& i j = < |
7H=G8 |
|||
|
|
|
j |
i |
|
p |
j iK |
|
|||
|
|
|
|
|
|
|
|
|
|
||
3. Двоичный по входу канал со стиранием
< p pS |
|
|
pS |
P7 y j ` xi 8 |
|
|
p |
|
|
j iK
j HK |
(& i j = < |
7H= 8 |
j iK |
|
|
4. Двоичный канал с памятью (с зависимыми |
ошибками) |
P7y ` x8 P7e y x8 |
7H=I8 |
.% ) ,!,/, 2 3! (, 2,"(& ,"# , & " '!& &!* (2,4&& )!, ', "# D" 9 &!* (2,4&& " ,$" " & " '!& , & -/-$"- /$+! 9 ', "#0 ($) ", /-05$9 &!"$($ / ',"$/0 , )( 1,-', "# ! &"-,2&2 ,!,/ 2 & !$ -/-$"- /$+! 9 )/- / ',"$/-
/&'$"$!! 9 2$( 9 &!* (2,4&& |
" ,05$9 % ), ,!,/, !, .% ) -/-$"- |
|||||||||||
+,&2!,-&!* (2,4&- |
|
|
|
|
|
|
|
|
|
|
|
|
Взаимная информация |
|
|
|
|
|
|
|
/$) ,"$/#! "& y !, |
||||
/&'$" &!* (2,4&& " ($ )$(3&"- !$" ( 9 |
||||||||||||
.% )$,!,/, /$) ,"$/#! "& x !, % )$,!,/, 7&/& !, 6 ( "8 (, ! |
|
|||||||||||
|
|
P7x y8 |
P7x ` y8 |
P7y ` x8 |
|
|||||||
|
i7xK y8 gXU |
|
|
|
gXU |
|
|
gXU |
|
|
|
7H=M8 |
|
|
|
|
|
|
|||||||
|
|
P7x8P7y8 |
|
P7x8 |
P7y8 |
|
|
|
||||
!,+. ,$"- количеством взаимной информации |
|
|
|
|
|
|||||||
!, ) /$" (-$" /$) 05&2условиям |
|
|
|
|
|
|||||||
< |
/& % ) & .% ) !$+, & &2.$ " P7x y8 P7x8P7y8 & i7xK y8 = $ !,6/0),- |
|||||||||||
|
/$) ,"$/#! "# |
|
y !, .% )$ |
,!,/, |
!&'$1 !$/#+- ,+,"# |
% )! 9 |
||||||
|
/$) ,"$/#! "& x |
|
|
|
|
|
|
|
|
|||
H |
/& /$) ,"$/#! "# y x " i7xK y8 i7xK x8 gXU <? P7x8 i7x8 |
|
||||||||||
<=M
($)!$$ +!,'$!&$ +,&2! 1 /&'$" , &!* (2,4&& !,+. ,$"- взаимной информацией
|
|
|
|
|
|
mr < M r < |
|
|
|
|
P7xi y j 8 |
|
|
|||
|
|
|
|
|
|
|
|
|
||||||||
I 7X Y8 gZP |
|
i7xK y8 gZP |
|
P7xi y j 8 gXU |
|
|
|
|
|
7H=@8 |
||||||
|
|
|
|
|||||||||||||
r r |
|
|
|
r r |
i = j = |
|
|
|
P7xi 8P7y j 8 |
|
|
|||||
I 7X Y8 H 7X8 H 7X ` Y8 H 7Y8 H 7Y ` X8 H 7X8 H 7Y8 H 7X Y8 |
7H=W8 |
|||||||||||||||
/-",4& !,(! 1 ,!,/, 6$+ |
,2-"& +,&2!,-&!* (2,4&-(, !, 7 |
(& r <8 |
|
|||||||||||||
|
|
|
m < M < |
|
|
P7xi y j 8 |
|
|
|
|
||||||
I 7X Y8 P7xi y j 8 gXU |
|
|
|
|
|
7H<=8 |
||||||||||
P7x 8P7 y |
j |
8 |
|
|||||||||||||
|
|
|
i = |
j = |
|
|
|
i |
|
|
|
|
|
|||
< I 7X Y8 I 7Y X8 7 9 " &22$"(&&8 H = I 7X Y8 H 7X8
1)$ I 7X Y8 = (& !$+, & &2 "& X & Y I 7X X8 H 7X8 (& Y X |
|
|||||||||||
Пропускная способность дискретного канала |
|
|
|
|||||||||
Пропускная способность канала ($)$/-$" 2, &2,/#! 0 +2 3! 0 ( "# |
||||||||||||
$($),'& &!* (2,4&& |
,!,/ !, !,% )&"- , 2, &2 2 +,&2! 9 &!* (2,4&& |
|||||||||||
I 7X Y8 |
$+2 3!.2 (, |
($)$/$!&-2 % )!.% /$) ,"$/#! "$9 &2 / P7x8 |
||||||||||
|
|
|
C&2 |
PQa I 7X Y8 m6&"? &2 /n |
7H<<8 |
|||||||
|
|
|
|
P7x8 |
|
|
|
|
|
|
||
&/& |
|
|
C v C&2 v PQa I 7X Y8 m6&"? n |
7H<H8 |
||||||||
|
|
|
|
|
|
|
P7x8 |
|
|
|
||
>( |
!,- 6! "# +, & &" " /# " 9 " ,!,/, " % )! 1 & .% )! 1 |
|||||||||||
,/*, &", |
& +,),!! 1 |
/ ! 1 |
(, ($)$/$!&- |
|
$(-"! "$9 P7y ` x8 |
>( !,- |
||||||
6! "# !$+, & &" " 9 " & " '!& ) /0',$2.%$1 % ) |
|
|||||||||||
Свойства пропускной способности |
|
|
|
|||||||||
< |
C&2 PQa H 7Y8 H 7Y ` X8 |
|
|
|
||||||||
|
|
P7x8 |
|
|
|
|
|
|
|
|
|
|
H |
= C&2 gXU m |
|
|
|
|
|
|
|
|
|
|
|
Пропускная способность!$" (.% 2 )$/$9 ,!,/ |
|
|||||||||||
1. Симметричный канал без памяти |
|
|
|
|||||||||
/-&22$"(&'! 1 ,!,/, 6$+ |
,2-"& |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
p |
|
|
|||
|
|
C&2 PQa I 7X Y8 gXUH |
m p gXUH |
|
|
7< p8 gXUH 7< p8 |
7H<A8 |
|||||
|
|
|
||||||||||
|
|
P7x8 |
|
|
|
|
m < |
|
|
|||
2. Двоичный симметричный канал без памяти |
|
|||||||||||
>( |
! 0 6! "# ) &'! 1 &22$"(&'! 1 ,!,/, 2 3! !,9"& |
* (2 /$ |
||||||||||
)/-&22$"(&'! 1 ,!,/, (& m H |
|
|
|
|
|
|
||||||
|
|
|
C&2 < p gXUH p 7< p8 gXUH 7< p8 |
7H<G8 |
||||||||
|
|
|
C&2 < |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
= M |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= = = H = = M < p
& HW >( !,- 6! "# ) &'! 1 &22$"(&'! 1 ,!,/, 6$+ ,2-"&
3. Двоичный по входу канал без памяти и со стиранием
/-) &'! 1 % ) ,!,/, 6$+ ,2-"& & "&(,!&$2
<=@
|
|
H |
7H< 8 |
|
C&2 |
7< pS 8 gXU |
|
7< p pS 8 gXU7< p pS 8 p gXU p |
|
|
||||
>(& pS = |
|
< pS |
|
|
( !,- |
6! "# ,!,/, "&(,!&$2 ,),$" |
( ! 9 |
||
6! "#0 ) &'! 1 &22$"(&'! 1 ,!,/, >(& p = 7 ,!,/$ !$" E&6 8
C&2 < pS
4. Двоичный канал с памятью (зависимые ошибки)
>( ! 0 6! "# ,!,/, E 2 2 2 3! !,9"& * (2 /$)/-&22$"(&'! 1 ,!,/, (& m H
|
C&2 PQa I 7X Y8 PQa H 7Y8 H 7E8 < H 7E8 |
7H<I8 |
|
|
P7x8 |
P7x8 |
|
1)$ E & " '!& /$) ,"$/#! "& ) &'!.% &2 / E 2, |
|
||
|
\!"( &-& " '!& , E&6 ) /$" (-$" !$(,$! " |
|
|
|
H 7E8 p gXU p 7< p8 gXU7< p8 |
|
|
|
,$! " ) "&1,$"-1), & " '!& 6$+ ,2-"& /$) ,"$/#! |
|
|
|
C&2 < p gXU p 7< p8 gXU7< p8 |
7H<M8 |
|
"$ |
( !,- 6! "# ,!,/, ,2-"#0 7 +, & &2.2& E&6 ,2&8 |
($.E,$" |
|
( |
! 0 6! "# ) &'! 1 ,!,/, 6$+ ,2-"& |
|
|
<=W