Конспект лекции по ТЭС
.pdf
ЛЕКЦИЯ 14
Количественное определение информации для непрерывных сообщений и каналов. Определение количества информации, передаваемой по непрерывному каналу с шумом. Пропускная способность непрерывного канала. Формула Шеннона. Основные факторы, ограничивающие потенциальные возможности передачи информации по реальным каналам. Теорема оптимального кодирования для непрерывного канала с шумом. Теоретикоинформационная концепция криптозащиты сообщений в телекоммуникационных системах.
Источник непрерывных сообщений
" '!& !$ ($(. !.% 65$!&9 +,),L"- ( "(,! " 2 .% )!.% &1!,/
S |
|
s7t8 & 6$!$'! 2$(! 9 |
/ "! "#0 $(-"! "& w7s8 w7s s s |
t |
t 8 |
|
|
= < H |
= |
< |
"$" " && " ( 9 &1!,/ s7t8 &+ D" 1 ( "(,! " , -/-$"-!, .% )$& " '!& , ( 1&2& / ,2& &1!,/ s7t8 !, .% )$ ", 1 & " '!& , -/-$"- )! 9 &+ ($,/&+,4&9
/ ',9! 1 |
( 4$, S 7t8 $9 " , / ',9! 1 |
( 4$, S 7t8 |
(&2$!&2. & " '!& |
||||||
!$ ($(. !.% 65$!&9 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s 7s= s< sH 8 s7t8 S |
|
|||
|
|
|
" '!& |
|
|
||||
|
|
|
S |
|
w7s8 |
|
|
|
|
|
|
|
|
|
|
|
|
||
|
& A= " '!& !$ ($(. !.% 65$!&9 |
|
|
|
|||||
/-) 6 " , ),/#!$9E$2 |
(&2$2 '" " 'L" sk s7tk 8 "$" "$" 21!$!! 2 |
||||||||
+!,'$!&0 7$'$!&08 Sk S 7tk 8 |
/ ',9! 1 |
( 4$, S 7t8 |
, |
2$"!,- |
/ "! "# |
||||
$(-"! "& 7> 8$'$!&9 (, !, wS= S< Sn < 7s= s< sn < t= t< tn < 8 |
w7s= s< sn < 8 |
|
|||||||
|
|
|
|
( 4$ S 7t8 !, $1 .% )$",4& !,(!.9 |
|||||
" '!& стационарный $/& / ',9!.9 |
|||||||||
"$ / "! "#$(-"! "& 7> 8 !$+, & &" " ($2$!! 1 ) &1, |
|
|
|||||||
|
w7s= r s< r sn < r 8 w7s= s< sn < 8 |
(& /06.% r & n |
7H<@8 |
||||||
Источник без памяти %,(, "$(&+$"- "$2 '" 21!$!!.$ +!,'$!&- 7$'$!&-8 |
|||||||||
/ ',9! 1 |
( 4$, !, $1 .% )$ !$+, & &2.$ 7 2$"!,- > (, ,),$"- !, |
||||||||
( &+$)$!&$> ")$/#!.%$'$!&98 |
|
|
|
|
|
|
|||
|
|
|
n < |
|
|
|
|
|
|
|
w7s= s< sn < 8 w7si 8 |
|
|
7H<W8 |
|||||
|
|
|
i = |
|
|
|
|
|
|
Энтропия отсчётов непрерывного сигнала |
|
|
|
|
|
||||
2$"! 0 $(-"! "# " 'L" s 7s= s< sn < 8 !$" ( 9 ($,/&+,4&& / ',9! 1 |
|||||||||
( 4$, S 7t8 2 3! !,9"& "L2 |
($)$/#! 1 $($% ), |
|
|
|
|||||
P7s8 P7s= s< |
sn < 8 gZP P S= 7s= K s= s= 8 S< 7s<K s< s< 8 Sn < 7sn <K sn < sn < 8 |
||||||||
|
s = |
|
|
|
|
|
|
|
|
|
gZP w7s= s< sn < 8 s= s< sn < |
gZP w7s8s |
|
|
|||||
|
s = |
|
|
|
|
s = |
|
w7s8 !$ |
|
1), |
i7s8 gXU7<? P7s88 gZP gXU7<?7w7s8s88 |
6&" 7$/& |
& . ,$" |
||||||
|
s = |
|
|
|
|
|
|
||
(, ($)$/$!&$ $(-"! "& )& ($"! 9 / ',9! 9 |
$/&'&!.8 |
/$) ,"$/#! /06 9 |
|||||||
!$ ($(. !.9 " 'L" / ',9! 1 &1!,/, !$L"$6$6$!$'!$/&'$" &!* (2,4&& ,9)L2 D!"( &0 /$) ,"$/#! "& !$ ($(. !.% & ,!" ,!!.% " 'L"
H 7S8 gZP |
i7s8 |
gZP |
< |
P7s8 gXU |
< |
gZP |
< |
w7s8 s gXU |
< |
gZP |
< |
w7s8 gXU |
< |
s gXU |
< |
w7s8 s |
n n |
n n |
s S |
P7s8 |
n |
n |
s S |
w7s8 s |
n |
n |
s S |
w7s8 |
|
s |
|||
|
|
|
|
|
s = |
|
|
s = |
|
|
|
|
|
|||
&/&
1)$ h7S8
|
< |
|
|
|
H 7S8 h7S8 gZP gXU |
|
|
|
7HH=8 |
|
||||
s = |
s |
|
|
|
дифференциальная энтропия /$) ,"$/#! "& " 'L" &1!,/,
<<=
|
< |
|
|
< |
|
|
h7S8 gZP |
|
|
w7s8 gXU |
|
ds m6&"? " 'L"n |
7HH<8 |
|
w7s8 |
|||||
n n |
|
|
|
|
||
|
|
|
|
|
||
" ($ /,1,$2$ 7HH<8 !$ +, & &" " 9 " &1!,/, > D" 2 )/- .'& /$!&- ($)!$1 /&'$" , &!* (2,4&& )$(3,5$1- / ',9!.% &1!,/,% &/& / ',9!.%
( 4$,% 2$" D!"( && & /#+ 0" )&**$($!4&,/#! 0 D!"( &0
/& &1!,/ ",4& !,(!.9 / ',9!.9 ( 4$ & . ,$2.9 n:2$(! 9 / "! "#0$(-"! "& "
< |
|
|
|
|
|
|
|
< |
|
|
|
|
|
||
h7S8 |
|
|
w7s= s< sn < 8 gXU |
|
|
|
|
ds=ds< dsn < |
7HHH8 |
||||||
n |
w7s s s |
|
8 |
||||||||||||
|
|
|
|
|
|
|
|
= < |
n < |
|
|
|
|||
/& " 'L". &1!,/,$5L & !$+, & &2.$" |
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
< |
|
|
|
|
|
|
|
|
|
|
|
h7S8 w7s8 gXU |
ds |
|
|
|
7HHA8 |
|||||
|
|
|
|
|
w7s8 |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Свойства дифференциальной энтропии |
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
h7S8 gXU |
|
|
|
|
|
|
||||
|
|
|
|
H N SH |
|
|
|
7HHG8 |
|||||||
!,'$!&$ h7S8 ) "&1,$"- |
(& w7s8 7s si |
8 7s s=i 8 7s s<i |
8 7s sn <i 8 |
||||||||||||
7 2$"!,-> )& ($"!.% 8 |
|
|
|
|
|
|
|
|
|
|
|||||
!,'$!&$ h7S8 gXU |
|
|
) "&1,$"- (& ! (2,/#! 2 (, ($)$/$!&& " 'L" & |
||||||||||||
|
H N SH |
||||||||||||||
(& / && '" / ',9!.9 ( 4$",4& !,(!.9 !$+, & &2.2& " 'L",2& &2$05&2&
(, !.$ )& |
$( && SH 7 ",4& !,(!.9 & " '!& 6$+ ,2-"&8 /- /06.% )( 1&% +, ! |
|||||||||||||||||||||||
(, ($)$/$!&- " 'L" &2$05&% " 3$ )& $( &0 )&**$($!4&,/#!,- D!"( &- $1), |
||||||||||||||||||||||||
2$!#E$D" 1 +!,'$!&- |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
$9 " &"$/#! |
(& |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
< |
|
|
|
|
7s mS 8H |
|
|
|
|
|
|
|||
|
|
|
|
|
|
w7s8 |
|
|
|
|
H H |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
N |
|
S |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
HHS |
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
7s mS 8H |
|
|
|
|
|
|
|
|
|
|
|
gXU N |
|
|
|
|
|||
|
|
|
|
|
|
|
|
H |
|
|
|
|
H |
|
||||||||||
h7S8 |
|
|
|
|
|
|
|
|
|
|
w7s8ds |
|
|
|
||||||||||
w7s8 gXU |
H |
|
N |
H SH |
|
ds gXU |
HS |
|
7s mS 8 |
|
w7s8ds |
|||||||||||||
|
|
H |
|
|||||||||||||||||||||
|
|
HS |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
HS |
|
|
|
|
||
|
|
gXU |
HSH gXU |
|
|
gXU |
H N SH |
|
|
|
|
|
||||||||||||
|
|
|
N |
|
|
|
|
|||||||||||||||||
Передача информации по непрерывному каналу |
|
|
S s7t8 & .% )!.% |
|||||||||||||||||||||
Непрерывный |
канал +,),L"- ( "(,! " 2 % )!.% |
|||||||||||||||||||||||
Z z7t8 |
!$ ($(. !.% |
/ ',9!.% &1!,/ |
& |
+,),!!.2 |
/ !.2 |
(, ($)$/$!&$2 |
||||||||||||||||||
$(-"! "& w7z ` s8 1)$ z Z s S
Взаимная информация и пропускная способность
+,&2!,- &!* (2,4&- 2$3) % ) 2 & .% ) 2 &/& /&'$" &!* (2,4&& $($), ,$2$ ,!,/ 2 3! .(,+&"# ", 3$'$($+ )&**$($!4&,/#! 0 D!"( &0
I 7S Z8 H 7S8 H 7S ` Z8 h7S8 h7S ` Z8 h7Z8 h7Z ` S8 I 7Z S8 |
|
7HH 8 |
|||||||||||||
1)$/ !.$)&**$($!4&,/#!.$D!"( && |
|
|
|
|
|
|
|||||||||
|
< |
|
|
|
|
|
< |
|
|
|
< |
|
|
< |
|
h7Z ` S8 gZP |
|
|
w7s z8 gXU |
|
|
|
dsdz & h7S ` Z8 gZP |
|
w7s z8 gXU |
|
dsdz |
||||
|
|
|
|
|
|
|
|||||||||
n n |
|
|
|
w7z ` s8 |
n n |
|
|
w7s ` z8 |
|
||||||
, &2 2 |
+,&2! 9 &!* (2,4&& |
$+2 3!.2 |
% )!.2 (, ($)$/$!&-2 |
||||||||||||
($)$/-$" ( ! 0 |
6! "# !$ ($(. ! 1 ,!,/, |
|
|
|
|
|
|||||||||
|
|
|
|
|
C" ' |
PQa I 7S Z8 m6&"? " 'L"n |
|
|
|
|
7HHI8 |
||||
|
|
|
|
|
|
|
w7s8 |
|
|
|
|
|
|
||
&/& |
|
|
|
|
C v C" ' |
v PQa I 7S Z8 m6&"? n |
|
|
|
7HHM8 |
|||||
|
|
|
|
|
|
|
|
|
w7s8 |
|
|
|
|
|
|
<<<
Основная теорема Шеннона для канала с шумом
Теорема./& ( &+ )&"$/#! "# & " '!& , 2$!#E$ ( ! 9 6! "& ,!,/,$)&!&4 ($2$!& H 7A8 C " (& /06 2 = 5$"$" ", 9 6 )&( ,!&-& )$)&( ,!&- 2 ) /-4&& & )$2 ) /-4&& (& " ( 2 65$!&- 6 ) " $($), ,"#- / ',"$/0 $(-"! "#0 E&6 & )! 1 6&", &!* (2,4&& pb & ($)!$2 6$+
(, " 5&% +,)$(3$($2$!& |
|
/& H 7A8 C " ", 1 6, )&( ,!&-& )$)&( ,!&-!$5$"$" |
|
>( !,- 6! "# ($)$/-$" 2, &2,/#! +2 3! 0 ( "# |
$($),'& |
&!* (2,4&& ,!,/ без потери информации /& "$(& &!* (2,4&& !$" " |
|
& /#+- / 3!.$ ! D**$"& !.$ %$2. )&( ,!&- & )$)&( ,!&- |
2 3! |
6$ $'&"#безошибочную $($),' 7 pb = 8 &!* (2,4&& ,!,/$($2, c$!! !,
D" "$($"&'$ $ ) ,+,"$/# " 5$" ,!&- ) " (.$ + /-0" / 'E&"# ,'$"-+& & !&+&"# "($6$2$"! E$!&$&1!,/:E 2
Расчёт пропускной способности канала с заданной полосой частот и АБГШ
/ ',9!.9 &1!,/ S 7t8 & E 2 N 7t8 !, .% )$ ,!,/, -+,!. +, & &2 "#0
Z 7t8 S7t8 N 7t8 > /# N 7t8 &2$$" ! (2,/#!$71,$8 (, ($)$/$!&$ N 7t8 =
& )& $( &$9 HN " |
|
h7Z ` S8 h7N8 gXU |
H N HN |
& |
C |
PQa h7Z8 gXU |
H N H |
|
||
|
" ' |
w7s8 |
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
, &2,/#!$ |
+!,'$!&$ |
h7Z8 gXU |
H N ZH |
) "&1,$"- (& ! (2,/#! "& & |
||
!$+, & &2 "& / ',9!.% " 'L" Z 7t8 /- . /!$!&- D" 1 / &- " 'L". S 7t8 ) /3!. 6."# !$+, & &2.2& & ! (2,/#!.2&
/& " 'L". S 7t8 & N 7t8 |
!$+, & &2.$" )& |
$( &- Z 7t8 (, !, HZ |
SH |
HN |
||||||||||
/$) ,"$/#! |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
< |
|
SH |
|
|
< |
|
PS |
|
|
7HH@8 |
||
C" ' |
|
|
gXU < |
|
|
|
|
gXU < |
|
|
|
|||
H |
H |
H |
P |
|
||||||||||
|
|
|
|
N |
|
|
|
|
E |
|
|
|
||
,!,/$ E&(&! 9 |
/ . ', " " F 7 |
/ , ( ,!&-8 !$+, & &2.$ " 'L". |
||||||||||||||||||||||||||
&1!,/, S 7t8 2 3! |
$($), ,"# 2, &2,/#! 9 ( "#0 v |
HF $/& !, |
$($),'$ &% |
|||||||||||||||||||||||||
($) ,(&"$/#! ( "&"# '$($+ &)$,/#!.9 F ; ', " " 9 ($+, f( F |
|
|||||||||||||||||||||||||||
1), |
( |
!,- |
6! "# !$ |
($(. ! 1 ,!,/,$)&!&4 ($2$!& (, !, |
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
PS |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
C F gXUH < |
|
|
|
m6&"? n |
|
|
|
|
7HHW8 |
||||||||||
|
|
|
|
|
|
|
|
|
P |
|
|
|
|
|
||||||||||||||
\" |
* (2 / |
|
|
|
|
|
|
|
|
|
|
|
|
E |
|
Шеннона |
)/- |
|
( ! 9 |
6! "& |
||||||||
!,+. ,0" |
формулой |
|
|
|||||||||||||||||||||||||
!$ ($(. ! 1 ,!,/, bBc +,),!! 9 |
/ 9 ', " " & ($)!$9 2 5! "#0 &1!,/, !, |
|||||||||||||||||||||||||||
$($),'$ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
>( |
!,- 6! "# !$ |
($(. ! 1 ,!,/, (, "L" /&6 (& $/&'$!&& ($)!$9 |
||||||||||||||||||||||||||
2 5! "& &1!,/, /&6 (& (, E&($!&& / . ( ,!&-,!,/, |
|
|||||||||||||||||||||||||||
$( 2 / ',$ |
(& *& &( ,!!.% F & PE ( " &/#! +,2$)/-$"-* ! 4&$9 gXU |
|||||||||||||||||||||||||||
" ( 2 / ',$ |
|
(& F |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
C |
gZP gXU |
H |
< |
|
PS |
F |
gXU |
H |
gZP |
< |
PS |
|
F |
PS |
gXU |
H |
N m6&"? n |
7HA=8 |
||||||||
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
F |
|
|
|
|
|
|
|
F |
|
|
N= F |
|
|
N= |
|
|
|||||||||
|
|
|
|
|
|
|
|
PE |
|
|
|
|
|
|
|
|
|
|||||||||||
,3$ |
(& !$1(,!&'$!! 2 (, E&($!&& |
/ . |
|
( ,!&- ,!,/, |
( !,- |
|||||||||||||||||||||||
6! "# &2$$" !$'!$+!,'$!&$(, !$ C |
|
|
PS |
gXU |
H |
N m6&"? n |
|
|||||||||||||||||||||
N= |
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
<<H
|
>( ! 0 6! "# $)&!&4 ($2$!& 2 3! .(,+&"# '$($+ среднее |
||||||||||||||||||||
отношение сигнал-шум |
hH " ($ |
(&% )&"- !, 6&" &!* (2,4&& /& )/- $($),'& |
|||||||||||||||||||
|
|
|
|
|
|
|
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
&!* (2,4&& |
,!,/ ( "#0 R& |
C <? Tb 6&"? +,"(,'& ,$"-($)!--2 5! "# PS |
|||||||||||||||||||
" D!$(1&0 &1!,/, < 6&", &!* (2,4&& 2 3! !,9"& |
|
* (2 /$ Eb |
PS Tb PS ? С |
||||||||||||||||||
> D" 2 |
|
|
|
|
|
|
|
|
|
C Eb |
|
C |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
H |
|
|
|||||||
|
|
|
|
|
|
C F gXUH < |
|
|
|
|
|
F gXUH < |
|
hb |
|
7HA<8 |
|||||
|
|
|
|
|
|
|
|
|
F |
||||||||||||
|
|
|
|
|
|
|
|
|
|
F N= |
|
|
|
|
|
||||||
" ), |
|
|
|
|
|
|
hH |
HC ? F < |
|
|
граница Шеннона |
|
7HAH8 |
||||||||
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
b |
C ? F |
|
|
|
|
|
|
|
|
|
|
|
|
|
;" 6. |
|
|
) "&'# |
|
|
|
|
|
|
|
6$+ E&6 '! 9 |
|
$($),'& |
&!* (2,4&& |
||||||
|
|
|
|
|
( "& |
|
|
|
|
||||||||||||
C |
7P ? N |
= |
8 gXU |
H |
N 6&"? |
"($6$"- , 2&!&2 2 hH g[ H = IWA < I )b 7D" ($)$/ |
|||||||||||||||
|
S |
|
|
|
|
|
|
|
|
|
|
|
|
b |
|
|
|
|
|
||
7HAH8 (& F 8 !,'$!&$ hbH < I )b !,+. ,$"- пределом Шеннона >(& +!,'$!&-%
hH < I )b 5$" &"# 6$+ E&6 '! 0 $($),' &!* (2,4&& 76$+ |
"$(& &!* (2,4&&8 |
|
b |
|
|
,!,/ bBc !$+2 3! |
|
|
Пример /& ,!,/ &2$$" !$1(,!&'$!! 0 / ( ,!&- 7 F 8 " |
(& |
|
"&2,/#! 2 1$($!"! 2 (&L2$ &1!,/ F :H & "$2$ |
6$+ )&( ,!&- |
)/- |
) "&3$!&- pb <= "($6$"- hbH W I )b 1/, ! "$($2$c$!! !, D" +!,'$!&$2 3!
2$!#E&"# !, << H )b$/& & /#+ ,"# 6 /$$/ 3!.$%$2. )&( ,!&-& 2 ) /-4&& ($2$!!.% & "$2,% / 'E$!&$ '"& !, <= )b ),/ # / '&"# (& & /#+ ,!&& " (6 : )
/& F &2$$" !$'!$ +!,'$!&$ " !&3!-- 1(,!&4, hbH )/- ($,/&+$2.% & "$2$/&'& ,$"-/-" 9 3$F :H 2, &2,/#!$+!,'$!&$"! E$!&- C ? F (, ! H & !&3!-- 1(,!&4, hbH < MI )b /-) "&3$!&- pb <= & "$2$6$+ )&( ,!&-F :H "($6$"- W I )b /& !$ 2$!-"# &) 2 ) /-4&& " 1/, ! "$($2$ c$!! !, )/- 2$!#E$!&-
"($6$2 1 "! E$!&- &1!,/:E 2 !, 6&" ) $/&'&!. |
hH < MI )b |
!$6% )&2 |
||
|
b |
|
|
|
& /#+ ,"# )&( ,!&$ >(& D" 2 ,2.9 / 'E&9 ) 6$! 2$!#E&"# "($6$2$ |
||||
+!,'$!&$ hH !, M @G )b |
|
|
|
|
b |
|
|
|
|
/-(, !$!&-(,+!.% & "$2 $($),'& (& +,),!! 9$(-"! "& E&6 & pb ,3) 0 |
||||
& "$2 "2$',0" " ' 9 !, 1(,*&$+, & &2 "& "! E$!&- R ? F " hH 1)$ R H |
7A8 |
|||
& |
b |
& |
PQa |
|
7 '&",$"- '" & " '!& 6$+ &+6." '! "&8 'E$9 '&",$"- ", & "$2, " (,- |
(& |
|||
+,),!! 9 pb 6/&3$ $% (, / 3$!, 1(,!&4$c$!! !, |
|
|
|
|
R ? F <== |
$($,/&+$2.$& "$2. |
|
pb |
<= |
|
R& ? F |
|
& |
(& R& |
|
6&"? ?B4 |
||||
6&"? ?B4 |
-+& |
|
C |
|
|
|
|
<= |
|
|
|
|
|
|
|
< |
F :H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
$,/&+$2.$& "$2. |
|
|
|||
|
|
|
-+& |
|
|
|
|
= < |
|
|
|
|
|
|
|
= =< |
<= |
H= |
A= |
G= |
|
|
= |
= |
|
|
|||||
< I |
|
hbH |
)b |
|
|
|
|
H= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
<@ |
|
|
|
$($,/&+$2.$ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
pb |
|
<= |
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||
<I |
|
|
|
& "$2.-+& |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
<G |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(& |
R |
& C |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
<H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
<= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
@ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
$ |
,/&+$2.$ |
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
& "$2.-+& |
|
|
|
|
|
|
||||||||||||||||||
G |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F :H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
<= |
|
= <= |
< |
|
|
H= H |
A= A G= |
|||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
< I |
hbH )b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||
& A< , & &2 "# ! (2&( ,!! 9 7 /$', " "8 ( "& $($),'& &!* (2,4&& " "! E$!&-&1!,/:E 2 !, 6&" )/-,!,/, bBc 7 / 1,(&*2&'$2 & /&!$9! 2 2, E",6,%8
<<A
"! E$!&$ |
F R& ? F |
m6&"? ?B4n |
!,+. ,0" |
частотной или |
спектральной |
эффективностью системы передачи/-D**$"& !.% |
', " "$& "$2 |
$($),'& F < |
|||
b/,1 ),(- |
(,+(,6 "$ |
6 /$$ |
/ 3 ! . % & "$2 2 ) /-4&&?)$2 ) /-4&& |
||
)&( ,!&-?)$)&( ,!&- "(,!-05&$ &+6." '! "# & " '!& , 6!,( 3& ,05&$ & & (, /-05&$E&6 & 65$!&-% ( "# $($),'& &!* (2,4&& ($2$!!.% 2 )$2 )/-"$/$* !!.% /&!&9 / "! 0 (&6/&+&/, # ( "& I 6&"?
<<G
ЛЕКЦИЯ 15
ОСНОВЫ ТЕОРИИ КОДИРОВАНИЯ.
Задачи, цели и методы кодирования сообщений в системах связи. Классификация кодов. Избыточность, ее положительные и отрицательные стороны, возможности использования для обнаружения и исправления ошибок. Принципы экономного кодирования в каналах без шума. Коды Хаффмана и Шеннона–Фано.
Задача и цель кодирования. Кодирование используется для согласования источника сообщения с каналом с целью обеспечения более эффективной передачи информации.
Устройство, выполняющее операцию кодирования, называют кодером. Пусть на вход кодера поступают последовательности M -позиционных символов длины k , называемые
информационными комбинациями (словами), а на выходе кодер выдаёт
последовательности m-позиционных символов |
длины n , называемые кодовыми |
|||
комбинациями (словами), m – основание кода, |
n – длина кода. При m 2 код является |
|||
двоичным кодом. |
Пространство |
Пространство всех |
Nобщ m |
n |
информационных |
комбинаций длины n |
|
||
k |
|
n |
|
Кодер |
|||
b (b0 ,b1,...,bk 1) |
c (c0 ,c1,...,cn 1) |
||
C |
|||
M |
m |
||
|
Рис. 1.
кодовые
комбинации (разрешённые)
Nк.к
запрещённые
комбинации
Nобщ Nк.к
Код – это совокупность всех кодовых комбинаций C {ci }, где i 0,1,..., Nк.к 1.
Кодирование можно определить как однозначное отображение информационных комбинаций в кодовые комбинации. Декодирование – это обратное преобразование по отношению к кодированию. Его выполняет декодер.
При однозначном кодировании из общего числа Nобщ mn всевозможных комбинаций
длины n кодер использует только Nк.к |
M k комбинаций, которые называются кодовыми |
комбинациями или разрешёнными |
комбинациями кода. Тогда число mn M k |
комбинаций являются запрещёнными комбинациями кода (они не принадлежат коду). Такое кодирование является кодированием без потери информации. При кодировании с потерей информации число кодовых комбинаций Nк.к M k , т.е. часть информационных
комбинаций, вероятность которых не равна нулю, не используется и они отбрасываются.
Равномерный и неравномерный код. Если n const , то такой код является
равномерным кодом (постоянной длины). Если кодовые комбинации имеют разную длину, то код – неравномерный. Неравномерный код характеризуется средней длиной n кодовых комбинаций.
Классификация кодов
|
|
|
|
|
|
|
|
|
|
|
Кодирование |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Защитное |
|
|
|
|
Примитивное |
|
|
Экономное |
|
|
|
|
|
Помехоустойчивое |
|
|
|
|
|
|||||||||||||
|
(шифрование) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Линейные коды |
|
|
Нелинейные коды |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
Префиксные коды |
|
|
Укрупнение алфавита |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Блочные |
|
|
Непрерывные |
|
|
Каскадные |
|
|
Турбо-коды |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Код |
|
|
|
Код |
|
другие |
|
Полиномиальные |
|
|
Решётчатые |
|
|
|
|
|
|
|
|
|||||||||||||
|
Хаффмана |
|
|
Шеннона– |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
Фано |
|
|
|
|
|
|
|
Циклические |
|
|
Свёрточные |
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
другие |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
Код Хэмминга |
|
|
|
Код БЧХ |
|
|
Код Рида–Соломона |
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
115
Скорость кода: |
R |
k |
|
log2 M |
, |
|
R |
1 C |
. |
(1) |
|||
|
|
|
|
||||||||||
|
|
c |
|
n |
|
log2 m |
|
c |
1 A |
|
|||
|
|
|
|
|
|
|
|
||||||
Избыточность кода: |
|
1 R , |
|
C A |
. |
(2) |
|||||||
|
|
||||||||||||
|
|
|
|
|
|
c |
|
1 A |
|
||||
|
|
|
|
|
|
|
|
|
|
||||
При 0 |
– код экономный, устраняющий избыточность. |
|
|||||||||||
При 0 |
– код примитивный. |
|
|
|
|
|
|
||||||
При 0 |
– код помехоустойчивый или с избыточностью. |
|
|||||||||||
Примитивное кодирование. При примитивном кодировании число кодовых |
|||||||||||||
комбинаций равно общему числу комбинаций, Nк.к Nобщ или |
M k mn . Примитивное |
||||||||||||
кодирование используется для согласования алфавитов различных устройств. Например, для передачи текстовых сообщений посредством двоичных символов можно использовать код ASCII ( n 7 ). В этом коде каждая буква заменяется последовательностью двоичных символов длины n 7 . Общее число символов, которое можно закодировать этим кодом,
равно Nк.к 2n 27 |
128 . В компьютерах широко используется также расширенный ASCII |
код длины n 8 . |
|
Существует способы кодирования, при которых кодированию подвергаются не символы, а их порядковые номера в общей последовательности символов. Меняются не сами символы, а их положение в последовательности. Такое кодирование называется перемежением символов. На приёмной стороне выполняется операция деперемежения или восстановления порядка следования символов. Перемежение используется для борьбы с пакетами ошибок (после деперемежения пакеты ошибок преобразуются в одиночные ошибки).
Для устойчивой работы систем синхронизации используют скремблеры на передаче и дескремблеры на приёме. Скремблеры – это устройства, добавляющие известную псевдослучайную последовательность символов к последовательности передаваемых символов (для двоичных символов используется сложение по модулю 2). Они используются для устранения длинных последовательностей нулей или единиц, по которым сложно выделить тактовую частоту, задающую работу опорных генераторов приёмника.
Помехоустойчивое кодирование. При помехоустойчивом кодировании к информационным символам добавляют дополнительные проверочные символы. Такие коды позволяют обнаруживать и/или исправлять ошибки в кодовых комбинациях, поэтому их ещё называют кодами, исправляющими ошибки или корректирующими кодами.
Линейные и нелинейные коды. Если операция кодирования линейная, то и код является линейным. Кодовые комбинации линейного кода линейно-зависимые, т.е. сумма любых двух кодовых комбинаций есть снова кодовая комбинация. Иначе код нелинейный.
Блочные и непрерывные коды. При блочном кодировании последовательность информационных символов делится на блоки по k символов, которые называются
информационными комбинациями, каждая из которых кодируется в кодовую комбинацию длины n . Блочные коды с длиной кодовых комбинаций n , используемых для кодирования информационных комбинаций длины k , обозначают записью (n, k) . При непрерывном кодировании вся последовательность информационных символов рассматривается как информационная комбинация, которая кодируется в кодовую комбинацию (пример: свёрточный код).
Полиномиальные коды задаются полиномом g(x) заданной степени, который называют порождающим полиномом. При кодировании информационная комбинация представляется в виде полинома b(x) с коэффициентами равными информационным символам. Кодовая комбинация на выходе такого кодера получается в результате перемножения c(x) g(x) b(x) .
116
Циклические коды. Если кодовая комбинация c(x) g(x) b(x) mod(xn 1) , то такой код называют циклическим кодом. Для циклического кода характерно то, что циклический сдвиг любой кодовой комбинации также является кодовой комбинацией. Пример: коды Хэмминга, БЧХ, Рида–Соломона.
Каскадные коды и турбо-коды. Для повышения эффективности кодирования можно использовать либо мощные коды, либо каскадную схему кодирования. При каскадном кодировании информационные комбинации сперва кодируются одним кодом, который называют внешним кодом, а затем полученные кодовые комбинации кодируются другим кодом или внутренним кодом. Обычно внешний код выбирают таким образом, чтобы он как можно лучше исправлял ошибки внутреннего кода. Например, в качестве внешнего может быть использован код Рида–Соломона, исправляющий пакеты ошибок, а в качестве внутреннего – свёрточный код. За счёт использования в каскадном кодировании более простых кодов, операции кодирования и декодирования выполняются значительно проще, чем при использовании одного мощного кода.
Турбо-коды, впервые предложенные в 1992 г, также как и каскадные коды состоят из нескольких более простых кодов. Эти коды используются для кодирования одной и той же последовательности информационных символов (информационных комбинаций), причём, кодовые символы дополнительно перемешиваются друг с другом (перемежение символов). Такая схема кодирования позволяет при декодировании применить итерационные алгоритмы декодирования, в которых решение об очередном символе выносится не сразу, а после нескольких итераций. Сам процесс декодирования напоминает разгадывание слов в кроссворде. Сначала уточняются кодовые символы одного кода, а затем, поскольку кодовые символы различных кодов из-за перемежения зависят друг от друга, уточняются кодовые символы остальных кодов. На каждой итерации верность декодируемых символов растёт. Схемы турбо-кодирования и декодирования позволяют существенно улучшить качество связи. Выигрыш от кодирования существующих турбо-кодов составляет порядка 10 дБ. В качестве простых кодов турбо-кода могут быть использованы свёрточные коды, коды Рида– Соломона и др.
Экономное кодирование. При экономном кодировании из информационных комбинаций устраняется избыточность, т.е. они представляются более короткими кодовыми комбинациями. При этом происходит сжатие данных. Сжатие бывает без потери информации и с потерей информации. В последнем случае число кодовых комбинаций
Nк.к M k и при декодировании сообщение восстанавливается не полностью, а приближённо,
с некоторой заданной точностью. При этом достигается большая степень сжатия. Например, кодирование кодом Хаффмана, арифметическое кодирование, кодирование в формате rar, zip являются кодированием без потери информации и хорошо подходят для сжатия данных, jpeg используется для сжатия неподвижных изображений (бывает без потери и с потерей информации), mpeg – для видеоизображений, mp3 – музыки.
Защитное кодирование или шифрование. Экономное кодирование в сочетании с примитивным кодированием даёт защитное кодирование или шифрование, которое защищает и предотвращает несанкционированный доступ к информации посторонним лицам. Защитное кодирование используется для защиты военной, частной и коммерческой тайны. При шифровании, обычно из сообщений источника устраняется избыточность, а затем выбирается примитивный код заданной длины n , известный доверенным лицам, которым кодируются сжатые сообщения. Восстановить зашифрованное сообщение можно, если известно, какой примитивный код использовался для шифрования. Чтобы противник не смог каким-либо способом определить код, длину кода n выбирают как можно большой, поскольку с ростом n вероятность подбора используемого кода убывает по экспоненциальному закону. Экономное кодирование, устраняющее избыточность из сообщений, уменьшает не только размер сообщения, но и шансы для подбора кода.
117
Современные системы шифрования используют стандарты шифрования AES, CAST, TripleDES и др. Для шифрования файлов и электронной почты с возможностями цифровой электронной подписи широко используется система шифрования PGP.
Экономное кодирование без потери информации |
|
|
|
|
|
Источник дискретных сообщений с алфавитом A {a0 , a1 |
,..., aM 1} |
выдаёт на своём |
|||
выходе последовательности символов |
ai (a0,i , a1,i ,..., ak 1,i ) |
длины |
k |
с заданным |
|
распределением вероятностей P(ai ) , где |
i 0,1,..., M k |
1 , ar ,i |
A . Кодер |
кодирует эти |
|
последовательности символов в кодовые комбинации ci |
(c0,i , c1,i |
,..., cni 1,i ) |
различной длины |
||
ni , состоящие из кодовых символов cr ,i C {c0 , c1,..., cm 1} , m – объём алфавита кодовых символов.
log2 M
H(A)
0
символ |
источника |
1
A
0
|
k |
ai |
|
ni |
ci |
|
Источник |
Кодер |
|||||
|
|
А |
M |
С |
m |
log2 m
H(C)
0
кодовый |
символ |
1
C
0
Рис. 2. Структурная схема кодирования сообщений источника.
Теорема кодирования Шеннона для дискретного источника (1948 г.)
Теорема 2. Существует такой способ кодирования источника дискретных сообщений без потери информации, при котором среднюю длину последовательности кодовых символов, приходящуюся на один символ источника, можно сделать равной
|
n |
|
H (A) |
( 0 ), |
||||
|
k |
|
|
|
||||
|
|
log m |
|
|||||
причём |
|
lim |
n |
|
H (A) |
, |
||
|
|
|
||||||
|
|
|
k k log m |
|
||||
где – сколь угодно малая величина.
Способа кодирования без потери информации, при котором
Энтропию источника и кодера можно найти по формулам
H (A) lim i(a1 , a2 ,..., ar ) , k r r
H (C) lim i(c1 ,c2 ,..., cr ) . n r r
(3)
(4)
n H (A) , не существует. k log m
(5)
(6)
При однозначном кодировании (без потери информации) |
P(c1, c2 ,..., cr ) P(a1, a2 ,..., ar ) , |
||||||||||||||||||||||||
а число кодовых комбинаций N |
|
|
M k . Тогда при r |
|
|
|
|
|
|
|
|
|
и |
||||||||||||
к.к |
i(c , c |
2 |
,..., c |
) |
i(a , a |
2 |
,..., a |
) |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
r |
1 |
r |
|
|
|||||||
|
|
|
|
|
|
H (C) |
k |
H (A) . |
|
|
|
|
|
|
|
|
(7) |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Средняя длина кодовой комбинации равна |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
1 r 1 |
|
|
1 r 1 Nк.к 1 |
|
|
|
|
|
|
|
|
|
|
|||||||
|
n |
lim |
|
|
n |
k |
lim |
|
|
|
P(ck ,i )nk ,i . |
|
|
|
|
|
|
|
|
(8) |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
r r |
k 0 |
r r |
k 0 i 0 |
|
|
|
|
|
|
|
|
|
|
||||||||||
Для стационарного источника |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
Nк.к 1 |
|
|
|
|
|
M k 1 |
|
|
|
|
|
|
|
|
|
|
|||
|
|
n |
|
P(ci )ni |
|
P(ai )ni . |
|
|
|
|
|
|
|
|
(9) |
||||||||||
|
|
|
|
|
|
i 0 |
|
|
|
|
|
i 0 |
|
|
|
|
|
|
|
|
|
|
|||
Если рассматривать объединение источника с кодером как новый источник, то задачей кодера является максимизация энтропии H (C) на его выходе, потому что при этом
избыточность объединённого источника будет минимальной. При заданном значении k максимизировать H (C) можно только путём минимизации средней длины кодовых комбинаций n .
118
Кодирование будет устранять избыточность, если |
|
||||||||||||||||
C A , |
|
H (C) |
|
|
H (A) |
. |
(10) |
||||||||||
|
log2 m |
|
|
|
|||||||||||||
|
|
|
|
|
log2 M |
|
|||||||||||
Используя (4) и (7) в этом неравенстве, получим условие для скорости практически |
|||||||||||||||||
реализуемого экономного кода: |
|
|
|
|
|
|
log2 |
M |
|
|
|
|
|
||||
|
1 Rc |
|
|
, |
|
|
(11) |
||||||||||
|
|
H (A) |
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||
где Rc – скорость кода или коэффициент сжатия сообщений (данных), которая равна |
|
||||||||||||||||
R |
1 C |
|
|
k |
|
log2 M |
. |
(12) |
|||||||||
|
|
|
|||||||||||||||
c |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 A |
|
|
n log2 m |
|
|||||||||||||
|
|
|
|
||||||||||||||
Если в результате кодирования |
будет получено значение Rc 1, то кодер |
будет |
|||||||||||||||
уменьшать избыточность или сжимать сообщения источника (но не информации).
Оценить, насколько экономный код близок к предельному значению, указываемому формулой Шеннона (4), можно с помощью эффективности экономного кодирования
|
1 |
C |
. |
(13) |
|
||||
C |
|
A |
|
|
|
|
|
||
Эффективность кодирования изменяется в пределах |
||||
0 C 1. |
(14) |
|||
Для идеального экономного кода C 0 и C |
1 . |
|||
Для примитивного кода C A и C 0 .
Причины избыточности. Согласно теории информации избыточность источника дискретных сообщений обусловлена двумя причинами:
1)неравновероятностью символов источника;
2)памятью источника, при которой символы на его выходе являются статистически зависимыми.
Идея кодирования заключается в следующем. Наиболее вероятные комбинации символов ai нужно кодировать короткими кодовыми комбинациями, а редко появляющиеся
комбинации кодировать более длинными кодовыми комбинациями (кодирование с переменной длиной кодовых комбинаций).
Для более эффективного кодирования (устранения избыточности) следует кодировать более длинные информационные комбинаций ( k 1 ), т.к. согласно теореме Шеннона при k величина 0 . Однако при больших k кодирование сильно усложняется.
При k 1 число кодируемых комбинации источника становится равным M k и для каждой такой комбинации необходимо рассчитать её вероятность появления. Переход к алфавиту с большим числом символов, путём увеличения k , называют методом укрупнения алфавита, потому что вновь полученные информационные комбинации можно рассматривать как укрупнённые символы источника.
Для однозначности декодирования кодовые комбинации должны удовлетворять
условию префиксности, при котором любая кодовая комбинация не должна быть
началом другой кодовой комбинации. Например, если |
a0 0 , a1 1, a2 10 , то после |
|||
приёма последовательности c 10 нельзя однозначно |
|
определить, |
какой символ был |
|
передан. Такой код не является префиксным. Если a0 |
|
0 , |
a1 10 , |
a2 11, то можно |
составить таблицу однозначного декодирования: 00 a0 |
, a0 , |
10 a1 , |
11 a2 . Такой код |
|
является префиксным. |
|
|
|
|
Оптимальный экономный код. Оптимальным экономным кодом является такой код, |
||||
который при заданном k минимизирует n .
Этому условию удовлетворяет m-ичный код Хаффмана (Huffman D.A., 1952).
119