Кодовое дерево
|
0 |
1 |
|
0 |
1 |
0 |
1 |
…
Неравенство Крафта
Для существования однозначно декодируемого (разделимого) кода, содержащего N кодовых слов в множестве {0, 1, D – 1} с длинами n1, n2, …, nN, необходимо и достаточно, чтобы выполнялось неравенство
N
D ni 1
i 1
Неравенство Мак-Миллана
Каждый однозначно декодируемый код удовлетворяет неравенству Крафта.
Средняя длина кода
A a1, a2 ,...,aN P p1, p2 ,..., pN C c1,c2 ,...,cN ci ni
A C
N
n pini
i 1
Теорема кодирования источников I
Для любого дискретного источника без памяти X с конечным алфавитом и энтропией H(X) существует D-ичный префиксный код, в котором средняя длина кодового слова удовлетворяет неравенству
H ( X ) |
n H ( X ) |
1 |
log D |
log D |
|
Теорема кодирования источников I
|
|
|
|
N |
1 |
|
|
N |
|
|
|
|
|
|
|
|
|
H (X ) n log D |
pi log |
|
|
pini |
log D |
|
|
|
|
|
|||||||
pi |
|
|
|
|
|
||||||||||||
|
|
|
|
i 1 |
|
i 1 |
|
|
|
|
|
|
|
|
|||
N |
|
D |
ni |
N |
D |
ni |
|
|
|
N |
ni |
N |
|
|
|||
pi log |
|
|
|
|
|
D |
|
0 |
|||||||||
pi |
log e pi |
pi |
|
1 |
|
log e |
|
p |
|||||||||
i 1 |
|
i 1 |
|
|
|
|
i 1 |
|
i 1 |
|
|
||||||
N |
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D ni pi |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
i 1 |
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D ni p D (ni 1) |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p log p p log D (ni 1) |
p ( n 1)log D |
|
|
||||||||||||||
i |
i |
|
|
i |
|
|
|
|
|
i |
|
i |
|
|
|
|
|
N |
|
|
|
N |
|
|
|
|
|
|
N |
|
|
|
|
||
pi log pi log D pi |
( ni ) log D pi |
|
|
||||||||||||||
i 1 |
|
|
|
i 1 |
|
|
|
|
|
|
i 1 |
|
|
|
|||
Теорема кодирования источников I
Теорема кодирования источников I определяет, что средняя длина кодового слова не может быть меньше энтропии источника сообщений.
Теорема кодирования источников II
Для блока длины L существует D-ичный префиксный код, в котором средняя длина кодового слова на один символ удовлетворяет неравенству
HL (X ) |
n HL (X ) |
|
1 |
|
|||
L |
|||||||
log D |
|
|
log D |
|
|||
HL (X ) |
1 |
H (X1, X 2 ,..., X L ) |
|||||
L |
|||||||
|
|
|
|
|
|
||
Теорема кодирования источников II
Здесь в качестве единиц сообщений рассматриваются блоки символов и H(X1, X2, …, XL) – это энтропия
источника сообщений, приходящаяся на блок из L символов. Для доказательства теоремы можно воспользоваться теоремой о кодировании источников I:
H (X1, X 2 ,..., X L ) nL H (X1, X 2 ,..., X L ) |
1, |
|||
log D |
|
log D |
|
|
LH L (X ) |
LH L (X ) |
1, |
|
|
log D |
Ln log D |
|
|
|
HL (X ) n HL (X ) |
1 |
. |
|
|
L |
|
|||
log D |
log D |
|
|
|
Теорема кодирования источников II
Теорема о кодировании источников II позволяет утверждать, что существуют такие способы кодирования для достаточно длинного сообщения, что средняя длина кодового слова может быть
сделана сколь угодно близкой к величине
H (X ) log D
1 |
0 |
H |
n |
H |
|
||
|
|
|
|
||||
log D |
log D |
||||||
L |
|||||||