Лекции, разбитые по вопросам экзамена (2008) / 21

Теорема кодирования последовательности статистически независимых сообщений.

Дискретный стационарный источник – в каждый момент времени передается сообщение конечного множества

ИИ

Число символов алфавита кодировки, приходящееся на 1 сообщение

Теорема

Для заданного алфавита кодировки и сколь угодно малого положительного существует такое целое и множество готовых слов , что среднее число символов алфавита кодировки, приходящееся на 1 сообщение (,

Доказательство.

Каждой комбинации ставим в соответствие кодовое слово,

Если это так, то тогда:

Докажем (*):

==========

.