Лекции, разбитые по вопросам экзамена (2008) / 7

Кодирование событий, порождаемых источником с фиксированной скоростью.

Для такого источника существует процедура асимптотически эффективного кодирования

Теорема 8.

T – подмножество последовательности букв.

M=|T| (мощность) (T) – вероятность появления последовательности, принадлежащей множеству T. Тогда существует такое µ что ν>µ, что 𝒫(T)>1-δ,

Доказательство

Из теории больших чисел следует, что

Т. е. вероятность что будет отличаться можно сделать сколь угодно малой

Шаг 1. Выбираем наибольшее М чтобы выполнялось условие

Шаг 2.