3. Условная вероятность и условная энтропия. Условная вероятность

Условная энтропия

Совместная и условная энтропия связаны равенством

H (XY) = H (X) + H (Y | X)

Условная энтропия не больше безусловной, потому что добавление ограничений уменьшает неопределенность

H (Y | X) <= H (Y)

H (X | Y) <= H (X)

Следовательно: H (XY) <= H(X) + H(Y)

4. Взаимная информация. Потери информации от помех. Избыточность.

I(X,Y) = H(Y) - H(Y | X) >=0

Симметрично I(X,Y) = H(X) - H(X | Y).

Взаимная информация – мера снятой неопределенности при получении сообщений Y

Таким образом, имеет место полная симметрия между X и Y H (XY) = H(X) + H(Y | X) = H(Y) + H(X | Y)

I (X,Y) = H(X) - H(X | Y) = H(Y) - H(Y | X)

H(XY) = H(X) + H(Y) – I(X,Y)

Если X и Y независимы, то H(Y | X) = H(Y) и H(X | Y) = H(X), значит, I(X,Y) = 0 и H (XY) = H(X) + H(Y)

В теории информации избыточность означает, что количество информации в сообщении меньше чем объем используемого алфавита

От избыточности можно избавиться, применяя эффективное кодирование, объем сообщения при этом уменьшается

При передаче по каналу связи с помехами, наоборот, добавляют проверочные символы для обнаружения ошибок, увеличивая избыточность

5. Информационные характеристики дискретных источников.

Без памяти:

С памятью:

6. Цепи Маркова. Характеристики Марковских источников.

Математической моделью ДИСП является цепь Маркова, Это последовательность состояний S[1], S[2],…,S[n],…, каждое из которых принадлежит множеству {S₁, S₂,…,S_m}, и заданные вероятности перехода π_n2n1(j₂ | j₁) = P(S[n₂]=S_j2 | S[n₁] = S_j1)

Они должны удовлетворять следующим свойствам:

Стационарный источник – источник, у которого совместные вероятности последовательностей букв не зависят от начала отсчета.

Эргодичный источник – если по одной достаточно большой реализации можно судить о всех возможных реализациях.

Информационные характеристики дисп

7. Теоремы об эффективном кодировании.

• Цель эффективного кодирования – уменьшить избыточность источника

• Каждому символу однозначно соответствует последовательность из 0 и 1 (кодовое слово)

• Чем больше вероятность появления символа, тем меньше длина соответствующего кодового слова

• Наиболее эффективно кодирование больших блоков информации, но оно и более трудоемко

• Целесообразно обеспечить однозначное декодирование без дополнительных разделительных символов

Теорема кодирования 1

Теорема кодирования 2 (с док-вом и выводом)

8. Метод Хаффмана и другие методы сжатия данных.

Недостатки метода Хаффмана

• Различные длины кодовых слов приводят к неравномерным задержкам при пересылке и декодировании

• Снижение избыточности приводит к тому, что один неправильный бит означает неправильность всех последующих символов

• На практике очень редко известны точные вероятности, что снижает эффективность.

Другие методы сжатия данных

• Сжатие с потерей несущественной информации (MPEG)

• Адаптивные алгоритмы (вероятности меняются по мере накопления статистики)

• Динамические алгоритмы (Лемпеля-Зива) со словарем часто встречающихся последовательностей

• Арифметическое кодирование (замена букв на интервалы чисел)