20 Количество информации в букве сообщения при неравновероятности и взаимозависимости букв. Энтропия марковского источника.

В реальных источниках информации элементы сообщения чаще всего и неравновероятны, и взаимозависимы. Действительно, в тексте буквы появляются не только с разной вероятностью  , но и взаимосвязаны между собой. Значит, нужно учитывать условные вероятности  , т.е. вероятность появления буквы j, если перед ней была буква i. Например, после согласной, как правило, идет гласная буква, хотя есть исключения. Отсюда следует, что количество информации при неравновероятных и взаимозависимых элементах сообщения может быть найдено из выражения:  (6)

Для источника, символы которого появляются с неравной вероятностью и взаимозависимостью (марковского источника), К. Шенноном получено следующее выражение энтропии

Марковский источник обладает самым большим коэффициентом избыточности. А энтропия является самой маленькой среди всех источников

21 Избыточность. Коэффициент сжатия (информативность). Причины избыточности. Методы сжатия сообщений.

Избыточность источника с объемом алфавита k

определяет, какая доля максимально возможной для данного алфавита энтро- пии не используется источником

Избыточность кодов определяется наличием в кодовых комбинациях кон-трольных (проверочных) символов и соотношением их числа с числом информа-ционных символов.

Информативность это отношение энтропии источника к энтропии оптимального источника. Оптимальный источник, символы которого равновероятны и взаимонезависимы. Оптимальный источник имеет максимальное значении энтропии при одинаковом количестве букв в алфавите

Коды, способные обнаруживать и исправлять ошибки, называют помехо-устойчивыми, или корректирующими. Эти коды всегда обладают избыточно-стью, тем большей, чем выше их способность обнаруживать и исправлять ошиб-ки. Избыточность кодов определяется наличием в кодовых комбинациях кон-трольных (проверочных) символов и соотношением их числа с числом информа-ционных символов.

Избыточность в сообщении появляется из-за создания помехоустойчивогокода или кода с исправлением ошибок

Избыточность появляется из-за неравновероятности появления символов и их взаимозависимосто

При кодировании со сжатием без потерь выделяются две разновидности методов: Первая основана на раздельном кодировании символов. Основная идея состоит в том, что символы разных типов встречаются неодинаково части и если кодировать их неравномерно, - так, чтобы короткие битовые последовательности соответствовали часто встречающимся символам, - то в среднем объем, кода бу-дет меньше. Такой подход, именуемый, статистическим кодированием, реализо-ван, в частности, в широко распространенном коде Хаффмана, о котором мы расскажем подробно ниже.

Очевидно, что посимвольное кодирование не использует такого важного резерва сжатия данных, как учет повторяемости последовательностей (цепочек) символов.

Простейший вариант учета цепочек – так называемое «кодирование повто-ров» или код RLE,

Гораздо более универсальным является алгоритм, позволяющий эффек-тивно кодировать повторяющиеся цепочки разных символов, имеющие при этом произвольную длину. Такой алгоритм был разработан Лемпелем и Зивом и при-меняется в разных версиях в большинстве современных программ-архиваторов.

К методам сжатия изображений относятся «блочный» алгоритм JPEG ос-нованный на независимом «огрублении» небольших фрагментов изображений (квадраты 8х8 пикселей). Здесь с ростом степени сжатия проявляется мозаич-ность изображения. Блочный метод JPEG (разработанный специальной группой международного комитета по стандартизации) получил сейчас повсеместное распространение и ниже мы рассмотрим его подробнее. Достигается степень сжатия – в среднем в десятки раз.

При волновом сжатии в отличие от блочного изображение как бы «размы-вается» (чем выше степень сжатия, тем более нечетки границы и детали). При передаче данных получаемое изображение постепенно «проявляется» в деталях. Это позволяет получателю самому выбирать необходимый компромисс между качеством и скоростью получения изображения, что очень удобно, например в Интернет. К тому же «размытость» не столь резко воспринимается глазом как потеря качества по сравнению с «мозаичностью». Так что при субъективно близ-120

ком уровне качества волновой метод дает большую степень сжатия по сравне- нию с «блочным». Именно такой подход реализован в новом стандарте JPEG 2000.