- •Министерство образования и науки, молодёжи и спорта украины
- •Тема 1. Предмет теории информации и количественная мера информации
- •1.2 Этапы обращения информации
- •1.3 Система передачи информации
- •1.4 Задачи и постулаты прикладной теории информации
- •1.5. Количественная оценка информации дискретного источника. Энтропия.
- •1.6 Фундаментальные свойства энтропии
- •Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии.
- •2.1 Условная энтропия.
- •2.2 Основные свойства условной энтропии.
- •2.3 Взаимная энтропия. Свойства энтропии объединения.
- •Тема 3. Эффективное кодирование источника дискретных сообщений в канале без помех.
- •3.1 Избыточность информации, причины ее появления.
- •3.2 Способы сокращения избыточности.
- •3.3 Теорема Шеннона для канала без помех.
- •4.1 Общие понятия и элементы теории кодирования
- •4.2 Цели кодирования
- •4.3 Оптимальные неравномерные коды
- •4.4 Коды Шеннона-Фэно
- •4.5 Коды Хаффмена
- •4.6 Особенности эффективных кодов.
- •Тема 4. Кодирование источника дискретных сообщений в канале с помехами. Общие принципы помехоустойчивого кодирования.
- •5.1 Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами.
- •5.2 Общие принципы использования избыточности
- •5.3 Связь корректирующей способности кода с кодовым расстоянием
- •6.1 Корректирующие свойства кодов с избыточностью.
- •6.2 Классификация корректирующих кодов
- •Тема 5. Регулярные методы построения двоичных помехоустойчивых кодов
- •7.1 Линейные коды. Общие медоды построения.
- •7.2 Определение числа добавочных разрядов r.
- •7.3 Построение образующей(порождающей) матрицы |om|.
- •7.4 Порядок кодирования
- •7.5 Порядок декодирования
- •7.6 Систематические коды. Код Хэмминга.
- •7.7 Обнаружение и исправление ошибок в коде Хэмминга
- •8.1 Двоичные циклические коды
- •8.2 Некоторые свойства циклических кодов
- •8.3 Матричное описание циклических кодов
- •8.4 Выбор образующего полинома
- •8.5 Декодирование циклических кодов
- •Тема 6. Построение кодов заданой помехоустойчивости. Применение недвоичных помехоустойчивых кодов.
- •9.1 Матричное описание циклических кодов.
- •9.2 Коды Боуза — Чоудхури — Хоквингема (бчх)
- •9.3 Систематический вид циклического кода.
- •9.4 Коды Рида–Соломона и их применение.
- •9.5 Циклический избыточный код crc
- •Тема 7. Информационные характеристики источников непрерывных сообщений. Источники с максимальной энтропией. Максимальная пропускающая способность канала связи с помехами.
- •10.1 Информационные характеристики источников непрерывных сообщений
- •10.2 Энтропия равномерного закона распределения
- •10.3 Энтропия гауссового закона распределения.
- •11.1 Пропускная способность канала связи с помехами для непрерывных сообщений
- •Тема 8. Методы кодирования информации со сжатием.
- •12.1 Подстановочные или словарно-ориентированные алгоритмы сжатия информации. Методы Лемпела-Зива.
- •13.1 Описание алгоритма сжатия lzw
- •Декодирование по lzw
- •Достоинства и недостатки lzw
- •13.2 Применение lz-алгоритмов упаковки данных
- •14.1 Кодирование длин повторений
- •14.2 Дифференциальное кодирование
- •Тема 9. Методы кодирования со сжатием и с потерями информации..
- •15.1 Методы сжатия с потерей информации
- •15.2 Точность. Помехи и искажения. Приближенное восстановление
- •15.5 Кодирование преобразований. Стандарт сжатия jpeg
- •Или же, в матричной форме,
- •Тема 10. Методы кодирования физических сигналов в компьютерных сетях.
- •16.1 Кодирование на физическом уровне.
- •16.2 Самонихронизирующиеся коды - коды rz и Манчестер-II
- •16.3 Несамосинхронизирующиеся коды. - код nrz
- •16.4 Высокоскоростные коды - код mlt-3 и pam 5
- •Еще более высокоскоростной код - код pam 5
- •16.5 Требуемая полоса частот для передачи данных и ширина спектра сигнала
- •Ширина спектра сигнала
1.4 Задачи и постулаты прикладной теории информации
К теории информации относят следующие фундаментальные теоретические вопросы:
- анализ количественныхинформационных характеристик источников сообщений и каналов связи.
- обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи, как при отсутствии, так и при наличии помех.
В теории информации исследуются информационные системы при четко сформулированных условиях :
1. Источник сообщения осуществляет выбор символа Xi из некоторого множества с определенной вероятностью, Pi
2. Символы могут передаваться по каналу связи в закодированном виде. Кодированные сообщения образуют множество, являющееся взаимно однозначным отображением множества символов. Правило декодирования известно декодеру (записано в его программе).
3. Символы следуют друг за другом, причем их число в сообщении может быть сколь угодно большим.
4. Сообщение считается принятым верно, если в результате декодирования оно может быть в точности восстановлено. При этом не учитывается, сколько времени прошло с момента передачи сообщения до момента окончания декодирования, и какова сложность операций кодирования и декодирования.
5. Количество информации не зависит от смыслового содержания сообщения, от его эмоционального воздействия, полезности и даже от его отношения к реальной действительности.
1.5. Количественная оценка информации дискретного источника. Энтропия.
В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации Это понятие не затрагивает смысл и важности передаваемого сообщения, а связано со степенью его неопределенности.
Пусть источник случайных сообшений выдает всего N различных символов или букв. иногда этот набор символов называют алфавитом источника. Из этих символов или букв состоят сообшения на выходе источника. Длина отдельного сообшения произвольна, и может быть вообще не ограничена.
Введем теперь меру неопределенности появления определенного символ на выходе источника. Ее можно рассматривать и как меру количества информации, получаемой при появлении этого символа. Мера должна удовлетворять ряду естественных условий. Она должна возрастать с увеличением возможностей выбора, т. е. с увеличением числа N возможных символов на выходе источника. Тогда за меру неопределенности можно было бы взять число различных символов , предположив, что они равновероятны.
Таким образом пусть на выходе источника случайных сообщений появляется сообшение произвольной длины, состояшее из N различных символов. Если вcе N символов источника являются равновероятными, то получение конкретного символа равносильно для него случайному выбору одного из N символов с вероятностью 1/N.
Ясно, что чем больше N тем большая степень неопределенности характеризует этот выбор и тем более информативным можно считать соообщение, составленное из этих символов.
Поэтому число N могло бы служить мерой информативности источника.
Однако такая мера противоречит некоторым интуитивным представлениям. Например, при N=1, когда неопределенность появления символа отсутствует, она давала бы значение информативности, равное единице. Кроме того, такая мера не отвечает требованию аддитивности, состоящему в следующем. Если два независимых источника с числом равновероятных символов N и Μ рассматривать как один источник, одновременно реализующий пары символов Nimj, то естественно предположить, что информативность объединенного источника должна равняться сумме информативностей исходных источников. Поскольку общее число состояний объединенного источника равно ΝΜ, то искомая функция должна удовлетворять условию
I(N,M)=I(N)+I(M)
Требования выполняются, если в качестве меры информативности источника сообшений с равными вероятностями появления символов принять логарифм числа различных символов источника: Тогда при Ν= 1, I(U) = 0 и выполняется требование аддитивности для двух и более источников. Указанная мера была предложена американским ученым Р. Хартли в 1928г.
При этом в качестве меры неопределенности выбора ОДНОГО символа источника с равновероятными появлением символов принимают логарифм числа символов источника:
H = logN
Эта логарифмическая функция характеризует количество информации источника сообщений. Ее называют энтропией. Эта мера была предложена американским ученым Р.Хартли в 1928г.
В принципе безразлично, какое основание логарифма использовать для определения количества информации так как в переход от одного основания логарифма к другому сводится лишь к изменению единицы измерения.
Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум, т.е. информативность выражают как:
H = log2 N.
Тогда единицу количества информации на один символ источника называют двоичной единицей или битом. При этом единица неопределенности (двоичная единица или бит) представляет собой неопределенность выбора из двух равновероятных событий (bit — сокращение от англ binary digit — двоичная единица)
Так как из log2 N = 1 следует N = 2, то ясно, что один бит - это количество информации, которым характеризуется двоичный источник при равновероятных символах 0 и 1.
Двоичное сообщение такого источника длиной L содержит L бит информации.
Если основание логарифма выбрать равным десяти, то энтропия выражается в десятичных единицах на элемент сообщения - дитах, причем 1 дит = lg2 бит = 3,32 бит.
Пример. Определить количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом в 1 В.
Решение. В рассматриваемом случае длина сообщения (символа) , соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.
Количество символов (различных значений амплитуды) равно числу значений, которое может принять амплитуда импульсов в строке,: N = 8.
Количество информации в одной строке: Iстр. =600 logN= 600 log 8, а количество информации в кадре: Isum= 625*Iстр = 625 *600 log 8 == 1,125 • 106 бит
Рассмотренная выше оценка информативности или энтропия основана на предположении о равновероятности всех знаков алфавита. В общем же случае каждый из символов появляется в сообщении источника с различной вероятностью.
И что теперь делать? Как охарактеризовать информативность или меру неопределенности такого источника? Рассмотрим пути решения этой проблемы.
Пусть на основании статистического анализа известно, что в сообщении достаточно большой длины n знак Хi появляется n; раз, т.е. вероятность появления знака Хi
Все знаки алфавита этого источника составляют полную систему случайных событий, поэтому:
Введем понятие частной энтропии или неопределенности появления ОДНОГО конкретного i-того символа такого источника:
Hi=-log(Pi)
Тогда, взвесив ВСЕ частные энтропии вероятностями их появления Pi , можно записать выражения для средней энтропии , приходяшейся на ОДИН символ источника.
Эта средняя энтропия характеризует нам ВЕСЬ источник, его среднюю энтропию на один символ
Эта мера энтропии была введена Клодом Шенноном. Она полностью удовлетворяет нашим интуитивным требованиям к мере информации. Она аддитивна, при верорятностях появления символов источника, равным 1 и 0 она тоже равна 0.
Если сообщение источника состоит из n независимых символов, то суммарное количество информации в этом сообщении
В дальнейшем в выражениях для количества информации I и энтропии Н всегда используют логарифмы с основанием 2,