10. Теория кодирования. Основные понятия теории кодирования.

Теория кодирования информации является одним из разделов теоретической информатики. К основным задачам, решаемым в данном разделе, необходимо отнести следующие: разработка принципов наиболее экономичного кодирования информации; согласование параметров передаваемой информации с особенностями канала связи; разработка приемов, обеспечивающих надежность передачи информации по каналам связи, т.е. отсутствие потерь информации. Понятие кодирование означает преобразова­ние информации в форму, удобную для передачи по определен­ному каналу связи. Декодирование – восстановление принятого сообщения из-за кодированного вида в вид доступный для потребителя.

Алфавитное кодирование, двоично-десятичное кодирование. Арифметическое кодирование и т. д.

11. Вероятностный подход к определению количества информации.

Количество информации в случае различных вероятностей событий определяется

по формуле Шеннона:

где P_i – вероятность i-го события,

N – количество возможных событий

Формула была предложена в 1948 г.

Задача 1. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.

Решение: Вероятность вытаскивания белого шара - P1 = 40/50 = 0,8

Вероятность вытаскивания чёрного шара P₂ = 10/50 = 0,2

Количество информации о вытаскивании белого шара  i₁ = log2(1/0,8) = log21,25

= log1,25/log2  0,32 бит

Количество информации о вытаскивании чёрного шара  i₂ = log2(1/0,2) = log25 = log5/log2  2,32 бит

Ответ: 0,32 бит;  2,32 бит

Вычисление количества информации для равновероятных событий определяется по формуле Хартли:

Формула Хартли - частный случай формулы Шеннона для равновероятных событий:

где N – число возможных событий,

i – количество информации в битах.

Формула была предложена Р. Хартли в 1928 г.

Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение: Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.

N = 32, i = ?        N = 2ⁱ, 32 = 25, i = 5 бит. Ответ: 5 бит.

12. Понятие энтропии, свойства энтропии. Условная энтропия.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию:

бит на одно кидание (при условии его независимости), а оличество возможных состояний равно: возможных состояния (значения) ("орёл" и "решка").

У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю:  , а количество возможных состояний равно: возможное состояние (значение) («А») и от основания логарифма не зависит.

Это тоже информация, которую тоже надо учитывать. Примером запоминающих устройств в которых используются разряды с энтропией равной нулю, но сколичеством информации равным 1 возможному состоянию, т.е. не равным нулю, являются разряды данных записанных в ПЗУ, в которых каждый разряд имеет только одно возможное состояние.

Так, например, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.

Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.

Количество энтропии не всегда выражается целым числом битов.

Математические свойства

1. Неотрицательность:  .

2. Ограниченность:  , что вытекает из неравенства Йенсена для вогнутой функции   и  . Если все   элементов из   равновероятны,  .

3. Если   независимы, то  .

4. Энтропия — выпуклая вверх функция распределения вероятностей элементов.

5. Если   имеют одинаковое распределение вероятностей элементов, то  .

Эффективность

Алфавит может иметь вероятностное распределение далекое от равномерного. Если исходный алфавит содержит   символов, тогда его можно сравнить с «оптимизированным алфавитом», вероятностное распределение которого равномерное. Соотношение энтропии исходного и оптимизированного алфавита — это эффективность исходного алфавита, которая может быть выражена в процентах. Эффективность исходного алфавита с   символами может быть также определена как его  -арная энтропия.

Энтропия ограничивает максимально возможное сжатие без потерь (или почти без потерь), которое может быть реализовано при использовании теоретически —типичного набора или, на практике, — кодирования Хаффмана, кодирования Лемпеля — Зива — Велча или арифметического кодирования.