1. Вероятностный подход к определению количества информации, энтропия

Наиболее известным и широко применяемым на практике является вероятностный подход к измерению информации. На основе этого подхода разработан обширный раздел количественной теории информации, называемый также по имени его основоположника, как "теория информации Шеннона". Он основан на вероятностных допущениях относительно пребывания какой-либо системы в различных состояниях. При этом общее число элементов (микросостояний, событий) системы не учитывается. За количество информации здесь принимается снятая неопределенность выбора из множества возможностей, имеющих, в общем случае, различную вероятность.

Основополагающая роль в вероятностном подходе принадлежит энтропии множества вероятностей, формула которой была получена в 1948 году американским исследователем К. Шенноном.

Понятие количества информации тесно связано с понятием энтропии, являющейся мерой неопределённости. Приобретение информации сопровождается уменьшением неопределённости, поэтому количество можно измерять количеством исчезнувшей неопределённости, т.е. энтропии.

«Предположим, что имеется некоторое множество возможных событий, вероятности осуществления которых суть р1, р2,…,рn. Эти вероятности известны, но это – все, что нам известно относительно того, какое событие произойдет. Можно ли найти меру того, насколько велик выбор из такого набора событий или сколь неопределенен для нас его исход?».

Для такой меры Н выдвигается требование: она должна обладать следующими тремя свойствами.

1. Н должна быть непрерывной относительно pi.

2. Если все pi равны, то Н должна быть монотонно возрастающей функцией от n.

3. Если выбор распадается на два последовательных выбора, то первоначальная Н должна быть взвешенной суммой индивидуальных значений Н каждого из выборов.

В процессе последующих исследований К. Шеннон доказал теорему: "Существует единственная функция Н, удовлетворяющая трем перечисленным выше свойствам. При этом Н имеет вид:

где К – некоторая положительная постоянная.

Нетрудно видеть, что в том случае, когда все вероятности равны между собой, информационная мера Шеннона сводится к двоичному логарифму Хартли от числа возможностей:

2. Кодирование знаков и слов. Префиксный код. Свойства префиксного кода, полный префиксный код. Дерево кода.

2. Кодирование знаков и слов. Префиксный код. Свойства префиксного кода, полный префиксный код. Дерево кода.

Полагается, что сообщение источника информации формируется из знаков аi, i=1,2,.. Na внешнего (входного, первичного) алфавита А объемом Na. Сообщения представляют собой слова, образованные последовательностью nr знаков: Ar =a1a2…anr. В кодирующем устройстве слово Ar преобразуется в кодовое слово Br=b1b2…bmr, составленное из mr знаков bj, j=1,2,..Nb внутреннего (выходного, вторичного) алфавита В. Число знаков кодового алфавита называют основанием кода. Число знаков в кодовом слове называют длиной кодового слова. Отображение G множества слов в алфавите А на множество слов в алфавите В называют кодирующим отображением или кодом. Применение кодирующего отображения G к любому слову из входного алфавита называется кодированием. То есть код - это правило отображения знаков одного алфавита в знаки другого алфавита, кодирование - это преобразование одной формы сообщения в другую посредством указанного кода.

Различают побуквенное и блочное кодирование. При побуквенном кодировании каждому знаку внешнего алфавита ставиться в соответствие кодовое слово из знаков внутреннего алфавита.

При блочном кодировании слову из знаков внешнего алфавита ставиться в соответствие кодовое слово из знаков внутреннего алфавита.

Префиксный код – никакое кодовое слово не является началом другого кодового слова (префиксом). Пре́фиксный код в теории кодирования — код со словом переменной длины, имеющий такое свойство (выполнение условия Фано): если в код входит слово a, то для любой непустой строки b слова ab в коде не существует. Примерами префиксных кодов являются коды Шеннона, Шеннона-Фано и Хаффмана.

Свойство 1: Префиксный код однозначно декодируем

Свойство 2: префиксные коды мгновенно декодируются

Преимущество: сжатие

Не всякий однозначно декодируемый код- префиксный..

Обратно префиксный код- код, кот. Можно декодировать с обратной стороны.

Полный префиксный код – если в префиксный код добавляется еще 1 слово, то он теряет префиксность

Кодовое дерево - связной граф, не содержащий циклов.

Дерево кода – неориентированный ацикличный граф из каждой вершины которого может выходит N ветвей, где n – число символов алфавита.