- •Часть 4. Элементы теории информации
- •Глава 1. Энтропия
- •1.1. Комбинаторный подход к вычислению количества информации. Формула Хартли
- •Аксиомы теории информации
- •1.2. Вероятностный подход к вычислению количества информации. Формула Шеннона. Понятие об энтропии
- •Вывод формулы Шеннона
- •1.3. Единицы измерения энтропии и информации
- •С точки зрения теории кодирования существует объяснение, почему используется двоичная система (основание логарифма).
- •1.4. Свойства функции энтропии
- •, Где коэффициент по Лагранжу, а – из условия ограничения.
- •1.5. Энтропия сложных событий. Условная энтропия
- •Глава 2. Информация
- •2.1. Понятие информации
- •2.2. Характеристики дискретных источников информации
- •2.3. Свойства информации
- •2.4. Условная информация
- •Свойства условной информации
- •2.5 Формы адекватности информации
- •Синтаксическая мера информации. Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.
- •2.6 Качества информации
- •Глава 3. Кодирование информации. Общие понятия
Аксиомы теории информации
-
Мера неопределенности есть непрерывная функция вероятности исходов некоторого опыта.
-
Если исходы опыта равновероятны, то мера неопределенности – монотонно возрастающая функция от числа исходов.
-
Если неопределенность раскрывается по этапам, то полная неопределенность равна взвешенной сумме неопределенностей, полученных на каждом этапе.
1.2. Вероятностный подход к вычислению количества информации. Формула Шеннона. Понятие об энтропии
Пример. Рассмотрим кодирование оптимальным неравномерным кодом дискретной системы с восемью не равновероятными состояниями. Такой пример нам нужен для дальнейшего объяснения подхода Шеннона к определению количества информации.
Рассмотрим систему с восемью состояниями с вероятностями состояний, равными целочисленным степеням двойки.
Таблица кодирования состояний такой системы неравномерным оптимальным кодом (его еще называют кодом Шеннона-Фано) представлена ниже.
|
xi |
pi |
|
Двоичные знаки |
Кодовое слово |
|||
|
1 |
2 |
3 |
4 |
||||
|
0 |
¼ |
2-2 |
1 |
1 |
|
|
11 |
|
1 |
¼ |
2-2 |
1 |
0 |
|
|
10 |
|
2 |
1/8 |
2-3 |
0 |
1 |
1 |
|
011 |
|
3 |
1/8 |
2-3 |
0 |
1 |
0 |
|
010 |
|
4 |
1/16 |
2-4 |
0 |
0 |
1 |
1 |
0011 |
|
5 |
1/16 |
2-4 |
0 |
0 |
1 |
0 |
0010 |
|
6 |
1/16 |
2-4 |
0 |
0 |
0 |
1 |
0001 |
|
7 |
1/16 |
2-4 |
0 |
0 |
0 |
0 |
0000 |
Правило кодирования:
1) совокупность символов (алфавит или состояния системы), расположенных предварительно в порядке убывания вероятностей появления символов, разбивают на две группы таким образом, чтобы сумма вероятностей появления символов, входящих в группы, была примерно одинаковой;
2) в свою очередь каждая из групп разбивается на две по такому же принципу;
3) операцию продолжают до тех пор, пока в каждой группе не останется по одному символу;
4) каждый символ обозначается двоичным числом: символам, которые находятся выше линии разбиения, присваивают 1, остальным – 0 (или наоборот),– последовательные цифры которого показывают, в какую группу попал данный символ при очередном разбиении.
Обратите внимание на третий столбец, он вспомогательный, но очень важный для дальнейших выводов. Показатель степени соответствует числу знаков (количеству разрядов) в кодовом слове. То есть, как видим из таблицы, состояние источника с вероятностью вида 2-k имеет кодовое слово с числом знаков k.