22 Количество информации при равновероятных состояниях элементов сообщения. Энтропия сообщений.

23 Единицы измерения количества информации и энтропии.

Количество информации при равновероятных состояниях элементов сообщения. Энтропия сообщений.

За единицу количества информации приняли такое количество информации, при котором неопределённость уменьшается в два раза. Такая единица названа бит.

С точки зрения вероятности 1 бит — это такое количество информации, которое позволяет выбрать одно событие из двух равновероятных.

В технике под количеством информации понимают количество кодируемых, передаваемых или хранимых символов.

Равновероятное, т.е. ни одно из них не имеет преимущества перед другим.

Для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.

Существует формула, которая связывает между собой количество возможных событий и количество информации. N = 2I; где N — количество возможных вариантов, I - количество информации.

Если из этой формулы выразить количество информации, то получится I = log N.

Сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

Энтропия- количество информации, которая приходится на один символ в сообщении.: h=log m. где m-число состояний

24 Представление сообщений и определение количества информации и энтропии при разновероятных состояниях элементов.

Неравновероятность является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется.

25 Основные свойства энтропии.

1.Количество информации пропорционально числу элементов в сообщении.(прямая зависимость)

2.Количество информации и энтропия зависит от числа возможных состояний.

3. Количество информации зависит от вероятности состояния.

4. Энтропия максимальна, когда все состояния источника равновероятны. При этом Hmax(UN) = log2 N.

5. Энтропия является неотрицательной вещественной величиной. Это так, поскольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение –pi log pi положительно.

6. Энтропия ограничена сверху значением 1.

7. Энтропия равна 0, только если одно из состояний имеет вероятность, равную 1 (полностью определенный источник).

8. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.

9. Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.

10. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, не учитывая содержательную сторону (семантику) состояний

27 Коэффициент сжатия и избыточность сообщений.

Если вероятности одинаковые, энтропия максимальная.

Сообщения, энтропии которых равны максимальному значению, являются оптимальными сообщениями в смысле наибольшего количества передаваемой информации. Для любых сколько-нибудь реальных источников выполняется условие и для характеристики неоптимальности вводят коэффициент сжатия.

Коэффициент сжатия характеризует степень сжатия реальных сообщений при переходе к оптимальному кодированию для оценки той части реальных сообщений которая может быть отброшена при переходе к оптимальному кодированию, т.е. доля элементов реальных сообщений, которая является излишней вводится коэффициент избыточности . n-количество элементов в сообщении.