3)Подходы к оценке количества информации
1.Статистический (количество информации оценивается с точки зрения неопределенности, снимаемой при получении информации, при этом не затрагивается смысл информации)
2.Семантический (учитывается ценность информации, ее полезность; ценность определяется эффективностью в последующем управлении на ее основе, но это величина относительная)
3.Структурный (за единицу информации берется некоторая элементарная единица, следовательно, общее количество информации определяется их суммой; подход механический, при нем не учитывается ценность информации)
2. |
Бит3, |
= ln |
|
4) Единицы информации |
|||
3. |
Хартли |
4=, |
log2 |
1. |
Нат2, |
|
= lg |
|
|
||
2Название «Нат» происходит от слова натуральный.
3Бит (англ. binary digit — двоичное число; также игра слов: англ. bit — кусочек, частица) — единица измерения количества информации, равная одному разряду в двоичной системе счисления.
4Ральф Винтон Лайон Хартли (англ. Ralph Vinton Lyon Hartley, 30 ноября 1888, Спрус, Невада —
1 мая 1970, Нью-Джерси) — американский учёный-электронщик. Он предложил генератор Хартли, преобразование Хартли и сделал вклад в теорию информации, введя в 1928 году логарифмическую меру информации, которая называется хартлиевским количеством информации.
5) Формулы Хартли и Шеннона
Пусть:
– число символов в алфавите [шт.]
– число символов в сообщении [шт.]
Тогда= : – возможное количество различных сообщений [шт.]
Формула=Хартлиlog (1928= logг., Р. Хартли):
– количество информации.
Примечание:
Внимательный читатель заметит, что в вышеприведенной формуле отсутствует основание логарифма. В зависимости от того, в каких единицах измеряется информация, основания логарифмов в этой и последующих формулах могут различаться (например, 2
— при использовании бит в качестве единиц измерения, e — для нат, 10 — хартли).
|
|
|
|
количество информации, содержащееся в сообщении длины |
|
. |
||||||
Формула Хартли определяетФормула Шеннона (1946 г., Шеннон): |
|
|
|
|||||||||
|
|
|
|
( ) = |
|
|
|
|
|
|
||
|
|
|
|
− ( ) ( ) |
|
|
|
|
||||
(– ) |
|
|
= 1, |
|
|
=1 |
|
|
|
|
||
– вероятность |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|||
( ) |
– энтропия (см. следующую страницу); |
= 1, |
|
|
|
|||||||
|
|
|
− го |
|
|
|
|
|||||
|
символы сообщения, |
|
|
; |
|
|
|
|
|
|
||
|
|
|
появления |
|
|
|
символа в нашем сообщении, |
|
. |
|
|
|
6) Энтропия. Её свойства. Условная энтропия.
Энтропия — количество информации, переносимое одним символом сообщения.
Вспомним формулу Шеннона (1946 г., Шеннон) |
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
( ) = |
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
− ( ) ( ) |
|
|
||||||||||||
|
|
|
|
|
|
|
|
= 1, |
|
=1 |
|
|
|
|
|
|
|
= 1, |
||||
|
— вероятность |
|
|
|
|
|
|
|
|
|
|
|||||||||||
( ) |
|
|
|
|
|
|
|
|
|
− го |
|
|
|
|
|
|
|
|
||||
|
— символы сообщения, |
|
|
|
|
|
; |
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
появления |
|
|
|
|
символа в нашем сообщении, |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( ) = 1 |
|
|
|
|
|||||
Тогда |
( |
) = 1 |
|
|
|
|
|
|
|
=1 |
|
|
( ) |
|
= 2, |
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Пусть |
|
1 |
|
|
(аналогично для любого другого |
|
|
, |
|
). |
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
( ) = 0 |
|
|
|
|
|||||
|
|
сумма вероятностей появления всех остальных символов будет равна нулю: |
||||||||||||||||||||
Тогда |
|
( ) |
|
|
|
. |
|
|
|
|
= 1, |
|
|
|
|
|
|
|
|
|||
Следовательно, |
|
|
|
|
|
|
|
=2 |
|
|
|
|
|
|
|
|
||||||
Пусть все |
|
|
– (равновероятны) = 0 |
, |
|
|
|
. |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
( ) = 1 |
|
|
|
|
|
||||
|
|
вероятность появления каждого символа будет одинаковой: |
|
|
||||||||||||||||||
|
|
|
|
( ) = − |
1 1 = − |
|
1 log 1 = log( ) |
|||||||||||||||
При этом энтропия достигает=1своего |
максимума |
. |
|
|
|
|
|
|||||||||||||||
Таким образом, в общем случае |
|
|
( ) [0, log( )] |
|
|
|
|
|||||||||||||||
Условная энтропия
Условная энтропия – среднее количество информации, переносимое одним символом сообщения при условии корреляционных связей между символами.
|
|
|
|
|
||
|
′ |
|
|
– условная вероятность (вероятность того, что после символа последует |
||
символ |
|
) |
|
|
||
( |
/ ) |
|
|
|||
|
|
|
′ |
Формула условной энтропии: |
|
|
|
|
|
|
|
|
|
|
|
|
|
( ′/ ) = − ( ) ′/ log ′/ |
|
|
|
– максимальное количество информации, которое может перенести 1 символ. |
|||||
1 |
|
|
|
=1 |
=1 |
|
– количество информации, переносимое одним символом с учетом корреляционных |
||||||
2 |
|
|
|
|
|
|
связей= . ≥ 0,51−1 2 — коэффициент избыточности (для европейских языков )
Бит – максимальное количество информации, которое переносит 1 символ, если алфавит состоит всего из двух символов.