Interaction взаимодействие

DISTORTION искажение

QUANTITY количество

DENSITY плотность

AVERAGE средний

Количество информации можно определить как меру уменьшения неопределенности в результате получения сигнала. Это соответствует разности энтропий до и после приема сигнала.

Среди свойств количества информации выделяются следующие: 1) количество информации (в отличие от энтропии) имеет одинаковый смысл как для дискретных, так и для непрерывных случайных объектов; 2) при обработке данных содержащееся в них количество информации не может быть увеличено. Следовательно, обработка делается лишь для представления информации в более удобном, компактном виде и в лучшем случае без потери полезной информации.

ЕДИНИЦЫ ИЗМЕРЕНИЯ ЭНТРОПИИ И КОЛИЧЕСТВА ИНФОРМАЦИИ

Рассмотрим теперь вопрос о единицах измерения количества информации и энтропии. Из определений I и Н следует их безразмерность, а из линейности их связи – одинаковость их единиц. Поэтому будем для определенности говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что

. (11)

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число m состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. m = 2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства –р₁log₂р₁ – р₂log₂р₂ = 1 вытекает, что р₁ = р₂ = 1/2. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название “бит”. Бросание монеты дает количество информации в один бит. Другая единица (“нит”) получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.

КОЛИЧЕСТВО ИНФОРМАЦИИ В ИНДИВИДУАЛЬНЫХ СОБЫТИЯХ

Остановимся еще на одном важном моменте. До сих пор речь шла о среднем количестве информации, приходящемся на любую пару состояний (х_i, у_k) объектов Х и Y. Эта характеристика естественна для рассмотрения особенностей стационарно функционирующих систем, когда в процессе функционирования (рано или поздно, реже или чаще) принимают участие все возможные пары (х_i, у_k). Однако в ряде практических случаев оказывается необходимым рассмотреть информационное описание конкретной пары состояний, оценить содержание информации в конкретной реализации сигнала. Тот факт, что некоторые сигналы несут информации намного больше, чем другие, виден на примере того, как отбираются новости средствами массовой информации (скажем, все радиостанции и газеты сообщают о рождении шестерых близнецов где-то в Южной Америке, но о рождении двойни обычно не пишут).

Допуская существование количественной меры информации i(х_i, у_k) в конкретной паре (х_i, у_k), естественно потребовать, чтобы индивидуальное и среднее количества информации удовлетворяли соотношению

. (12)

Хотя равенство сумм имеет место не только при равенстве всех слагаемых, сравнение формул (12) и, например, (4) наталкивает на мысль, что мерой индивидуальной информации в дискретном случае может служить величина

, (13)

а в непрерывном – величина

, (14)

называемая информационной плотностью. Свойства этих величин согласуются с интуитивными представлениями (в том числе и возможная отрицательность при положительности в среднем) и, кроме того, доказана единственность меры, обладающей указанными свойствами. Полезность введения понятия индивидуального количества информации проиллюстрируем на следующем примере.

Пусть по выборке (т.е. совокупности наблюдений) х = х₁, ..., х_N требуется отдать предпочтение одной из конкурирующих гипотез (Н₁ или Н₀), если известны распределения наблюдений при каждой из них, т.е. р(х | Н₀) и р(х | Н₁). Как обработать выборку? Из теории известно, что никакая обработка не может увеличить количества информации, содержащегося в выборке х (см. формулу (9)). Следовательно, выборке х нужно поставить в соответствие число, содержащее всю полезную информацию, т.е. обработать выборку без потерь. Возникает мысль о том, чтобы вычислить индивидуальные количества информации в выборке х о каждой из гипотез и сравнить их:

. (15)

Какой из гипотез отдать предпочтение, зависит теперь от величины ?i и от того, какой порог сравнения мы назначим. Оказывается, что мы получили статистическую процедуру, оптимальность которой специально доказывается в математической статистике, – именно к этому сводится содержание фундаментальной леммы Неймана – Пирсона. Данный пример иллюстрирует эвристическую силу теоретико-информационных представлений.

Подведем итог Главным результатом данного параграфа является открытие К.Шэнноном возможности количественного описания информационных процессов в системах и получение им формулы для количества информации.

Summary The gist of this section is the possibility, discovered by C.Shannon, of quantitatively describing information processes in systems and finding the functional that expresses the quantity of information.