Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Информатика учебное пособие часть 1.doc
Скачиваний:
29
Добавлен:
16.09.2019
Размер:
882.18 Кб
Скачать

3. Понятие информации в теории Шеннона

3.1 Понятие энтропии

Материал этой главы опирается на понятия и соотношения теории вероятностей. Этот раздел математики определяет понятийный и математический аппарат для описания случайных событий.

Случайными называются события, исход которых не может быть однозначно определен до того, как они произошли.

Другими словами, то, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием.

Безусловно, степень неопределенности различна для разных ситуаций.

Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет (хотя по положению в ВУЗе можно учиться до 35 лет).

Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст такого студента меньше 18 лет.

Для практики важно иметь возможность провести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.

Начнем с простой ситуации – когда опыт имеет n равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от n, то есть мера неопределенности является функцией числа исходов f(n).

Можно указать некоторые свойства этой функции (*):

f(1)=0, поскольку при n=1 исход опыта не является случайным, и, следовательно, неопределенность отсутствует;

f(n) возрастает с ростом n, поскольку, чем больше число возможных исходов, тем более затруднительным становится предсказание результатов опыта.

Для определения явного вида функции f(n) рассматриваются 2 независимых опыта  и  с количествами равновероятных исходов соответственно n и n. Пусть имеет место сложный опыт, который состоит из одновременного выполнения опытов  и . Число возможных его исходов равно nn, причем все они равновероятны. Очевидно, неопределенность исхода такого сложного опыта    будет больше неопределенности опыта  , поскольку к ней добавляется неопределенность . Мера неопределенности сложного опыта f(nn).

С другой стороны меры неопределенности отдельных опытов  и  составляет соответственно f(n) и f(n). В первом случае проявляется общая (суммарная) неопределенность совместных событий, во втором – неопределенность каждого из событий в отдельности.

Однако из независимости  и  следует, что в сложном опыте они никак не могут повлиять друг на друга, то есть  не может оказать воздействия на  и наоборот.

Следовательно, мера суммарной неопределенности должна быть равна сумме мер неопределенности каждого из опытов, то есть мера неопределенности аддитивна:

f(nn)= f(n)+ f(n). (3.1)

Каким же может быть явный вид функции f(n), чтобы он удовлетворял условиям (*) и соотношению (3.1)?

Такому набору свойств удовлетворяет функция log(n), причем можно доказать, что она – единственная из всех существующих классов функций. Таким образом, за меру неопределенности опыта с n равновероятными исходами можно принять число log(n).

Выбор основания логарифма значения не имеет, поскольку возможно преобразование логарифма от одного основания к другому:

logaM= . (3.2)

Переход к другому основанию состоит во введении одинаковых для обеих частей выражения (2.2) постоянного множителя logba, что равносильно изменению масштаба (то есть размера единицы) измерения неопределенности.

Поскольку это так, то имеется возможность выбрать «удобное» основание логарифма. Таким удобным основанием оказывается 2. В этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь 2 равновероятных исхода, которые можно обозначить, например, Истина/Ложь, и использовать для анализа таких событий аппарат математической логики.

Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит.

Таким образом, установлен явный вид функции, описывающей меру неопределенности опыта, имеющего n равновероятных исходов: f(n)=log2n.

Эта величина получила название энтропия. Обозначается Н.

Вновь рассмотрим опыт с n равновероятными исходами. Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все n исходов равнозначны, разумно допустить, что и их неопределенности одинаковы.

Из свойства аддитивности неопределенности, а также того, что общая неопределенность равна log2n, следует, что неопределенность, вносимая одним исходом, составляет log2n, или

log2n = – log2= – p log2 p , (3.3)

где p = – вероятность любого из отдельных исходов

Таким образом, неопределенность, вносимая каждым из равновероятных исходов Н= – p log2 p.

Попробуем обобщить формулу на ситуацию, когда исходы опытов неравновероятны, например, р(A1) и р(A2).

Тогда H1=  р(A1)  log2 р(A1), H2=  р(A2)  log2 р(A2), и

H=H1+H2 =  р(A1)  log2 р(A1)  р(A2)  log2 р(A2).

Обобщая эту ситуацию, когда опыт  имеет m неравновероятных исходов A1,A2 … Am, получим

H()= ). (3.4)

Пример 1. Дано 2 ящика. В одном () 5 белых и 5 черных шаров. В другом () 8 белых и 2 черных шара. Опыты состоят в вытаскивании по одному шару из каждого ящика. Что можно сказать о неопределенности исходов этих опытов?

бит.

бит.

< , следовательно, предсказать его можно с меньшей долей уверенности.

Пример 2. Дано 2 ящика, в каждом по 12 шаров. В первом () 3 белых, 3 черных и 6 красных; во втором () – каждого цвета по 4. Опыты состоят в вытаскивании 1 шара из ящика. Определить энтропию опытов.

бит.

бит.

Следовательно, > .

Из этих примеров следует (и это математически доказано), что

при прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

Энтропия максимальна в опытах, где все исходы равновероятны.

Здесь усматривается аналогия (имеющая глубинную первооснову) с понятием энтропии, которое используется в физике.

Впервые это понятие было введено в 1865г. немецким физиком Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе. Позднее (1872г.) Людвиг Больцман, развивая статистическую теорию, связал энтропию системы с вероятностью ее состояния.

Другими словами, в физике энтропия оказывается мерой беспорядка в системе. С ростом энтропии уменьшается порядок в системе. Энтропия максимальна для полностью разупорядоченной системы (хаос) – при этом любое событие равновероятно может произойти.