О 0.5 1 рис. 1.Энторопия для двух

На рис 1. изображен график функции H для двух исходов опыта. Из которого видно, как изменяется энтропия при изменении вероятности одного из исходов опыта от нуля до единицы. Из графика следует, что максимальное значение энтропии соответствует равновероятным событиям р₁ = р₂ = 0,5. При этом максимальное значение энтропии при выборе двоичного основания логарифма равно единице, т.е. H=log₂2=1. В общем случае для k исходов опыта максимальное значение энтропии соответствует H=log(k).

Максимум энтропии отвечает равновероятным событиям. В случае равновероятных событий нельзя отдать предпочтение ни одному из них и, таким образом, результат предвидеть труднее всего.

Понятие энтропии очень тесно связано с понятием количества информации.

Единица измерения энтропии.

Единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название 1 бит. Наряду с битом получила распространение более укрупненная единица - байт (1 байт = 8 бит).

Энтропия как мера разнообразия, неупорядоченности, хаоса.

До сих пор понятие энтропии мы связывали с неопределенностью. Энтропия допускает и другое толкование.

Представим себе систему, состоящую из камеры, в которой находятся N шаров разного сорта, например, отличающихся цветом. Предполагаем, что N достаточно большое число. Обозначим долю шаров i-го сорта (цвета) — х_i, (i = 1,m). Проведем следующий опыт: наугад извлечем шар из камеры. Вероятность извлечения шара i-го сорта равна p_i=x_i .

Энтропия одного опыта составит:

(8)

При этом следует принять, что размеры шаров одинаковы, в противном случае вероятность извлечения шаров 1-го сорта не будет точно соответствовать их доле в камере.

Энтропия всех опытов над системой равна:

(9)

Правая часть выражений (8) и (9) включает параметры рассматриваемой системы. Первая из функций (8) характеризует степень неупорядоченности системы или степень разнообразия в ней с точки зрения выбранного признака для различения элементов системы (цвета шаров).

Вторая функция (9) измеряет неупорядоченность (разнообразие) в системе несколько иначе. Отличие этих двух функций можно иллюстрировать следующим примером. Если камеру разделить на две части, то при достаточно большом количестве шаров в ней доля шаров i-го сорта в каждой их двух частей , останется прежней, но число шаров уменьшится вдвое, вдвое уменьшится неупорядоченность, оцениваемая формулой (9). Однако степень неупорядоченности для каждой из двух частей останется прежней, равной степени неупорядоченности системы. Таким образом, функция (8) не зависит от количества элементов в системе. Такие характеристики в термодинамике называют интенсивными. Напротив, функция (9) зависит от числа элементов. Такие характеристики в термодинамике носят название экстенсивных. Неупорядоченность системы часто отождествляют с уровнем хаоса и неоднородности в ней. По аналогии с выше рассмотренным примером можно оценить неупорядоченность потока смеси каких-либо веществ:

(10)

где z_i — концентрация i-го компонента в мольных долях (i=1,т );

N - расход потока или число молекул, проходящее через некоторое сечение в единицу времени;

т - количество компонентов в смеси.

Таким образом видно, что энтропия оценивает разнообразие элементов в системе по некоторому определенному признаку, который может нас интересовать в той или иной задаче.

Энтропия как мера количества информации.

В основе всей теории информации лежит открытие, что информация допускает количественную оценку.

Процесс получения информации можно интерпретировать как изменение неопределенности в результате опыта или сообщения.

Вернемся к простейшим опытам с монетой или костью. Перед проведением опыта существует некоторая неопределенность, связанная с незнанием результата опыта. После проведения опыта, т.е. после получения результата, эта неопределенность устраняется. В практике чаще всего встречаются случаи, когда после проведения опыта еще остается некоторая неопределенность.

Если неопределенность до опыта составляла H, а после опыта H₁, то устраненная в ходе опыта неопределенность составляет:

(11)

Разность априорной (до опыта) энтропии H и апостериорной (после опыта) энтропии H₁ носит название количества информации. Таким образом, количество информации замеряется количеством снятой неопределенности. В частном случае, когда неопределенность в результате опыта снимается полностью, т.е. H₁ = 0, получаем I=H. Хотя количество информации численно равно энтропии, следует иметь ввиду различный смысл количества информации и энтропии. Количество информации, как и энтропия измеряется в битах. Один бит информации — это количество информации, сообщающее о том, какое из двух равновероятных событий имело место, т.е. такое количество информации, которое уменьшает вдвое число возможных исходов (см. п. «Энтропия как мера разнообразия, неупорядоченности, хаоса»).