Энтропия

Энтропия впервые появилась в теории тепловых процессов, как величина, ведущая себя как полный дифференциал. Дело в том, что законы, описывающие тепловые процессы, связывают следующие ве­личины: количество тепла Q. температуру Г, объем V и давление р

dQ = cpdV + dU.

Здесь dU - изменение внутренней энергии. Если это соотношение умножить на так называемый интегрирующий множитель 1/T , то мы

будем иметь величину энтропию dS = dQ/T, которая в обратимых про­цессах будет вести себя как полный дифференциал или потенциаль­ная энергия в механике. Это значит, что она не будет зависеть от пути перехода рабочего тела из состояния 1 в состояния 2, а только от характеристик этих состояний 1 и 2. ее вообще можно считять характеристикой этих состояний.

∆ S_1->2=S₁-S₂

Кроме очевидного удобства в расчетах с этой величиной, она поз­воляет отделить обратимые процессы от необратимых. В обратимых процессах энтропия не меняется. Однако загадочность этой величины остается до сих пор весьма трудным фактом. Тем более что из факта возрастания энтропии в замкнутых системах следует так называе­мая тепловая смерть Вселенной - все процессы в природе направлены

В сторону возрастания энтропии, и, значитвсе процессы, проходя-

щие в природе, неумолимо приближают нас к состоянию максималь­ной энтропии, состоянию в котором вес атомы имеют одинаковую скорость н Вселенная напоминает тепленький однородный кисель.

Одну из первых попыток понять природу энтропии предпринял Больцман. В его кинетической теории газов все тела двигались из наименее вероятного положения-состояния к более вероятному. Фор­мула Больцмана

S = k l n W,

где S - энтропии, W - вероятность, а к - постоянная Больцмана. Появление в этой формуле логарифма понятно, гак как вероятности состояний умножаются, а энтропии складываются.

Что такое а этой формуле вероятность того или иного состояния, можно понять, опираясь на понятие ансамблей по Гиббсу. Статис­тический ансамбль в гнббеовой механике это совокупность упоря­доченных состояний системы. Разделим весь объем газа на к яче­ек и рассчитаем вероятность того, что в каждой ячейке находится n₁,n₂, …, n_k молекул газа. Формула для этого у нас уже есть

Н

апомним. что это количество разбиений .V молекул на к ящичков по n₁,n₂, …, n_k соответственно в каждом ящичке.

Вообще математическая теория энтропии опирается на понятие вероятностных разбиений пространств с вероятностной функцией Р

Здесь Л элементы разбиения вероятностного пространства. Посто­янная г определяется пыбором единицы измерения Здесь мы встре­чаемся с так называемой информационной интерпретацией энтропии.

В теории информации информацией, или мерой неопределенности события, называют величину, удовлетворяющую следующим посту­латам:

- событие с вероятностью единица имеет нулевую неопределен­ность;

чем меньше вероятность события, тем больше неопределен­ность;

- неопределенность одновременного наступления двух событии равна сумме иг неопределенностей.

Сразу же ясно, что информация должна выражаться логарифмом вероятности

I(А) = —cIn Р(А).

и здесь выбор единицы измерения информации производится таким образом: i бит информации содержит событие вероятности 5, или же в предыдущей формуле нужно использовать логарифмы по осно­ванию 2.

Гак определенная информация тесно связана с задачей поиска какого-либо объекта путем составления наиболее эффективного во­просника. Н этой стратегии нужно составлять вопросы таким обра­зом, чтобы ответ типа «да-нет» содержал разбиение всех возможных исходов на две, по возможности более равновероятные, части. В слу­

а в paзбиение с исходами и вероятностями 1/2; 1/4; 1/4;

чае Hie разбиения поля ответов на п частей наибольшая информа­ция содержится в вопроснике, разбивающем поле событий на части с наибольшей энтропией (по возможности наиболее равновероятные части). Например, в разбиении с тремя исходами и вероятностью 4: