Энтропия и информация. Критерии оптимальности

Если теперь перейти к другому макросостоянию, т.е. взять иное распределение частиц по энергетическим уровням, например, N₁=2, N₂=7, N₃=0 и N4=1 (общая энергия 21+72+14 = 20), то число способов осуществления данного макросостояния W оказывается равным 360.

Сводные результаты расчёта для всех возможных макросостояний приведены в табл.4.1, из которой следует, что для данной системы из 10 частиц возможны 14 макросостояний и 44803 различных микросостояния. Важно отметить, что из всех микросостояний около 28% принадлежит только одному макросостоянию (последняя строка в таблице).

Следовательно, если вероятность пребывания системы в любом микросостоянии одинакова и равна 1/44803, то вероятность пребывания системы в том или ином макросостоянии оказывается различной и тем значительней, чем больше способов осуществления данного макросостояния.

В данном примере в среднем в 28 из 100 случаев система, предоставленная самой себе, будет принимать макросостояние, соответствующее последней строке таблицы. В примере участвует только 10 частиц и всего лишь 4 энергетических уровня. Анализ показывает, что если число частиц и число энергетических уровней станет очень большим, как это имеет место в реальных системах, то всегда есть одно макросостояние, число способов осуществления которого (число микросостояний) будет значительно преобладать над остальными. Например, более 99,99% всех возможных микросостояний может принадлежать только одному макросостоянию. Это конкретное макросостояние, которое осуществляется максимальным числом способов, определяет свойства системы, и является наиболее вероятным, поэтому всеми другими распределениями можно пренебречь. Далее под числом W будем понимать число способов осуществления только одного, наиболее вероятного макросостояния. При этом оказывается, что энтропия Больцмана (4.15) с точностью до постоянного множителя совпадает с величиной lnW.

Согласно второму началу термодинамики энтропия неравновесной закрытой системы может только повышаться, что означает по Больцману увеличение числа возможных микросостояний.

Табл. 4.1

Распределение частиц по энергетическим уровням .

Номер	Уровни энергии					Wj		Wj/Wj ×100
J	1	2	3	4
1	0	10	0	0	1
2	1	8	1	0	90		0,2
3	5	0	5	0	252		0,6
4	2	1	0	1	360		0,8
5	6	1	0	3	840		1,9
6	6	0	2	2	1260		2,8
7	2	6	2	0	1260		2.8
8	4	2	4	0	3150		7,0
9	4	4	0	2	3150		7.0
10	3	4	3	0	4200		9,4
11	3	5	1	1	5040		11
12	5	1	3	1	5040		11
13	5	2	1	2	7560		17
14	4	3	2	1	12600		28
Всего						44803		100

Если теперь воспользоваться информационной энтропией для оценки неопределённости, связанной с установлением (определением) того микросостояния, в котором находится система в данный момент, то, принимая во внимание, что все микросостояния равновероятны, получаем согласно формуле (4.4):

. (4.17)

Сравнивая выражения (4.15) и (4.17), нельзя не обнаружить их сходство. Они отличаются лишь на величину постоянного множителя, что для информационной энтропии не имеет принципиального значения. Заметим, что размерность физической энтропии Дж/К в известной мере условна, так как связана исключительно с использованием температурной шкалы для оценки степени нагретости тела. Если для этой же цели использовать энергетическую шкалу, как это часто принимается в физике, т.е. под температурой подразумевать произведение k_BТ, тогда и физическая энтропия станет безразмерной. По глубокому физическому смыслу энтропия безразмерна.

Покажем, что аналогия между энтропией Больцмана и информационной энтропией существует не только для равновероятных событий (формула (4.4), но и для общего случая (4.7). Раскроем значение W, воспользовавшись выражением (4.16), предварительно прологарифмировав его:

.

Используя формулу Стирлинга , находим . Заметив, что , а , получаем:

.

Умножив обе части этого выражения на и полагая, что есть вероятность обнаружить частицу на i-м энергетическом уровне, имеем:

.

Таким образом, получили выражение, аналогичное информационной энтропии (4.7).

Когда речь идёт о физической энтропии, то всегда имеют в виду неупорядоченность только одного рода, а именно неупорядоченность, связанную с хаотическим тепловым движением молекул. При этом способ оценки неупорядоченности (через логарифм вероятности) в термодинамике и теории информации остаётся одним и тем же.

Поскольку понятие энтропии в теории информации не связывается с каким-либо определённым типом неупорядоченности, то в этом смысле оно является более широким, чем понятие энтропии в статистической физике.

Термодинамическая энтропия. Уравнение Больцмана формулирует энтропию модельными средствами на вероятностной основе независимо от феноменологии термодинамики. Исторически это было связано с попыткой увязать некоторые термодинамические параметры с механикой, отчасти также с тем, что классическая термодинамика, в которой энтропия введена соотношением Клаузиуса (4.14), не дает детального описания явления, связанного с этим фундаментальным термодинамическим параметром. Не в последнюю очередь это связано с тем, что природа термодинамической энтропии дискретна, а ее истолкование в физике происходит на классической, непрерывной (континуальной) основе.

Рассмотрим новые возможности, которые предоставляет обобщенная, нелокальная версия термодинамики с дискретной энтропией в раскрытии физического содержания термодинамической энтропии.

Убедимся, прежде всего, что при подстановке в соотношение Клаузиуса макроквантовых аналогов для минимальных приращений энтропии и теплоты dS k_B и dQ k_BT, выражение (4.14) переходит в обычное тождество k_B=k_B.

Это тождество, преобразованное вместе с другими термодинамическими параметрами в предельно разностную дискретную форму, позволяет получить в рамках НВТ иные тождества, проясняющие физический смысл энтропии.

Так для энтропии макроячейки было найдено [7,c.26]

S_m =k_B T/T _S =k_B ( mc_h²/m v²), (4.17)

где c_h= (S_mT/m)^1/2 – скорость тепловых фононов; v=(kT/m)^1/2 – когерентная (коллективная) составляющая скорости частиц макроячейки; m – масса макроячейки; T_S – квантовый разброс температуры при постоянной энтропии. Z=T/T_S =mc_h²/mv²

Как следует из приведенных соотношений квантовый разброс температуры T_S, а также скорость тепловых фононов определяется через энтропию. Это означает, что выражение (4.4) не претендует на вычисление энтропии, а лишь подтверждает свое происхождение из исходного тождества Клаузиуса. Ценность записи (4.4) заключается в возможности очень простой трактовки физического смысла энтропии: термодинамическая энтропия макроячейки S_m пропорциональна отношению тепловой (неупорядоченной) энергии к механической (упорядоченной) энергии частиц в макроячейке. Коэффициентом пропорциональности выступает постоянная Больцмана k_B.

Теперь вновь воспользуемся свойством исходного тождества Клаузиуса и попытаемся придать ему структуру уравнения Больцмана. Чтобы выражение (4.4) обращалось в тождество с сохранением структуры соотношения Больцмана, следует ввести число возможных «микросостояний» W=2^Z, возникающих в макроячейке из Z =S_m/k_B квантовых уровней, как число возможных сочетаний из Z элементов c двумя их разновидностями.

Тогда формально энтропии макроячейки можно придать форму уравнения Больцмана

S_m = k_BZ= k_Blog₂ W (4.18)

В справедливости этого выражения сомневаться не приходится, поскольку это всего лишь другая форма исходного тождества Клаузиуса.

По форме это выражение отличается от уравнения Больцмана (4.15) только двоичным основанием логарифма, что сближает термодинамическую энтропию с информационной. Происхождение двоичных логарифмов связано с дискретностью термодинамической энтропии в НВТ .

Однако физическое содержание числа микросостояний W в сравниваемых формулах различно. В уравнении Больцмана по энергетическим уровням распределялись ч а с т и -ц ы, в термодинамическом варианте распределяются уровни только двух типов: «возмущен», «невозмущен».

Например, на рис.4.2 изображены 8 возможных микросостояний макроячейки с тремя энергетическими уровнями (относительная энтропия S_m/k_B =3). Тонкими линиями обозначены невозбужденные, а жирными – возбужденные энергетические уровни.

Для энтропии Больцмана имеет принципиальное значение указание: к а к и е частицы размещены на том или ином энергетическом уровне. Для одинакового сорта частиц это требование противоречит принципу тождественности частиц, поскольку взаимный обмен равным числом тождественных частиц между двумя уровнями энергии с точки зрения термодинамики не должен приводить к новому микросостоянию.

Рис.4.2. Восемь микросостояний макроячейки с относительной энтропией S_m/k_B =log₂8= 3. (8 равновероятных исходов)

невозбужденный уровень;

возбужденный уровень

Различие между формулами заключается еще в том, что термодинамическая энтропия аддитивна только с точностью до числа частиц в макроячейке, а больцмановская энтропия,как и информационная, – до одной частицы.

В этой связи еще раз напомним об интегративных свойствах систем – относительно энтропии как термодинамическом понятии имеет смысл говорить только на уровне не меньшего числа частиц, чем их содержится в макроячейке.

4.6.Энтропия как критерий максимального правдоподобия. В литературе этот принцип известен как формализм Джейнса, по имени американского физика Е.Т.Джейнса, предложившего использовать информационную энтропию в качестве критерия максимального правдоподобия в ситуациях, когда целью математического моделирования является поиск наиболее вероятного распределения. [22]. Характер искомых распределений может быть самый разнообразный: от задач статистической физики и термодинамики [23] до экономических задач [24].

Начнем демонстрацию этого формализма с классического примера. Какое распределение случайной величины х является наиболее правдоподобным?

Введем дисперсию случайной величины

, (4.19)

а также условие нормировки вероятностей

, (4.20)

Это выражение подобно в случае дискретного множества.

Интегрирование осуществляется в интервале изменения переменной x.

Согласно формализму Джейнса необходимо ввести информационную энтропию (4.9)

. (4.9)

Теперь формально задача сводится к условной экстремальной задаче в следующей постановке: требуется найти такую функцию плотности распределения , которая бы отвечала максимальному значению энтропии (4.9) при соблюдении ограничений (4.19) и (4.20). Решение этой задачи хорошо известно

.

Это выражение есть не что иное, как нормальный (гауссовский) закон распределения.

В этой задаче информационная энтропия (4.9) использовалась как критерий максимального правдоподобия. Этот метод называется моделированием по принципу статистического вывода. Его можно отнести к методу «серого ящика». При моделировании по принципу статистического вывода большое значение приобретает формулировка ограничений при постановке задачи.

Рассмотрим постановку и результаты решения на другом классическом примере, но теперь принадлежащем к области химической техники. Требуется найти закон наиболее вероятного распределения m-компонентной смеси между двумя выходными потоками – дистиллятом и кубовым остатком процесса ректификации. Далее изложена математическая формулировка и основной ход решения такой задачи.

П о с т а н о в к а з а д а ч и. Обозначим концентрации компонентов в дистилляте , в кубовом остатке , в питании . Долю отбора дистиллята будем обозначать (иногда индекс будем опускать); – доля отбора кубового остатка:

; ,

где D, W и F – мольные расходы дистиллята, кубового остатка и питания ( см.рис.4.2). Здесь и далее все потоки и концентрации будут выражаться в естественных единицах – молях и мольных долях. Запишем исходную достоверную, но в общем случае, как мы выясним, неполную информацию о процессе

; ; (4.21)

; (4.22)

(4.23)

Уравнение (4.21) есть уравнение материального баланса для компонента i. Уравнение (4.22) – условие нормировки. Другое условие нормировки опущено, так как при заданных и оно не является независимым. Последнее уравнение (4.23) вводит свойства компонентов через коэффициенты и означает, что колонна работает в режиме, характеризующемся средним значением этих свойств для текущего состояния - . Физический смысл коэффициентов в уравнении (4.23) раскрывается в ходе решения задачи. Параметром задается степень разделения смеси в колонне, что является особенностью постановки задачи при использовании принципа статистического вывода. Однако, когда задача будет формально решена, ее можно переформулировать и характеризовать степень разделения не параметром , значение которого бывает неизвестным, а обычным способом – фиксированием какой-либо концентрации в одном из продуктовых потоков, при заданных отборах продуктов.

В системе из m+2 уравнений (4.21) – (4.23) имеется 2m неизвестных ( и ). Это означает, что только в случае ректификации бинарной смеси (m=2) степень разделения, заданная одним параметром <а>, однозначно определяет составы продуктов. При многокомпонентной ректификации (m>2) система уравнений будет незамкнутой. Не привлекая каких-либо постулатов частного характера, найдем всю недостающую информацию лишь как наиболее вероятную, используя принцип максимальной информационной энтропии.

Математически формулировка задачи поиска закона распределения компонентов между продуктовыми потоками сводится к следующему: требуется найти такие значения и , которые бы доставляли максимальное значение энтропии

при соблюдении ограничений (4.21) – (4.23). Величины , , , , рассматриваются как фиксированными.

Для решения этой условной экстремальной задачи используем метод неопределенных множителей Лагранжа. Сущность метода заключается в переходе от условной экстремальной задачи к обычной безусловной путем введения функции Лагранжа.

Переход к замкнутой системе уравнений. Введем множители Лагранжа , и  соответственно для ограничений (4.21) – (4.23) и составим функцию Лагранжа

Взяв производные от этой функции по переменным и и приравняв производные нулю, находим необходимые условия максимума энтропии. Полученные таким образом уравнения вместе с ограничениями (4.21) – (4.23) дают замкнутую систему уравнений для определения следующих 3m+2 неизвестных: , , , и  .

Идентификация феноменологических коэффициентов. В ходе решения замкнутой системы алгебраических уравнений можно раскрыть физический смысл коэффициентов и . Для этой цели используется требование согласованности общего искомого решения с известными термодинамическими решениями для частного случая – термодинамическое равновесие. Подробности можно найти в работе [25].

Результат решения. Здесь приведем окончательный результат только для одного случая, когда задана требуемая концентрация в дистилляте – .

,

,

где –относительная летучесть компонента i; К_i K_э –константа фазового равновесия i-го компонента и компонента, принятого за эталонный ( обычно эталонным принимается самый высококипящий компонент смеси).

Значение параметра  находится из характеристического уравнения

.=1

Интересно отметить, что, как показывает анализ, множитель Лагранжа  с учётом термодинамической теории равновесной ректификации есть минимальное число теоретических массобменных ступеней контакта, которые необходимы для получения заданной концентрации - на основе состава исходной смеси.

Обсуждение результатов. В стационарном режиме любые изменения в составе одного из продуктовых потоков ректификационной колонны, дистиллята или кубового остатка вызывают изменение в другом потоке. В этом смысле дистиллят и кубовый остаток можно рассматривать как две взаимодействующие неравновесные фазы. Механизм этого взаимодействия для многокомпонентных систем сложен и зависит от множества факторов термодинамического, гидродинамического и конструктивного характера. Если пытаться постулировать модель взаимодействия этих фаз в традиционном детерминистском стиле, то пришлось бы столкнуться с двумя альтернативными решениями.

Первое свелось бы к существенному упрощению процесса, например, сведению многокомпонентной системы к двухкомпонентной.

Второе решение связано с вовлечением в описание возможно большего числа факторов. Например, в кинетической теории ректификации для каждого компонента вводятся эмпирически определяемые коэффициенты массообмена, которые, в свою очередь, связываются с гидродинамической структурой потоков и типом массообменного устройства. Но даже и во втором случае, где учитывается большее число факторов, влияющих на процесс, нет уверенности в том, что мы располагаем адекватным описанием объекта. Во-первых, введение любых новых факторов сопровождается некоторой упрощенной схемой их воздействия на процесс, во-вторых, детерминированный способ описания не позволяет в теоретической форме учитывать стохастическую составляющую процесса, которая всегда присутствует в реальном объекте. Таким образом, модели, претендующие на адекватное описание, должны учитывать фактор неопределенности и стохастичности, что и достигается в моделировании по принципу статистического вывода. Этот подход можно отнести к методу «серого ящика»: хотя в деталях мы не знаем как устроена система, тем не менее располагаем некоторыми очевидными ограничениями (4.21), (4.22) и способны предугадать характерную структуру (4.23). В предугадывании проявляется необходимость интуитивного мышления, о котором уже упоминалось как об одной из составляющих всякого системного мышления (см. п.1.1). На примере расчета по методу «серого ящика» раскрывается еще одна методологическая особенность подхода – возможность достижения в нем разумного, «экономного» сочетания объема теоретического и экспериментального содержания в математической модели системы. Например, многочисленные попытки внедрить в практику расчета ректификации моделей на основе коэффициентов массообмена представляются сегодня не системными, а потому малоперспективными.

При системной постановке задачи мы надеемся получить решение, наименее предвзятое из всех, которые можно было бы принять в условиях объективно существующей неопределенности. Конечно не всегда случайное распределение – гауссово, как подсказывает информационный принцип максимального правдоподобия. Это же можно сказать и о других задачах. Что касается разделительных систем, то метод дает адекватное описание систем, близких к идеальным растворам. Это не случайно, поскольку мы знаем, что информационная энтропия, записанная в классической форме, (см. п.4.1) не учитывает «шумы» (см. п.4.2). Учет шумов это перспектива, в которой следует развивать рассматриваемый метод.