59. Екіөлшемді информациялық энтропия История двух энтропий

В основе формальной теории информации лежит разработка американского математика Клода Шеннона (Claud E. Shannon), опубликованная в 1948 г. Он ввел наиболее употребительную меру информационного содержания – энтропию, которая долгое время была центральным понятием термодинамики и которую обычно определяют как меру неупорядоченности физической системы. В 1877 г. австрийский физик Людвиг Больцман определил энтропию как число различных микроскопических состояний, которые может принимать совокупность частиц, составляющая некий «кусок» вещества, оставаясь на вид той же макроскопической «частью».

Например, для воздуха в комнате можно рассчитать все возможные пространственные распределения молекул и все их возможные движения. Для описания способа количественного выражения информации, содержащейся, например, в сообщении, Шеннон предложил формулу, совпадающую с формулой Больцмана. По Шеннону, энтропия сообщения – это число двоичных знаков, или битов, необходимое для кодирования данной информации. Энтропия не отражает ценность сообщения, которая полностью зависит от контекста, однако в качестве объективной меры количества информации она оказалась чрезвычайно полезной.

В частности, знание энтропии необходимо для проектирования любого современного коммуникационного устройства – от сотового телефона до модема и проигрывателя компакт-дисков. В концептуальном отношении термодинамическая энтропия и энтропия Шеннона эквивалентны: число распределений, подсчитываемое энтропией Больцмана, отражает количество шенноновской информации, необходимое для реализации любого конкретного распределения. Однако есть существенные различия. Во-первых, энтропия, которой пользуются химики, выражается отношением энергии к температуре, а энтропия Шеннона, используемая специалистами по связи, – числом битов, т.е. величиной принципиально безразмерной. Однако даже приведенные к одним и тем же единицам измерения численные значения этих величин будут различны. Так, информационная энтропия микросхемы, хранящей один гигабайт данных, составляет около $10^{10}$ бит (1 байт = 8 бит), а термодинамическая энтропия той же микросхемы при комнатной температуре имеет порядок $10^{23}$  бит.

Различие объясняется тем, что они рассчитываются для различного числа степеней свободы (это любая величина, которая может изменяться; например, координата, определяющая положение частицы в пространстве.) Энтропия Шеннона характеризует только состояние каждого из микроскопических транзисторов, сформированных в кристалле кремния. Транзистор может находиться в одном из двух состояний – открытом или закрытом, которым соответствуют двоичные ноль и единица. Значит, он имеет одну двоичную степень свободы, в отличие от термодинамической энтропии, зависящей от состояний миллиардов атомов (и их странствующих электронов), образующих транзистор. По мере того, как миниатюризация неуклонно приближает день, когда каждый атом сможет хранить один бит информации, численное значение полезной информационной энтропии микросхемы будет приближаться к значению термодинамической энтропии материала, из которого она изготовлена. Когда обе вычисляются для одинакового числа степеней свободы, они равны. Каково предельное число степеней свободы? Атомы состоят из электронов и ядер, являющихся скоплением протонов и нейтронов, которые, в свою очередь, состоят из кварков.

Многие физики считают электроны и кварки возбужденными состояниями суперструн, являющихся наиболее фундаментальными природными объектами. Однако в структуре нашей Вселенной может оказаться больше уровней, чем полагает современная физика. Чтобы рассчитать предельную информационную емкость некоего количества вещества или, что эквивалентно, его истинную термодинамическую энтропию, необходимо знать природу фундаментальных составляющих вещества или самого глубокого уровня его структуры, который я назову уровнем Х.