книги / Математическая теория энтропии

для разбиения £. Обозначим эту вторую башню через С|. Рас­

смотрим теперь оснащенную (е, п)-башню а' для динамической системы (2 (S), &"s>Ц, Ts) и разбиения | 0, так что

В случае когда две башни <т6 и о' удовлетворяют соотно­

шению вида (3.9), говорят, что они изоморфны, и в этом слу­ чае мы будем писать о^ ~ а'. Из равенства (3.9) следует, что

соответственные элементы этих двух разбиений имеют одну и ту же меру. Поскольку для любых непрерывного вероятност­ ного пространства и дискретного вероятностного распределения

Из теоремы 4.23 следует, что 6' может быть выбрано настолько малым, а N настолько большим, что

|A(TS, Ho)-A(Ts, По) | < 6/3 .

Для любых i и /

So (0 П По (/) <= (to (0 Г) По (/)) и (По (/) А По (/))

Р (So (0 П По (/)) < Р (So (0 П По (/)) + Р (По 0) а По (/))- Таким образом,

<P([2(S), р], [2 (Л), v]) + - f 6 + 6'ртзх.

Следовательно, если дополнительно потребовать выполнения

Точно так же, как это делалось выше для /(те), перепишем со­

Применяя лемму 3.8 к паре [2 (S), ц], [2 (Л), v], получим функ­ цию f N\ где N достаточно велико, такую, что

р ( Г ) « • + ■ ! - • •

A (f'"’) < R + е,

непрерывна, теорема доказана.

Мы завершим этот раздел примером скользящего блокового кодера. Он легко получается из одного изоморфизма, описан­ ного в [6]. Другие примеры скользящих блоковых кодеров можно найти в [49], [6] и [65]. В действительности, в статье [140] Шилдс и Нойхоф обсуждают связь между блоковыми кодами и скользящими блоковыми кодерами и то, как одни могут быть получены из других. Мы выбрали именно приво­ димый ниже пример по той причине, что это не только при­ мер скользящего блокового кодера, но и пример так называе­ мого финитарного изоморфизма (см. [65]).

Пример 3.9. Пусть S = { 1 , 2, 3, 4, 5, 6}. Определим меру на пространстве (2 (S), P's) таким образом, чтобы процесс (Ts, | s)

186 Гл. 3. Теория информации

Как обычно, Мц — это вероятность перехода из i в /.'Задан ­ ная начальным распределением р и переходной матрицей М мера ц на пространстве 2(5) определяется на цилиндрических множествах формулой

Ц (I s (»о) П Т s % ( h ) П • • • T s % (<*)) = PlоМ{о*< • • • .

а затем продолжается обычным образом. Энтропия сдвига Т$

Определим пару, состоящую из скользящих блоковых кодера и декодера бесконечной длины, а затем перейдем от нее к паре конечной длины, как это было сделано в доказательстве тео­ ремы. Зададим функцию A: S X , S —>A соотношениями

А(1, 2) = Л(2, 1) = Л(4, 3) = Л(3, 2) = Л(5, 1) = Л(6, 3) = а, А(1, 4) = Л(2, 6) = Л(4, 5) = Л(3, 4) = Л(5, 6) = Л(6, 5) = Ь.

Таким образом, все переходы марковской цепи с пространством состояний S разбиты на два класса: «a-переходы» и «6-пере­ ходы». На самом деле отображение А определяет скользящий блоковый кодер длины 2 и индуцирует изоморфизм <рЛ: 2(S)-> ->2(Л), заданный на подмножестве 2(S) единичной меры по формуле (Фа(*))* = Л (хг_|, хг). В этом примере именно устрой­ ство декодера позволяет отчетливо увидеть разницу между декодерами конечной и бесконечной длины.

Идея построения декодера очень проста. Пусть у <=2 (Л). Если у0 = а, то нам известно, что произошел «a-переход», и тем

мы можем определить и все сообщение источника с этого места. Наконец, заметим еще, что если нам встретилась последова­ тельность aaba, то последний символ соответствующего слова источника — это 3, благодаря чему сообщение источника может быть с этого места полностью восстановлено. Проверить эти последние утверждения очень легко, и мы предоставляем сде­ лать это читателю. Сформулированные соображения позволяют определить декодер следующим образом.

единственного слова источника (3, x_ft+1.........*0). отвечающего

ключ aaba встречается в прошлом бесконечное число раз, равна единице. Вероятность f(N) того, что слово длины N не содер­

Глава 4

ЭРГОДИЧЕСКАЯ ТЕОРИЯ

4.1' ВВЕДЕНИЕ

Эргодическая теория берет свое начало в попытках истолковать макроскопические характеристики физических систем, в частно­ сти термодинамических газовых систем, основываясь на изме­ нениях микроскопической структуры системы. Эта проблема вместе с рядом других физических задач привела к так назы­ ваемой «задаче многих тел» в математике, а математическое изучение этой задачи породило то, что теперь известно под названием эргодической теории.

IНапример, если рассматривать газ как совокупность боль­ шого числа находящихся в движении молекул (которые счита­ ются материальными точками), то такие характеристики газа, как давление, температура и объем, должны определяться дина­ микой этих молекул, т. е. их координатами и импульсами как функциями времени.

Если подобная система консервативна, т. е. ее полная энер­ гия не изменяется со временем, то с помощью гамильтоновой теории динамических систем можно получить преобразования многообразий, лежащих в евклидовом пространстве большой размерности — фазовом пространстве. Эти многообразия в фазо­ вом пространстве образованы состояниями газа (обобщенными координатами и обобщенными импульсами всех молекул) с одинаковой полной энергией. Задающие динамику преобразо­ вания сохраняют на многообразиях уровня энергии меру, инду­ цированную мерой Лебега; их построение было намечено в разд. 2.8.

Определить микроскопическое состояние газа в некоторый момент времени нельзя, поэтому, даже если бы и удалось решить уравнения Гамильтона и явно описать динамику, точно предсказать будущее поведение газа было бы невозможно. Тем не менее можно рассмотреть вероятностное распределение на состояниях, которое зависит от таких поддающихся изме­ рению величин, как энергия и температура, и определяет веро­ ятность того, что газ находится в одном из состояний из дан­ ного подмножества фазового пространства.

многообразиях уровня энергии и является инвариантным отно­ сительно преобразований, определенных системой уравнений Гамильтона. Таким образом, мы пришли к сохраняющему меру преобразованию Т вероятностного пространства (Q, У , Р). Эта динамическая система (Q, Sr , Р, Т) может служить моделью для изучения динамики газов.

Эргодическая теория в своей наиболее абстрактной форме состоит в изучении сохраняющих меру преобразований. В этой главе мы обсудим те задачи эргодической теории, которые привели к развитию понятия энтропии динамических систем. Мы также коснемся некоторых классов динамических систем, для описания которых существенно привлечение энтропии. В частности, будут рассмотрены /f-системы и системы Бернулли и будет доказано, что для систем Бернулли энтропия является полным метрическим инвариантом.

В этой главе мы предполагаем, что все динамические системы обратимы1), а соответствующие пространства Лебега не имеют атомов.

4.2. УНИТАРНЫЙ ОПЕРАТОР СИСТЕМЫ И СДВИГИ БЕРНУЛЛИ

Купман в работе [70] предложил конструкцию, позволяющую сопоставить каждому метрическому автоморфизму простран­ ства с мерой некоторый унитарный оператор в гильбертовом пространстве. Это по существу позволяет вместо нелинейной системы рассматривать линейную, что было весьма эффективно использовано Халмошем и фон Нейманом [57] при исследова­ нии динамических систем2). В данном разделе мы обсудим некоторые из этих идей и покажем, как они оказали косвен­ ное влияние на возникновение понятия энтропии динамических

странство суммируемых с квадратом функций с нормой ||/||j —

*Т и *Т' следовал изоморфизм преобразований Т и Т', то для решения проблемы изоморфизма в эргодической теории было бы вполне достаточно использовать спектральную теорию.

тор), называется спектром оператора Н. Если Н унитарен, то спектр является подмножеством единичной окружности, т. е. | Я | = 1 для всех Я, лежащих в спектре. Комплексное число Я называется собственным значением оператора Н, если сущест­ вует такой ненулевой вектор /, называемый собственным векто­

ных значений в спектре могут быть и другие точки.

Говорят, что динамическая система (Q, ST, Р, Т) (или авто­ морфизм Т) имеет дискретный спектр, если собственные век­ торы оператора *Т порождают все пространство L2(Q, Р), и имеет непрерывный спектр, если единственное собственное

2)В дальнейшем речь будет идти об унитарной эквивалентности опера­ торов, действующих не , обязательно в одном и том же гильбертовом про­ странстве. В этом случае в определении унитарной эквивалентности в качестве

Ннадо брать изометрический изоморфизм соответствующих гильбертовых пространств. — Прим. перев.

3)Динамические системы (и соответствующие автоморфизмы) называются спектрально эквивалентными, если их сопряженные операторы унитарно экви­ валентны. — Прим, перев.