самблей. При этом оказывается справедливым утверждение [1], что < £ Н(А). Знак равенства имеет место в случае статистичес­

кой независимости сообщений в ансамблякА.,...^4п.

5.3. Энтропия непрерывного источника информации (дифференциальная энтропия)

На практике в основном встречаемся с источниками информации, множество возможных состояний которых составляет континуум. Та­ кие источники называют непрерывными источниками информации.

Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передает­ ся и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы телефонной связи и телевидения.

Оценка неопределенности выбора для непрерывного источника информации имеет определенную специфику. Во-первых, значения, реализуемые источником, математически отображаются непрерыв­ ной случайной величиной. Причем понятие «непрерывность» имеет смысл только для количеств, так что объект с континуумом возможных состояний - это по необходимости количественная случайная величи­ на. Во-вторых, вероятности значений этой случайной величины не мо­ гут использоваться для оценки неопределенности, поскольку в данном случае вероятность любого конкретного значения равна нулю.

Естественно, однако, связать неопределенность выбора значения не­ прерывной случайной величины с плотностью распределения вероятнос­ тей (являющейся в общем случае размерной величиной) этих значений.

Понятие энтропии (5.1) обобщено Шенноном на случай непрерыв­ ных сообщений x{t). Чтобы не иметь дела с логарифмами размерных величин, введем в рассмотрение безразмерную случайную величину х =x’/xQ, где х - размерная случайная величина, х0- единица ее измере­ ния. Тогда и плотность вероятностир(х) будет безразмерной функцией.

Пусть, например, x(t) приближенно представляется дискретной (с интервалом дискретизации At) последовательностью квантованных отсчетов с шагом квантования Дх. Тогда в пределах изменения непре­ рывного сообщения ± х тах будем иметь т = {2хт^\Ах + 1) квантованных

иногда употребляемый термин относительная энтропия указывает на условность, относительность этой характеристики.

Величина (5.9) имеет конечное значение, не зависит от шага кван­ тования, а зависит только от ФПВ w(x). В отличие от энтропии диск­ ретных источников Л(х) может принимать положительные, отрицатель­ ные и нулевые значения. Величина (5.9) изменяется при изменении масштаба измерения х(1). Что же касается второго слагаемого, то оно при Дх —►0 стремится к бесконечности. Энтропия величины х, (за счет второго члена) стремится к бесконечности при уменьшении ин­ тервала квантования Дх. Этого, вообще говоря, и следовало ожидать, так как даже в дискретном случае при бесконечном числе состояний энтропия не имеет верхней грани.

Однако в ряде важных задач интересующие нас зависимости, такие как скорость передачи и пропускная способность, определяются разностью энтропии. По этой причине второй член выражения (5.9) часто не учитывают при рассмотрении.

Величина й(х), несмотря на ее относительность, имеет очень важ­ ное значение в теории информации.

5.4. Фундаментальное свойство энтропии дискретных эргодических процессов

Мы рассмотрели неопределенность и ее меру - энтропию - для случайных величин и событий. Необходимо теперь сделать следующий шаг - обобщить эти понятия таким образом, чтобы иметь возможность оценивать неопределенность случайных процессов.

Случайный процесс Xt можно рассматривать как множество слу­ чайных величин, определенных на множестве значений параметра t (для конкретности считаем, что t является временем). Исходя из этого, неопределенность случайного процесса можно определить как неоп­ ределенность всей совокупности случайных величин, образующих процесс Xf. Следует при этом отметить ряд особенностей такого пред­ ставления.

Во-первых, нецелесообразно оценивать неопределенность слу­ чайного процесса на всей оси времени, от - оо до +<х>, так как в общем случае это сразу же приведет к бесконечным величинам. Естественно,

возникает вопрос о возможности введения меры средней неопреде­ ленности случайного процесса, приходящейся на некоторый интервал времени, в частности - на единичный интервал.

Во-вторых, при вычислении энтропии множества реализаций слу­ чайного процесса конечной длины возникает необходимость учета статистической связи между случайными величинами, соответствую­ щими различным значениям параметра t.

Имея в виду эти и другие особенности энтропийного описания непре­ рывных процессов, обратимся сначала к рассмотрению простого случая - стационарного процесса с дискретным временем и дискретным конеч­ ным множеством возможных состояний в каждый момент времени.

Рассмотрим множество реализаций такого случайного процесса дли­ тельностью в п элементов. Если множество возможных состояний каж­ дого элемента насчитывает т состояний, то общее число отличающихся между собой реализаций будет равно rtf. Осуществление каждой реали­ зации можно рассматривать как осуществление случайного события из /и" возможных событий. Зная распределение вероятностей возможных со­ стояний каждого элемента и характер связей между элементами, можно вычислить вероятность каждой из rtf реализаций, р(С). Теперь, в полном соответствии с тем, как это делалось для обычных случайных событий, можем вычислить энтропию множества и-членных реализаций:

С

Величина Я , конечно, зависит от того, каково п. Желая образовать унифицированную энтропийную характеристику случайного процес­ са, естественно ввести в рассмотрение величину

(5.11)

если, конечно, указанный предел существует. Величина Я будет харак­ теризовать среднюю неопределенность, приходящуюся на один эле­ мент процесса, и может быть названа энтропией процесса.

В [7] доказывается, что для каждого стационарного процесса пре­ дел (5.11) действительно существует.

Для каждого из т" событий можно определить его вероятность р{С). На множестве этих событий можно задать любую числовую функцию^(С), которая будет, очевидно, случайной величиной. В частнос­ ти, такой случайной величиной будет числовая функция:

Л ( с ) = - ^ 1оё^ ( с ) -

Математическое ожидание этой функции находится обычным

Это соотношение между Я и Р(С) является одним из проявлений общего свойства дискретных эргодических процессов. Оказывается, что не только математическое ожидание величины f (C) при « —>оо имеет пределом Я , но и сама эта величина / п(С) стремится по веро­ ятности к Я при п —*оо. Другими словами, как бы малы ни были е > О и 5 > 0, при достаточно большом п вероятность неравенства jfn(C)

- Я | > £ будет меньше, чем 5; близость^(С) к Я при больших п явля­ ется почти достоверным событием.

Это фундаментальное свойство эргодических процессов впервые было обнаружено К. Шенноном [4] на примерах процесса с независи­ мыми элементами и простой марковской цепи. Позднее было доказа­ но, что этим свойством обладают любые эргодические процессы [7].

5.5.Мера количества информации

вдискретном сигнале (по Р. Хартли)

Втеории информации в ее современном виде не требуется опреде­ ления понятия информации как таковой; необходимым и достаточным для построения теории является понятие количества информации.

Всоответствии с определением предмета теории информации в ее современном состоянии вводимая мера информации должна быть по­

лезной для анализа и синтеза систем передачи и хранения информации. Поэтому искомая мера, очевидно, должна быть «нечувствительной» к смыслу, ценности, степени правдивости информации. Например, задачей системы связи является точная и своевременная передача со­ общений независимо от того, содержат ли последние для получателя ценность, смысл и правдивость или же нет.

Введение количественной меры информации является весьма трудной задачей. Действительно, информация может быть чрезвы­ чайно разнообразной: можем получить извещение о приезде знако­ мых или родственников, можем услышать по радио или прочесть в газетах о тех или иных событиях; узнать о новом открытии или изобретении и т.п. Различная информация будет вызывать у нас раз­ личные эмоции и будет представлять различную ценность. Иногда краткое, содержащее лишь несколько слов, извещение может иметь для нас неизмеримо большее значение, чем текст, состоящий из мно­ гих слов и страниц. Из двух книг равного объема можно извлечь со­ вершенно различную информацию. Очевидно, что количественная мера информации не должна противоречить нашим интуитивным представлениям, должна охватывать то общее, что присуще всему многообразию различной информации, и, главное, эта мера должна быть полезной для теории и практики построения различных сис­ тем передачи и преобразования информации.

Таким образом, сообщение о том, что произойдет событие, которое должно произойти почти наверняка, содержит в себе очень мало инфор­ мации. Напротив, сообщение о том, что произойдет событие, которое почти наверняка произойти не должно, содержит много информации. Сообщение о некотором событии содержит тем больше информации, чем больше изменяется вероятность этого события после приема сооб­ щения о нем, по сравнению с вероятностью того же события до того, как было принято соответствующее сообщение. В общем случае мерой количества информации в сообщениях должна служить величина, изме­ ряющая изменение вероятности события под действием сообщения.

Количество информации должно определяться через нечто об­ щее, объективно присущее всему многообразию различной инфор­ мации, оставаясь при этом созвучным нашим интуитивным пред­ ставлениям, связанным с фактом получения информации. Этим общим, характеризующим факт получения произвольной инфор­

мации, является, во-первых, наличие опыта. Всякая информация добывается нами в результате опыта и только опыта. Опытом мо­ жет служить прослушивание радиопередачи, визуальное наблюде­ ние события, измерение некоторого параметра процесса тем или иным прибором и т. п. Во-вторых, до опыта должна существовать некоторая неопределенность в том или ином исходе опыта. В са­ мом деле, если бы получателю до опыта было известно, какое со­ общение он получит, то, получив его, он не приобрел бы никакого количества информации. До опыта всегда имеется большая или меньшая неопределенность в интересующей нас ситуации. Пос­ ле опыта (после получения информации) ситуация становится более определенной, и на поставленный вопрос можем ответить либо однозначно, либо число возможных ответов уменьшится и, следовательно, уменьшится существовавшая ранее неопределен­ ность. Количество уменьшенной неопределенности после опыта, очевидно, можно отождествить с количеством полученной инфор­ мации в результате такого опыта.

Теперь ясно, что для установления формулы для вычисления ко­ личества информации необходимо уметь вычислять неопределенность некоторой ситуации до опыта и после него. Разность между этими ко­ личествами неопределенности и даст нам искомое количество инфор­ мации, полученное от такого опыта.

Первая попытка определения количественной меры информации предпринята американским инженером Р.В. Хартли в 1928 году, одна­ ко данное им определение оказалось недостаточно универсальным.

Основные соотношения, определяющие количественную меру ин­ формации, и основные теоремы теории информации сформулированы К. Шэнноном и опубликованы в 1949 году.

Предположим сначала, что после опыта неопределенности нет. К при­ меру, при бросаниях монеты возможны два исхода опыта: выпадет орел или решка. После опыта неопределенности исхода нет - выпал, к примеру, орел. В данном случае, как ясно из сказанного выше, неопределенность до опыта будет численно равна количеству полученной информации.

Вэтой ситуации к количеству информации (или, что то же самое,

кколичеству неопределенности до опыта) можно предъявить три ин­ туитивных требования.

1.Количество получаемой информации больше в том опыте, у ко­

торого большее число возможных исходов.

Обозначая количество информации буквой I, а число возможных исходов и, первый постулат запишем в виде /(«,) > 1(п2), если л, > л,.

2.Опыт с единственным исходом необходимо несет количество информации, равное нулю.

Символически это выглядит так: /(и = 1) = 0.

3.Количество информации от двух независимых опытов должно рав­ няться сумме количеств информации от каждого из них. Это естественное требование аддитивности вводимой меры количества информации.

Например, количество информации, содержащееся в двух различ­ ных по содержанию (независимых) книгах, равно сумме количеств ин­ формации, содержащихся в отдельных книгах. Однако если одна книга содержит часть другой, то количество информации от двух таких книг не будет равно сумме количеств информации от книг в отдельности, а будет несколько меньше.

Ваналитической записи условие 3 примет вид /(л, л,) = /(л,) + 1(п2), так как опыт, объединяющий два опыта с исходами соответствен­ но л, и л2, имеет и, • л2 исходов.

Итак, вводимая мера информации должна монотонно возрас­ тать с увеличением длительности сигнала, которую естественно измерять числом символов в дискретном сигнале и временем пе­ редачи в непрерывном случае. Очевидно также, что количество информации зависит от числа употребляемых элементов сигнала. Например, при пятибалльной системе оценок полученная оценка более полно характеризует состояние знаний обучающегося, чем

оценка по двухбалльной системе. Другими словами, количест­ во информации на один элемент сигнала тем больше, чем боль­ ше число возможных элементов; этим свойством должна обладать и вводимая мера информации.

Имеются и другие факторы, влияющие на содержание информа­ ции в сигнале. Поскольку всякий сигнал должен рассматриваться как случайный процесс (см. гл.З), статистические характеристики такого процесса тоже должны влиять на содержание информации в сигнале.

Задача, как видим, сводится к отысканию некоторого числа, мо­ нотонно возрастающего с увеличением длительности и увеличением числа возможных элементов сигнала и подходящим образом изменяю­ щегося при изменении статистических характеристик сигнала.

Можно высказать предположение, что таким числом, или основой для построения такого числа, может служить число N различимых реализаций, образующих процесс, или (как иногда принято говорить) число различных сигналов.

Проверим это предположение, обратившись к рассмотрению са­ мого простого случая. Простейший случай определяется следующими условиями.

1.Сигнал однозначно определяется состоянием источника. От­ сутствуют помехи, шумы и неоднозначные преобразования.

2.Сигнал дискретен как по времени, так и по информативным параметрам. Такой сигнал является последовательностью сменяющих друг друга различных состояний источника; в технике дискретной связи эти состояния рассматриваются как символы.

3.Множество различимых состояний (т.е. множество символов, или алфавит) не только дискретно, но и конечно. Смена состояний (по­ явление новых символов) происходит таким образом, что все состоя­ ния (символы) являются равновероятными,

4.Вероятностные связи между различными символами отсутству­ ют, т.е. символы являются статистически независимыми.

Этот простейший случай впервые рассмотрен Р. Хартли в 1928 году. Пусть сигнал представлен в виде случайной функции времени

X(t), имеющей длительность не более Т секунд и максимальное зна­

чение X .

ill

Если считать спектр сигнала ограниченным частотой F Гц, то можно определить число интервалов квантования сигнала по вре­ мени, которое равно (см. гл. 2) п = 2FT.

Осуществляя квантование сигнала по уровню, можно указать число уровней квантования т. Таким образом, область возможных значений сигналов может быть представлена в виде прямоуголь­ ной сетки, стороны которой равны Т и Х т, причем сигнал определя­ ется только в точках пересечения вертикальных и горизонтальных линий сетки.

Предположим вначале, что число т уровней квантования равно трем (0; 1; 2). Если рассмотреть сигнал, имеющий только один момент отсчета (п = 1), то возможные значения сигнала будут просто равны этим уровням. Следовательно, количество различных значений сиг­ нала в этом случае равно трем.

Если рассмотреть сигнал, имеющий два момента отсчета (п = 2), то возможные значения сигнала будут являться комбинациями этих

уровней, а именно:

00 01 02 10 11 12

где первая цифра характеризует значение уровня в первый момент отсчета, а вторая цифра - во второй момент отсчета. Следовательно, всего будет девять различных значений сигнала. Продолжая рассмот­ рение подобным образом, легко установить общую зависимость для числа N возможных значений сигнала, которая имеет вид

N = т".

Таким образом, квантованная по времени и по уровню и ограничен­ ная значениями Т и Х тслучайная функция времени будет иметь N реализа­ ций. Какое-либо устройство, вырабатывающее рассмотренную случайную функцию, может при этом выдать любую из реализаций. Очевидно, естес­ твенно считать, что чем больше N, тем более разнообразную информацию может выдать подобное устройство. Однако какой будет эта информация?

Предположим, известно, что источник информации имеет один уровень квантования (т = 1). Тогда любой сигнал в интервале от 0 до Г будет состоять из последовательности символов только одного вида, например А,, и будем заранее знать, что передается по каналу связи, когда он включен. Иными словами, прием сигнала не доставляет ника­ кой дополнительной информации о том, что передается.

Пусть теперь имеется два уровня квантования (т = 2). Так как эти уровни могут передаваться в любой очередности, то мы не знаем заранее, какая их комбинация передается в данный момент, и лишь после приема получаем ответ на этот вопрос, т. е. получаем дополнительную информа­ цию о сигнале. Чем меньше данных о передаваемом сигнале известно за­ ранее (априори), тем больше дополнительной информации получим о нем после приема. Так как число уровней квантования т и длительность сигна­ ла Т (выраженная в количестве интервалов п) нам известны, то априорное знание сигнала будет тем меньше, чем больше возможных комбинаций он имеет. Так, например, если длительность Т фиксирована и определяется

и рамки наших предположений о сигнале ограничиваются четырьмя возможными случаями. Если при п -2 число уровней квантования рав­ но трем, то будут уже следующие возможные комбинации сигнала:

00 01 02 10 11 12 20 21 22,

и наши предположения о том, какой сигнал будет передан, станут ме­ нее достоверными.

Как видно, число возможных комбинаций сигнала также увеличи­ вается, если число уровней квантования т фиксировано, но увеличи­ вается длительность сигнала (т. е. число и).

Таким образом, количество информации, которое можно перенести сигналом, будет тем больше, чем больше N - число возможных комбина­ ций сигнала. Отсюда следует; что количество информации, содержащейся в сигнале, можно определить количеством возможных сформированных сообщений по отношению к данному, принятому за единицу измерения.

Из приведенных выше рассуждений также следует, что коли­ чество информации неизменно, если N фиксировано. Наши рассуж­ дения первоначально наводят на мысль о том, что в качестве меры количества информации можно было бы использовать число возмож­ ных комбинаций сигнала N. Вот что по этому поводу сказано у Р. Хартли [35], впервые предложившего количественную меру инфор­ мации: «Посмотрим, насколько хорошо оно (т. е. число N) удовлетво­ ряет требованиям, предъявляемым к подобной мере. При выбранной нами мере количество переданной информации экспоненциально растет с числом выборов (п) и вклад каждого выбора в общий итог переданной информации прогрессивно возрастает. Несомненно, что такое возрастание зачастую имеет место в связи, рассматриваемой с психологической точки зрения. Так, например, слово «да» или «нет», приходя в конце затянувшейся дискуссии, может иметь ис­ ключительно большое значение. Однако такие случаи являются ско­ рее исключением, чем правилом. Но мы должны установить меру, не зависящую от психологических факторов. Рассматривая физическую систему, мы не обнаруживаем такого экспоненциального нарастания качеств, необходимых для передачи результатов последовательных выборов.

Телеграф передает десятое слово известия не с большим тру­ дом, чем предшествующее. Телефон, успешно передающий речь, продолжает и впредь это делать до тех пор, пока свойства системы остаются неизменными. Для того чтобы мера информации имела практическую инженерную ценность, она должна быть такой, что­ бы информация была пропорциональна числу выборов».

Итак, число возможных комбинаций сигнала N непригодно для измерения количества информации. Так как необходимо, чтобы ко­ личество информации было пропорционально длительности сигнала (числу и), то запишем следующую зависимость:

(5.15) где I - количество информации, К - постоянная, зависящая от чис­

ла значений сигнала т. Чтобы найти зависимость К(т), рассмотрим передачу одного и того же количества информации / с помощью двух различных алфавитов, содержащих соответственно mf и т2символов.

Поскольку при фиксированном N количество информации / оста­ ется неизменным, справедливы соотношения

N = т"' = Wj2,

/ = АГ,л, = Кггц,

откуда получаем

K x\ogm 2 = K2logm v

Из этого соотношения следует, что коэффициент К пропорционален логарифму т:

K = \ogm .

Следовательно, мера количества информации, определится фор­ мулой

1= п \ogjn,

где а - основание логарифма.

Естественно принять за единицу измерения количество инфор­ мации, содержащееся в наиболее простом, элементарном сообще­ нии, которое может выдать источник. Легко заметить, что таким элементарным сообщением будут два возможных значения уров­ ней при одном отсчете сигнала, что соответствует случаю т - 2 , п = 1. При приеме одного из этих двух уровней доставляется инфор­ мация в один двоичный знак, или одну двоичную единицу.

Основание логарифма в формуле (5.16) легко определяется из это­ го частного случая 1 = loga 2 и будет а = 2.

Таким образом, количество информации в двоичных единицах оп­