Как следует из рис. 5.4,б, частота следования двоичных символов («единиц» и «нулей») в цифровом сигнале, называемая тактовой частотой fТ ,

равна

5.3. Количество информации

Вернемся снова к информации, чтобы определить ее количественную меру. Принимая сообщение о каком-либо событии, мы меняем свои знания о нем. Однако определить, сколько информации содержится в сообщении, в общем случае довольно затруднительно, так как одно и то же сообщение может давать одному потребителю много информации, а другому – мало.

Чтобы обойти эти трудности, в теории передачи сообщений предложена количественная мера для подсчета числа единиц информации, которая не связана с конкретным содержанием сообщения, а отражает лишь степень ее «неожиданности» (неопределенности).

Количество информации в сообщении принято оценивать по его вероятности. Так, весьма вероятное сообщение содержит мало нового и поэтому несет мало информации; маловероятное же сообщение является неожиданным и поэтому содержит много информации.

В 40-х годах ХХ века Клод Шеннон предложил количество информации в отдельно взятом сообщении определять величиной, обратной вероятности сообщения, вычисленной в логарифмических единицах:

где p(a) – вероятность сообщения a ; k – основание логарифма.

45

При p(a) =1 количество информации равно нулю, т.е. сообщение об

известном событии никакой информации не несет.

Количество информации, содержащееся в нескольких независимых сообщениях, равно сумме количеств информации в каждом из них. Это соответствует и интуитивным представлениям об увеличении информации при получении дополнительных сообщений.

Основание логарифма чаще всего принимают равным двум ( k = 2 ), тогда количество информации, содержащееся в сообщении, выражается в двоичных единицах:

J(a) =−log2 p(a).

Двоичную единицу обычно называют битом – от binary digit (двоичная цифра).

Совокупность всех возможных сообщений и вероятностей их появления образуют ансамбль сообщений. Если ансамбль состоит из двух сообщений a1 и

a2 (например, вида «да» и «нет» или 0 и 1), которые являются не зависимыми и равновероятными, т.е. p(a1) = p(a2 ) =1/ 2 , то каждое из сообщений несет одну двоичную единицу (один бит) информации:

J =−log2 p(a1) =−log2 p(a2 ) =−log2 0,5 =1 бит.

Таким образом, 1 бит информации уменьшает наше незнание (неопределенность) о чем-либо ровно в 2 раза. Это имеет место только в том случае, если вероятности событий равновероятны.

Бит – это фундаментальная единица для всех цифровых систем. Определим количество информации в слове из n букв, если алфавит

состоит из m букв (32 в русском алфавите) и вероятности букв одинаковы, а сами буквы следуют независимо друг от друга. Количество информации при передаче одной буквы J(ai ) =−log2p(ai ). Так как все буквы равновероятны, то

p(ai ) =1/ m и количество информации, содержащееся в любой букве,

J(ai ) =−log21/ m =log2m =log232 =5 бит/букву.

Буквы следуют независимо, поэтому количество информации в слове из n

букв

i=1

Например, для слова из семи букв русского алфавита ( n =7, m =32 ) количество информации JСЛ =35 бит.

Часто возникает потребность оценивать информационные свойства источника сообщений в целом. Такой характеристикой является среднее

46

количество информации, приходящееся на одно сообщение – энтропия источника сообщений.

Выше рассмотрен пример, когда появление разных букв было равновероятным. Однако в реальных условиях буквы, как правило, имеют разную вероятность. Например, буквы о, е, а встречаются в тексте сравнительно часто, а щ, ы, ъ – редко. Так как вероятности сообщений неодинаковы, они несут различное количество информации J(ai ). Менее

вероятные события несут большее количество информации и наоборот.

На основании изложенного, можно записать формулу Шеннона для расчета среднего количества информации от наступления любого из m событий

i =1

При равновероятности событий получается частный случай

I = H = log2 m , бит.

Именно так в 1928 г. Р. Хартли предложил оценивать количество информации.

Приведем такой пример. Сколько бит информации необходимо получить нам от любого человека, чтобы установить день его рождения, задавая ему правильно сконструированные вопросы и получая ответы типа «да» и «нет»? Как следует из предыдущего материала, каждый такой ответ будет сообщать нам 1 бит информации только в том случае, если вопросы поставлены так, что ответы уменьшают наше незнание в 2 раза. Воспользуемся приведенным выше выражением (учитывая, что число дней в году m =365 и все они

равновероятны как даты рождения) и получим I = log2 m = log2 365 ; 2х =365.

Отсюда следует, что 8 вопросов и столько же ответов, т.е. 8 бит недостаточно (28=256), а 9 – избыточны (29=512). Поэтому ответ очевиден – 9 бит. Попробуйте задать правильно 9 вопросов и убедиться, что с вероятностью 0,5 достаточно будет 8 вопросов и такой же вероятностью потребуется 9 вопросов и ответов, т.е. 9 бит.

Приведенные выражения справедливы для источника с независимыми сообщениями. Существует формулы определения энтропии для источников с зависимыми сообщениями. Примером такого источника может быть обычный текст, где появление той или иной буквы зависит от предыдущих буквенных сочетаний: так, после сочетания чт вероятность следования гласных о, е, и больше, чем согласных.

Любой источник зависимых сообщений обладает, как принято говорить, избыточностью. Это означает, что если источник создает последовательность сообщений с известной заранее статистической связью, то часть сообщений

47

является избыточной, так как ее можно не передавать, а восстанавливать на приеме по известной статистической связи. Так, кстати, поступали раньше при передачи телеграмм, исключая из текста союзы, предлоги, знаки препинания, поскольку они легко восстанавливаются при чтении телеграмм на основании известных правил построения фраз и слов. Для русского языка избыточность составляет около 50 %. Конечно, наличие избыточности в принимаемой телеграмме позволяет легко исправить часть искаженных слов (правильно их прочитать). Однако избыточность приводит к тому, что за заданный промежуток времени по каналу передается меньше информации, чем это возможно. Поэтому в настоящее время большое внимание уделяется проблеме сокращения избыточности.

Еще одной характеристикой источника сообщений является его производительность – среднее количество информации, создаваемое источником в единицу времени. Наибольшей производительностью обладает источник с максимальной энтропией.

5.4. Помехи и шумы

Помехи и шумы разделяются на внутренние и внешние. К первым относятся атмосферные (напр., разряды молнии), от других радиоэлектронных средств и промышленные, напр., от контактных сетей, питающих электротранспорт. Внутренние шумы обусловлены дискретной природой электрического тока и хаотическим тепловым движением носителей заряда в проводнике, в результате чего на его концах возникает флуктуирующая разность потенциалов. Мощность тепловых шумов на входе активных устройств определяется по выражению

где k =1,38 10−23 Вт/(Гц град) – постоянная Больцмана,

T – эквивалентная шумовая температура устройства (в градусах Кельвина),

∆fш – шумовая полоса в (Гц), примерно равная ширине полосы

пропускания устройства на уровне минус 3 дБ.

Интенсивность тепловых шумов остается постоянной в пределах очень широкой полосы частот – примерно 0…1012 Гц. Поэтому его называют белым шумом по аналогии с белым светом, энергия которого равномерно распределена по спектру. В активных приборах (лампах, полупроводниках, микросхемах) также возникают флуктуации (дробовой шум, генерации и рекомбинации носителей заряда). Приведенное выражение показывает, что мощность белого шума уменьшается при охлаждении схемы, устройства или его части (напр., конвертора приемной установки спутникового телевидения при недостаточной мощности принимаемого сигнала). Основные методы борьбы с ним являются косвенными – выбор формы сигнала, методов

48