позволяет снизить девиацию частоты сигнала в тракте усиления по промежуточной частоте, сузить полосу пропускания приемника, снизить порог помехоустойчивости и обеспечить связь при меньшем значении девиации частоты сигнала.
Задача. Определите обобщенный выигрыш при обработке непрерыв-
ного сигнала S(t, λ(t)) = Acos[ω0t + mфλ(t) + φ0] с ФМ, если индекс ФМ mф = 0.6, а пикфактор информационного сообщения П = 1.5.
Решение.
|
m |
2 |
|
0.36 |
|
|
|
|
|
|
|||
g ' = |
ф |
= |
|
= 0.16 |
||
П |
2 |
2.25 |
||||
|
|
|
||||
|
|
|
|
|||
Ответ: g' = 0.16.
РАЗДЕЛ «ОСНОВЫ ПЕРЕДАЧИ И КОДИРОВАНИЯ ИНФОРМАЦИИ»
Тема «Основные характеристики источников дискретных и непрерывных сообщений»
Изучаемые вопросы:
1.Количество информации источника дискретных сообщений.
2.Энтропия источника дискретных сообщений.
3.Свойства энтропии источника дискретных сообщений.
4.Избыточность источника дискретных сообщений.
5.Производительность источника дискретных сообщений.
6.Энтропия источника непрерывных сообщений.
Количество информации источника дискретных сообщений
Рассмотрим источник сообщений, на выходе которого может получиться последовательность сигналов a1, a2, …, aN с вероятно-
стями P(a1), P(a2), …, P(aN).
При этом возникает вопрос о том, сколько информации получают при приеме любого из этих символов.
Пусть P(a1) = 1, тогда все остальные вероятности P(ak) = 0, где k = 1÷N.
Понятно, что в этом случае заранее известно о том, какой символ (сообщение) поступает на вход устройства обработки информации, следовательно, и количество информации, получаемой при этом равно нулю.
Если символы появляются с различными вероятностями, то самое маловероятное сообщение будет наиболее неожиданным.
Таким образом, количество информации, содержащейся в сообщении, может быть функционально связано с вероятностью появления этого сообщения, то есть
i(a |
k |
) = |
f [P(a |
k |
)] |
|
|
|
|
При этом необходимо выполнение следующих требований:
(1)
1.Количество информации должно отвечать свойству аддитивности, то есть при передаче двух или более независимых сообщений, общее количество информации должно равняться сумме информации от каждого из них в отдельности.
2.Количество информации, содержащейся в заранее известном сообщении (переданном с P(ak) = 1), должно быть равно нулю.
3.При P(ak) = 0 количество информации в сообщении должно быть максимальным.
Внаибольшей степени этим требованиям удовлетворяет логарифмическая функция, поэтому для определения частного количества информации, содержащейся в k-ом сообщений, запишем
i(a |
k |
) = −log |
x |
|
|
P(a |
) |
k |
|
0
,
(2)
где x – используемая система счисления (при использовании двоичных символов x = 2).
Действительно, эта функция удовлетворяет названным условиям:
i(ai , ak ) = i(ai ) + i(ak ) = − logx P(ai ) + logx P(ak ) , |
i k |
(3) |
||||||||||||||||
i(a |
|
) = −log |
|
P(a |
|
) = log |
|
1 |
|
= |
|
P(a |
|
) = 1 = log |
|
1 = 0 |
(4) |
|
|
|
|
x P(ak ) |
|
|
|
||||||||||||
|
k |
|
x |
|
k |
|
|
|
|
k |
|
x |
|
|
||||
i(ak ) = −logx P(ak ) = logx |
1 |
= P(ak ) = 0 = logx |
= |
(5) |
||||||||||||||
|
|
|
||||||||||||||||
|
P(a ) |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
Следует отметить, что выбор основания логарифма не имеет существенного значения, но удобнее всего применять основание, равное двум (x = 2). Это связано с тем, что в телекоммуникационных системах и вычислительной технике чаще всего используются двоичные сигналы. Единица количества информации в этом случае называется бит, поэтому далее будем использовать двоичное основание x = 2.
Также отметим, что с введением понятия количества информации, слово «информация» приобрело два значения: абстрактное и конкретное, или качественное и количественное. С одной стороны, под информацией понимают некоторую конкретную информацию, содержащуюся в сообщении, а с другой – ее численную меру, то есть некоторое абстрактное количество информации, вычисленное в битах, которое содержится в интересующем нас сообщении.
Поэтому термин «информация» будем применять для определения конкретной информации, а «количество информации» для определения численной меры абстрактной информации, содержащейся в передаваемых сообщениях.
Энтропия источника дискретных сообщений
Рассмотрим следующий источник сообщений. Будем полагать, что он является стационарным и содержит N различных дискретных сообщений. Любой из этих сообщений выдается источником случайно с вероятностью P(ak), k = 1÷N. В общем случае, вероятности могут быть различными, то есть P(a1), P(a2), …, P(aN) – произвольные положительные числа, сумма которых равна единице.
Следовательно, определенное ранее частное количество информации тоже может быть случайным значением.
Более удобной характеристикой, которая описывает среднее количество информации, выдаваемой источником сообщений, является энтропия. Данную величину принято определять как математическое ожидание количества информации, приходящейся на один элемент сообщения.
N H ( A) = M −log2 P(ak ) = k =1
где H – энтропия: A – для источника, B
P(ak ) log2 |
1 |
, |
|
P(a |
|||
|
) |
||
|
k |
|
– для приемника.
(6)
Это выражение по форме идентично выражению, полученному в термодинамике, для величины, также называемой энтропией, где это понятие характеризует неопределенность системы в некоторый момент времени. Величину H(A) также можно рассмотреть, как меру неопределенности сообщения до момента его получения. Иначе говоря, это мера неожиданности, или непредсказуемости, в выдаче источником сообщения.
Приведенное выражение, определяющее энтропию, является справедливым только для источников сообщений без памяти. Примером такого источника, для которого сообщения выдаются статистически независимо, может быть генератор случайных чисел. В то же время любой оператор компьютера, работающий с каким-либо текстом, является примером источника с памятью. В этом случае каждое последующее сообщение логически связано с предыдущим, поэтому содержит в себе значительно меньше неопределенности, или непредсказуемости, следовательно, значение энтропии уменьшается.
Свойства энтропии источника дискретных сообщений
Рассмотрим основные свойства энтропии источника дискретных сообщений:
Энтропия любого источника сообщений всегда положительна, то есть
H(A) ≥ 0. Это следует из условия 0 ≤ P(ak) ≤ 1, log2P(ak) ≤ 0, –P(ak)log2P(ak) ≥ 0.
Энтропия равна нулю, то есть H(A) = 0, если источник выдает одно сообщение с вероятностью P(ak) = 1, а остальные – с нулевой вероятностью.
Энтропия источника без памяти, содержащего сообщение с фиксированным объемом алфавита N имеет максимальное значение при условии равномерной выдачи сообщений:
Hmax ( A) = log2 N , |
(7) |
если P(a1) = P(a2) = … = P(aN). |
|
В частном случае, когда источник выдает всего 2 |
сообщения (a1 = 0, |
a2 = 1), энтропия максимальна и составляет 1 бит при P(0) = P(1) = 0.5. Пусть P(0) = P, тогда P(1) = 1 - P. Следовательно
2 |
|
1 |
|
|
|
|
1 |
|
|
1 |
|
|
H ( A) = P(ak ) log2 |
|
= P(0) log |
|
|
+ P(1) log |
|
= |
|||||
P(a |
2 |
P(0) |
2 |
P(1) |
||||||||
k =1 |
|
) |
|
|
|
|
||||||
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
= −P log |
2 |
P − (1 − P) log |
(1 − P) |
|
|
|
|||||
|
|
|
|
|
|
2 |
|
|
|
|
|
|
(8)
Из этой формулы видно, что H(A) = 0, если P(0) = 0, P(1) = 1 или
P(0) = 1, P(1) = 0.
Максимальная энтропия достигается при P(0) = P(1) = 0.5, то есть
H |
max |
( A) = −0.5log |
2 |
0.5 − 0.5log |
2 |
0.5 = 0.5 + 0.5 = 1 бит |
|
|
|
|
(9)
Рис. 1 – Зависимость энтропии двоичного источника без памяти от P(0) = 1 – P(1).
Энтропия аддитивна. Пусть ξ и η – сообщения от двух независимых источников. То количество информации H(ξ, η) при совместном получении этих сообщений равно сумме значений, характеризующих уменьшение неопределенности с получением каждого из сообщений в отдельности, то есть
H ( , ) = H ( ) + H ( ) |
(10) |
что вытекает из свойства логарифмической функции.
Избыточность источника дискретных сообщений
В качестве источника рассмотрим оператора, который вводит в компьютер текст на русском языке. Очевидно, что буквы в тексте появляются с разной
вероятностью. Например, буква «а» передается значительно чаще, чем буква «ц» или «ю». Таким образом, существует статистика для каждого естественного языка. Например, для английского языка такая статистика тоже имеет место. Кроме того, появление очередной буквы зависит от предыдущей. Например, в русском языке после гласной не появится «ъ», «ь», «ы». Весьма редким случаем будет появление трёх букв «е». Таким образом, на выходе источника с памятью (с зависимыми сообщениями) неопределенность окажется меньше, чем при отсутствии памяти, когда сообщения появляются хаотично. В результате уменьшается среднее количество информации, доставляемой каждой буквой.
Следовательно, если нужно передать одинаковое количество информации от источника с памятью и без памяти, то в первом случае придется увеличить количество букв или символов. Тогда при меньшей информативности каждой буквы источника с памятью их большее количество будет способствовать увеличению количества информацию I этого источника до значения, равного значению энтропии источника без памяти
Таким образом, избыточность источника
= |
log N − H ( A) |
= 1 − |
H ( A) |
|||||
2 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
log |
2 |
N |
|
log |
2 |
N |
|
|
|
|
|
|
|
||
(11)
Из формулы (11) следует, что, чем больше энтропия, тем меньше избыточность. Ясно также, что избыточность принимает значения [0, 1].
Избыточность характеризует среднее число букв (символов) n, используемых источником сообщений для передачи заданного количества информации относительно необходимого числа nmin при равновероятностном и независимом появлении букв
= |
n − n |
= 1 − |
n |
|
min |
min |
|||
|
|
|||
|
n |
|
n |
|
Коэффициент сжатия: |
|
|
|
= |
H ( A) |
= |
n |
min |
||
|
|
|
|
|||
|
|
|
|
|
|
|
|
log |
2 |
N |
|
n |
|
|
|
|
|
|
|
|
(12)
(13)
Этот коэффициент показывает, до какого значения без потери информации можно сжимать передаваемые сообщения, если устранить содержащуюся в них избыточность.
Очевидно, что избыточность приводит к росту времени передачи сообщений и излишней загрузки канала связи. Рассматривать избыточность как недостаток не всегда верно. В ряде случаев избыточность может быть полезна.
Наличие зависимостей корреляций между буквами дает возможность восстановить сообщения при искажении отдельных букв.