Пособие_ТКИ
.pdfP(a,b) или условной вероятностью P(a/b), которая выражает вероятность появления сообщения b, при условии, что до этого было передано сообщение а. Количество информации, содержащееся в сообщении b при условии, что известно предыдущее сообщение а, будет равно:
I(b/a)= - logP(b/a).
Среднее количество информации при этом определяется условной энтропией Н(b/a), которая вычисляется как математическое ожидание информации I(b/a) по всем возможным сообщениям b и а:
|
m |
|
m |
|
|
|
|
H (b / a) |
|
P(a ) |
|
P(b |
/ a ) log P(b |
/ a ). |
|
|
i |
i |
i |
i |
i |
||
|
i 1 |
|
i 1 |
|
|
|
|
(2.2.2)
Важным свойством условной энтропии источника зависимых сообщений является то, что при неизменном количестве сообщений в ансамбле источника его энтропия уменьшается с увеличением числа сообщений, между которыми существуют статическая взаимосвязь, что можно рассматривать как снижение информационной емкости сообщений, т.е. одно и то же сообщение при наличии взаимосвязи содержит в среднем меньше информации, чем при ее отсутствии. Если источник создает последовательность сообщений, обладающих статической связью, и характер этой связи известен, то часть сообщений является избыточной,
т.к. она может быть восстановлена по известным статическим связям. Например, при передаче телеграмм из текста исключаются союзы, предлоги, знаки препинания, т.к. они легко восстанавливаются при чтении телеграммы на основании известных правил построения фраз и слов.
Таким образом, любой источник зависимых сообщений обладает избыточностью, которая легко определяется по формуле:
χ = 1 – Н(а)/Н(b) |
(2.2.3) |
где Н(а), Н(b) - энтропии источников с избыточностью и
21
без избыточности соответственно; отношение Н(а)/Н(b)
называется коэффициентом сжатия.
Например, для русского языка H(b) = log32 = 5бит, Н(а) для отдельных букв находится в пределах 4,05 – 2 бита, т.е. избыточность составляет около 50%.
Источник, обладающий избыточностью, передает излишнее количество сообщений, что увеличивает продолжительность передачи и снижает эффективность использования канала связи. Однако избыточность не всегда является отрицательным свойством. Например, наличие взаимосвязи между буквами текста дает возможность восстанавливать его при искажении отдельных букв, т.е. использовать избыточность для повышения достоверной передачи информации.
Использование энтропии в качестве усредненной величины для характеристики информационных свойств источника последовательности дискретных сообщений целесообразно при условии, что вероятностные соотношения для этих последовательностей сохраняются неизменными.
Такие источники называются стационарными. По аналогии со стационарным случайным процессом, статические характеристики последовательности сообщений стационарного источника не зависят от выбора начала отсчета.
Среди стационарных источников сообщений важное место занимают эргодические источники, которые отличаются тем, что с вероятностью, близкой к единице, любая достаточно длинная последовательность сообщений такого источника полностью характеризует его статические свойства. Важной особенностью эргодических источников является статическая взаимосвязь между сообщениями, распространяющаяся на конечное число предыдущих сообщений.
Достаточно длинные эргодические последовательности сообщений, с высокой степенью вероятности содержащие все сведения о статических характеристиках источника, называются типичными. Чем длиннее последовательность, тем больше вероятность того, что она является типичной. В типичных последовательностях частота появления отдельных сообщений или групп сообщений сколь угодно мало отлича-
22
ется от их вероятности. Отсюда вытекает их важное свойство: типичные последовательности одинаковой длинны n примерно равновероятны, а энтропия ансамбля а таких последовательностей определяется как:
Н(а) ≈ (1/n) log(1/Pn) |
(2.2.4) |
2.3.Скорость передачи и пропускная спо-
собность канала.
Для эргодических последовательностей, допускающих усреднение во времени, скорость передачи определяется количеством информации, передаваемой в среднем за единицу времени:
R = lim[I(a)/T] при Т→∞, |
(2.3.1) |
где I(a) – количество информации, содержащееся в последовательности сообщений а, общая длительность которых равна Т при средней длительности τ каждого сообщения m, которая может быть вычислена как математическое ожидание:
m |
i |
i |
|
||
|
|
P(a ) |
i 1 |
|
|
При этом количество информации, создаваемое источником сообщений в среднем за единицу времени τ, называет-
ся производительностью источника |
|
Rи = Н(а)/ τ |
(2.3.2) |
Наибольшей производительностью обладает источник с максимальной энтропией, равной logm. В реальном канале число используемых сигналов m всегда конечно, потому что энтропия источника Н(и)< logm. Кроме того, уменьшение длительности сигналов приводит к расширению их спектра, ограничиваемого полосой пропускания канала. Следовательно, конечное число сигналов и их ограниченная длительность
23
не позволяют беспредельно повышать скорость передачи информации по каналу связи. В этом случае говорят, что максимально возможная скорость передачи информации по каналу связи ограничивается его пропускной способностью:
C =max R = max [H(и)/ τ] |
(2.3.3) |
Пропускная способность канала характеризует его предельные возможности в отношении передачи среднего количества информации за единицу времени. Максимум скорости R в выражении (2.3.3) определяется по всем возможным ансамблям сигналов.
При числе используемых сигналов m = 2 и их длительности τm пропускная способность канала С=log m/τm измеряется в бодах (бит/с). Это так называв бодовая или сигнальная скорость, которая при m = 2 совпадает с битовой R=log 2/τm = 1/τm. При увеличении числа сигналов (например, путем увеличения его уровней, что равносильно увеличению основания кода) пропускная способность канала возрастает при одной и той же полосе частот, примерно равной 1/τm. Например, при m = 4 и длительности τm битовая скорость увеличится в 2 раза, тогда как сигнальная останется прежней. Естественно, чем больше число уровней сигнала т , тем больше информации можно передать за интервал τm. Очевидно, что отношение битовой скорости к сигнальной равно числу бит т на один сигнал длительностью τm.
При передаче информации двоичными сигналами необходимая полоса пропускания канала зависит от частоты манипуляции F= 1/2 τm, которая равна частоте первой гармоники спектра сигнала, представляющего собой периодическую последовательность посылок и пауз (1 и 0). Очевидно, минимальная полоса пропускания канала, при которой еще возможна передача сигналов, равна F. Поэтому максимальная скорость передачи двоичных сигналов по каналу без помех:
24
С = 2F. |
(2.3.4) |
Эта формула была получена в 1924 году Найквистом и известна как предел Найквиста.
Для представления о пропускной способности приведем ее значения для некоторых технических и биологических каналов: телевизионные каналы — миллионы и десятки миллионов бит/с; телефонные, фототелеграфные, радиотрансляционные каналы — тысячи и десятки тысяч; органы зрения
— миллионы; органа слуха — тысячи; органы осязания — десятки тысяч; органы обоняния, вкуса, центральная нервная система — единицы и десятки бит/с.
В случае дискретного канала с помехами принятый сигнал а характеризуется средней взаимной информацией
между а и переданным сигналом b:
I(b, а) = H(b) - Н(b/а), |
(2.3.5) |
где H(b), Н(b/а) — энтропия источника последовательности b и условная энтропия — определяются выражениями:
|
m |
|
|
|
|
|
|
|
|
|
|
a |
|
|
|
|
|
|
|
|
|
H (b) |
|
P(a ) log P(a ); |
|
|
|
|||||
|
|
|
i |
|
|
i |
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
m |
a |
|
m |
b |
|
|
|
|
H (b / a) |
|
P(a ) |
|
P(b |
/ a ) log P(b |
/ a ) |
||||
|
|
i |
i |
i |
i |
i |
||||
|
|
i 1 |
|
i 1 |
|
|
|
|
||
(2.3.6)
Соотношение (2.3.5) показывает, что среднее количество принятой информации равно среднему количеству переданной информации Н(b) минус среднее количество информации Н(b/а), потерянное в канале в результате воздействия помех.
Для определения скорости передачи информации и пропускной способности канала могут быть использованы формулы (2.3.1) и (2.3.3) с учетом (2.3.5) и необходимостью соблюдения свойств эргодичности для последовательностей
25
а и b. Последнее означает, что помехи, действующие в канале, также должны быть эргодическими. При этих условиях для многопозиционного симметричного канала (ma=mb=m>2) при вероятности ошибки Р пропускная способность определяется формулой:
С = (l/τ){log m - P∙log[(m-l)/P]-( l -P)∙log[1/(1- P)]}. |
(2.3.7) |
2.4. Теоремы Шеннона.
Первая теорема Шеннона определяет условия кодирования сообщений для дискретных каналов без помех: если
производительность источника RИ<С - ε, где ε сколь угодно малая величина, то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника; передачу всех сообщений при RИ> C осуществить не-
возможно.
Смысл теоремы сводится к тому, что, как бы ни была велика избыточность источника, все его сообщения могут быть переданы по каналу, если RИ < С-ε. Для рационального использования пропускной способности канала необходимо применять так называемое статистическое или оптимальное кодирование, при котором фактическая скорость передачи информации по каналу R приближается к пропускной способности С, что достигается путем согласования источника с каналом. Сообщения источника кодируются таким образом, чтобы они в наибольшей степени соответствовали ограничениям, которые накладываются на сигналы, передаваемые по каналу связи. Поэтому структура оптимального кода зависит как статистических характеристик источника, так и от особенностей канала. Так, например, для двоичного канала с источником сигнала в виде двоичной последовательности а длиной п условие формирования оптимального кода имеет вид:
n = -logP(a) = I(a).
26
Одним из кодов, удовлетворяющих этому условию, является код Шеннона-Фано, который строится следующим образом: буквы алфавита сообщений выписываются в таблицу в порядке убывания вероятностей, после чего они разделяются на две группы так, чтобы суммы вероятностей в каждой из групп были бы по возможности одинаковы. Всем буквам верхней половины в качестве первого символа приписывается 0, а всем нижним 1. Каждая из полученных групп, в свою очередь, разбивается на две подгруппы с одинаковыми суммарными вероятностями т. д. Процесс повторяется до тех пор, пока в каждой подгруппе не останется одной букве.
Эта методика не всегда приводит к однозначному построению кода, поскольку при разбиении на подгруппы можно сделать большей по вероятности как верхнюю, так и нижнюю подгруппу. От этого недостатка свободна методика Хаффмена, которая для двоичного кода сводится к следующему. Буквы алфавита а1 —а8 сообщений выписываются в основной столбец Б в порядке убывания вероятностей В (см. таблицу ниже). Две последние буквы объединяются в одну вспомогательную букву, которой приписывается суммарная вероятность. Вероятности букв, не участвовавших в объединении, и полученная суммарная вероятность снова располагаются в порядке убывания вероятностей в дополнительном столбце, а две последние объединяются (столбец 1). При объединении двух последних букв а6 и а7 в столбце 1 суммарная вероятность 0,16, поэтому она переносится в столбец 2 перед вероятностью 0,10. Суммарная вероятность двух последних букв столбца 2 составляет 0,26, поэтому это значение в столбце 3 записывается первым. Процесс продолжается до тех пор, пока не получится вспомогательная буква с вероятностью 1.
Для составления кодовой комбинации, соответствующей подготовленной таблице, необходимо, начиная со столбца 7, проследить путь перехода сообщения по строкам и столбцам в обратном порядке, присваивая 1 переходу с большей вероятностью и 0 — с меньшей. Так, переходам
27
1-0,42-0,22 присваивается код 01 (код для al); переходам
1-0,42-0,20 — код 00 (для а2); переходам 1-0,58-0,32-0,16 —
код 1 1 (для а3) и 110 (для а4); переходам 1-0,58-0,26-0,10 —
код 100 (для а5); переходам 1-0,58-0,26-0,16-0,10 - код 1011 (для а6); переходам 1-0,58-0,26-0,16-0,06-0,04 код 10101 (для а7); переходам 1-0,58-0,26-0,16-0,06-0,02 - код 10100 (для а8).
Б |
В |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
а1 |
0,22 |
0,22 |
0,22 |
0,26 |
0,32 |
0,42 |
0,58 |
1 |
а2 |
0,20 |
0,20 |
0,20 |
0,22 |
0,26 |
0,32 |
0,42 |
|
а3 |
0,16 |
0,16 |
0,16 |
0,20 |
0,22 |
0,26 |
|
|
а4 |
0,16 |
0,16 |
0,16 |
0,16 |
0,20 |
|
|
|
а5 |
0,10 |
0,10 |
0,16 |
0,16 |
|
|
|
|
а6 |
0,10 |
0,10 |
0,10 |
|
|
|
|
|
а7 |
0,04 |
0,06 |
|
|
|
|
|
|
а8 |
0,02 |
|
|
|
|
|
|
|
Из рассмотренного примера видно, что повышение эффективности кодирования может быть достигнуто за счет
присвоения более коротких кодовых комбинаций более вероятным буквам и более длинных — менее вероятным.
Однако это приводит к существенным затруднениям при декодировании, поскольку код получается неравномерным. Кроме того, при оптимальном кодировании совершенно отсутствует какая-либо избыточность, что обеспечивает, с одной стороны, достижение максимальной скорости передачи, а с другой — ухудшение помехозащищенности. Поэтому оп-
тимальные коды применимы только для каналов с незначительным уровнем помех.
Вторая теорема Шеннона определяет условия кодирования сообщений для дискретных каналов с помехами: ес-
ли производительность источника RИ < С - ε, а ε — сколь угодно малая величина, то существует способ кодирования, позволяют передавать по каналу все сообщения источника
28
со сколь угодно малой вероятность ошибки; такая передача всех сообщений при RИ > С невозможна.
Эта теорема, в отличие от первой, предусматривает применение кодов с коэффициентом избыточности, который, по аналогии с (2.2.3), определяется формулой:
χ = 1 - С/См ,
где С, См — пропускная способность канала с помехами и без помех.
При передаче бинарных сигналов (m = 2) минимальная избыточность учетом (2.3.3) и (2.3.7):
P log(1/ P) (1 P) log[1/(1 P)]
(2.4.1)
Третья теорема Шеннона определяет условия передачи непрерывных сообщений для непрерывных каналов с по-
мехами: если при заданной среднеквадратической погрешности ε2 оценки сообщений источника его производительность RИ < С, то существует способ кодирования, позволяющий передавать все непрерывные сообщений источника с ошибкой в воспроизведении на выходе канала, сколь угодно мало отличающейся от ε2.
При выводе формулы Шеннона, следующей из этой теоремы, используются результаты, полученные для дискретных систем, которые, согласно теореме Котельникова, являются «искаженным» вариантом непрерывных, поскольку непрерывный сигнал представляется его отсчетами через интервалы времени 1/2F. Если считать, что сигнал и помеха независимы и имеют нормальное распределение, то знаменитая формула Шеннона для пропускной способности канала с полосой пропускания F имеет вид:
С = F∙log (1 + Рс/Рш), |
(2.4.2) |
где Pс ,Рш — мощность сигнала и помехи (отношение Рс/Рш
29
характеризует, как уже отмечалось ранее, параметр сигнал/помеха).
Так как полезный сигнал и сигнал помехи имеют нормальное распределение, то их разность также должна иметь нормальное распределение. Отсюда следует важный вывод:
для обеспечения максимальной скорости передачи информации необходимо применять сигналы с нормальным распределением и равномерным спектром.
Формулу (2.4.2) для равномерных спектров сигнала и шума можно распространить и на случай неравномерных спектров. Для этого в окрестностях некоторой частоты f выбирается полоса f , в которой спектральную плотность
мощности сигнала Gc(f) И шума Gш(f) можно считать постоянной. Тогда для этой полосы пропускания способность будет равна
С= f∙log(1+ |
|
после чего полная как:
f 2 C
f1
Рc/ Рш)= f∙log (1+ |
Gc/ Gш) , |
пропускная способность вычисляется
|
|
G |
( f ) |
|
|
|
|
log |
|
c |
|
1 |
|
df . |
(2.4.3) |
|
G |
( f ) |
|
||||
|
|
|
|
|
|
||
|
п |
|
|
|
|
В качестве примера использования формулы (2.4.2) проведем оценку максимальной скорости передачи информации по телефонному каналу связи. При стандартной для телефонии полосе частот 3100 Гц (300—3400 Гц) и отношении сигнал/шум (С/Ш) свыше 10 дБ теоретический предел скорости в Кбит/с приблизительно равен С/Ш в децибелах. Предел допустимого уровня шума на внутригородских линиях России установлен в -25 дБ; реально он составляет более 30 дБ на хороших и менее 20 дБ на плохих линиях. Используемая в настоящее время система цифрового уплотнения линий с импульсно-кодовой модуляцией (ИКМ
— PCM — Pulse Code Modulation) обеспечивает предельно возможное значение С/Ш около 48 дБ при реальном значе-
30