Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория передачи сигналов. Учебное пособие
.pdf
81
443,12еog
)(ai
а
)(/1)(
2
аРogai
)(аР
Элементы количественной теории информации
Свойства количественной меры информации
1. Количество информации должно быть аддитивной мерой.
2. Количество информации в сообщении о достоверном событии равно
нулю.
3. Количество информации не должно зависеть от качественного
содержания.
)(log)(
2
aPkai
1k
]
)(
1
[log)(
2
aP
ai
Энтропия дискретного источника сообщений
)]
)(
1
([log)]([)(
2
aP
МaiМАН
битai 1)
5,0
1
(log)(
2
Лекция №12
]
)(
1
[log)()(
2
1
i
K
i
i
aP
aPAH
является двоичный логарифм, который в
натурального. Отсюда, количество информации
, где
- вероятность появления события а.
раза больше
в событии
Единицей измерения количества информации является бит. Для дискретных
сообщений 1 бит – это количество информации в событии, которое
происходит с вероятностью 0,5.
Если источник дискретных сигналов передает зависимые сообщения, то
количество информации определяется с помощью условных вероятностей.
Рис.80. Количество информации в дискретном сообщении, энтропия
источника дискретных сообщений
8.2. Энтропия дискретного источника сообщений
Передаваемые сообщения появляются на выходе источника с
определенной вероятностью, следовательно, количество информации есть
случайная величина. Для характеристики источника дискретных сообщений
необходимо определить среднее количество информации на выходе
источника. Такая характеристика называется энтропией (рис.81). Это
82
32
*
К
Свойства энтропии
1. Энтропия неотрицательна
2. Энтропия аддитивна
3.
KAH
2
log)(
битAH 5)
32/1
1
(log
32
1
)(
2
32
1
Избыточность источника информации
K
AHK
2
2
log
)(log
математическое ожидание количества информации, которое зависит от
распределения вероятностей сообщения в ансамбле. Энтропия – мера
неопределенности сообщений, которое существует до того, как сообщение
принято. Энтропия характеризует степень разнообразия выдаваемых
источником сообщений. Энтропия – основная информационная
характеристика источника сообщений. Чем выше энтропия, тем больше
требуется энергии на передачу сообщений.
На рис. 81 представлен расчет энтропии источника независимых
сообщений (в виде букв) с алфавитом
.
Известно, что появления букв (звуков) есть зависимые между собой
события, обусловленные передаваемыми словами, фразами. Возникающая
при этом информационная избыточность речи снижает количество
информации в каждой букве (звуке). Информационную избыточность
оценивают с помощью коэффициента
(рис.81).
Рис.81. Энтропия дискретного источника сообщений
Так, для равновероятных и независимых знаков (букв) энтропия равна 5
бит/буква, при передаче стихов каждая буква будет переносить меньше бит на
83
битAH 1)(
8,0
*
2
)( KogAH
)(AH
)(BH
Взаимная информация
Совместная энтропия
}
),(
1
{log),(
2
ik
baP
MBAH
Условная энтропия
}
)/(
1
{log)/(
2
ik
baP
MBAH
]
/(
1
[log)/()/(
2
1 1
ik
i
nkm
i
k
baP
baPBAH
)/()()/()(),( baPbPabPaPbaP
)/()()/()()/( BAHBHABHAHBAH
Свойства условной энтропии
)()/(0 AHBAH
)()/( AHBAH
Теорема
умножения
вероятностей
букву и энтропия такого источника равна
избыточности равен
.
, при этом коэффициент
Максимальное количество информации имеет место на выходе источника
дискретных независимых равновероятных сообщений
. Этого
эффекта можно добиться путем статистического перекодирования, что
позволит максимально повысить скорость передачи информации.
8.3. Взаимная информация
Понятие взаимной информации вводится для случая передачи сигналов
по каналам связи, т.е. при наличии передающего, приемного устройств и
линии связи. Эту ситуацию можно трактовать, как наличие двух источников
сообщений: на входе линии связи
и выходе линии связи
. Между
двумя ансамблями сообщений должна быть связь. Это значит, что ансамбли
на входе и выходе линии зависимы. В противном случае по линии связи
информация не проходит. При наличии зависимости можно ввести понятия
совместной энтропии и условной энтропии (рис.82), которые определяются
полной вероятностью и условной вероятностью.
Рис.82. Взаимная энтропия
Условная энтропия характеризует потери информации в линии связи.
84
Взаимная информация
Свойства взаимной информации
1. 2.
3.
4.
5.
Потери информации
)/()()/()(),( ABHBHBAHAHBAI
]
)(
)/(
[log]
)/(
1
[log]
)(
1
[log)/()(),(
222
k
ik
ikk
aP
baP
M
baP
M
aP
MBAHAHBAI
]
)()(
),(
[log)/(
2
ik
ik
bPaP
baP
MBAI
0),( BAI
),(),( ABJBAI
)(),( AHBAI
)(),( BHBAI
)(),( AHAAI
)/(),()( BAHBAIAH
Скорость передачи информации
Производительность источника сообщений
)(BH
)/( BAH
)/( ABH
)(AH
T
AH
AH
)(
)(
T
BAI
BAI
),(
),(
),( BAI
Равенство нулю условной энтропии означает, что линия связи – идеальна и
потерь нет. Равенство энтропии источника и условной энтропии означает
отсутствие линии связи. Отсюда, взаимную информацию можно определить
как разность между энтропией источника и условной энтропией (рис.83).
Рис.83. Свойства взаимной информации
На рис.84 представлена модель канала передачи информации (связи).
Рис.84. Модель канал связи
85
)(*AH
)(*BH
),(*BAI
T
)/(*BAH
)/(*ABH
)(
1
)(
*
AH
T
AH
c
c
T
),(*BAI
k
T
BH1)(*
)(BH
k
T
)(),(
**
AHBAI
)(),(
**
BHBAI
На входе и выходе канала связи имеются источники сигналов,
характеризуемые производительностью
передается информация со скоростью
и
. По каналу связи
, где
- длительность
элементарного сигнала. Потери в линии связи за счет недостаточной ширины
полосы частот канала обозначаются
счет поступления посторонней информации - соответственно как
. Потери качества информации за
.
8.4. Эффективное кодирование
Операция кодирования – это составная часть процесса преобразования
непрерывного сигнала в цифровой (рис.85). Поэтому необходимо установить
основные соотношения между производительностью источника сигналов
с длительностью сигнала
, скоростью передачи информации
и производительностью кодирующего устройства
длительностью сигнала на выходе кодирующего устройства
. Для
с
преобразования сигнала в последовательность кодовых символов и обратного
преобразования (декодирования) в отсутствии помех должно выполняться
следующее условие. Так, на основании свойства взаимной информации
можно записать:
.
Это равенство вытекает из соображений здравого смысла: скорость
передачи информации не может быть меньше, чем производительность
источника. В противном случае часть информации будет потеряна. С другой
стороны, скорость передачи информации может быть меньше или равна
производительности кодирующего устройства:
.
Последнее соотношение можно объяснить тем, что при его выполнении
информация не будет потеряна (в случае неравенства часть ресурсов
кодирующего устройства не будет использоваться).
86
Эффективное кодирование
Источник
дискретных
сообщений
Кодирующее
устройство
)(AH)(BH
Для эффективного кодирования (без учета помех) необходимо:
Из свойства взаимной информации вытекает:
Отсюда,
)()( BHAH
ск
ТAHТBH /)(/)(
)(/)(/ BHAHТТ
кс
битAH 8256log)(
2
битBH 12log)(
2
1/8/
кс
ТТ
),( BAI
)(),( AHBAI
)(),( BHBAI
)()(
**
BHAH
256
*
К
2*К
с
Т
к
Т
Рис.85. Эффективное кодирование
Отсюда, после несложных преобразований получим важное соотношение:
.
На рис.85 рассмотрен пример источника дискретных сигналов на выходе
устройства квантования с алфавитом
алфавитом
сигнала
должна быть в 8 раз больше, чем длительность символа на выходе
кодирующего устройства
. Расчет показал, что в отсутствии помех длительность
.
и кодирующего устройства с
8.6. Пропускная способность дискретного сигнала
Важной характеристикой системы передачи информации является
пропускная способность канала. В зависимости от вида сигнала пропускная
способность делится на пропускную способность дискретного канала
(цифрового) и непрерывного (аналогового) канала.
Пропускная способность дискретного канала – это максимально
возможная скорость передачи информации (рис.86).
87
Пропускная способность дискретного канала
Лекция № 13
При передаче каждого символа в среднем по каналу проходит следующее
количество информации:
Максимальное количество информации, взятое по всем возможным
источникам, характеризует канал и называется пропускной
способностью канала (в расчете на символ):
)(АР
)(АР
сбит /
сим
VCС
Дискретный канал (симметричный без памяти): может передать
каждый символ с вероятностью ошибки и без ошибки
ош
Р
)1(
ош
Р
Пример:
)/()()/()(),( ABHBHBAHAHBAI
),(max BAIС
сим
),(max BAIС
V
ош
Р
ош
Р1
3*К
)/( abР
b
Рис.86. Пропускная способность дискретного канала
Для определения пропускной способности по каналу связи пропускается
информация от различных источников (с разными вероятностными
характеристиками, но при одинаковом объеме алфавита и скорости передачи
сигналов
(величина, обратная длительности сигнала). Максимальное
значение скорости передачи информации – есть пропускная способность,
которая обеспечивается благодаря использованию источников с
равновероятными и независимыми сигналами, имеющими максимальную
энтропию.
Для примера на рис.87 рассмотрена формула пропускной способности
симметричного дискретного канала без памяти, т.е. каждый символ
передается с ошибкой, которая характеризуется вероятностью ошибки
, и
без ошибки с вероятностью (
). В примере рассмотрен источник с
и рассчитана условная вероятность
приняли сигнал
.
того, что передали сигнал a,
88
3
К
Допустим:
jiPabР
ошij
,1)/(
jiKPabР
ошij
),1/()/(
Условная вероятность того, что вместо переданного -го символа может быть
принят любой другой из ансамбля :
i
K
a b
c
a
Передали 9 раз букву a , приняли 3 раза а, 3 раза b,
3 раза с.
3/1)/( abP
3/2
ош
Р
)]/()(max[ ABHBHС
сим
KBH )(
)1(
1
log)1(
1
log]
)/(
1
[lo g]/[
222
ош
ош
ош
ош
ij
P
Р
P
K
Р
abP
MABH
)1(
1
log)1(
1
loglog
222
ош
ош
ош
ошсим
P
Р
P
K
РKC
2*К
)1()1(1[
22 ошошошош
PogРРоgPVC
С
1;0
ош
Р
2/1
ош
Р
Воспользовавшись формулами на рис.82, получили выражения для
энтропии источника и условной энтропии, а также величину взаимной
информации (рис.83).
Рис.87. Пропускная способность дискретного канала
Соответственно пропускная способность двоичного канала при
равна (рис.88):
На рис.88 представлена зависимость пропускной способности двоичного
канала от вероятности ошибки. Максимальное значение
двух значений
прием можно осуществить путем операции инверсии. Наихудшим случаем
. Когда вероятность ошибки равна единице правильный
является прием сигналов с вероятностью ошибки
канала).
.
имеет место для
(случай обрыва
89
2
K
)]1(log)1(log1[
22 ошошошош
PРPPVС
VC /
ош
P
1/2
1
1
2/1
ош
P
0С
)(
к
к
к
Рис.88. Пропускная способность двоичного канала
8.7. Информация в непрерывных сигналах
Для оценки количества информации в непрерывном сигнале необходимо
дать определение непрерывному сигналу. Как известно, непрерывный сигнал
– это реализация случайного процесса, которая состоит из бесконечно
большого числа случайных величин или сечений (рис.9). Для характеристики
марковского (наиболее распространенной модели) случайного процесса
используется одномерная плотность распределения вероятностей ПРВ
сечения. Таким образом, в качестве непрерывного сигнала рассмотрим одно
мгновенное значение (сечение)
По аналогии с дискретным сигналом для оценки количества информации в
случайного процесса.
с помощью ПРВ необходимо рассчитать вероятность. Вероятность того,
что непрерывный сигнал будет иметь значение
необходимо выделить на кривой ПРВ небольшой промежуток
рассчитать площадь под кривой. Если
- очень мал, то площадь равна
равна нулю. Поэтому
и
90
)(
к
кк
)(/1
2 к
og
0
Информация в непрерывных сигналах
)(
к
кк
кк
Р
)(
1
log)(/1log
22
]
1
[loglim]
)(
1
[log]
1
[loglim]
)(
1
[loglim]
1
log
)(
1
[loglim]
)(
1
[loglim)(
2222222
MMMMMMH
00000
)()(
ккк
Р
)(H
)(H
произведению
непрерывной величины попадет в промежуток
. Это будет вероятность того, что значение
. Тогда по
аналогии с количеством информации в дискретном сигнале количество
информации в непрерывном сигнале будет равно:
.
Также по аналогии с дискретным сигналом подсчитаем энтропию
источника непрерывного сигнала при условии, что
(рис.89).
Рис.89. Информация в непрерывных сигналах
Из формулы
видно, что энтропия источника непрерывных сигналов
равна бесконечности. Первое слагаемое
не зависит от
и называется
дифференциальной энтропией, которая характеризует количество
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]