![](/user_photo/2706_HbeT2.jpg)
- •Глава 4 Информационные процессы и сигналы
- •4.1. Общая схема передачи информации в линии связи
- •4.2. Модели сигналов
- •Модуляция гармонических сигналов
- •Квантование по уровню
- •Квантование по времени
- •Т еорема в.А. Котельникова
- •4.3. Передача информации по каналу связи без учета помех Пропускная способность дискретного канала связи без помех
- •Скорость передачи информации по дискретному каналу без помех
- •Эффективное статистическое кодирование сообщений. Теорема Шеннона для каналов без помех
- •Теоремы побуквенного неравномерного двоичного кодирования
- •1.Прямая теорема
- •2.Обратная теорема
- •4.4. Передача информации по каналу с помехами
- •Понятие о канальной матрице
- •Пропускная способность бинарного симметричного канала с помехами типа «инверсия»
- •Пропускная способность симметричного канала со стиранием
- •Теорема Шеннона для дискретного канала с помехами
- •Пропускная способность непрерывного канала связи с помехами
- •Теорема Шеннона для непрерывных каналов с помехами
Теорема Шеннона для непрерывных каналов с помехами
Производительность
источника непрерывных сообщений
пропорциональна энтропии источника
.
Поскольку энтропия источника непрерывных
сигналов – бесконечно большая, то и
производительность такого источника
– бесконечно большая. На практике даже
при безошибочной передаче сигнала по
каналу связи приемник воспринимает
поступивший сигнал с какой-то погрешностью.
Принятое сообщение
Z(t) и переданное X(t) называются
эквивалентными, если различие между
ними несущественно в смысле выбранного
критерия (обычно это критерий
среднеквадратичного отклонения).
Вводится понятие отклонения ε(t) = x(t)
– z(t),
задается предельная погрешность
.
Если среднее за период отклонение
<
,
то реализации считаются эквивалентными.
Эпсилон-энтропией Hε(X) называется минимальное среднее количество информации, содержащееся в одном отсчете сообщения Z(t) относительно сообщения X(t), при котором эти сообщения еще эквивалентны.
В соответствии с соотношением Hε(X) = min {I(X,Z) | ≥ ε2} эпсилон-энтропия определяет количество существенной информации, содержащейся в одном отсчете непрерывного сообщения.
Производительность
источника определяется как
.
По теореме Котельникова
,
где F – полоса
пропускания, значит R = 2F∙Hε(X).
Теорема Шеннона для непрерывного канала с помехами (третья теорема):
Если при заданном критерии эквивалентности сообщений производительность источника информации меньше пропускной способности канала, то есть R < C, то существует такой способ кодирования и декодирования в обобщенном смысле (т. е. преобразование сообщения в сигнал и обратно), при котором неточность воспроизведения сообщения сколь угодно близка к . При R > C такого способа не существует.