
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
5.4. Обмен мощности сигнала на ширину его спектра
Из выражения (5.15) может создаться ошибочное впечатление, что пропускная способность непрерывного канала связи может неограниченно возрастать при увеличении Fk. Однако это не верно, так как с увеличением Fk растёт мощность флюктуационной помехи, а величина Pп стоит в знаменателе под знаком логарифма.
Мощность помехи
,(5.17)
где N0 – спектральная плотность мощности помехи.
Подставив это в (5.15), получим
.
(5.18)
Анализ полученного выражения показывает, что при увеличении полосы пропускания пропускная способность стремится к некоторому пределу, а не растёт бесконечно (рис.15).
Несколько другой результат получается при рассмотрении зависимости необходимой мощности сигнала от Fk – при заданной пропускной способности C и спектральной плотности помехи N0. Преобразуя выражение (5.18), получим
.
Эта зависимость изображена на рис. 16, из которого видно, что необходимая мощность сигнала Pс при увеличении Fk монотонно убывает. Это позволяет передавать с необходимой скоростью информацию на очень большие расстояния с очень малой мощностью сигнала, если только применить достаточно широкополосные сигналы.
Возможность уменьшения мощности сигнала за счёт увеличения полосы частот называется обменом мощности сигнала на полосу частот. Эта возможность часто учитывают при разработке систем космической связи, когда мощность сигнала ограничена мощностью источников питания космических аппаратов.
5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
В настоящее время
в двоичном канале связи скорость передачи
символов v
может достигать значения
.
В связи с этим формула (29) может быть
переписана в следующем виде:
.
(5.19)
Для определённости будем считать, что в дискретном канале передача ведётся методом дискретной частотной модуляции, в этом случае вероятность ошибки определяется известной формулой
.
Подставив это выражение в формулу (50), получим зависимость пропускной способности дискретного двоичного канала связи от величины h (рис.14 -кривая1). Из этого рисунка видно, что при h пропускная способность двоичного канала стремится к ( 2 Fk log2k).
Пропускная способность непрерывного канала связи определяется формулой Шеннона (5.15), откуда получаем
. (5.20)
Эта зависимость также приведена также на рис. 17 (кривая 2).
Сравнивая оба графика, видим, что при стремлении h к бесконечности для дискретного канала связи отношение C/Fk стремится к пределу (равному двум), а для непрерывного канала связи C/Fk неограниченно растёт, причём для любого значения h пропускная способность непрерывного канала связи превышает пропускную способность дискретного канала. Это объясняется тем, что сигналы дискретной модуляции отличаются от белого гауссовского шума, а согласно теореме Шеннона, наибольшей пропускной способностью обладают системы, в которых сигналы близки к белому гауссовскому шуму. Непрерывные сигналы по своей структуре ближе к гауссовскому шуму, чем дискретные сигналы.