
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
4.4. Спектры сигналов
Сигнал – изменяющаяся физическая величина, обеспечивающая передачу информации по линии связи. Всё многообразие сигналов, используемых в информационных системах, можно разделить на 2 основные группы: детерминированные и случайные.
Детерминированный сигнал характеризуется тем, что в любые моменты времени их значения являются известными величинами. Сигнал, значения которого в любые моменты времени будут случайными величинами, называется случайным.
Это разделение является условным, так как детерминированных сигналов в точном их понимании в природе нет. На практике не может быть заранее точно предсказано значение сигнала в любые моменты времени, иначе сигнал не нес бы полезной информации. Кроме того, любой реальный сигнал случаен в силу воздействия на него многочисленных случайных факторов. Несмотря на это, исследование детерминированных сигналов важно по двум причинам:
математический аппарат, используемый для анализа детерминированных сигналов, гораздо проще аппарата анализа случайных сигналов;
выводы, полученные в результате исследований детерминированных сигналов, могут быть во многих случаях использованы для анализа случайных сигналов.
В зависимости от методов анализа информационных систем применяются те или иные способы представления сигналов. К основным относятся:
1) представление сигнала в виде некоторой функции времени x(t);
2) представление сигнала в операторной форме x(p);
3) представление сигнала в виде некоторой функции частоты.
В частотном виде могут представляться как периодические, так и непериодические детерминированные сигналы.
Необходимо заметить, что в реальных условиях периодические сигналы не существуют, т.к. идеальный периодический сигнал бесконечен во времени, в то время как всякий реальный сигнал имеет начало и конец. Однако во многих случаях конечностью времени действия сигнала можно пренебречь и для его анализа допустимо использовать аппарат, пригодный для идеальных периодических сигналов.
Функция x(t) называется периодической, если при некотором постоянном Т выполняется равенство:
x(t)=x(t+nT),
где Т – период функции, n – любое целое (положительное или отрицательное) число, а аргумент t принимает значение из области определения этой функции.
Периодическая функция x(t) с периодом Т обладает следующим свойством: интеграл от этой функции, взятый на интервале длиной Т, не изменяется при изменении пределов интегрирования при условии, что длина интервала интегрирования остается равной Т.
В общем случае сигнал представляет собой сложное колебание, поэтому возникает необходимость представить сложную функцию x(t), определяющую сигнал через простые функции.
Для представления сигналов в частотной области широко используют два частных случая разложения функции в ортогональные ряды: тригонометрическая форма разложения и комплексная.
Рассмотрим их.
4.5. Тригонометрическая форма
Любой периодический сигнал x(t), удовлетворяющий условию Дирихле (x(t) – ограниченая, кусочно-непрерывная, имеет на протяжении периода конечное число экстремумов), может быть представлен в виде ряда Фурье по тригонометрическим функциям:
(4.1)
Это
выражение указывает на то, что периодическая
функция x(t),
имеющая период Т
может быть разложена по sin
и cos
углов, кратных углу
.
Если
период функции x(t)
равен
Т,
то основная круговая частота будет
,
тогда в формуле разложенияx(t)
значения коэффициентов a0,
ak,
bk
определяется
формулами:
k=
1, 2, 3.
Зная коэффициенты ak и bk , можно определить значения амплитуды и начальной фазы k-й гармоники.
(4.2)
(4.3)
Для практического анализа частотных свойств применяется формула (4.4), так как показывает, какой частоте сигнала соответствует определенная амплитуда
(4.4),
где
- постоянная составляющая функцииx(t);
k-я
гармоническая составляющая;
- амплитуда, частота и начальная фазаk-й
гармонической составляющей;
- частота основной гармоники; Т-
период колебаний.