- •Системы электрической связи. Общие сведения о системах электросвязи. Основные понятия и определения
- •Часть 1
- •Раздел 1. Элементы общей теории сигналов
- •1.1 Классификация сигналов
- •1.2. Некоторые элементы функционального анализа сигналов
- •1.3 Основы теории ортогональных сигналов
- •Раздел 2. Спектральные представления сигналов
- •2.1. Понятие о спектре периодических и непериодических сигналов
- •2.2 Спектральное представление периодических сигналов
- •2.3 Спектральное представление непериодических сигналов
- •2.4 Теоремы о спектрах
- •2.5 Спектральные представления сигналов с использованием негармонических функций
- •Раздел 3. Сигналы с ограниченным спектром
- •3.1. Некоторые математические модели сигналов с ограниченным спектром
- •3.2 Теорема Котельникова
- •3.3. Узкополосные сигналы
- •3.4. Аналитический сигнал и преобразования Гильберта
- •Раздел 4. Основы корреляционного анализа сигналов
- •4.1. Взаимная спектральная плотность сигналов. Энергетический спектр
- •4.2. Автокорреляционная функция сигналов
- •4.3. Акф дискретного сигнала
- •4.4. Взаимокорреляционная функция двух сигналов
- •Раздел 5. Модулированные сигналы
- •5.1. Сигналы с амплитудной модуляцией
- •5.2 Сигналы с угловой модуляцией
- •5.3. Дискретные формы угловой модуляции
- •5.4 Сигналы с импульсной модуляцией
- •Раздел 6. Основы теории случайных процессов
- •6.1. Случайные процессы. Основные понятия и определения
- •6.2. Характеристики случайных процессов
- •6.3. Моментные функции случайных процессов
- •6.4. Свойства случайных процессов
- •6.5. Функция корреляции двух случайных процессов
- •6.6. Измерение характеристик случайных процессов
- •6.7. Спектральное представление стационарных случайных процессов. Теорема Винера-Хинчина
- •6.8 Типовые модели случайных сигналов
- •6.9 Узкополосные случайные сигналы
- •Раздел 7. Основные элементы цифровой обработки сигналов
- •7.1. Дискретное преобразование Фурье
- •7.2. Быстрое преобразование Фурье
- •7.3 Z-преобразование
- •Раздел 1.Каналы электросвязи
- •Тема1.1 Общие сведения о каналах электросвязи и их классификация
- •1.2 Математические модели каналов электросвязи
- •1.2.1 Математические модели непрерывных каналов связи
- •1.2.2 Математические модели дискретных каналов связи
- •Раздел 2 Основные положения теории передачи информации
- •2.1 Информационные параметры сообщений и сигналов
- •2.2 Взаимная информация
- •Эффективное кодирование дискретных сообщений
- •Тема 2.4. Информация в непрерывных сигналах
- •Тема 2.5. Пропускная способность канала связи
- •Тема 2.6. Теорема к. Шеннона
- •Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия
- •Раздел 3. Оптимальный приём дискретных сообщений
- •Тема 3.1. Постановка задачи оптимального приёма дискретных сообщений как статистической задачи. Понятие помехоустойчивости
- •3.2. Элементы теории решений
- •3.3. Критерии качества оптимального приёмника
- •3.4 Алгоритм оптимального приёма при полностью известных сигналах. Когерентный приём
- •3.5 Структурное построение оптимального приёмника
- •3.6 Реализация алгоритма оптимального приёма на основе согласованных фильтров. Свойства согласованного фильтра
- •3.8 Потенциальная помехоустойчивость систем с различными видами манипуляции
- •3.9 Приём сигналов с неопределённой фазой (некогерентный приём)
Раздел 2 Основные положения теории передачи информации
2.1 Информационные параметры сообщений и сигналов
Чтобы сравнивать между собой различные источники сообщений и различные каналы связи необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналами информацию. Строгие методы количественного определения информации были предложены К. Шенноном в 1948г. и привели к построению теории информации, являющейся математической основой теории связи, информатики и ряда смежных отраслей науки и техники.
Рассмотрим вначале основные идеи этой теории применительно к дискретному источнику, выдающему последовательность сообщений. Пусть этот источник посылает сообщение a из некоторого ансамбля . Найдём определение количества информации, содержащейся в этом сообщении, исходя из следующих естественных требований:
Количество информации должно быть аддитивной величиной, то есть в двух независимых сообщениях оно должно равняться сумме количества информации в каждом из них.
Количество информации в сообщении о достоверном событии равно нулю.
Количество информации не должно зависеть от качественного содержания сообщения, в частности, от степени его важности для получателя, возможных последствий его передачи, эмоциональной окраски и т.д.
Итак, для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в самом общем виде сообщение a из ансамбля A . таким параметром, очевидно, является вероятность р(a) того, что источник посылает данное сообщение. Следовательно, количество информации i(a), содержащееся в сообщении a, должно быть функцией от т.е.
Дальнейшее уточнение искомого определения не составляет труда, если учесть первые два требования. Пусть a1 и a2 - два независимых сообщения. Вероятность того, что источник пошлёт оба эти сообщения (одно за другим), равна р(a1 ,a2)= р(a1). р(a2), а информация, содержащаяся в них, должна удовлетворять условию аддитивности, то есть i(a1 ,a2)= i(a1)+ i(a2). Следовательно, необходимо найти функцию от вероятности р, обладающую тем свойством, что при перемножении двух аргументов значения функции складываются. Единственная такая функция – это логарифмическая i(a)=klog р(a), где k-любая постоянная, а логарифм берётся по любому основанию. При таком определении количества информации выполняется и второе требование: при р(a)=1 i(a)=klog1=0.
Чтобы количество информации измерять неотрицательным числом, будем всегда выбирать k= -1, поскольку ФОРМУЛА (если основание логарифма больше единицы). Поэтому :
(2.1)
Основание логарифма в (2.1) чаще выбирают равным 2. Полученная при этом единица информации, носит название двоичная единица, или бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5, то есть таком, которое с равной вероятностью может произойти или не произойти. Такая единица наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи. В теоретических исследованиях иногда применяют натуральный логарифм, измеряя информацию в натуральных единицах. Натуральная единица в раза больше двоичной. Мы будем пользоваться в основном двоичными единицами, и в дальнейшем обозначениеlog будет означать двоичный логарифм.
Можно характеризовать энтропию также как меру разнообразия вызываемых источником сообщений.
Энтропия является основной характеристикой источника, чем она выше, тем труднее запомнить (записать) сообщение или передать его по каналу связи. Необходимая во многих случаях затрата энергии на передачу сообщения пропорциональна его энтропии.
Основные свойства энтропии:
Энтропия неотрицательна. Она равна нулю только для “вырожденного” ансамбля, когда одно сообщение передаётся с вероятностью 1,а остальные имеют нулевую вероятность.
Энтропия аддитивна. То есть если рассматривать последовательность из n сообщений как одно “укрупнённое” сообщение , то энтропия источника таких укрупнённых сообщений будет в n раз больше энтропии исходного источника.
Если ансамбль содержит K различных сообщений, причём равенство имеет место только тогда, когда все сообщения передаются равновероятно и независимо. ЧислоK называется объёмом алфавита источника.
В частности, для двоичного источника без памяти, когда K=2, энтропия максимальна при P(a1)=P(a2)=0,5 и равна log2=1бит. Зависимость энтропии этого источника от P(a1)=1-P(a2) показана на рисунке.
То есть количество информации в сообщении тем больше, чем оно менее вероятно, или, иначе, чем оно более неожиданно.
Если источник передаёт последовательность зависимых между собой сообщений, то получение предшествующих сообщений может изменить вероятность последующего, а следовательно, и количество информации в нём. Оно должно определяться по условной вероятности передачи данного сообщения an при известных предшествующих an-1 , an-2 ,…:
(2.2)
Определённое выше количество информации является случайной величиной, поскольку сами сообщения случайные. Для характеристики всего ансамбля (или источника) сообщений используется математическое ожидание количества информации, называемое энтропией и обозначаемое H(A) :
(2.3)
Здесь математическое ожидание, как всегда, обозначает усреднение по всему ансамблю сообщений. При этом должны учитываться все вероятностные связи между различными сообщениями.
Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, то есть тем более неопределённым является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределённости. После приёма сообщения, если оно принимается верно, всякая неопределённость устраняется. Это позволяет трактовать количество информации как меру уменьшения неопределённости.
Величина
(2.4)
называется избыточностью источника с объёмом алфавита K. Она показывает, какая доля максимально возможной при этом алфавите энтропии не используется источником.
Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время T на каждое сообщение.
Производительностью (в бит на секунду) такого источника H’(A) назовём суммарную энтропию сообщений, переданных за единицу времени:
(2.5)