- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
Спектр и полоса пропускания
Ниже на рисунке очень условно показан спектр некой импульсной последо-вательности. Над огибающей спектра, которая на предыдущих рисунках ог-раничивала сплошной и дискретный спектры, на этом рисунке – дополни-тельная пунктирная линия. И ещё на нём – штрихпунктирная вертикальная линия, которая вместе с вертикальной координатной осью выделяет некую спектральную полосу шириной ΔF. Эти добавления внесены в рисунок, для пояснения понятия о котором пойдёт речь ниже.
fmax
= 2f
ΔF
Вспомним снова квадратичный эффект сигнала
Е = X[(t)]2dt = []2d= []2d= 2[]2df (в последнем интеграле d= d2f, но не в этом суть). Суть того, о чём мы здесь собрались поговорить, заключается в том, что Е(f) (функция, на нашем рисунке численно равная площади, ограниченной:
– вертикальной осью = 0,
– вертикальной штрих пунктирной линией = 2fтекущая, и отрезками
- дополнительной горизонтальной пунктирной линии и
- горизонтальной оси , которые находятся между
указанными выше вертикальными границами этой площади) – это доля мощности отображенного на рассматриваемом частотном «портрете» потенциального носителя сигналов (последовательности импульсов), которая приходится на выделенную уже дважды упоминавшимися вертикальными линиями частотную полосу, т.е. – на полосу ΔF (помечена очень жирной обоюдоострой стрелкой).Прирост Именно эта функция (Е(f) =2[]2df , где верхний предел интегрирования есть fтекущая)
показана на последнем рисунке пунктирной линией.
Эта плавно спускающаяся к горизонтальной оси линия показывает, как будет изменяться относительная энергия (Е(f)) последовательности импульсов, если эти импульсы пропускать через какие-то реальные устройства с различной полосой пропускания.
Полосой пропускания конкретного технического устройства (его рабочим диапазоном) называется характеристика этого устройства (количественной её мерой тоже является полоса частот ΔF), указывающая, какие спектральные составляющие подаваемых на вход этого устройства сигналов могут пройти на его выход без заметного затухания той доли мощности, которую эти составляющие несут в составе сигнала.
Пунктирная кривая на нашем рисунке, где изображён спектр возможного сигнала, показывает, что вся мощность такого сигнала (она, как мы определили выше, равна площади под кривой в пределах полосы пропускания) при его прохождении через устройство сохраниться вместе с формой образующих его импульсов только в том случае, когда устройство теоретически обладает бесконечной, а практически очень широкой полосой пропускания. Форма импульсов упомянута здесь в связи с тем, что из-за затухания высокочастотных (правая часть оси ) составляющих спектра
проходящих через определённое устройство импульсов, очертания этих импульсов на выходе этого устройства «сглаживаются» – они теряют свою форму.
Устройств с бесконечной полосой пропускания (которые пропускали бы идеальный прямоугольный импульс) не существует, а устройства с очень широкой полосой пропускания слишком дороги. В практически используемых устройствах рабочий диапазон (а в итоге самая высокая частота (fmax)) выбирается под структуру ожидаемых сигналов. Частота fmax оказывается при этом верхним пределом в интеграле
Е(fma ) =2[]2df , при котором Е(fmax) = Кх2[]2df, где
К – эмпирический коэффициент-критерий (близкая к единице дробь), конкретное значение которого выбирают при создании конкретных технических устройств, выбирают не столь из соображений «собрать» в полосе ΔF (от 0 до fma ) как можно большую часть общей мощности сигнала (обычно, в зависимости от формы импульсов, в пределах первой волны огибающей её собирается где-то около 90% от Е), сколь из соображений сохранения формы импульсов.
Критерии, лежащие в основе тех и других соображений при сигналах на базе рассматриваемого нами здесь носителя близки и обобщены в виде хорошо известного эмпирического математического соотношения, которое связывает требуемую полосу ΔF пропускания (и, следовательно, – fmaх) с параметрами последовательности и образующих её импульсов: 2ΔF = или 2ΔF = vx где длительность импульса, vx – связанная с ней (vx = ) частота следования импульсов, которую иногда называют частотой манипуляции и измеряют в бодах, а х – привычный нам индекс, означающий принадлежность символа (здесь – импульса) исходному сообщению или сигналу.
На этом мы закончили тот раздел второй части курса, в котором речь шла преимущественно о детерминированных сигналах, которые в их мате-матических моделях могут быть представлены детерминированными функци-ями. Такими функциями были, в частности,
- «просто непрерывная функция Х(t)», которой мы воспользовались при знакомстве с преобразованиями и рядами Фурье, с теоремами и рядами Котельникова;
- ортогональные функции типаn(t) , функции отсчёта и всевоз-можные гармонические функции и т.д..
Такими же были функции, которыми мы только что описывали потен-циальные носители сигналов. Собственно, только эти последниепараграфы и имеют отношение к теории информации – с них начинается описание сиг-налов. Те её параграфы, в которыхначиналсяразговор о способах описания сигналов, – только предварительные математические упражнения – разминка.
Дело здесь в том, что детерминированная функция – это не тот матема-тический объект, который может стать моделью сигнала. Ведь для нас и для теории информации интересен сигнал, которыйнесет информацию, сведе-нияещё не известные получателю. Такой сигнал несёт информацию вне-предсказуемых «искажениях» структуры отображающих сигналы функций. Этим он интересен теории информации. Значит, та функция, которая годится для описания сигнала, должна иметь параметры, которые можно исказить.
Это – во-первых.
Во-вторых, с искажёнными параметрами она должна оставаться узнаваемой (так же выглядеть и также называться) функцией.