- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
2.6.4 Средства и способы описания случайных сигналов
Функция с непредсказуемыми значениями не может называться детерминированной. Значит, искать возможности отображать сигналы в форме математических моделей нужно не среди детерминированных функций, которые годятся толькодля представления процессов, в принципе, способных стать сигналами, только потенциальных носителей сигналов. Рассматривать придётсяслучайные сигналыи способные отобразить их случайность математические объекты.
Непрерывное множество значений случайной величины Х называется случайной функцией времени – стохастической функцией Х(t) и характеризуется целым набором «вторичных» характеристик, названных так потому, что большинство из них на основе этих, упомянутых выше функций и вычисляются. К ним относятся: математическое ожидание, дисперсия и моменты более высокого порядка, а также корреляционные моменты и спектр случайной функции.
Случайная функция характеризуется также: реализацией, сечением и её аналитическими представлениями в форме многопараметрического семейс-тва функций с заданными распределениями стохастических параметров.
2.6.4.1. Начальные сведения о случайных функциях
Функций вида y = f(t) X(t) обычно называются стохастическими функциями, Это означает, что они описывают протекающий во времени случайный процесс.
Когда значения функция зависят от значений не случайного аргумента – это не случайная, а самая обыкновенная функция X(t) .
Когда значения обыкновенной функции y = f(t) зависят от значений не случайного аргумента t и не случайного же параметра yp – это тоже не случайная, а обыкновенная детерминированная функция X(p,t). Множество подобных функций, отличающихся друг от друга только значениями параметра p, образуют параметрическое семейство обыкновенных функций функции
Y(р) = f(p,t).
Если в рамках такого семейства параметр p принимает непредвиденные случайные значения pk в соответствии с заданной функцией распределения плотности значений параметра pk = f(p) (она же – pk=fp(х р(х)) и характеризующим её условием нормировки вероятностей р(x) dx =1, то семейство Y(р) = f(pk,t) в целом становится случайной функцией, а обыкновенная функция xk = f(pk,t) при реализовавшемся в каждый момент времени tk случайном значении параметра pk, называется единичной (конкретной) реализацией случайной функции. Аналогичная функция от параметра p (т.е. хk0 = f(pk,t0 )) при заданном значении аргумента t0 в таком семействе называется сечением случайной функции.
Параметрическое семейство функций Y(р) = f(pk,t) вместе с законом р(x) распределения плотности реализации определённых значений р чаще называют ансамблем случайных функций и обозначается Y(р) = Х(t). Параметр p в таком случае называется стохастическим параметром ансамбля.
Если функция некоторого семейства зависит от двух различных параметров, то это – двухпараметрическое семейство стохастических функций. Такое семейство становится двухпараметрическим стохастическим ансамблем, если задано двухмерное распределение плотности вероятностей реализации определённых парных сочетаний значений двух стохастическим параметров семейства.
Семейство стохастических функций может быть и многопараметри-ческим. Для его превращения в многопараметрический ансамбль требуется задание столь же многомерной функции распределения вероятностей. Каж-дый из n параметров, n-параметрического ансамбля иногда называют степенью свободы такого ансамбля. Например, ансамбль гармонических функций Х(t) = Аsin(t+) может называться стохастическим ансамблем стремя степенями свободы, если для него определена трехмерная функция распределения вероятностей p(А,,)такая, что
p(А,,)dAdd=1, а параметры
А, , и–независимы.
При обнаружении зависимости типа А=f () ансамбль оказывается только двухпараметрическим.