- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
2. 2 Актуализация непрерывных сигналов
По структуре, как мы уже отметили, сигналы могут быть дискретными и непрерывными. Говорили мы и о том, что источниками информации могут быть только реальные материальные системы, а также происходящие с ними и около них события и физические (в смысле их ощутимости) процессы. В связи с последним обстоятельством подчеркнём, что, по крайней мере, на макро уровне всё изменения в системах и процессы осуществляются непрерывно. Это значит, что изначально информация появляется в непрерывной форме. Объём, температура, давление, скорость, влажность и любые другие параметры, которые характеризуют состояние реальной системы или процесса, изменяютсяплавно и непрерывно.
Первичные естественные сигналы существуют всегда. Более того, и это мы уже отметили в самом конце первой части курса, такие сигналы изначально несут информацию о породившей их системе, минуя стадию формирования сообщения и актуализации. Следовательно, они изначально, естественно (по природе) актуальны и потому называютсясигналами-оригиналами. Они просто существуют, существуют, независимо от потребности в информации, которую они всегда на себе несут. В этом смысле и они всё же нуждаются в актуализации (в актуализации социальной для потребителя) в момент, когда содержащаяся в них информация становится общественно необходимой. Вот тогда и начинают работатьcтакими сигналами, представляя их в удобной для использования форме.
Ещё раз подчеркнём, что
первичные естественные сигналы становятся объектом человеческого внимания только тогда, когда возникает общественная потребность в информации, которая содержится в непрерывных сигналах подобного рода и когда принимается решение об актуализации этой информации.
В ходе актуализации у разных первичных сигналов «судьба» складывается по-разному. Как это происходит, и в чём проявляется «различие судеб» разных сигналов, рассказывается ниже.
2.2.1 Непрерывные технические сигналы
Такой сигнал показан на рисунке слева.
P P( t ) Это зафиксированная каким-нибудь
прибором точная копиясигнала-оригинала.
Подобная фиксация (записькардиограммы,
t например)происходит, когда непрерывная
информация кому-то понадобилась.
Такая запись (на диаграммной бумаге, например, или на дисплее) – это уже не сигнал, это зафиксированный непрерывный сигнал – непрерывное сообщение. Носителем этого сообщения является статический сигнал (запись на бумаге).
Как сообщение (объект – по своей природе нематериальный), такая запись выглядит непрерывной функцией P(t), которая описывает (отображает сигнал служит их математической моделью) и непрерывное сообщение, и непрерывный.
Не всегда актуализация непрерывной информации заканчивается вот так – формированием сообщения. Часто сигнал и дальше, по соответствующим каналам, передают (для последующего его использования) передают в непрерывной форме. Примером такого использования непрерывного сигнала являются автоматические системы регулирования непрерывных технологических процессов. В них некий параметр процесса (например, давление P(t) в тепловом котле) не фиксируется для использования в виде сообщения, а подводится через контур обратной связи непосредственно к регуляторам, которые этим процессом управляют, например, регулируют подачу топлива для подогрева котла. В этом случае сигнал так и остаётся непрерывным и называется непрерывным случайным процессом.
Часто, однако, полностью вся содержащаяся в непрерывном сигнале информация не требуется, как нам, например, не нужны непрерывные измерения температуры нашего тела. Тогда процесс актуализации информации, содержащейся в непрерывном сигнале, сводится к формированию дискретных сигналов или сообщений в зависимости от их назначения. Процесс формирования дискретных сообщений или сигналов на основе непрерывного сиг-нала-оригинала, называется дискретизацией (превращение в дискретный) непрерывного сигнала.
2.3 Дискретные технические сигналы
При актуализации непрерывного сигнала возможны разные способы дискретизации. Один из таких способов заключается в фиксации непрерывного значений сигнала через равные промежутки
времени (см. рисунок слева).
P
P(t) Такие значения называются
временными отсчётами непре-
рывной функции. Составленное из
t множества таких последователь
ных отсчётов сообщение, называ
ется непрерывной дискретной по-следовательностью. Неожиданное присутствие в названии дискретного сооб-щения слова «непрерывное» вполне объяснимо, и этим объяснением мы займёмся позже, а сейчас подчеркнём важный для такого объяснения факт: образующие последовательность числа точно равны значениям непрерывной функции P ( t ) в моменты их регистрации или просто наблюдения.
Если содержащаяся в первичном непрерывном сигнале информация не нужна в месте актуализации и подлежит немедленной передаче по каким-то каналам, то в процессе актуализации формируется динамический дискретный сигнал, который отображает (например, электрическими импульсами) эту последовательность и называется случайным процессом с дискретным временем. В таком случае математической моделью дискретного сигнала оказывается непрерывная последовательность случайных чисел.
Другой способ дискретизации сигнала в ходе его актуализации заключается в таком его преобразовании, при котором сигнал остаётся непрерывным, но его уровень может принимать только определённые («разрешённые») значения (см. рисунок ниже слева), разнесённые вдоль (вертикальной на нашем
рисунке).
P P( t ) Тонкие горизонтальные линии
на рисунке – есть уровни квантова-
ния.
При достижении входным первич-
t ным сигналом, (пунктирная линия . P(t)) очередного такого уровня формирующийся при актуализации выходной сигнал (ломаная линия) остается на нём (на очередном уровне) до того момента, пока (возрастающий или спадаю-щий) первичный сигнал не сравняется с соседним (более высоким или более низким, соответственно) уровнем квантования.
Точность воспроизведения исходного сигнала его дискретным аналогом зависит от выбора количества уровней квантования в диапазоне значений сиг-нала. Чем больше уровней (чаще горизонтальная сетка), тем точнее воспроизведение. Такой сигнал называется квантованным по уровню, или непрерывным дискретным процессом. При математическом моделировании такой сигнал описывается аппроксимирующим степенным многочленом, который соответствующим методом подбирается на основе требований к практически удовлетворительной точности представления содержащейся в сигнале информации. Заметим, что такой полином является и сообщением, и матема-тической моделью (аналитическим описанием) исходного непрерывного сигнала, – не имевшей до этого аналитического представления, функции P(t).
Третий способ дискретизации непрерывного сигнала объединяет в
себе оба только что оба только что опи-
P санных метода.
Сигнал (см. рисунок) не только
P( t) наблюдается (фиксируется) в заранее
намеченные моменты времени
(вертикальные временные вехи), но
t ему разрешено в эти дискретные мо-
менты времени принимать только дис-
кретные значения – значения, соответствующего уровня квантования (показаны горизонтальными линиями) – того уровня, ближе всего к которому (нижнему или верхнему – по предварительной договорённости) оказалось значение сигнала в момент его наблюдения.Результатом такой дискретизации оказывается случайный дискретный сигнал, который ещё называют дискретным случайным процессом.
Математической моделью такого процесса (в отличие от результата дискретизации по первому способу, когда математической моделью дискретного сигнала оказывается непрерывная последовательность случайных чисел) является дискретная последовательность случайных чисел. Именно так выглядит и сообщение, которое таким дискретным сигналом представлено. Это типичное дискретное сообщение, составленное из алфавита с конечным коли-чеством образующих его символов – чисел, которые соответствуют уровням квантования (сколько уровней, столько и символов в алфавите). При актуализации непрерывного сигнала по первому способу (когда нет уровней квантования) объём алфавита теоретически оказывается бесконечным
Заканчивая раздел, следует заметить, что сигнал после дискретизации не обязательно остается и дальше, существует и используется в одной из представленных выше форм, – в виде соответствующего сигнала или сообщения. Дальше сигнал может снова преобразовываться и принимать самые разнообразные формы. Но эти преобразования происходят не в рамках актуализации сигналов. Дальнейшие преобразования – это всевозможные виды кодирования, представление сообщений оптимальными, помехоустойчивыми и техническими кодами – кодами, наиболее подходящими в соответствующих условиях.