- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
1.4.2.2 Коды с фиксированными ограничениями
Другая группа кодов, о которой мы упомянули выше, включает в себя коды с фиксированными ограничениями. О вероятностных ограничениях мы здесь поговорили очень подробно и потому много. С ними всё ясно: полных запретов нет, а вот вероятности для разных символов могут быть разными. Далее поговорим немного о кодах с фиксированными ограничениями.
Фиксированные ограничения называются фиксированными, как раз потому, что вероятностям там места нет, там просто: одно запрещено, другое разрешено.Такой характер ограничений связан с тем, что фиксированные коды – это коды искусственные и «работают» они в технических устройствах, которые делают только то, для чего предназначены, то, есть имеют вполне определённый репертуар состояний и жесткие программы поведения.
В качестве примера кода с фиксированными ограничениями рассмотрим азбуку Морзе.
«Буквами» этой азбуки (алфавита) – символами, из которых, в конце концов, оказываются составленными сообщения, являются:
- точка,
тире,
короткий (малый) промежуток между их сочетаниями, образующими настоящую букву, и более,
длинный промежуток, которым обозначают конец слова в передаваемом азбукой Морзе тексте.
На время нашего с Вами разговора, для большей его убедительности, условно обозначим: точку – символом А, тире – символом В, малый промежуток, разделяющий буквы – символом С и большой промежуток, разделяющий слова – символом D.
Анализируя процесс формирования сообщений источником, который использует азбуку Морзе, можно обнаружить, что (см. рисунок 2), в том случае, когда в составе сообщения только что появился символ А или В (обозначим соответствующее этому моменту состояние источника сообщений символом S1 ), следующим может быть любой из имеющегося в этом алфавите символов (А, В, С или D)
Малый промежуток
S2
Большой промежуток
S1
Точка
Тире
Тире
Рис.2 Граф состояний источника сообщений,
использующего азбуку Морзе
В том случае, когда в составе сообщения только что появился символ С или D (обозначим соответствующее этому моменту состояние источника сообщений символом S2), следующим может быть только А или В.
Возможные варианты поведения источника сообщений (способы его переходов из одного состояния в другое) можно представить в виде графа состояний этого источника, который как раз и показан на рисунке.
Здесь состояния источника отображены прямоугольниками, а переходы из одного состояния в другое – стрелками, количество и обозначения которых соответствуют «разрешённым» в данном состоянии символам.
Таким образом, азбука Морзе – код с фиксированными ограничениями, которые обусловлены особенностями самой азбуки (вторичного алфавита). Но это – не всё, что можно сказать о вторичных кодах, вообще, и об азбуке Морзе, в частности.
Поэтому, – продолжим разговор об азбуке Морзе.
Этот вторичный искусственный код имеет не единственную форму представления (реализации) его алфавита. Точки и тире – это только при написании. Существует ещё акустическая форма его представления. Опытные телеграфисты в былые времена воспринимали составленные азбукой Морзе сообщения «на слух», воспринимали, как мелодии, и, автоматически, не задумываясь, какие символы по отдельности они слышат, воспринимали сразу текст.
Между акустической и письменной формами представления азбуки Морзе неизбежно представление её символов в форме электрических импульсов в телеграфном аппарате. Здесь «точка» отображается коротким (длительностью τ0) электрическим импульсом (в нашем тексте обозначим это «+–», где «–» такой же по длительности пустой промежуток времени, обозначающий, что за ним будет другой символ этой азбуки, далее: «тире» – «+++– » , «малый промежуток» – «– – –» и «большой промежуток» - «– – – – – – »).
Из сказанного видно, что форме такого технического кода на алфавит азбуки Морзе накладываются новые ограничения.
Во–первых, для реализации разных символов требуется разное время:
2τ0, 4τ0, 3τ0 и 6τ0 .
Во-вторых, В самом начале τ0 выбиралось в расчёте на приём сообщений «на слух» (ограничения со стороны физиологии человека).
Заканчивая разговор об азбуке Морзе, подчеркнём, что с точки зрения статистической теории связи, различные формы представления (существования) азбуки Морзе – это коды с разными фиксированными ограничениями, разные коды.
Заканчивая параграф в целом, отметим, что в статистической теории связи коды с вероятностными ограничениями часто называют «языками», а название «коды» сохраняют для обозначения технических кодов - кодов с фиксированными ограничениями. Строго же говоря, и те, и другие – вторичные коды. Более того, естественный язык остаётся кодом с вероятностными ограничениями (языком в уточнённом выше смысле этого слова) только на уровне азбуки этого языка, ибо структура языка в целом определяется еще и «расширенными» алфавитами: двух-, трёх- и более- буквенными сочетаниями со свойственными данному языку вероятностями их появления в текстах. А на уровнях таких сочетаний начинают сказываться ещё и фиксированные ограничения: запреты для тех и таких сочетаний, которые не являются осмысленными словами в этом языке.
Такие фиксированные ограничения «работают» в языках на уровне слов и довольно длинных словосочетаний, составляя суть разнообразных языковых правил (о словообразовании, о порядке слов в предложениях, о пунктуации, и т. д. и т.п. вплоть до стилистики).
И, наконец, главное. При формировании сообщений только естественный первичный код несёт полую информацию об источнике. Именно, этот код и есть содержание информации, как описание его естественных состояний и ограничений, как описание состояний и их естественных последовательностей (описание типичного поведения) источника информации. Эта информация выявляется и «полностью расшифровывается», только в полном наборе сообщений, которые можно получить от данного источника информации, вообще.
Этот тезис подтверждает правомерность сделанного нами выше утверждения о том, что естественный первичный код – это только удобная в статистической теории связи знаковая система, удобный способ формализованного представления источника информации.
А теперь – столь же важный тезис о вторичных кодах.
При формировании сообщений источник этих сообщений впервые производит замену естественного первичного кода, переписывая информацию своим первичным кодом – первым из всех вторичных кодов, которыми это сообщение впредь может быть представлено, и которые могут быть естественными и искусственными. Это первое в истории появляющегося таким способом сообщения кодирование называется кодированием источника информации. Такое название ещё раз подчёркивает правильность нашего мнения об отсутствии естественных первичных кодов в форме объёктивной реальности. Поэтому не существует сообщений, представленных в естественном первичном коде. Сообщение впервые появляется, как результат кодирования источника и записывается в первичном коде источника сообщений. Позже, как мы уже говорили, этот код по разным причинам может быть заменён.
Смена кода – не перевод с одного языка на другой (как раз потому, что языки – это только естественные коды – коды с вероятностными ограничениями). Такая процедура в теории статистической связи называется перекодированием сообщений и, в связи с этой процедурой, важно понять, что вторичные коды – тоже коды с ограничениями, а ограничения потому так и называются, что не всегда позволяют отобразить то, что было «записано» в сообщении предшествующим кодом.
Обобщая оба тезиса, необходимо ещё раз и специально подчеркнуть, что свойственные вторичным алфавитам и (делающие каждый из них специфическим кодом) ограничения только частично определяют структуру сообщения, которая изучается статистической теорией информации. А то, что мы ещё раньше объявили несуществующим: истинно первичные (естественные) коды источников информации определяют его семантику (содержание и смысл), которая тоже «сидит» в сообщении в форме специфических его структурных особенностей. Это значит, что, отказавшись ранее считать репертуар источника информации алфавитом, мы поступили правильно, ибо «расшифровка» естественных первичных кодов – это анализ смыслового содержания сообщений, которым статистическая теория связи не занимается.
Из представленных выше двух тезисов вытекает, что
первый, подвернувшийся под руку, код не обязательно годится для формирования сообщений о поведении определённой материальной системы.
Отсюда – первая из нескольких основных задач статистической теории связи:
задача согласования кодов источника информации и источника сообщений, согласования естественного первичного кода с первым вторичным кодом и взаимное согласование всех последующих вторичных кодов друг с другом.
Цель такого согласование – сохранение упомянутых выше специфических структурных особенностей (статистических параметров) сообщения, особенностей обусловленных только статистикой репертуара источника, ибо только она и определяет семантику сообщений.