- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
Основные характеристики источника информации
Система имеет репертуар поведения {Si}, (где i =1,2,..,N), а источник сообщений, обозначая события этого репертуара (соответствующие состояния системы) удобным ему символом (числом, обозначающим условный номер состояния, условным знаком и т.п.), превращает репертуар в алфавит языка, на котором он (умеет и) записывает свои сообщения. Это его первичный (часто условный, искусственный) алфавит – алфавит источника сообщений.
На самом деле это уже – вторичный алфавит. Настоящим первичным (естественным) алфавитом является объективно существующий и априори известный всем, изначальный набор возможных исходов ситуации. Набор вариантов ожидаемых событий, набор возможных состояний (репертуар состояний) системы или другое множество её реальных свойств, различных, но образующих полную группу – ансамбль, событий (состояний, значений параметра и т. п.). Главное свойство такого алфавита – обязательная в текущий момент реализация од-ного и только одного его символов, свойство быть ансамблем. Математически, и об этом мы уже говорили, это выражается в обязательном для такого набора условии нормировки вероятностей.
Это свойство первичного (естественного) алфавита источника информации переносится на все последующие, почти всегда искусственные и, именно, потому – вторичные алфавиты, включая и первичный алфавит сообщения.
Символами (буквами) первичного алфавита источника сообщений отныне первоначально будут записаны все сообщения данного посредника о поведении системы, о которой он может поведать миру. Выше слово «первоначально» выделено потому, что уходят от посредника сообщения в первоначальном виде очень редко. Как правило, они «переводятся» с языка реального поведения на другой – общепринятый и широко используемый язык. Например, – на разговорный русский язык, письменный алфавит которого состоит из 32 букв русского алфавита, а звуковой – из четырех десятков основных и, приблизительно, такого же количества, переходных элементарных звуков – фонем. Так называются простейшие звуки (звуковые элементы или речевые символы), из которых голосовой аппарат человека (или где-то электронный синтезатор речи) формирует речевые сообщения.
Новый (вторичный) алфавит – алфавит источника сообщения называется его первичным алфавитом. После него могут быть и последую-щие (все они – тоже вторичные) алфавиты (русскую речь могут, при необходимости, перевести на английский язык или представить азбукой Морзе).
В статистической теории связи процесс (операция) «перевода» сообщения с одного «языка» на другой называется кодированием, и, в со-ответствующем её (теории) разделе, более подробно рассматривается. В нашем курсе мы обязательно коснёмся этой темы.
Как мы уже знаем, репертуар системы, ансамбль событий или набор чисел, отображающий возможные значения системного параметра по шкале измерительного прибора, для которого (для набора) выполняется условие нормировки вероятностей реализации – это всё естественные (первичные) алфавиты источника информации. Других первичных алфавитов, с позиций статистической теории связи, не существует.
Каждое реальное состояние (символ естественного, истинно первичного алфавита) при его обнаружении субъектом актуализации инор-мации (источником сообщений) обозначается неким условным значком или просто номером. В итоге формируется дискретное сообщение о поведении системы (источника информации), которое выглядит, последо-вательностью неких условных знаков (набор букв, или набор цифр, набор сочетаний точек и тире знаков «плюс» и «минус» и т.д. и т. п.).
Полные наборы (ансамбли) таких условных символов образуют первичный алфавит соответствующего источника сообщений.
О главном свойстве, объединяющем все алфавиты в статистической теории связи и делающем их алфавитами, мы уже поговорили достаточно подробно. Это – обязательное свойство системы элементов (букв, символов или других условных знаков) подчиняться условию нор-мировки вероятностей (например, вероятностей появления очередного символа в составе формирующегося дискретного сообщения), образовывать из себя ансамбль.
Ниже мы поговорим о свойствах первичных алфавитов, которые отличают их друг от друга, и о параметрах, которые эти свойства характеризуют и позволяют количественно сравнивать и различать первичные алфавиты. При этом следует помнить, что все эти свойства (теоретически без всяких изъянов) в процессе актуализации информации переноситься, на алфавиты источника сообщений.