- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
1.2.2. Материальная система, как источник информации.
Начнём, для плавности входа в мир усложняющихся понятий и для большей наглядности и убедительности, с сообщения о наличии или отсутствии некой материальной системы в зоне внимания наблюдателя. Если мы наблюдаем её, то она есть в этом смысле – наличие системы в поле нашего зрения – одиночное событие, которое, как таковое, мы выше уже рассмотрели, и сообщение о котором может выглядеть элементарным дискретным сообщением.
Второй уровень изучения системы – это самое общее описание её внешнего вида, который можно характеризовать определенными параметрами и признаками, в совокупности и составляющие краткое описание системы (большая, серая, шероховатая и гудит) и которое в дальнейшем для краткости можно заменить одним словом или символом. В реальном мире именно так и происходит: Например, геологи обнаруживают новый минерал (или химики - неизвестное вещество) добросовестно и детально описывают его и дают (присваивают) специальное название или обозначение. Но это происходит не сразу, ибо есть ещё следующий – третий уровень изучения системы: изучение её поведения.
Третий уровень – это добыча, актуализация и организация информации, наполнение подробным содержанием понятия и слова (или символа, например, Si), которым данная система обозначается в данной науке или в языке, вообще. В результате, изучения системы все будут знать, что данная система (Si) в нашем мире существует, выглядит определённым образом и встречается в этом мире с вероятностью P(S).
Однако, к теории статистической связи всё это никакого отношения не имеет, как не имеет к нему отношения и третий уровень познания системы, в ходе которого выясняется какой может быть эта система в различных условиях.
В различных условиях система Si изменяется – она меняет свои состояния – изменяется, оставаясь собой. В результате исследований системы на этом этапе выявляется, что система Si так обозначена потому, что может принимать облики Si, где I = 1,2,..,N – условный номер возможного состояния системы Si. В связи с этим досконально изученную систему Si обычно обозначают символом {Si}, который нужно понимать так: «данная материальная система в своём нормальном поведении может выглядеть, как Si, где i=1,2,..,N». Символ {Si} говорит всем интересующимся системой Si, что у неё определённый репертуар поведения. Благодаря этому она узнаётся (однозначно идентифицируется), как система Si, в каком бы состоянии её не обнаружили. Репертуар системы – это множество {Si} её возможных состояний.
Очевидно, что обнаружение системы в определённом состоянии можно рассматривать, как событие. Очевидно так же, что обнаруженная система обязательно находится в каком-то одном из своих состояний. Все это вместе означает, что репертуар системы – полная группа событий, ансамбль, образованный её состояниями – ансамбль {Si} состояний системы.
Вот с этого момента и начинается компетенция общей или статистической теории связи – нашей теории информации.
Если Вы точно знаете, что произошло событие с вероятностью P(S), о котором мы говорили в начале параграфа (только здесь P(S) =1 и потому, Вы точно знаете), то Вам дополнительно требуется узнать только номер i состояния, в котором обнаружена система Si, ибо, на са-мом деле, из-за разнообразного поведения системы, её богатого репетуа-ра, это событие имеет N исходов. Это дополнительное знание Вам может принести элементарное дискретное сообщение, состоящее из символа Si, с конкретным номером или просто – из цифры «i», условного номера того состояния, в котором система обнаружена наблюдателем, поставляющим Вам информацию.
Подведём итог проведённым здесь рассуждениям.
Имеется материальная система S с репертуаром {Si} – таким, что P(Si) = (ансамбль состояний). Это Вы знаете априори.
Наблюдающий её составитель сообщения предоставляет Вам недостающее знание о системе, составив для Вас элементарное дискретное сообщение – просто, выбрав символ Si, или его номер «i», который обозначает реализовавшееся в текущий момент состояние: одного из событий ансамбля {Si}. В случае «череды» состояний, это будет несколько таких символов – похожее на слово дискретное сообщение, описывающее определённый период истории системы.
Теперь вы знаете о системе всё.
Таким образом:
Источником конкретной информации в данном случае является материальная система в её текущем состоянии, набор которых образует известный всем ансамбль (ансамбль состояний), а переносчиком этой информации оказывается элементарное дискретное сообщении в виде условного символа, обозначающего (по предварительной всеобщей договорённости) это состояние. Эти символы образуют алфавит (ансамбль символов) источника сообщений.
Это немногое в описанной здесь ситуации – всё, что находится в компетенции статистической теории связи то, есть нашей теории инфор-мации, в части формирования сообщений о поведении материальной системы.
Что касается полного описания каждого состояния набора возможных состояний {Si}, то (об этом мы уже говорили) он априори известен всем и эти знания находятся (и добываются) за пределами нашей теории.