- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
3.1 Общие соображения
Речь вначале пойдёт о понятии «канал связи», которое в этих двух областях человеческой деятельности используется для обозначения, по сути дела, очень схожих реалии.
Природа предоставила в распоряжение человека не так уж много физических процессов, которые являются потенциальными переносчиками сообщений в пространстве. Однако, человек хорошо ими распорядился и создал для себя арсенал технических средств, из которых в настоящее время на осно-ве использования нескольких различных процессов (упругих волн в различных средах, электрического тока, электромагнитных колебаний и т.п.) имеет возможность строить разнообразные каналы связи.
В технике связи так называют
совокупность технических устройств и естественных факторов, обеспечивающих передачу сообщений от отправителя к получателю – передачу, как правило, на расстояние (перенос информации из одной точки пространства в другую).
В теории информации, под каналом связи понимают модель того, что потом можно практически реализовать (на базе существующих технологий) в в сфере производства. Реализовать – в виде совокупности технических средств, обеспечивающих перенос информации в пространстве (связь) с требуемой эффективностью и надёжностью и – во времени (хранение информации). В последнем случае создаются устройства памяти (запоминающие устройства) и связанные с ними интерфейсы, обеспечивающие возможность организации и оперативного последующего использования всевозможных баз данных и других массивов информации, способных «разместиться» на этом носителе.
В общем случае, следовательно, можно говорить о канале переноса сообщений в пространстве и во времени. Нас сейчас интересует понятие канала связи, котороеиспользуют теория информации и технике связи для обозначения средств переноса сообщений в пространстве.
Ниже, в самом общем, упрощённом и почти в абстрактном виде, представлена блок схема системы связи и её окружения. Особо в ней выделена совокупность технических устройств, образующих канал связи (канал переноса сообщений).
Система связи и её окружение
Система связи
Реальная действительность. Социальные субъекты.
Подчеркнём, что это лишь – самая общая структурно-фукциональная блок-схема, которая показывает, из каких основных частей состоит система связи и какое у каждой из них (частей) функциональное предназначение. Из этой схемы видно, что источники информации и субъекты, использующие ин-формацию, не только не входят в состав канала, но находятся за пределами системы связи, вообще. Опираясь на эту простую схему, мы попытаемся конкретизировать понятие канала связи. Выразим его в знакомых нам терминах или введём этого новые менее масштабные понятия, которые характеризуют отдельные свойства канала.
Прежде всего – об отправителе сообщения. Это субъект или техническое устройство, которые формируют сообщение – хотят, обязаны или сконструированы для того, чтобы делать это; могут делать это потому, что имеют в своём распоряжении источники информации или связаны с ними определённым образом.
О получателе сообщения сказать можно то же самое, с той разницей, что здесь речь идёт не о формировании сообщения и вводе его в канал, а о способности извлечь сообщение, о заинтересованности субъекта получить (а для технических устройств – и о приспособленности использовать) информацию, которая содержится в переносимых каналом сообщениях.
Отправитель и получатель сообщений находятся в составе системы связи, но за пределами канала связи. Они только используют этот канал.
Линия связи – это существенная и относительно обособленная часть ка-нала связи. Это – та часть какала, в которой информация существует в форме сигнала. Природа линий связи, их вид и устройство, обуславливаются природой реального носителя сообщения – того физического процесса, на основе которого сигнал формируется. Происходит это в передатчике сигнала, где выбранный для использования потенциальный носитель рождается (генерируется) и где на него «пересаживается» сообщение. В линиях связи выбранный в качестве переносчика сообщений физический процесс распространяется., перенося в особенностях своей структуры структуру сообщений.
Наибольшее практическое распространение получили линии связи, в которых в качестве потенциального переносчика сообщения используется электрический ток или электромагнитные колебания. В обычных системах телефонной связи используются электрические линии связи - например, проводные линии передачи, по которым электрический сигнал подводят туда, куда надо. Сигналами в таких системах являются токи (об этом мы уже говорили во второй части курса), девственная структура которых искажена в микрофонах. Системы с использованием электромагнитных сигналов (сигналов на основе радиоволн) общеизвестны и продолжают множиться. Основными элементами, из которых формируются требующиеся в таких конкретных случаях линии связи (радиолинии), являются радиотехнические приёмники и передатчики, а также антенные устройства соответствующего диапазона частот и с нужными энергетическими характеристиками.
Возвращаясь к схеме системы связи в целом, обратим внимание на то, что на входе канала имеется сообщение, а переносчиком сообщения может быть только сигнал. И ещё. Только в «диких», естественных условиях, этот сигнал распространяется «во все стороны».
В создаваемых человеком системах связи в состав канала внедряются специальные технические устройства, которые доставляют сигнал в определённое место: в ту точку пространства, где он нужен и куда в естественных условиях этот сигнал мог бы и не попасть (конкретная радиотрасса), либо специально сконструированная и проложенная где надо, техническая линия связи (проводная, волноводная или стекловолоконная). В совокупности эти устройства и образуют линию связи. Линия связи, следовательно, – это либо просто часть естественного пространства нашего мира, либо специально созданные технические устройства.
В знакомых Вам цифровых устройствах обработки информации в качестве носителя сообщений (об этом мы говорили во второй части курса) является регулярная последовательность очень коротких импульсов тока, для канализации которых в компьютерных сетях и внутри самих компьютеров применяются коаксиальные проводные линии.
Столь подробно о линии связи, о её реальности и вещественности здесь говорилось ещё и в порядке обоснования и объяснения присутствия на схеме источника помех.
Передатчик в составе канала связи – это устройство преобразования сообщения, устройство отображения структуры сообщения на структуру неких объектов (материальной системы или физического процесса – потенциального переносчика сообщения), которые (после такого на них воздействия) приобретают адекватные сообщению искажения структуры и, вследствие этого, становятся сигналами.
В приемнике происходит обратный процесс: например, путем сопоставления принятого сигнала с неискаженным потенциальным переносчиком сообщения, выявляется структура нанесённых в передатчике искажений. Тем самым выявляется структура сообщения, которое в итоге восстанавливается в своей первоначальной форме и предъявляется получателю.
Основное требование, которое, в связи со всем здесь сказанным должно предъявляться к каналу переноса сообщений, это – как можно более точное воспроизведение на выходе канала того, что поступило на его вход. Только в этом случае (когда принятое получателем сообщение в определённой степени тождественно сообщению, которое было передано) вся затея со связью имеет смысл.
На этом мы прервём первое, беглое и самое общее знакомство с понятиями, которые описывают свойства каналов связи и перейдём к процессам и отображающим их понятиям, которые позволят нам знать, понимать и подробно описывать ( в том числе и – математически), что же в этом канале происходит.
Чтобы говорить об этом более подробно необходимо:
- более чётко представлять себе, что такое канал;
- в какой форме в нём существует сообщение;
- что там с этим сообщением происходит;
- как это сообщение в канале может быть искажено, деформировано, и при какой степени искажений при переносе переданное сообщение ещё можно правильно истолковать.
Это – достаточно сложные вопросы, именно, на них и призвана ответить статистическая теория связи, чтобы снабдить инженеров четкими рекомендациями по построению каналов и образующих их устройств и элементов, которые наилучшим образом подходили бы в каждом конкретном случае. Чтобы подготовить себя к восприятию таких рекомендаций нужно предварительно усвоить множество частных и не всегда простых понятий, в которых описываются свойства каналов и передаваемых по ним сообщений. Часть из них мы уже знаем. Ниже, не торопясь пока вовнутрь (в технические подробности, касающиеся устройств в заштрихованной части схемы), мы попытаемся последовательно познакомиться с рядом новых понятий.
Первое, что следует сделать на этом пути, – освежить (см. МАТЕМА-ТИЧЕСКОЕ ПРИЛОЖЕНИЕ) в своей памяти некоторые, очень нужные нам здесь, понятия теории вероятностей и методы обращения с ними. Второе – применить их здесь в наших интересах.
Речь идёт о понятиях:
исходные ансамбли;
объединения двух и более ансамблей;
условная вероятность.
Начнём с описания разнообразия поведения объединения двух исходных ансамблей {xi} и {yj}, .
Что ж, описывать разнообразие мы умеем. Для этого существует понятие энтропии ансамбля. Значит, и наше множество (множества ожидаемых парных сочетаний) должно характеризоваться определённым значением энтропии Н(ij). Это и есть энтропия объедения (нового ансамбля {xi yj}, элементами которого являются всевозможные пары xi yj , и её мы начнём вычислять по привычной формуле:
Н(ij) = – log.