
- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
1.4. Информационные системы [1].
Совокупность средств информационной техники и людей, объединенных для достижения определенных целей или для управления, образуют информационную систему, к которой по мере надобности подключаются абоненты (люди или устройства), поставляющие и использующие информацию.
Информационные системы, действующие без участия человека, называют автоматическими. За человеком в таких системах остаются функции контроля и обслуживания.
Информационные системы (включая и автоматизированные) нашли широкое применение во всех отраслях народного хозяйства в первую очередь как информационно-справочные и информационно-советующие системы, системы управления технологическими процессами и коллективами людей. Большинство из них являются локальными системами и функционируют на уровне предприятий и учреждений. В настоящее время происходит интенсивный процесс интеграции таких систем в системы производственных объединений и далее – в отраслевые и ведомственные системы.
Системы более высокого уровня становятся территориально рассредоточенными, иерархичными как по функциональному принципу, так и по реализации их техническими средствами. Обеспечение взаимодействия территориально рассредоточенных систем требует протяженных высокоскоростных и надежных каналов связи, а увеличение объема обрабатываемой информации – ЭВМ высокой производительности. Это привело к необходимости коллективного использования дорогостоящих средств автоматизации (ЭВМ и линий связи) и обрабатываемой информации (банков и баз данных). Техническое развитие, как самих электронных вычислительных машин, так и средств связи позволило решить эту проблему путем перехода к созданию распределенных инфокоммуникационных сетей коллективного пользования.
Централизация различных видов информации в одной сети дает возможность использовать ее для решения широкого спектра задач, связанных с административным управлением, планированием, научными исследованиями, конструкторскими разработками, технологией производства, снабжением, учетом и отчетностью.
Уже сегодня использование Internet позволяет отказаться от многих традиционных форм массового общения, таких, как телефон, телеграф, почта, отдельные справочные службы и, кроме этого, является информационной поддержкой для преподавателей и студентов.
Наиболее распространенными информационными системами являются системы, обеспечивающие передачу информации из одного места в другое (системы связи) и от одного момента времени до другого (системы хранения информации). Обе разновидности систем передачи информации имеют много общего в принципиальных вопросах обеспечения эффективности функционирования. Их применяют как самостоятельные системы и как подсистемы в составе любых более сложных информационных систем.
Последующее изложение будем вести в основном применительно к системам связи, подразумевая возможность интерпретации основных понятий и выводов к другим информационным системам.
1.5. Система передачи информации [1].
Любая система связи есть система передачи. Структурная схема типовой системы связи приведена на рис.1.2.
1 2 3 4 5
Линия связи
Получатель
П
Сообщение Сигнал Помехи Сигнал + Помеха Сообщение
Рис.1.2. Структурная схема системы связи.
Информация поступает в систему в форме сообщений. Под сообщением понимают совокупность знаков (или первичных сигналов) содержащих и несущих информацию. Объект, к которому относятся эти сведения, называют источником сообщений (блок 1 на рис.1.2.).
Источник сообщений в общем случае образует совокупность источника информации ИИ (исследуемого или наблюдаемого объекта) и первичного преобразователя ПП (датчика, человека-оператора и т.п.), воспринимающего информацию о его состояниях или протекающем в нем процессе. Различают дискретные и непрерывные сообщения.
Дискретные сообщения формируются в результате последовательной выдачи источником отдельных элементов - знаков.
Под знаком понимается материальный предмет (явление, событие), который служит представителем, заместителем другого предмета и используется для приобретения, хранения и передачи информации о последнем. Классификация знаков может быть различной. Прежде всего, следует различать знаки, входящие в структурно-целостную, четко организованную знаковую систему, и знаки относительно свободные, не противопоставляемые никаким другим знакам или образующие небольшие группы, - внесистемные знаки.
Примерами знаков, объединенных в систему, являются знаками дорожного движения, система цветов светофора, музыка, речь и языки, как естественные, так и искусственные – алгоритмические, информационно-поисковые и др. Они образуют системы, подчиняющиеся внутренним законам.
Внесистемные знаки – это или остатки некоторых некогда существовавших знаковых систем, или знаки, созданные временно, обычно в небольших коллективах людей. Внесистемными знаками являются восклицания, междометия, жесты, которые, по мнению некоторых ученых, входили прежде в систему, образующую прото-язык. Так, в настоящее время «обломками» некогда существовавшей знаковой системы – языка жестов и поз – являются жесты подзывания, приветствия, некоторые другие, которые не считаются противопоставленными; их значение явно выражено в их форме.
Множество различных знаков называют алфавитом (ансамблем) источника сообщений, а число знаков – объемом алфавита источника при передаче текста – это обычный алфавит данного языка; при передаче команд – перечень возможных команд, при передаче цифровых кодов – символов, принятой системы счисления; при передаче сообщения о состоянии системы – перечень возможных сообщений системы или ее составных частей и т.д. В дальнейшем для краткости элементарные сообщения будем называть символами. В случае, когда для передачи отдельных символов используется сложная кодовая последовательность, элементы последней, в отличие от символов алфавита, будем называть элементарными символами.
Непрерывные сообщения не разделимы на элементы. Они описываются функциями времени, принимающими непрерывное множество значений. Типичными примерами непрерывных сообщений могут служить речь, телевизионное изображение. В современных системах связи, с целью повышения качества передачи, непрерывные сообщения преобразуются в дискретные (цифровые).
Для передачи сообщения по каналу связи ему необходимо поставить в соответствие определенный сигнал. В информационных системах (системах связи) под сигналом понимают физический процесс, отображающий (несущий) сообщение. Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи. Осуществляется в два-три этапа. В типовой системе связи (рис.1.2.) передаваемые сообщения, поступающие от источника информации, представляют собой случайную последовательность некоторых элементов u1, u2 … un (последовательность слов, букв, цифр и т.п.).
Кодирующее устройство преобразует по определенному закону последовательность элементов сообщения u в другую последовательность а, составленную из элементов кода а1, а2 … аm.
Способы кодирования могут быть различными. Устройство, выполняющее такую операцию, называют кодирующим или кодером К.
Так как алфавит символов меньше алфавита знаков, то каждому знаку соответствует некоторая последовательность символов, которую называют кодовой комбинацией. Число символов в кодовой комбинации называют ее значностью, число ненулевых символов – весом.
Аналогично, для операции сопоставления символов кода со знаками исходного алфавита используется термин «декодирование». Техническая реализация ее осуществляется декодирующим устройством или декодером ДК. В простейшей системе связи кодирующее, а следовательно, и декодирующее устройство может отсутствовать.
Передающее устройство осуществляет преобразование непрерывных сообщений или знаков в сигналы, удобные для прохождения по конкретной линии связи (либо для хранения в некотором запоминающем устройстве). При этом один или несколько параметров выбранного носителя изменяют в соответствии с передаваемой информацией. Такой процесс называют модуляцией. Он осуществляется модулятором М. Обратное преобразование сигналов в символы производится демодулятором ДМ.
Под линией связи понимают физическую среду (воздух, металл, магнитная лента, коаксиальный кабель, волоконно-оптическая линия, эфир и т.п.) обеспечивающую поступления сигналов от передающего устройства к приемному. Сигналы на выходе линии связи могут отличаться от переданных вследствие затухания, искажения и воздействия помех. Помехами называют любые мешающие возмущения, как внешние (атмосферные помехи, промышленные помехи), так и внутренние (источником которых является сама аппаратура связи), вызывающие случайные отклонения принятых сигналов от переданных. Эффект воздействия помех на различные блоки системы стараются учесть эквивалентным изменением характеристик линии связи. Поэтому источник помех условно относят к линии связи.
Из смеси сигнала и помехи приемное устройство выделяет сигнал и посредством декодера восстанавливает сообщение, которое в общем случае может отличаться от посланного. Меру соответствия принятого сообщения посланному называют верностью передачи. Обеспечение заданной верности передачи сообщений – важнейшая цель системы связи.
Принятое сообщение с выхода системы связи поступает к абоненту-получателю, которому была адресована исходная информация.
Каналами связи принято называть совокупность технических средств, служащих для передачи сообщений от источника к получателю. Этими средствами являются передатчик, линия связи и приемник. Канал связи вместе с источником и получателем информации образуют систему связи.
По типу передаваемых сообщений системы связи можно разделить на дискретные и непрерывные (аналоговые). Примером дискретных систем является цифровые системы передачи. Системы радиотелефонии и телевидения при аналоговых способах модуляции можно отнести к типу непрерывных систем. Системы передачи непрерывных сообщений при помощи импульсно-кодовой модуляции можно относить и к типу смешанных систем.