2. Информация, ее количество и каналы передачи
2.1. Характеристики системы передачи информации
Передача информации (данных) осуществляется между двумя абонентами, называемыми источником сообщения (ИС) и получателем сообщения (ПС). Источником и получателем могут быть люди либо технические средства. ИС и ПС обмениваются информацией посредством канала передачи. Таким образом, простейшая информационная система состоит из трех перечисленных элементов. Ее обобщенная структурная схема приведена на рис. 2.1.
Рис. 2.1. Обобщенная структурная схема информационной системы
(системы передачи информации)
В современных информационных системах качество передачи достигается применением трех базовых методов преобразования информации:
1) помехоустойчивого кодирования;
2) сжатия (компрессии) данных;
3) криптографического преобразования.
Информационной характеристикой алфавита (источника сообщений на основе этого алфавита) является энтропия. Этот термин применительно к техническим системам был введен Шенноном и Хартли.
Энтропию алфавита
по Шеннону рассчитывают по следующей
формуле:
(2.1)
Заметим,
что
С физической точки зрения энтропия показывает, какое количество информации приходится в среднем на один символ алфавита.
Частным случаем энтропии Шеннона является энтропия Хартли. Дополнительным условием при этом является то, что все вероятности одинаковы и постоянны для всех символов алфавита. С учетом этого формулу (2.1) можно преобразовать к следующему виду:
Например, энтропия Хартли для латинского (английского) алфавита составляет 4,7 бит.
Если
подсчитать энтропию Шеннона и энтропию
Хартли для одного и того же алфавита,
то они окажутся не равными. Это несовпадение
указывает на избыточность любого
алфавита (при
).
Сообщение
которое состоит из
символов, должно характеризоваться
определенным количеством информации
:
.
(2.2)
Нетрудно предположить и просто убедиться, что количество информации в сообщении, подсчитанное по Шеннону, не равно количеству информации, подсчитанному по Хартли. На основе этого парадокса строятся и функционируют все современные системы сжатия (компрессии) информации.
3 . Методы помехоустойчивого кодирования данных
Суть метода состоит в преобразовании исходного информационного сообщения Xk (k – длина сообщения), называемого также информационным словом. К слову Xk дополнительно присоединяют (наиболее часто – по принципу конкатенации) избыточные символы длиной r бит, составляющие избыточное слово Xr. Таким образом, формируют кодовое слово Xn длиной n = k + r двоичных символов: Xn = Xk Xr. Информацию содержит только информационное слово. Назначение избыточности Xr – обнаружение и исправление ошибок.
Вес по Хеммингу произвольного двоичного слова Х (w(X)) равен количеству ненулевых символов в слове.
Пример 3.1. X = 1101. Тогда w(X = 1101) = 3.
Расстояние по Хеммингу или кодовое расстояние (d) между двумя произвольными двоичными словами (X, Y) одинаковой длины равно количеству позиций, в которых X и Y отличаются между собой.
Источник
сообщения
Получатель
сообщения
Пример 3.2. X = 101, Y = 111. Очевидно, что d(X, Y) = 1.
Кодовое расстояние можно вычислить как вес от суммы по модулю 2 этих двух слов: d(X, Y) = w(X Y).
Длина слова и расстояние Хемминга – основополагающие понятия в теории помехоустойчивого кодирования информации.
Все многообразие существующих кодов для обнаружения и исправления ошибок можно разделить на два больших класса: линейные и нелинейные коды. Коды первого класса базируются на использовании линейных (как правило, умножение и сложение по модулю 2 соответствующих символов) операций над данными, коды второго класса – соответственно нелинейных операций.