- •Предисловие.
- •1. Введение.
- •2. Количество информации.
- •2.1. Формула хартли.
- •2.2. Формула шеннона.
- •2.3. Свойства энтропии.
- •2.4. Энтропия в информатике и физике.
- •2.5. Вероятностный и объемный подходы к измерению количества информации.
- •2.6. Различные аспекты анализа информации.
- •3. Принципы кодирования и декодирования информации.
- •3.1. Буква (знак, символ). Алфавит.
- •3.2. Кодировщик и декодировщик.
- •3.3. Международные системы байтового кодирования.
- •3.4. Помехоустойчивое кодирование информации.
- •4. Передача информации.
- •4.1. Из истории развития передачи информации.
- •4.2 . Общая схема передачи информации.
- •4.3. Теорема котельникова.
- •4.4.Информационная емкость дискретного сигнала (сообщения). Формула шеннона.
- •4.5. Предельная скорость передачи информации по шеннону. Формула хартли - шеннона.
- •4.6. Теорема шеннона для дискретного канала с помехами.
- •5. Дискретные двоичные (бинарные) сигналы.
- •5.1. Регенерация двоичных сигналов.
- •5.2. Помехозащищенность двоичных сигналов.
- •5.3. Кодирование двоичных сигналов.
- •6. Аналоговые и дискретные процессы.
- •6.1. Аналоговые и дискретные сигналы.
- •6.2. Измерение отношения сигнал – шум.
- •6.3. Дискретизация и кодирование аналогового сигнала.
- •7. Цифровая телефонная связь.
- •8. Цифровая телеграфная связь.
- •9. Цифровое телевидение.
- •10. Системы передачи информации
- •10.1. Параметры радиосигналов.
- •10.2. Многоканальные линии связи. Уплотнение информации.
- •11. Оптоволоконная связь.
- •11.1. Из истории кабельной связи.
- •11.2. Принцип оптоволоконной связи.
- •12. Локальные сети.
- •12.1. Аппаратные средства.
- •12.2. Конфигурация локальных сетей.
- •12.3. Организация обмена информацией.
- •13. Спутниковая связь.
- •13.1. Общая характеристика спутниковой связи.
- •13.2. Принципы спутниковой связи.
- •14. Системы счисления.
- •14.1. Непозиционные системы счисления.
- •14.2. Позиционные системы счисления.
- •14.3. Перевод чисел из десятичной системы в другую систему.
- •14.4. Перевод чисел в десятичную систему из других систем.
- •14.5. Взаимные преобразования двоичных, восьмеричных и шестнадцатеричных чисел.
- •14.6. Двоично-десятичная система.
- •15. Языки программирования.
- •15.1. Языки программирования. Общая характеристика.
- •15.2. Язык программирования си. История создания. Общая характеристика.
- •15.3. Язык программирования си. Процесс создания исполняемого файла.
- •15.4. Язык программирования си. Распределение памяти программы.
- •15.5. Язык программирования си. Основные понятия.
- •15.6. Язык программирования си. Данные.
- •15.7. Язык программирования си. Структура простой программы.
- •Приложение 1. Система семибитного кодирования.
- •Приложение 2. Модифицированная альтернативная кодировка.
- •Приложение 3: клод элвуд шеннон.
- •Литература.
- •Оглавление.
3.4. Помехоустойчивое кодирование информации.
Теория помехоустойчивого кодирования является достаточно сложной, и наши рассуждения носят весьма упрощенный характер. Основным условием обнаружения и исправления ошибок в принимаемых кодовых комбинациях является избыточность. Поясним это на примере.
ПРОВЕРКА КОДОВОЙ КОМБИНАЦИИ НА ИДЕНТИЧНОСТЬ.
Допустим, что необходимо передавать сообщения: А, Б, В и Г. Для передачи этих сообщений составим 2-элементные кодовые комбинации:
Сообщения: А Б В Г
Комбинации: 00 01 10 11
Пусть помехи воздействуют на комбинацию таким образом, что изменяют только один из ее элементов. Если помехе подверглась комбинация 00 и она вследствие этого превратилась в комбинацию 01, то мы не обнаружим ошибку, а будем просто считать, что вместо А передатчик послал Б. И так будет со всеми четырьмя комбинациями.
Теперь введем избыточность. Используем для передачи А, Б, В, Г трехэлементные кодовые комбинации, которых, кстати, может быть всего восемь. Выберем из восьми возможных комбинаций 000, 001, 010, 100, 110, 011, 101, 111 только четыре, но так, чтобы они максимально отличались друг от друга: 000, 011, 101, 110.
Пусть теперь в результате действия помехи изменится один из элементов в любой из выбранных комбинаций. Она не будет идентичной ни одной из наших комбинаций, и мы сразу укажем, что принята ошибочная. Таким образом, для передачи сообщений А, Б, В, Г код 00, 01, 10, 11 годится, но он не помехоустойчив, код же 000, 011, 101, 110 является помехоустойчивым. При этом следует оговориться, что он помехоустойчив только к таким помехам, которые могут привести лишь к однократной ошибке в комбинации. При двукратной ошибке код не помехоустойчив. Для защиты от таких помех ансамбля А, Б, В и Г пришлось бы допустить еще большую избыточность, используя 4-элементные кодовые комбинации, т. е. выбрав 4 комбинации из 16 возможных. Таким образом, обнаружить ошибку невозможно, если любой принятый символ служит сообщением. Ошибки можно обнаружить только в том случае, если на возможные сообщения наложены некоторые ограничения.
ПРОВЕРКА КОДОВОЙ КОМБИНАЦИИ НА ЧЕТНОСТЬ.
Обнаружить ошибки в кодовых комбинациях можно и другими способами, например, используя метод проверки комбинаций на четность. Метод заключается в том, что каждой букве ансамбля сообщений ставится в соответствие кодовая комбинация, у которой сумма элементов комбинации по mod2 (модулю два) равна 0. Тогда всякая принятая комбинация, у которой сумма элементов равна 1, будет считаться ошибочной.
Проверку на четность можно организовать следующим, образом. Пусть в кодовой комбинации первые n знаков являются информационными, а следующие за ними m знаков - проверочными.
a1a2…anb1b2…bm
Главное в этом методе заключается в том, что проверочные и информационные символы связаны некоторыми выбранными соотношениями, например
a1 + а3 + b2 = 0, а2 + а3 + b1 = 0.
Принимаемые приемником кодовые комбинации проверяются на выполнение этих уравнений. Если проверки не удовлетворяют четности, в комбинации имеется ошибка.
Значительно сложнее обстоит дело с кодами, исправляющими ошибки.