
- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
5.3. Представление кодов [4 и др.].
Всякий блочный код можно представить:
- в виде таблицы;
- графически с помощью, так называемого «кодового дерева» (понятие «кодового дерева» является частным случаем более общего понятия – граф. При решении многих практических задач широко используется математическая теория графов [12]);
- аналитически с помощью полиномов, матриц, множеств и т.п.;
- и других способов.
Представление в виде таблицы основано на том, что в ней каждой букве, цифре алфавита источника сообщений сопоставляется определенная кодовая комбинация.
Для алфавита, содержащегося 8 букв (цифр), при равномерном десятичном, четверичном и двоичном кодах показано в таблице 5.3
Таблица 5.3
Буква |
Число |
m=10 |
m=4 |
m=2 |
А |
0 |
0 |
00 |
000 |
Б |
1 |
1 |
01 |
001 |
В |
2 |
2 |
02 |
010 |
Г |
3 |
3 |
03 |
011 |
Д |
4 |
4 |
04 |
100 |
Е |
5 |
5 |
11 |
101 |
Ж |
6 |
6 |
12 |
110 |
З |
7 |
7 |
13 |
111 |
Помимо представления таблицей, код очень часто представляют графически с помощью так называемого «кодового дерева».
Рассмотрим построение кодового дерева для наиболее простого и наиболее распространенного двоичного кода.
Для этого, начиная с определенной точки(«корня»), будем проводить отрезки прямой (ветви), наклоненные влево или вправо, если кодовым символом является соответственно «0» или «1». На рис. 5.2 построено три «кодовых дерева» для двоичного кода из табл. 5.3. На вершинах этого дерева написаны буквы алфавита источника, соответствующие данным кодовым комбинациям. Обратим внимание на то, что здесь каждой букве соответствует своя вершина «кодового дерева». С помощью «кодового дерева» (рис. 5.2 а) можно однозначно декодировать любую последовательность символов, если только она принята с самого начала. Это справедливо для любого равномерного кода.
Рассмотри теперь неравномерный двоичный код. Пусть он, например, задан «кодовым деревом» (рис. 5.2. б). В данном случае некоторым буквам сообщения соответствуют не вершины, а узловые точки дерева. Но тогда декодирование будет неоднозначным. Действительно, приняв в начале кодовой последовательности символ «0», мы не знаем, означает ли он букву «Б» или является началом кодовой комбинации, означающей буквы «Д» или «Е».
Однако можно построить неравномерные коды, допускающие однозначное декодирование, для этого достаточно, чтобы в кодовом дереве всем буквам источника соответствовали бы только вершины. Тогда ни одна кодовая комбинация не будет являться началом другой, более длинной комбинации. Такой код называется неприводимым.
Пример неприводимого кода представлен « кодовым деревом» (рис. 5.2 в). Если последовательность символов принятая с начала, то, начав при декодировании движение с «корня дерева», мы сумеем образовать законченную кодовую комбинацию только дойдя до какой-либо вершины. Затем мы возвращаемся к «корню дерева», выполняем декодирование следующей кодовой комбинации и т.д. Заметим, что всякий равномерный код является неприводимым.
Аналитически формирование кодовых комбинаций основано на отображении кодовых слов элементами алгебры полиномов. Комбинации, например корректирующего циклического кода, выражаемые двоичными числами, для удобства преобразований обычно определяют в виде полиномов, коэффициенты которых равны 0 или 1. Примером этому может служить следующая запись:
(5.3)
Для того чтобы в результате операций, используемых для формирования циклических кодов, получились полиномы, описывающие данный код, при всех операциях над полиномами должны выполнятся два условия:
1) действия над коэффициентами полиномов (сложение, вычитание, умножение на символ λ) должны производится по модулю m; 2) умножение полиномов должно производится по модулю Zn-1, т.е. за результат умножения должен приниматься остаток от деления обычного произведения полиномов на двучлен Zn-1. Первое условие необходимо для того, чтобы коэффициенты получаемых полиномов принадлежали алфавиту канала, а второе – чтобы степень этих полиномов соответствовала длине данного кода n.