
- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
Всякий блочный код можно представить таблицей:
Буква |
А |
Б |
В |
Г |
Д |
Е |
Ж |
З |
Код |
000 |
001 |
010 |
011 |
100 |
101 |
110 |
111 |
Укажите основание
кода
в таблице:
1) 2; 2) 3; 3) 1.
Всякий блочный код можно представить таблицей:
Буква |
А |
Б |
В |
Г |
Д |
Е |
Ж |
З |
Код |
00 |
01 |
02 |
03 |
04 |
11 |
12 |
13 |
Укажите основание кода в таблице:
1) 2; 2) 3; 3) 4.
Всякий блочный код можно представить кодовым деревом (понятие из теории графов), например, как на рис.1.
Рис. 1
Кодовое дерево для кода:
1) равномерного; 2) неравномерного; 3) постоянного.
Всякий блочный код можно представить кодовым деревом (понятие из теории графов), например, как на рис.2.
Рис. 2.
Кодовое дерево для кода:
1) неравномерного; 2) равномерного; 3) непостоянного.
Всякий блочный код можно представить кодовым деревом (понятие из теории графов), например, как на рис.1.
Рис. 1
Кодовое дерево для кода:
1) приводимого; 2) неприводимого; 3) переменного.
Блочный неравномерный код, у которого ни одна комбинация не будет являться началом другой, более длинной комбинации называется:
1) приводимым; 2) неприводимым; 3) системным.
Тема: «Оптимальное статистическое
(эффективное) кодирование сообщений».
Кодирование, при котором обеспечивается распределение времени на передачу отдельных независимых знаков алфавита в зависимости от априорных вероятностей их появления называется:
1) оптимальным; 2) помехоустойчивым; 3) корректирующим.
При передаче независимых сообщений источника по двоичному каналу процесс кодирования заключается в преобразовании сообщений в двоичные кодовые комбинации. При однозначном соответствии сообщений источника комбинациям кода энтропии кодовых комбинаций H(u) ___ энтропии источника H(a):
1) H(u) > H(a); 2) H(u) = H(a); 3) H(u) < H(a).
Основные принципы оптимального кодирования состоят в том, чтобы так закодировать сообщение, чтобы скорость передачи достигла пропускной способности двоичного канала. Это выполняется, если число элементов в комбинации
определяется как:
(где
− априорная вероятность
-го
сообщения).
Определить
(при
)
1) 6; 2) 16; 3) 4.
Код Шеннона-Фано удовлетворяет условию оптимального кодирования
(где
− число элементов в
двоичной комбинации,
− априорная вероятность
-го
сообщения). Определите
для каждого из четырех сообщений
источника.
-
Алфавит
Вероятность
0,5
0,25
0,125
0,125
?
?
?
?
Вариант выбора
|
1) |
2 |
4 |
8 |
8 |
2) |
1 |
2 |
3 |
3 |
|
3) |
2 |
3 |
4 |
4 |
Алгоритм оптимального табличного построения кода Шеннона-Фано: «Знаки алфавита сообщений выписывают в таблицу в порядке убывания вероятностей. Затем их разделяют на две группы так, чтобы суммы вероятностей в каждой из групп были по возможности одинаковы. Всем знакам верхней половины в качестве первого символа приписывают – 0, а всем нижним – 1. Каждую из полученных групп, в свою очередь, разбивают на две подгруппы с одинаковыми суммарными вероятностями и так далее. Процесс повторяется до тех пор, пока в каждой подгруппе останется по одному знаку. Проведите эффективное (оптимальное) табличное кодирование для алфавита
с вероятностями , приведенного в таблице и выберите вариант кодовых комбинаций:
|
|
|
Комбинации |
||
1 |
2 |
3 |
|||
|
0,5 |
0 |
11 |
01 |
|
|
0,25 |
10 |
10 |
10 |
|
|
0,125 |
110 |
001 |
00 |
|
|
0,125 |
111 |
100 |
11 |
1) 1; 2) 2; 3) 3.
Когда методика Шеннона-Фано неоднозначна при построении эффективного кода, путем разбиения на подгруппы по суммарной вероятности верхней
группы и вероятности нижней
группы:
1) = ; 2) ≠ ; 3) - =0.
Методика Хаффмена гарантирует однозначное построение оптимального кода, путем циклического объединения двух букв с меньшими вероятностями в одну с вероятностью равной сумме двух и так далее, пока не получится алфавит с одной буквой с вероятностью равной единице. При алфавите из четырех букв с вероятностями укажите кодовое дерево по Хаффмену:
|
|
|
|
|
|
0,5 |
0,25 |
0,125 |
0,125 |
1) 1; 2) 2; 3) 3.