- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
Задание 15
Основные теоремы кодирования.
Чему равна пропускная способность симметричного канала, если источник вырабатывает сигналы со скоростью 2 знака в секунду, закодированные кодом с основанием m=10, а вероятности ложного приема p=0.03?
Представьте числа 7936, 894 двоично-десятичным кодом.
Закодируйте оптимальным образом алфавит, состоящий из 8 букв, распределение вероятностей которых p=(1/4, 1/4, 1/8, 1/8, 1/16, 1/16, 1/16, 1/16). Определите эффективность полученного кода.
Закодируйте в коде Хэмминга комбинацию 1101011.
Задание 16
Энтропия. Свойства энтропии.
Чему равна пропускная способность канала связи, описанного следующей канальной матрицей
0.1 0 0
Р(А,В)= 0.1 0.3 0
0 0.1 0.4
если известно, что на выходе источника сообщений символы вырабатываются со скоростью 50 знаков в секунду?
Преобразуйте числа 10, 19, 67, 135 из десятичного представления в двоичное представление.
Дана совокупность символов Х со следующей статистической схемой Р=(0.20, 0.15, 0.15, 0.12, 0.10, 0.10, 0.08, 0.06, 0.04). Произведите кодирование двоичным кодом по методу Хаффмана и определите среднюю длину полученного кода.
Представьте комбинации 101010 и 100111 в инверсном коде. Покажите способы декодирования.
Задание 17
Пропускная способность непрерывного канала связи.
Чему равна пропускная способность симметричного бинарного канала связи, передающего сообщения, построенные из алфавита А и В, если на выходе источника сообщения создаются со скоростью 50 знаков в секунду, а в канале связи помехи искажают 3% сообщений.
Представьте 16-ичные числа B, 7, F5 двоичным кодом.
Произведите кодирование кодом Хаффмана алфавит из 6 букв, вероятности которых равны 0.4, 0.2, 0.2, 0.1, 0.05, 0.05. Определите эффективность.
Представьте в циклическом коде исходный код 11101
Задание 18
Согласование источника информации с непрерывным каналом связи.
Определите пропускную способность бинарного канала связи, способного передавать 1000 символов, если 5% символов искажаются.
Преобразуйте числа 673, 25 из 10-ной системы в 2-ую.
Закодируйте минимальной длиной 8 символов при р1=р2=….=р8=1/8.
Закодируйте в коде Хэмминга 10111101
Задание 19
Энтропия сообщений с нормальным и равномерным законами распределений.
Преобразуйте непрерывный сигнал в дискретный, если Fmax=1000гц. Длительность передачи сигнала составляет - 10 сек.
Постройте эффективный код для передачи сообщений из двух букв А и В с вероятностями 0.7 и 0.3 соответственно, так чтобы средняя длина кода была бы не хуже минимальной не более чем на 5%.
Принят корреляционный код 100101111001. Проверьте его верность.
Закодируйте последовательность 101101 в циклическом коде.
Задание 20
Взаимная информация.
Определите скорость передачи сообщений, если m=5
p1=0.15; p2=0.3; p3=0.1; p4=0.25; p5=0.2
t1=2; t2=3; t3=5; t4=4; t5=6сек.
Представьте 110101111100 в восьмеричном коде
Представьте алфавит Х с р=(0.1 0.3 0.04 0.1 0.06 0.25 0.15) в коде Фибоначчи.
Последовательность 1111000101 разделите на 10100
Приложение 2
Таблица значений функции η(p)= -p log2p
P |
-p log2p |
p |
-p log2p |
p |
-p log2p |
p |
-p log2p |
0,01 |
0,0664 |
0,26 |
0,5053 |
0,51 |
0,4954 |
0,76 |
0,3009 |
0,02 |
0,1128 |
0,27 |
0,5100 |
0,52 |
0,4906 |
0,77 |
0,2903 |
0,03 |
0,1518 |
0,28 |
0,5142 |
0,53 |
0,4854 |
0,78 |
0,2796 |
0,04 |
0,1858 |
0,29 |
0,5179 |
0,54 |
0,4800 |
0,79 |
0,2687 |
0,05 |
0,2161 |
0,30 |
0,5211 |
0,55 |
0,4744 |
0,80 |
0,2575 |
0,06 |
0,2435 |
0,31 |
0,5238 |
0,56 |
0,4685 |
0,81 |
0,2462 |
0,07 |
0,2696 |
0,32 |
0,5260 |
0,57 |
0,4623 |
0,82 |
0,2348 |
0,08 |
0,2915 |
0,33 |
0,5278 |
0,58 |
0,4558 |
0,83 |
0,2231 |
0,09 |
0,3126 |
0,34 |
0,5292 |
0,59 |
0,4491 |
0,84 |
0,2112 |
0,10 |
0,3322 |
0,35 |
0,5301 |
0,60 |
0,4422 |
0,85 |
0,1992 |
0,11 |
0,3503 |
0,36 |
0,5306 |
0,61 |
0,4350 |
0,86 |
0,1871 |
0,12 |
0,3671 |
0,37 |
0,5307 |
0,62 |
0,4276 |
0,87 |
0,1748 |
0,13 |
0,3826 |
0,38 |
0,5304 |
0,63 |
0,4199 |
0,88 |
0,1623 |
0,14 |
0,3971 |
0,39 |
0,5298 |
0,64 |
0,4121 |
0,89 |
0,1496 |
0,15 |
0,4105 |
0,40 |
0,5288 |
0,65 |
0,4040 |
0,90 |
0,1368 |
0,16 |
0,4230 |
0,41 |
0,5274 |
0,66 |
0,3957 |
0,91 |
0,1238 |
0,17 |
0,4346 |
0,42 |
0,5256 |
0,67 |
0,3871 |
0,92 |
0,1107 |
0,18 |
0,4453 |
0,43 |
0,5236 |
0,68 |
0,3784 |
0,93 |
0,0974 |
0,19 |
0,4552 |
0,44 |
0,5210 |
0,69 |
0,3694 |
0,94 |
0,0839 |
0,20 |
0,4644 |
0,45 |
0,5184 |
0,70 |
0,3602 |
0,95 |
0,0703 |
0,21 |
0,4728 |
0,46 |
0,5153 |
0,71 |
0,3508 |
0,96 |
0,0765 |
0,22 |
0,4806 |
0,47 |
0,5120 |
0,72 |
0,3412 |
0,97 |
0,0426 |
0,23 |
0,4877 |
0,48 |
0,5083 |
0,73 |
0,3314 |
0,98 |
0,0286 |
0,24 |
0,4941 |
0,49 |
0,5043 |
0,74 |
0,3215 |
0,99 |
0,0144 |
0,25 |
0,5000 |
0,50 |
0,5000 |
0,75 |
0,3113 |
|
|
