Задание 3 Количество информации

1. Имеются 5 сообщений Х. Найти их энтропию Н = - ∑ (Р_Хк *logР_Хк) . Суммирование ведётся по «к» от к1 до к5. Энтропию найти для двух случаев.

А) Все сообщения равновероятны.

Б) Все сообщения разновероятны. Вероятность сообщения х1 равна 0.1*п1, а х2 -0.05 *п2, где п1 ,п2 –двухзначный номер варианта. Вероятности остальных сообщений задать произвольно, учитывая, что суммарная вероятность всех сообщений равна 1.

	У1	У2	У3	У4	У5	У6	У7	У8
Х1	0.0043	0.0087	0.021	0.0446	0.0784	0.115	0.148	0.58
Х2	0.58	0.148	0.115	0.0784	0.0446	0.021	0.0087	0.0043

2.Рассматривается ансамбль из двух сообщений Х и У. Сообщений Х только два х1 и х2, а сообщений У 8 от у1 до у8. В ниже приведённой таблице указаны условные вероятности Р(у/х) событий.

Сообщение х1 имеет вероятность Р(х1) =0.03*М, вероятность сообщения Р(х2) =(1-Р(х1)).

А) Вычислить все вероятности сообщений У оту1 до у8 (суммы вероятностей соответствующих столбцов).

Б) Найти энтропии Н(х), уН(у), условные энтропии Н(у/х1) = -∑ Р(у/х1)* logР(у/х1), Н(у/х2) = -∑ Р(у/х2)*logР(у/х2),

Суммирование производиться по У от у1 до у8. Вычислить условную энтропию

Н(х/у) = Р(х1)* Н(у/х1)+Р(х2)* Н(у/х2) .

Пояснение. Н(х/у) представляет собой добавочную энтропию, которое даёт к энтропии Н(х) знание состояния У. Эта добавочная энтропия обусловлена только помехами (предполагается, что Х входные сообщения канала связи, а У – его выходные сообщения).

Количество информации, содержащиеся в принятых сообщениях относительно переданных Х, определяется разностью Н(у) – Н(у/х). Вычислить эту разность.

Контрольные вопросы к заданию 3.

1. Что озн6ачают термины «информация», «энтропия»?

2. Есть меры информации по Хартли и по Шеннону. Можно ли обойтись любой одной из них?

3. Какой физический смысл имеет условная энтропия?

4. Что понимают под избыточностью информации?

5. Поясните понятия «скорость передачи информации» и « пропускная способность канала связи».

6. Какой физический смысл имеет понятие «количество информации»?

7. Вы получили информацию о наступлении некоторого события. Что можете сказать о величине получен6ной Вами информации?

8. С какой целью используется избыточность информации? Привести примеры.

9. Какие существуют единицы измерения информации? Зависит ли количество информации от единицы её измерения?

10. Укажите область техники, где производится измерение количества информации.

11. По каналу связи передаются сообщения Х. На них воздействует помеха, в результате чего на выходе канала связи получаем сообщения У. Вычисляется Н(у/х). Какой желательно должна быть её величина?

12. Поясните. «Скорость передачи информации» и» пропускная способность канала связи»это одно и то же?

13. Зависит ли потенциальная возможность безошибочной передачи информации от соотношения величин «скорость создания информации» и «пропускная способность канала связи»?

Задание 4 Эффективное кодирование

1. Рассматриваются 4 сообщения (х1, х2, х3, х4). Суммарная вероятность их появления равна 1. Вероятность сообщения х1 Р(х1) = 0.1* п1 + 0.05*п2. Вероятностями остальных сообщений задаться самостоятельно. Вычислить энтропию сообщений Н = ∑(Р(хк) *logРхк)). хк – это (х1, х2, х3, х4).

2. Закодировать сообщения кодом Шенонна-Фано (Ш.-Ф.). Вычислить среднюю длину кода п = ∑ а(хк)*Р(хк). а(хк) – количество знаков в коде Ш.-Ф. сообщения хк.

3. Сгруппировать сообщения по 2 (4*4 =16). Вычислить вероятности этих новых сообщений , как произведение вероятностей соответствующих исходных сообщений.

4. Закодировать эти 16 сообщений кодом Ш.-Ф. и вычислить энтропию полученных сообщений и среднюю длину кода.

5. Закодировать эти 16 сообщений кодом Хаффмена. Найти среднюю длину кода?

Контрольные вопросы к заданию 4

1. Как и почему должны соотноситься средняя длина кода и энтропия?

2. Поясните, является ли неизбыточный код эффективным?

3. Поясните, какой существенный недостаток имеют эффективные коды?

4. Как осуществляется декодирование эффективных кодов?

5. Какой код «лучше» Ш.-Ф. или Хаффмена?

6. Эффективный код увеличивает или уменьшает скорость передачи информации?

7. В чём суть префикосности эффективных кодов?

8. С какой целью производят укрупнение сообщений ( как в п. 3)задания?

9. Всегда ли целесообразно применять эффективное кодирование информации?

10. Поясните. Повышает ли помехоустойчивость сообщений эффективное кодирование?

Задание 5

Устройства умножения и деления многочленов

Введение.В теории кодирования часто используется многочленное представление кодовых комбинаций от переменной «х» в соответствующей степени. Коэффициенты многочлена – элементы поля Галуа второго порядка, т.е. коэффициентами являются числа «0» и «1». Переменную х можно считать фиктивной, а можно полагать, что это «2» в соответствующей степени. Например, кодовая комбинация двоичного кода имеет вид 101101. Её можно записать и так 1∙2⁵+ 0∙2⁴ +1∙2³ +1∙2²+ 0∙2¹+1∙2⁰, или 1х⁵+ 0х⁴+1х³+ 1х²+0х¹+1х0. Здесь для удобства записи знак умножения опущен. Учитывая, что 1х = х и 0х = 0, кодовая комбинация записывается в виде х⁵+ х³+ х²+ 1.

Арифметические операции умножения и деления многочленов выполняется по обычным правилам кроме операций сложения и вычитания. Операция сложения выполняется по модулю 2, а операция вычитания заменяется операцией сложения.

Аппаратурно операции умножения и сложения выполняются на регистрах сдвига с сумматорами по модулю 2. Операции производятся не с самими многочленами, а с их двоичным представлением. Регистр сдвига представляет собой последовательно соединённые ячейки памяти. Запись производится в первую ячейку памяти, и записанная информация под действием тактовых импульсов последовательно передаётся из одной ячейки в другую. Например, схема трёхразрядного регистра имеет вид.

Обычно линии подачи тактовых импульсов в подобных схемах не приводят, понимая, что они есть.

В схемах деления многочленов регистр с сумматорами строят для многочлена делителя, а в схемах умножения для многочлена на который умножают. В этих схемах перед значащими членами многочленов ставят сумматоры. Ячейка регистра, соответствующая старшей степени многочлена, отсутствует, но сумматор передней в схемах умножения остаётся, а в схемах деления он переносится в начало регистра. Схемы для умножения и деления на многочлен Х⁶ +Х⁴+Х³+Х +1 имеют следующий вид.

Условимся (для компактности записи) в виде набора степеней его элементов, отличных от нуля. Так приведённый многочлен будет записан как 6,4,3,1,0.

Схема умножения.

Схема деления.

Задание

1.Для своего варианта многочлена составить схемы умножения и деления. Варианты многочлена приведены ниже.

2.С помощью составленных схем провести умножение и деление многочлена 8,7,4,3,1. Привести последовательно по тактам состояние ячеек схем умножения и деления, а также результат выполнения операции.

Варианты многочлена.

1)0,1,5,6; 2)0,1,2,6; 3)0,1,3,6; 4)0,1,4,6; 5)0,1,5,6; 6) 0,1,2,6; 7)0,1,6; 8) 0,1,3,6; 9)0,1,4,6; 10) 0,1,5,6;

11)0, 2,3,6; 12)0, 2,4,6; 13) 0,2,5,6; 14)0,3,4,6; 15)0,3,5,6; 16)0,2,6; 17)0,2,3,6; 18)0,2,4,6; 19) 0,2,5,6;

20)0,3,6; 21) 0,4,6; 22)0,5,6; 23) 0,3,4,6.

Защита задания заключается в пояснение процедуры умножения и деления в данном задании.