Задание 3 Количество информации

1. Записать свой двухзначный номер (М=п1,п2) в студенческом журнале группы.

2. Имеются 5 сообщений Х. Найти их энтропию Н = - ∑ (Р_Хк *logР_Хк) . Суммирование ведётся по «к» от к1 до к5. Энтропию найти для двух случаев.

А) Все сообщения равновероятны.

Б) Все сообщения разновероятны. Вероятность сообщения х1 равна 0.1*п1, а х2 -0.05 *п2, где п1 ,п2 –двухзначный номер из п.1. Вероятности остальных сообщений задать произвольно, учитывая, что суммарная вероятность всех сообщений равна 1.

	У1	У2	У3	У4	У5	У6	У7	У8
Х1	0.0043	0.0087	0.021	0.0446	0.0784	0.115	0.148	0.58
Х2	0.58	0.148	0.115	0.0784	0.0446	0.021	0.0087	0.0043

3.Рассматривается ансамбль из двух сообщений Х и У. Сообщений Х только два х1 и х2, а сообщений У 8 от у1 до у8. В ниже приведённой таблице указаны условные вероятности Р(у/х) событий.

Сообщение х1 имеет вероятность Р(х1) =0.03*М, М – двухзначный номер из п.1, а вероятность сообщения Р(х2) =(1-Р(х1)).

А) Вычислить все вероятности сообщений У оту1 до у8 (суммы вероятностей соответствующих столбцов).

Б) Найти энтропии Н(х), уН(у), условные энтропии Н(у/х1) = -∑ Р(у/х1)* logР(у/х1), Н(у/х2) = -∑ Р(у/х2)*logР(у/х2),

Суммирование производиться по У от у1 до у8. Вычислить условную энтропию

Н(х/у) = Р(х1)* Н(у/х1)+Р(х2)* Н(у/х2) .

Пояснение. Н(х/у) представляет собой добавочную энтропию, которое даёт к энтропии Н(х) знание состояния У. Эта добавочная энтропия обусловлена только помехами (предполагается, что Х входные сообщения канала связи, а У – его выходные сообщения).

Количество информации, содержащиеся в принятых сообщениях относительно переданных Х, определяется разностью Н(у) – Н(у/х). Вычислить эту разность.

Контрольные вопросы к заданию 3.

1. Что озн6ачают термины «информация», «энтропия»?

2. Есть меры информации по Хартли и по Шеннону. Можно ли обойтись любой одной из них?

3. Какой физический смысл имеет условная энтропия?

4. Что понимают под избыточностью информации?

5. Поясните понятия «скорость передачи информации» и « пропускная способность канала связи».

6. Какой физический смысл имеет понятие «количество информации»?

7. Вы получили информацию о наступлении некоторого события. Что можете сказать о величине получен6ной Вами информации?

8. С какой целью используется избыточность информации? Привести примеры.

9. Какие существуют единицы измерения информации? Зависит ли количество информации от единицы её измерения?

10. Укажите область техники, где производится измерение количества информации.

11. По каналу связи передаются сообщения Х. На них воздействует помеха, в результате чего на выходе канала связи получаем сообщения У. Вычисляется Н(у/х). Какой желательно должна быть её величина?

12. Поясните. «Скорость передачи информации» и» пропускная способность канала связи»это одно и то же?

13. Зависит ли потенциальная возможность безошибочной передачи информации от соотношения величин «скорость создания информации» и «пропускная способность канала связи»?