Теория информации
.docx1)Энтропия:
-бросок монеты
-бросок игральной кости
-вытаскивание игральной карты 54 штуки
-две игральные кости
2) Какое кол-во информации связано с предыдущим примером
3)Сравнить неопределённость, подходов на букву источника информации (русс. Яз.), характеризуемым ансамблем, представленным в таблице, с неопределённостью, которая была бы у того же источника при равновероятном использовании букв и средним статистическим.
4) С какой буквой алфавита, «а» или «б» связано больше информации? Найдите эту информацию.
5) Заданы 2 ансамбля Х и У двух дискретных величин:
Величина Х |
0,5 |
0,7 |
0,9 |
0,3 |
Вероятность |
0,25 |
0,25 |
0,25 |
0,25 |
Величина У |
5 |
10 |
15 |
8 |
|||
Вероятность |
0,25 |
0,25 |
0,25 |
0,25 |
Сравнить их энтропию.
6)Известны энтропии 2 зависимых источников Н(х)=5 бит и Н(у)=10 бит. Определить в каких пределах будет заменяться условная энтропия Нх(у) в максимально возможных пределах.
7) В ящике имеется 2 белых, и 4 чёрных шара. Извлекая последовательностью 2 шара. Найдите энтропию связанную с 1 и 2 извлечением , а так же энтропию извлечения сразу 2 шара.