Вариант 5

1. Теоретический вопрос: Теоремы Шеннона о передаче сигналов по каналам связи.

2. Рассмотрите второе свойство энтропии. (Энтропия минимальна и равна нулю, если хотя бы одно из состояний системы достоверно известно:   H = H_min = 0.) Для этого задайте такие значения р_i (i = 1, 2, 3) для системы Х = (х1, х2, х3), чтобы одно из состояний было достоверно известно. Найдите энтропию.

3. В корзине 32 клубка шерсти, из них 4 клубка красного цвета. Какое количество информации несет сообщение «Вытащили клубок красной шерсти»?

4. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из четырех возможных состояний: х1 - оба самолета не сбиты; х2 - истребитель сбит, бомбардировщик не сбит; х3 - истребитель не сбит, бомбардировщик сбит; х4 - оба самолета сбиты. Состояние системы дастся схемой

   X=	X1	X2	X3	X4
   	0,4	0,1	0,3	0,2

5. Имеются две системы X и Y, объединяемые в одну, вероятности состояний которой представлены следующей матрицей:

	0,2	0,1	0
P(X,Y)=	0,2	0,1	0,1
	0,1	0,2	0

Определите полную условную энтропию H(Y/X).

6. Алфавит состоит из букв а, b, с, d. Вероятности появления букв равны соответственно 0,35; 0,15; 0,24; 0,26. Определите количество информации, приходящееся на символ сообщения, составленного с помощью такого алфавита. Закодируйте данный алфавит методом Шеннона-Фано и определите эффективность полученного кода.

7. Закодировать методом Хаффмана Текст «Мама мыла раму». Найти эффективность полученного кода.

8. Перевести в код Грея число 156₍₁₀₎

9. Перевести целое число, закодированное кодом Грея в десятичную систему счисления 1010110

10. Закодировать циклическим кодом число N=118.

Вариант 6

1. Теоретический вопрос: Помехоустойчивое кодирование. Понятие и классификация помехоустойчивых кодов.

2. Для передачи секретного сообщения из 25 символов использовался код, состоящий из 12 букв. Все буквы кодируются одним и тем же (минимально возможным) количеством бит. Чему равен информационный объем такого сообщения?

3. Рассмотрите первое свойство энтропии (Энтропия есть величина вещественная, ограниченная и неотрицательная:    H0. Максимальное значение равно 0,531). Для этого составьте программу построения графика функции H_i = -p_i log p_i при изменении вероятности от нуля до единицы. Значения р_i  возьмите через интервал 0,05. Сделайте соответствующие выводы.

4. Из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь, равна 0,65; вероятность, что будет идти снег, равна 0,15, вероятность, что не будет осадков, равна 0,2. В какой из двух перечисленных дней погоду следует считать более неопределенной?

5. Имеются две системы X и Y, объединяемые в одну, вероятности состояний которой представлены следующей матрицей:

	0,02	0,01	0,05	0
P(X,Y)=	0,1	0,1	0,2	0,1
	0,01	0,1	0	0
	0,1	0,2	0,01	0

Определите полную условную энтропию H(Y/X).

6. Имеется статистическая схема сообщения  

N=	A	B	C
	0,7	0,2	0,1

Произведите кодирование отдельных букв и двухбуквенных сочетаний по методу Шеннона-Фано, сравните коды по их экономичности (количество информации, приходящееся на один символ) и избыточности.

7. Пусть алфавит А содержит 6 букв, вероятности которых равны 0,4; 0,2; 0,2; 0,1; 0,05 и 0,05. Произведите кодирование кодом Хаффмена. Вычислить энтропию сообщений Н(Х) и среднюю длину кодового слова.

8. Перевести в код Грея число 106₍₁₀₎. Сделать проверку обратным переводом.

9. Закодировать инверсным кодом число 223₍₁₀₎

10. Закодировать циклическим кодом число N=116.