Контрольные задания по дисциплине «теория информации» вариант № 1

1. Определить максимально возможную энтропию сообщения, состоящего из пяти букв русского алфавита.

2. Закодировать по методу Шеннона – Фано алфавит, состоящий из четырех символов А, В, С, D, если вероятности появления каждого символа в сообщении соответственно равны 0,28; 0,14; 0,48; 0,1. Определить экономичность полученного кода.

3. Определить условную дифференциальную энтропию Н (X/у)и среднюю условную дифференциальную энтропиюН (X/Y)для системы{X,Y}нормальных случайных величин с дисперсиямиσ_x² иσ_y²и коэффициентом корреляцииR.

4. Определение пропускной способности непрерывного информационного канала.

Вариант № 2

1. На шахматной доске на одной из клеток произвольным образом поставлена фигура. Определить минимальное количество вопросов, которое гарантирует отгадывание её месторасположения. (Возможны ответы только «Да» и «Нет»).

2. Сообщение состоит из последовательности двух букв А и В, вероятность появления каждой из которых не зависят от того, какая буква была передана ранее и равны Р(А) = 0,8, Р(В) = 0,2.

Произвести кодирование по методу Шеннона – Фано:

а/ отдельных букв;

б/ двухбуквенных сочетаний;

в/ блоков, состоящих из трехбуквенных сочетаний.

Сравнить коды по их экономичности и по избыточности.

3. Найти энтропию случайной величины, функция распределения которой имеет вид:

┌ 0 x ≤ 0

W (x) = ┤ x ² 0<x≤1

└ 1 x>1

4. Основная теорема Шеннона для непрерывного канала с помехами (доказательство).

Вариант № 3

1. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из состояний:

• оба самолета не сбиты;

• истребитель сбит;

• бомбардировщик сбит;

• оба самолета сбиты.

Вероятности этих состояний равны 0,2; 0,3; 0,4 и 0,1

2.Определить пропускную способность канала связи, способного передавать 100 бинарных символов в секунду, причем каждый из символов искажается с вероятностью 0,01.

2. Найти плотность распределения вероятности, при которой дифференциальная энтропия случайной величины максимальна, если задан её второй начальный момент m₂.

4. Доказать теорему Шеннона для дискретного канала без шумов.

Вариант № 4

1. Доказать, что при заданном количестве дискретных сообщений nэнтропия максимальна, когда все сообщения равновероятны.

Указание: воспользоваться методом неопределенных множителей Лагранжа и дополнительным условием

2. Источник информации обладает производительностью 100 дв. ед./сек. Информация может передаваться по двум независимым каналам связи, каждый из которых способен передавать 70 двоичных символов в сек., причем каждый символ искажается с вероятностью 0,1. Возможна ли передача информации от данного источника без искажений?

3. Среди всех законов распределения непрерывной случайной величины Х,для которых плотность вероятности равна нулю приx≤ 0, найти закон распределения. при

котором дифференциальная энтропия максимальна (при заданном математическом ожидании М).

4. Содержание теоремы Шеннона для дискретных каналов с помехами.