Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
теория информации 2012.doc
Скачиваний:
30
Добавлен:
22.02.2015
Размер:
117.76 Кб
Скачать

Контрольные задания по дисциплине «теория информации» вариант № 1

  1. Определить максимально возможную энтропию сообщения, состоящего из пяти букв русского алфавита.

  1. Закодировать по методу Шеннона – Фано алфавит, состоящий из четырех символов А, В, С, D, если вероятности появления каждого символа в сообщении соответственно равны 0,28; 0,14; 0,48; 0,1. Определить экономичность полученного кода.

3. Определить условную дифференциальную энтропию Н (X/у)и среднюю условную дифференциальную энтропиюН (X/Y)для системы{X,Y}нормальных случайных величин с дисперсиямиσx2 иσy2и коэффициентом корреляцииR.

4. Определение пропускной способности непрерывного информационного канала.

Вариант № 2

  1. На шахматной доске на одной из клеток произвольным образом поставлена фигура. Определить минимальное количество вопросов, которое гарантирует отгадывание её месторасположения. (Возможны ответы только «Да» и «Нет»).

2. Сообщение состоит из последовательности двух букв А и В, вероятность появления каждой из которых не зависят от того, какая буква была передана ранее и равны Р(А) = 0,8, Р(В) = 0,2.

Произвести кодирование по методу Шеннона – Фано:

а/ отдельных букв;

б/ двухбуквенных сочетаний;

в/ блоков, состоящих из трехбуквенных сочетаний.

Сравнить коды по их экономичности и по избыточности.

3. Найти энтропию случайной величины, функция распределения которой имеет вид:

0 x ≤ 0

W (x) = ┤ x 2 0<x≤1

1 x>1

4. Основная теорема Шеннона для непрерывного канала с помехами (доказательство).

Вариант № 3

  1. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из состояний:

  • оба самолета не сбиты;

  • истребитель сбит;

  • бомбардировщик сбит;

  • оба самолета сбиты.

Вероятности этих состояний равны 0,2; 0,3; 0,4 и 0,1

2.Определить пропускную способность канала связи, способного передавать 100 бинарных символов в секунду, причем каждый из символов искажается с вероятностью 0,01.

  1. Найти плотность распределения вероятности, при которой дифференциальная энтропия случайной величины максимальна, если задан её второй начальный момент m2.

4. Доказать теорему Шеннона для дискретного канала без шумов.

Вариант № 4

1. Доказать, что при заданном количестве дискретных сообщений nэнтропия максимальна, когда все сообщения равновероятны.

Указание: воспользоваться методом неопределенных множителей Лагранжа и дополнительным условием

2. Источник информации обладает производительностью 100 дв. ед./сек. Информация может передаваться по двум независимым каналам связи, каждый из которых способен передавать 70 двоичных символов в сек., причем каждый символ искажается с вероятностью 0,1. Возможна ли передача информации от данного источника без искажений?

3. Среди всех законов распределения непрерывной случайной величины Х,для которых плотность вероятности равна нулю приx≤ 0, найти закон распределения. при

котором дифференциальная энтропия максимальна (при заданном математическом ожидании М).

4. Содержание теоремы Шеннона для дискретных каналов с помехами.