Вариант № 5

1. Определить максимально возможную энтропию сообщения, состоящего из 3-х знаков, каждый из которых может быть в четырех возможных состояниях

2. Ансамбль сообщений и их вероятности заданы следующей таблицей:

xi	0	1	2	3	4	5	6	7	8
p(xi)	0,2	0,15	0,15	0,12	0,10	0,10	0,08	0,06	0,04

Произвести кодирование двоичным кодом по методу Хаффмена и вычислить энтропию сообщений и среднюю длину кодового слова.

3. Среди всех законов распределения непрерывной случайной величины Х,для которой область допустимых значений ограничена интервалома ≤ х ≤ в, определить закон распределения с максимальной дифференциальной энтропией.

4. Общие принципы использования избыточности. Корректирующее кодирование

Вариант № 6

1. Определить количество информации, содержащейся в сообщении впервые встреченного лица А: «сегодня мой день рождения». Определить полную информацию от сообщения, выясняющего, является ли сегодняшний день днем рождения впервые встреченного лица А.

2. Сообщение состоит из последовательности трех букв А, В, и С, вероятности которых не зависят от предыдущих сочетаний и равны соответственно 0,7; 0,2; 0,1.

Произвести кодирование по методу Шеннона-Фано отдельных букв и двухбуквенных сочетаний.

Сравнить коды по их экономичности и избыточности.

3. Определить энтропию непрерывных случайных величин, подчиняющихся нормальному и экспоненциальному законам распределения. Сравнить их при одинаковой дисперсии распределений.

4. Как определяется избыточность источника непрерывных сообщений? Что такое «эпсилон-производительность источника»? При каких условиях она достигает максимального значения? Чему оно равно? Что такое «объем сигнала»?

Вариант № 7

1. По цели производится Nнезависимых выстрелов. Вероятность поражения цели при каждом выстреле равнаp. Послеk-го выстрела (1≤ k≤ n) производится разведка, сообщающая, поражена ли цель. Определитьkиз условия получения максимальной информации, доставляемой разведкой. После какого выстрела следует проводить разведку, еслиp=0,2?

2. Произвести кодирование букв русского алфавита по методу Шеннона-Фано, считая вероятность появления последующей буквы не зависящей от предыдущих. Определить эффективность кода и его избыточность.

3. Вычислить пропускную способность канала связи с амплитудно-импульсной модуляцией, если число уровней сигнала 16, полоса частот исходного сигнала ограничена частотой Fs, сигнал равномерно распределен на интервале(-Um, +Um), а вероятность искажения, выражающая возможность перехода в соседний уровень, 0,05.

4. Построить и исследовать код Хэмминга (9,5).

____________________________________________________________________

Вариант № 8

1. Доказать, что среднее количество информации, доставляемое принятым символом y_iотносительно множества всех передаваемых символов Х не может быть отрицательным. Когда это количество равно нулю?

2. Определить пропускную способность дискретного канала при отсутствии помех, если для передачи сообщений используется код с основанием В. Длительность всех символов кода одинакова и равнаτ.

3. Сигнал на входе канала представляет собой положительные или отрицательные импульсы длительностью Ти амплитудойx=√S. В канале действует шумn, не зависящий от сигнала и имеющий нормальное распределение с дисперсиейσ_n²= N₀ /2T, гдеNо– односторонняя спектральная плотность белого шума. На выходе канала наблюдается только знак сигнала.

а/ Показать, что такой канал можно представить , как двоичный симметричный канал.

б/ Найти пропускную способность эквивалентного двоичного канала для случая когда 2ST/N₀<<1.

4. Перечислить и доказать основные свойства энтропии.