28

Министерство образования и науки Украины

Севастопольский национальный технический университет

Кафедра кибернетики и вычислительной техники

Работа над ошибками №3

В контрольных работах № 1,2,3

По дисциплине

«Теория информации и кодирования»

Вариант № 15

Выполнил: студент группы М- 41з

№зач. 081040

Паращук И.М.

Проверил: доцент Щепин Ю. Н.

Севастополь

2011

Содержание

1. Контрольное задание №1……………………………………………………………………3

1. Постановка задачи...…………….……………………………………..……….………………...3

2. Расчет вероятностей……………………………………………………………………………..4

2.1 Расчет вероятностей исходной системы………..………………….….….…………………..4

2.2 Расчет вероятности сложной системы….…………………………….……….........................4

2.3 Проверка по контрольным соотношениям…………………………………………………... 5

3.Расчет энтропий…………………………………………………………………………………..6

3.1 Расчет энтропии системы……………………………………………………………………....6

3.2 Расчет энтропии сложной системы …………………………………………………………...6

3.3 Расчет частной условной энтропии…………………………………………………………...7

3.4 Расчет полной условной энтропии …………………………………………………………....7

3.5 Проверка по контрольным соотношениям …………………………………………………...8

4. Расчет количества информации ……………………………………………………………….10

5.Расчет прочих характеристик …………………………………………………………………12

Вывод ……………………………………………………………………………………………..13

2.Контрольное задание № 2…………………………………………………………………….14

2.1 Постановка задачи …………………………………………………………………………...14

2.2 Построение оптимального неравномерного двоичного кода методом Шеннона- Фано..14

2.3 Построение оптимального неравномерного кода методом Хаффмана…………………...18

2.4 Анализ результатов…………………………………………………………………………..20

Вывод ……………………………………………………………………………………………..21

3. Контрольное задание № 3 ……………………………………………………………………22

3.1 Постановка задачи…………………………………………………………………………….22

3.2 Выполнение работы…………………………………………………………………………...22

3.3 Проверка комбинации кода Хемминга.....…………………………………………………...23

Вывод ………………………………………………………………………………………………25

Библиографический список

Контрольное задание № 1 Тема: Вычисление информационных характеристик сложных систем

1.Постановка задачи

Задана канальная матрица случайной дискретной системы (A,B), полученная в результате передачи сообщения от источника A к приёмнику B.

В процессе выполнения задания требуется вычислить следующие характеристики системы (A,B):

• вероятности исходных систем P(bj), i,j=1..n;

• вероятности сложной системы P(ai|bj), Р(a_i,b_j) ) для всех i= , j= ;

• энтропии H(A), H(B) каждой из систем А и В;

• энтропию сложной системы H(A,B);

• частные условные энтропии H(A|bj), H(B|ai), i,j=1..n;

• полные условные энтропии H(A|B), H(B|A);

• частную информацию I(ai,bj), I(A,bj) , i,j=1..n;

• полную взаимную информацию I(A,B);

• вычислить погрешности вычислений;

• вычислить скорость передачи информации С=H/τ бит/сек, скорость передачи сигналов V=1/τ символов/сек и пропускную способность канала С_п=1/τ[H(A)-H(A/B)];

• вычислить D избыточность источника сообщений.

Провести проверку результатов по всем известным контрольным соотношениям, произвести анализ результатов и сделать выводы.

Точность вычислений — до 3 знака после запятой, точность вычисления энтропии и количества информации — до 4 знака.

Исходные данные: Вариант 15.

Канальная матрица P(b/a):

_{n: = 3;}

_;

_.

p(b/a)= ; (1.1)

p(a₁)=0.47;

p(a₂)=0.26;

p(a₃)=0.27.

Время передачи одного символа:  = 0,03 (мсек).