Экзаменационный билет №8

1. Корреляционная функция случайного процесса. Определение и основные свойства, формулы расчета для дискретных сигналов, для эргодических непрерывных сигналов.

Корреляционной (ковариационной, автоковариационной, автокорреляционной) функцией случайного процесса X(t) называется ф-я, которая при каждой паре значений {t1, t2} равна корреляционному моменту соответствующих сечений X(t1) и X(t2):неслучайная функция двух аргументов K(t1; t2), которая

Свойства:

1. Корреляционная функция при одинаковых значениях аргументов равна дисперсии с.п.

2. Корреляционная функция не меняется относительно замены аргументов, т.е. является симметрической функцией относительно своих аргументов:

3. Если к случайному процессу прибавить неслучайную функцию, то корреляционная функция не меняется, т.е. если , то . Другими словами является периодической функцией относительно любой неслучайной функции.

4. Модуль корреляционной функции не превосходит произведения с.к.о., т.е.

5. При умножении с.п.X(t) на неслучайный множитель её корреляционная функция умножится на произведение f(t1)*f(t2), т.е., если , то

2. Построить дерево эффективного кодирования источника кодом Хаффмена, если вероятности передаваемых символов р1=0.4; р2=0.2; р3=0.1; р4=0,08; р5=0,07; р6=0.15; р7=0.28; р8=0.12. Определить энтропию источника и среднее число бит кода на одно сообщение.

Шаг 1 Упорядочим вероятности передаваемых символов в порядке невозрастания (тупо убывания вот он ах...)

p1 =0.4 ; р7=0.28 ; р2=0.2; р6=0.15; р8=0.12 ; р3=0.1; р4=0,08; р5=0,07.

Шаг 2 Берем два элемента с наименьшими вероятностями и объединяем их (складываем вероятности) наименьшему элементу сопоставляем “0”, наибольшему “1”

p1 =0.4 ; р7=0.28 ; р2=0.2; р6=0.15; р8=0.12 ; р3=0.1; р54=0,15;

Шаг 3 Рассматриваем новую последовательность и повторяем Шаг 2 до тех пор пока не останется один “корень”

p1 =0.4 ; р7=0.28 ; р2=0.2; р6=0.15; р38=0.22 ; р54=0,15;

Определим среднее число бит(цену кодирования: средняя длину кодового слова L)

=2*(0.4+0.28)+3*(0.2+0.15)+4*(0.1+0.08+0.07+0.12)= 3.89 [бит]

Определим энтропию источника по формуле:

H(A)=0.528771+0.51422+0.464386+0.410545+0.367067+0.332193+0.291508+0.268555=3.177245[бит]

Экзаменационный билет №9

1. Определение количества информации по Шеннону. Энтропия источника случайных сообщений. Свойства энтропии. Энтропия двоичного источника.

Определение количества информации по Шеннону

Американский инженер-связист Клод Шеннон предложил ввести меру количества информации с помощью статистической формулы энтропии:

,где вероятность Wi появления состояния i, I количество информации

Энтропия источника случайных сообщений.

Энтропия случайного источника (англ. Shannon entropy) — функция от вероятностей исходов (оператор объединения) характеризующая количество информации, приходящейся на одно сообщение источника.

Свойства энтропии.

Энтропия двоичного источника. Сделал так-же, как в 11

Случай независимых равновероятных символов

Вероятности: P(a1)=P(a2)=P=0.5 , условные вероятности равны нулю. Энтропия такого источника максимальна:

Hmax=-0.5 * log(0.5)- 0.5 * log(0.5) = log(2) = 1 бит/символ

Таким образом, 1 бит - это максимальное среднее количество информации, которое может переносить один символ источника двоичных сообщений.

Случай независимых неравновероятных символов

Вероятности: P(a1)=P ; P(a2)=1-P условные вероятности равны нулю. Энтропия такого источника равна: H(P)=-P * log(P) - (1-P) * log(1-P)

Эта зависимость показана ниже на рисунке. Максимум энтропии достигается при P=0.5. Поскольку H(p)< Hmax при P!=0.5, то производительность такого источника меньше максимальной.

Рис. Энтропия двоичного источника сообщений с неравновероятными символами

Случай коррелированных равновероятных символов

При некоррелированных равновероятных символах двоичного источника энтропия равна 1 бит/симв. Следовательно, наличие статистических связей между символами приводит к уменьшению энтропии и увеличению избыточности источника.