Методические указания к задаче 6.

Решение задачи необходимо начать с проработки материала в [2- с.13-16, 295-298, 300-301; 8- с.6-13]. Обратите внимание на примеры 17.2 [2] и 1.1, 1.3 [8].

Следует различать единицы измерения количества информации «бит», скорости передачи информации (информационной скорости передачи) «бит/с» и скорости модуляции (технической скорости передачи) «Бод».

Учитывая, что элементы «1» и «0» двоичного кода составляют полную группу событий, вероятность появления элемента «0» на позициях кодовой комбинации равна:

р_i (0) = 1 - р_i (1) (6.1)

Количество информации, содержащееся в единичных элементах «1» и «0» на позициях кода равны:

I_i (1) = log₂[1/ р_i (1)] = - log₂ р_i (1), бит; (6.2)

I_i (0) = log₂[1/ р_i (0)] = - log₂ р_i (0), бит. (6.3)

Для вычисления двоичных логарифмов можно воспользоваться формулами перехода в логарифмах к другому основанию:

log₂ z = ln z / ln 2 ≈ 1,443∙ln z = lg z / lg 2 ≈ 3,32∙lg z. (6.4)

Энтропия двоичного элемента рассчитывается по формуле:

Н_эл.i = р_i (1)∙I_i (1) + р_i (0)∙I_i (0), бит/эл. (6.5)

Для расчета энтропии знака (кодовой комбинации) необходимо определить длину кодовой комбинации k равномерного двоичного кода для кодирования К

знаков источника :

k = 1 + ЦЧ[log₂ К], элементов, при дробном значении log₂ К (6.6 а)

k = log₂ К, элементов, при целом значении log₂ К (6.6 б)

где: ЦЧ[ ] – целая часть полученного значения.

Энтропия знака, закодированного k элементной кодовой комбинацией:

Н_зн. = Н_к.к. = = Н_эл.1 + Н_эл.2 + ... + Н_эл.k , бит/знак (6.7)

Максимальное возможное значение энтропии достигается при равной вероятности появления элементов, т. е. при р_i (1) = р_i (0) = 0,5. Тогда она равна :

Н_{эл.i макс.} = (- 0,5 ∙ log₂ 0,5) + (- 0,5 ∙ log₂ 0,5) = log₂ 2 = 1 бит/эл.

Максимальная энтропия знака при этом будет равна: Н_{зн.макс.}= k, бит/знак.

Избыточность источника дискретных сообщений оценивается долей от максимально возможного значения энтропии, неиспользуемой источником. Коэффициент избыточности источника равен:

ǽ = (Н_{зн.макс.} - Н_зн.) / Н_{зн.макс.} = 1 – Н_зн. / Н_{зн. макс.} (6.8)

Зная скорость передачи по каналу N знак/мин., длину кодовой комбинации знака, можно определить скорость модуляции – количество единичных элементов передаваемых в единицу времени (в секунду). Скорость передачи информации определяется с учетом среднего количества информации (энтропии) в одном знаке и количества знаков, передаваемых в секунду (N/60).

С кодированием знаков двоичным кодом можно ознакомиться в [8- с.8-11].

Пример кодирования двоичным кодом десятичного числа (знака) «19» для k = 7 приведен в таблице 8.

Таблица 8

Разряды кодовой комбинации	х	х	х	х	х	х	х
Веса разрядов	26 = 64	25=32	24 =16	23 =8	22 =4	21 =2	20 =1

Число 19 можно представить суммой весов разрядов двоичного кода:

19 = 16 + 2 + 1. Тогда на месте разрядов (х), которые участвовали в сумме ставится элемент «1», а на месте разрядов не участвовавших в сумме – элемент «0». Кодовая комбинация будет иметь вид 0010011

Количество информации в кодовой комбинации знака определяется суммой количества информации в элементах кодовой комбинации с учетом того, какой элемент стоит на каждой позиции (разряде) кодовой комбинации своего знака:

I_к.к. = I_зн = I₁(1) или I₁(0) + I₂(1) или I₂(0) + ... + I_k(1) или I_k(0), бит (6.9)

Например, для кодовой комбинации числа 19:

I_{к.к. 19} = I₁(0)+ I₂(0)+ I₃(1)+ I₄(0)+ I₅(0)+ I₆(1)+ I₇(1), бит.