Экономичные коды.

Оптимальным с точки зрения экономичности часто считают такой код, при котором на передачу сообщений затрачивается минимальное время, то есть когда каждая кодовая комбинация передает максимальное количество информации. Если кодируемые значения не равновероятны, то для получения наибольшей информативности каждого элемента кода используют неравномерные коды, получившие названиестатистических кодовили кодовШеннона – Фано. При построении неравномерных статистических кодов стремятся повысить информативность каждого символа. В этих кодах длина комбинации тем больше, чем меньше вероятность возникновения отсчета функции. Количество информации, которое содержится в одном элементе хода, определяется энтропией источника.

Характеристикой неравномерного кода является его средняя длина n_ср, определяемая как математическое ожидание длин кодов по всему ансамблю кодируемых символов (отсчетов):

,

где n_i - длина кодовой комбинации, соответствующаяi-му символу;p_i- вероятностьi-го символа; М - число символов.

Найдем среднюю информацию, содержащуюся в одном закодированном символе:

Далее можно подсчитать количество информации, которое приходится на один символ кода:

I_k = H/n_ср

Код будет тем ближе к оптимальному, чем ближе полученное значение к единице.

Вероятность ошибочного приема кода

В двоичном симметричном канале вероятность искажения любого из передаваемых символов одинакова. Другими словами, поток ошибок подчиняется биномиальному закону распределения. Тогда вероятность попадания q ошибок на код длиной n ,будет равна:

где p – вероятность искажения символа; - число возможных сочетаний при возникновенииq ошибок в кодовой комбинации длиной n

Примеры решения задач

Задача 1.

Определить коэффициент избыточности неразделимого двоичного кода с постоянным весом «3 из 7».

Решение

Число возможных кодовых комбинаций длины 7 равно 2⁷ = 128.

Число разрешенных кодовых комбинаций С³₇ = 7!/(3!*4!) = 35.

Коэффициент избыточности

К_И = 1 – (log 35)/(log 128) = 0,267.

Задача 2.

Определить коэффициент избыточности 8-разрядного разделимого двоичного кода с проверкой на четность.

Решение

Длина кодовой комбинации равна 8;

Число информационных разрядов равно 7.

Коэффициент избыточности

К_И = 1 –7/8 = 0,125.

Задача 3.

Требуется построить оптимальный с точки зрения экономичности двоичный код, отображающий 5 дискретных значений (отсчетов), если они возникают с вероятностями 1/2, 1/4, 1/8, 1/16, 1/16. Доказать, что построенный код экономичнее равномерного кода.

Решение

Для построения оптимального кода воспользуемся способом, по которому создаются неравномерные статистические коды Шеннона – Фано. Согласно этому способу, кодируемые символы разделяются на две приблизительно равновероятные группы: для первой группы символов на первом месте комбинации ставится 0, а для второй группы символов - 1. Далее каждая группа снова делится на две приблизительно равновероятные подгруппы; для символов первой подгруппы на втором месте ставится 0, а для второй подгруппы - 1 и т.д.

Составим таблицу вероятности появления отсчетов:

Отсчет	х1	х2	х3	х4	х5
Вероятность появления	1/2	1/4	1/8	1/16	1/16

Разделим отсчеты на две равновероятные группы, отнеся к первой отсчет х₁ уровни, а ко второй – остальные. Для первой группы на первом месте кодовой комбинации поставим 0, а для второй группы – 1. Получим:

Отсчет	х1	х2	х3	х4	х5
Кодовые комбинации	0	1…	1…	1…	1…

Поскольку в первой группе оказался только один отсчет, его кодирование закончено. Далее разделим вторую группу, а на две равновероятные подгруппы, в одну из которых отнесем отсчет х₂, а в другую – остальные.Для первой полученной подгруппы на следующем месте кодовой комбинации поставим 0, а для второй подгруппы – 1. Получим:

Отсчет	х1	х2	х3	х4	х5
Кодовые комбинации	0	10	11…	11…	11…

Разделим оставшиеся отсчеты на следующие равновероятные подгруппы, отнеся к первой х₃, а ко второй – остальные. Добавляя символы кода, получим:

Отсчет	х1	х2	х3	х4	х5
Кодовые комбинации	0	10	110	111…	111…

Продолжая аналогично, получим окончательную кодовую таблицу:

Отсчет	х1	х2	х3	х4	х5
Кодовые комбинации	0	10	110	1110	1111

Оценим оптимальность кода, найдя его среднюю длину и энтропию на один символ.

n_ср = 1/2 + 2·1/4 + 3·1/8 +2·4·1/16 = 1,875 ;

H = (-1/2·log₂1/2 -1/4·log₂1/4 – 1/8·log₂1/8 - 2·1/16·log₂1/16) = 1,.875 .

Количество информации, приходящееся на один символ кода

I_k = H/n_ср = 1

В случае равномерного кода для кодирования пяти отсчетов мы вынуждены использовать кодовые комбинации из трех символов, т.е. длина кода будет равна 3. В этом случае количество информации, приходящееся на один символ кода, будет равно:

I’_k = 1,875/3 = 0,625

Таким образом, построенный код более экономичен, чем равномерный.

Задача 4.

Определить вероятности возникновения в двоичном симметричном канале нуля, одной, двух, трех ошибок в кодовой комбинации длиной 5, если вероятность ошибочного приема разряда равна 0,1.

Решение

Вероятность безошибочного приема

p_0,5 = 5!/(0!*5!)*0,1⁰*(1-0,1)⁵ = 0,59

Вероятность одной ошибки

p_1,5 = 5!/(1!*4!)*0,1*(1-0,1)⁴ = 0,33

Вероятность двух ошибок

p_2,5 = 5!/(2!*3!)*0,1²*(1-0,1)³ = 0,07

Вероятность трех ошибок

p_3,5 = 5!/(3!*2!)*0,1³*(1-0,1)² = 0,008