6. Энтропия. Пропускная способность многопозиционного канала.

Многопозиционный канал отличается от двоичного тем, что может передавать не два значения (0 или 1), а m значений (0,1,2 ... m-1). Пусть q – вероятность ошибки при передаче сигнала.

Определим пропускную способность ∆I m-позиционного канала, учитывая, что

p(x₀)+p(x₁)+...+p(x_m-1)=1

H(X) = p₀·log₂ p₀ + p₁·log₂ p₁ +...+ p_m-1·log₂ p_m-1

p(Y₀/X₀)=1-q p(Y₁/X₀)=q/(m-1) ... p(Y_m-1/X₀)= q/(m-1)

p(Y₀/X₁)= q/(m-1) p(Y₁/X₁)=1-q ... p(Y_m-1/X₁)= q/(m-1)

... ... ... ...

p(Y₀/X_m-1)= q/(m-1) p(Y₁/X_m-1)= q/(m-1) ... p(Y_m-1/X_m-1)=1-q

H(Y/X₀)=H(Y/X₁)=...= H(Y/X_m-1)= -[(1-q)·log₂(1-q) + (m-1)·(q/(m-1))·log₂ (q/(m-1))]

H(Y/X) = p₀·H(Y/X₀) + p₁·H(Y/X₁) + ... +p_m-1·H(Y/X_m-1) = {пусть p₀=p₁=...=p_m-1=1/m} =

= -[(1-q)·log₂(1-q) + (m-1)·(q/(m-1))·log₂ (q/(m-1))]

Пропускная способность будет равна ∆I=[H(X)-H(Y/X)]·C, где C – скорость канала.

7. Статистические коды Шеннона-Фоно, Хаффмана.

Теория кодирования. Основные определения.

Код – это система соответствий между элементами исходного сообщения и сочетаниями сигналов, при помощи которых эти сообщения могут быть зафиксированы и при необходимости быть переданы или использованы для дальнейшей обработки;

• это совокупность условных символов или сигналов, обозначающих определенные сообщения;

• это множество слов в некотором алфавите, поставленное во взаимооднозначное соответствие другому множеству.

Цель кодирования: представить информацию в более компактной форме для дальнейшей передачи и обработки; приспособить закодированную информацию к обработке на конкретном устройстве.

Условные сигналы, составляющие код, называются кодовыми комбинациями или кодовыми словами.

Число элементов или знаков, образующих кодовую комбинацию называют значимостью кода.

Разновидности кодов.

1. По обнаружению ошибок: не обнаруживающие ошибки, обнаруживающие ошибки, обнаруживающие и исправляющие ошибки.

2. По длине: равномерные (все комбинации имеют равную длину) m – основа кода, n – значимость, N = mⁿ – число комбинаций; неравномерные.

3. По обратимости: обратимые коды (кодовые комбинации различных сообщений различны, любая кодовая комбинация является началом другой); необратимые (кодовые комбинации различных сообщений могут быть одинаковы), этот код требует специальных разделительных знаков, которые ставятся между кодовыми комбинациями для правильного декодирования.

Утверждение: для того, чтобы неравномерный код был обратимым необходимо и достаточно, чтобы всякая последовательность кодовых символов не являлась началом другой.

Код Шеннона-Фано.

Изначально считается, что буквы статистически не связаны между собой. В результате код получается неравномерным и обратимым.

Код строится следующим образом: символы алфавита сообщений выписываются в таблицу в порядке убывания их вероятностей, затем они разделяются на две (для bin кода) группы так, чтобы суммы вероятностей каждой группы были, по возможности, одинаковыми. Всем буквам верхней половины в качестве первого символа присваивается 0, а второй половине – 1. Каждая их полугрупп в свою очередь разбивается на две подгруппы с одинаковыми вероятностями и т. д. Процесс повторяется до тех пор, пока в любой подгруппе не останется по одной букве.

Пример. Закодировать следующий алфавит, состоящий из 5 букв: A = {A₁, ..., A₅} с помощью bin кода, причем вероятности букв следующие:

P(A₁) = 1/4

P(A₂) = 1/4

P(A₃) = 1/4

P(A₄) = 1/8

P(A₅) = 1/8

Ai	P(Ai)
A1	0,25	0	0
A2	0,25		1
A3	0,25	1	0
A4	0,125		1	0
A5	0,125			1

Рассмотрим преимущества кода Шеннона-Фано по сравнению с другими кодами.

	код Ш-Ф	равномерный код
A1	00	000
A2	01	001
A3	100	010
A4	110	011
A5	111	100

Пусть нужно передать 1000 знаков, тогда:

по равномерному коду: V = 3*1000 = 3000,

по Ш-Ф:

	A1	A2	A3	A4	A5
Часть	250	250	250	125	125
Значимость	2	2	2	3	3
∑i	500	500	500	375	375

V = 500 + 500 + 500 + 375 + 375 = 2250.

Для оценки эффективности неравномерного кода применяется не длина отдельных слов, а их средняя длина:

, где

n – общее число сообщений,

l_i – длина кодового обозначения для сообщения A_i,

P(A_i) – вероятность.

По методу Ш-Ф получается, что чем более вероятно сообщение, тем быстрее оно образует самостоятельную группу и тем более коротким кодом оно будет представлено. Это обстоятельство обеспечивает высокую экономичность кода Ш-Ф.

Примечание:

1. Теорема. Для самого экономичного bin равномерного кода в случае n-буквенного алфавита исходных сообщений, длина k кодовых комбинаций должна удовлетворять следующему неравенству:

.

2. Теорема. Среднее число bin элементарных сигналов, приходящееся на одну букву исходного сообщения не может быть меньше энтропии H.

3. При передаче длинных сообщений можно построить более выгодный bin код. Для этого неоьходимо отказаться от побуквенного кодирования, а вместо этого использовать т. н. блоковые коды, в которых кодовые обозначения сопоставляются блокам, состоящим из фиксированного числа последовательности букв. Метод Ш-Ф выгоден при блочном кодировании.