Березкин Основы теории информации и кодирования Лабораторный практикум 2009

Построим для этого случая таблицу вычисления биномиальных коэффициентов (табл. 5.1).

Таблица 5.1

В таблице слагаемые, соответствующие искомым биномиальным коэффициентам, обведены, bk = 32, (k , bk ) → (0101,100000) .

Декодирование производится в обратном порядке; так как k = 5 , ищем в пятом столбце наибольшее число, меньшее или равное 32. Вычисляем разность 32-21=11. В четвертом столбце имеем наибольшее число, меньшее или равное 11, и т.д. Таким же образом декодирование производится при любом n.

51

Пример. Пусть n=100. Дадим оценку ln ,k для различных k

(табл. 5.2).

В условиях полной статистики источника применяют методы кодирования Шеннона-Фано и Хаффмана. Множество известных коммерческих архиваторов в той или иной степени используют идеи, положенные в основу метода оптимального кодирования Хаффмана.

ПОДГОТОВКА К ВЫПОЛНЕНИЮ РАБОТЫ

1.Изучить теоретический материал.

2.Выбрать произвольный n-блок небольшой длины и провести его сжатие с использованием методов КДС, АПК, ИПП и УК.

3.Вычислить основные количественные характеристики и сопоставить их между собой.

4.Продумать последовательность действий для получения семейства кривых

K сж = F ( p) АПК, КДС, ИПП, УК

при фиксированном значении параметра n, используя программную реализацию четырех методов сжатия.

5.Заготовить оси координат для нанесения семейства кривых для двух различных значений n.

6.Отразить подготовку в лабораторном отчете.

52

ПОРЯДОК ВЫПОЛНЕНИЯ РАБОТЫ

1.Используя обучающие и графические средства диалоговой программы, детально разобраться в основных принципах сжатия данных.

2.Проверить правильность результатов кодирования, полученных при домашней подготовке.

3.Исследовать методы сжатия путем построения семейства кри-

вых

K сж = F ( p) АПК, КДС, ИПП, УК

для двух различных, но фиксированных значений параметров n. Параметры n задаются преподавателем.

4.Исследовать чувствительность методов сжатия к расположению единиц в n-блоке при фиксированной частоте появления "1".

5.Результаты отразить в лабораторном отчете.

КОНТРОЛЬНЫЕ ВОПРОСЫ

1.Поясните сущность понятия энтропии.

2.В каких единицах измеряется энтропия?

3.Как определяется энтропия дискретной системы с равновероятными и неравновероятными состояниями?

4.Чему равна энтропия при неравновероятном и взаимозависимом распределении элементов системы?

5.Что понимается под избыточностью сообщений?

6.Что понимается под операцией кодирования?

7.Что является мерой количественной оценки избыточности?

8.Какой метод кодирования наиболее предпочтителен при полностью известной статистике?

9.Как можно оценить длину кодового слова при использовании универсального метода кодирования?

10.Какие методы кодирования, изучаемые в данной работе, чувствительны к расположению единиц в блоке?

11.Какой метод кодирования дает наилучший результат в условиях полностью неизвестной статистики?

12.Как длина исходного блока влияет на Kсж ?

53

Лабораторная работа 6

ИССЛЕДОВАНИЕ ИНФОРМАЦИОННОЙ ПРОПУСКНОЙ СПОСОБНОСТИ ДВОИЧНОГО КАНАЛА

Цель: изучить принципы вычисления информационной пропускной способности двоичного канала и исследовать зависимость ее от характеристик канала.

ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

Для анализа информационных возможностей удобно пользоваться обобщенной информационной моделью канала связи, представленной на рис. 6.1. Если канал используется для передачи кодоимпульсных сигналов, он называется дискретным.

Под каналом связи (или передачи информации) принято понимать совокупность аппаратных средств, предназначенных для передачи сигналов.

Канал связи преобразует последовательность входных событий

управляется условным распределением вероятностей p(yi / xk ) .

Канал, в котором p(yi / xk ) одно и то же для всех последова-

тельных входных и выходных событий, называется стационарным каналом без памяти.

В теории информации доказывается, что информационная пропускная способность дискретного стационарного канала может быть вычислена по формуле:

где H ( X ; Y ) – взаимная энтропия. В свою очередь,

54

H ( X ;Y ) = H (Y ) − H (Y / X ) ,

H (Y ) = −∑ p( yi ) log 2 p( yi ) ,

Рис. 6.1. Структура дискретного канала: ИИ – источник информации; КД – кодер; ДК – декодер; ПИ – потребитель информации

Под пропускной способностью канала понимается максимальное среднее значение информации на символ, которое можно передать по данному каналу. Пропускную способность канала С при передаче можно достичь надлежащим выбором источника информации и способа кодирования, которые в общем случае и опреде-

ляют вероятности p(xk ) посылки сообщений.

Дискретный двоичный канал (ДК) без памяти задается матрицей условных (переходных) вероятностей

55

Матрице соответствует граф переходных вероятностей, приведенный на рис. 6.2.

1− p

Рис. 6.2. Граф-схема ДК

Вычислим пропускную способность ДК. Пусть

p(x1) = z, p(x2 ) =1−z .

Тогда

p( y1 ) = z(1 − p1 ) + (1 − z) p2 = αz + p2 ,

p( y2 ) = zp1 + (1 − z)(1 − p2 ) = (1 − p2 ) − αz,

где α = 1 − p1 − p2 .

H(Y) = −(αz + p2 )log2 (αz + p2 ) −[(1− p2 ) −αz]log2 [(1− p2 ) −αz], H(Y / X ) = −z(1− p1)log2 (1− p1 ) − zp1 log2 p1 −(1− z) p2 log2 p2 −

−(1− z)(1− p2 )log2 (1− p2 ).

Находим экстремум, приравнивая нулю производную,

∂H ( X ;Y ) = 0 .

∂z

После несложных преобразований находим

z0 = 1−αp2 D , D

где D =1+ exp(−B / α);

B = p1 ln p1 + (1− p1 ) ln(1− p1 ) − p2 ln p2 −(1− p2 ) ln(1− p2 ).

56

Итак, информационная пропускная способность канала вычисляется по формуле

C = H ( X ; Y ) z = z 0 .

Дадим физическую интерпретацию переходных вероятностей:

Вероятность того, что при передаче одного канального символа возникает ошибка, будет иметь вид

pош = p ( x1 ) p1 + p ( x2 ) p2 .

Двоичный симметричный канал (ДСК) является частным случаем ДК, когда для переходных вероятностей выполняется условие

p1 = p 2 = p . Пропускная способность ДСК вычисляется по формуле

LY

C = log2 Y +∑pj log2 pj =1+ plog2 p+(1− p) log2 (1− p) .

j=1

Дискретный двоичный симметричный канал со стиранием (ДСКС) без памяти задается матрицей условных вероятностей

Матрице соответствует граф переходных вероятностей, приведенный на рис. 6.3.

Информационная пропускная способность ДСКС, который является каналом симметричным по входу, вычисляется по хорошо известной формуле:

57

=(1−q)[1−log2 (1−q)]+(1− p −q)log2 (1− p −q) + plog2 p .

Дискретный канал называется симметричным по входу, если все строки матрицы переходных вероятностей образованы перестановками элементов первой строки.

Физическая интерпретация переходных вероятностей состоит в следующем:

Из соотношений (6.3) видно, что ДСКС соответствует реализации ДСК с контролем. При известных значениях длины кода N и числе информационных разрядов k можно найти p и q, а следовательно, и пропускную способность канала ДСКС, по которому передается, например, циклический код (N, k).

1− p −q

1− p −q

Рис. 6.3. Граф-схема ДСКС

Для такого канала (с учетом процесса коррекции ошибок) справедливы следующие соотношения:

58

рекции.

Пропускную способность дискретного канала с шумом определяют как максимально возможную скорость передачи информации. Формула (6.1) показывает, что дискретный канал может быть охарактеризован вполне определенной пропускной способностью. На первый взгляд может показаться, что пропускная способность канала принципиально снижается с повышением требований к верности передачи информации. При введении избыточности, например, передачей несколько раз одного и того же сообщения, очевидно, увеличивается помехоустойчивость (уменьшается число ошибок), но одновременно и понижается скорость передачи информации. Иными словами, задаваясь допустимым процентом ошибок, мы тем самым как бы определяем верхний предел скорости.

На самом деле это не так. Основная теорема для дискретного канала, впервые сформулированная Шенноном, утверждает, что если дискретный источник создает сообщения со скоростью H (X )

и если H ( X ) ≤ C , то существует такая система кодирования, что сообщения источника могут быть переданы по каналу с произвольно малой частотой ошибок. Если H (X ) > C , то можно закодировать сообщения таким образом, что потери информации в канале станут меньше, чем H (X ) −C +ε , где ε > 0 сколь угодно мало.

59

Не существует способа кодирования, обеспечивающего потери в канале, меньше чем H (X ) −C .

Теорема не дает конкретного метода построения кода, обеспечивающего передачу со скоростью, равной пропускной способности канала. Однако это не уменьшает фундаментального значения теоремы, которая в области помехоустойчивого кодирования стимулирует поиск новых оптимальных корректирующих кодов и дает оценку их эффективности.

ПОДГОТОВКА К ВЫПОЛНЕНИЮ РАБОТЫ

1.Изучить теоретический материал.

2.Выбрать произвольные условные вероятности p1 , p2 , p, q и

рассчитать информационные пропускные способности ДСК и ДСКС.

3. Продумать последовательность действий при построении поверхности C = F (p1 , p2 ) для ДК и поверхности C = F ( p, q) для

ДСКС, используя инструментальные средства диалоговой программы.

4. Подготовить два "куба", выполненных по единому образцу и представленных на рис. 6.4, в пределах которых будут сосредоточены обе поверхности.

C = F( p1, p2 ) 1 C = F( p,q)

1 p1 p

p2 1 q

Рис. 6.4. Границы существования информационной пропускной способности каналов

60