P(x_i)

Канал связи

x_i y_j

V(X)

C = F (структура реального канала;  P_ij)

V(X)  C - , то существует способ кодирования

Особенности эффективного кодирования:

1. Оптимальные (эффективные) коды являются неравномерными.

2. Неравномерные коды Шеннона и Хаффмана являются префиксными кодами, т.е. для различия кодовых комбинаций не требуется специального разделительного знака.

3. При практической реализации эффективных кодов неизбежна задержка в передаче информации. Это связано с тем, что наибольший эффект достигается при кодировании длинными сообщениями, а это, в свою очередь, приводит к необходимости накапливать буквы, поступающие от источника информации.

Самостоятельный пример.

1. Провести оценку избыточности используемых равномерных способов кодирования символьных данных в микро-ЭВМ: (КОН7, КОН8 и др.)

2. Осуществить выбор рациональных методов кодирования символьных данных в микро-ЭВМ, обеспечивающих минимизацию объема внешней памяти микро-ЭВМ.

Для двоичного канала.

1. “С” определяет число двоичных разрядов / с, передаваемых по двоичному каналу:

C=1/_{чувств.}

2. C = max V = max I_сообщ./_сообщ. = max I_сообщ./(_ср.*_сообщ.) = 1/_сообщ. * max {I_сообщ./_ср.}

Для равновероятного закона распределения { x_i }:

1/* log₂n/_ср.

для равномерного кодирования статистическое (неравномерное кодирование)

log2n/]log2n[ log2n/_ср.

а) n2^m , то б) если n=2^k , то 1

log2n/]log2n[1

То есть для случая n2^k и { x_i} – равновероятные, обеспечение VC достигается только за счет кодирования сложных сообщений с использованием статистических способов кодирования.

Таким образом, статистическое кодирование:

а) разбиение на подгруппы с приблизительно равной вероятностью обеспечивает стремление к равновероятному закону (чем больше сообщений[сложные сообщения], тем более точно можно поделить пополам и приблизиться к равновероятности);

б) кодирование верхней группы – одним двойным символом, а нижний – противоположным, обеспечивает статистическую независимость появления «0» и «1»;

в) выполнение ⁰₁или¹₀префиксности полученного неравномерного кода.

При использовании статистического кодирования осуществляется:

А) выравнивание вероятности появления 0 и 1;

Б) статистическая независимость 0 и 1;

x₁= 01p = ½ пример равной вероятности появления

x₂= 10p = ½ 0 и 1 по их статистической зависимости

3. Таким образом:

а) если n = 2^k , то C = 1/ * max log₂n = log₂n/, т.е. C =V для равномерного распределения{x_i} с равномерным кодированием, т.к. при этом появлении 0 и 1 независимы.

б) если n  2^k ,тоC = 1/_дв. *max {I_ср./_ср.} с использованием кодирования сложных сообщений.

ВСТАВКА 2А

Первая теорема (практическое значение)

А) передача информации по каналу связи без помех

Б) хранение информации

*) защита от несанкционированного доступа

Оценка требуемого объема ЗУ. Для сообщений, хранимых в ЗУ, существуют методы кодирования, обеспечивающие сколь угодно близкое приближение количества информации, хранимой в ЗУ, к его физическому объему.

W_min ЗУ I_

Пример 1 (вставка)

Пример 2

Провести оценку объема ЗУ, требуемого для хранения 1 страницы стандартного текстового материала с использованием русского алфавита.

а) Стандартный (используемый) способ [кодыASCI]:

1800 знаков х 1 байт –1800 байт

б) с использованием равномерного кодирования (ПРОМЕЖУТОЧНЫЙ) (32 буквы – 5 знаков);

1800 знаков х 5 дв. разр.= 1125 байт

8 дв. разр.

в) минимально – возможная (принципиально достижимая) величина:

1800 знаков х 2 дв. разр.=450 байт разница в 4 раза

8 дв. разр.