7

Передача, хранение информации по каналу без помех.

1. Часто на практике уровень помех, действующих в к.с., достаточно мал, или конструктивные методы защиты от помех «достаточно высоки», что позволяет не учитывать в реальной работе системы передачи данных возможного искажения сообщения при передаче его по каналу связи.

2. Рассмотрим основные характеристики систем передачи данных по каналу связи без ошибок: V(x) и C.

3. V(X).Среднее количество информации, передаваемое по каналу в единицу времени, называется скоростью передачи информации: V(x).

V(x) = lim(I(x)/T)

^T

4. Пропускная способность к.с. является важнейшей характеристикой к.с. и формально определяется как максимально возможная скорость передачи информации:

C = {V(x)}_max

5. Одним из важнейших вопросов проектирования системы передачи данных является согласование V и C:

а) Для эффективного использования канала связи необходимо принять меры

к V(x) C;

б) Вместе с тем, для передачи всей информации по каналу связи (отсутствие режима «захлебывания» канала связи): V(x) < C.

6. Впервые эти вопросы были исследованы К. Шенноном, который показал, что основным условием динамического согласования источника сообщений и информационного канала является соотношение:

V(x)  C

Рассмотрим это соотношение на примере дискретного канала без помех.

Постановка задачи: а) как определить (оценить) V(x) и C?

б) практический вопрос: VC. Как?

1. Дискретный источник информации создает сообщение из X={X₁, X₂, … X_n} – символов первичного алфавита, которые подаются на вход канала. В любом реальном канале всегда присутствуют помехи. Однако, если уровень помех так мал, что вероятность искажения приблизительно равно нулю, то можно считать, что: символы передаются без искажений.

а) При этом среднее количество информации, переносимое одним символом:

I(x) = H(x),

а максимальное значение среднего количества информации на символ H_max(Х), получается в случае:

P₁ = P₂ = … = P_n = ½,

при этом, H_max(X) = log₂n

б) скорость информации будет определяться:

V(X) = 1/ *H(X),

где  - длительность передачи символа;

H(X) – количество информации переносимое одним символом.

V –скорость передачи сообщения = сообщ./с

в) по соотношению: V(x)  C

V(x) = C – для случая, когда V(X) = V_max (X),

т.е. C = max{1/ * H(X)}= 1/ *max[H(X)] = 1/ * log₂n, где 1/ - чистая характеристика канала.

Таким образом, максимальная скорость передачи информации по каналу, равная в пределе С, обеспечивается при равномерном распределении статистической независимости символов алфавита сигналов.

Необходимо различать C и V(X).

а) С – зависит только от характеристик канала;

V(X) – от H(X) – статистического распределения источника сообщений;

• ограничена сверху С.

б) по размерности

V(X) – для двоичного канала измеряется в бит/сек.

С – количество двоичных разрядов (двоичных единиц), проходящих в единицу времени по каналу.С= дв.ед./сек.

в) V(x)  C , т.е. в пределе один двоичный знак может нести информацию не более 1 бита (т.е. двоичный разряд не может содержать более 1 бита информации).

0  I дв. Разр.  1 бита

Первая теорема (практическое значение)ВСТАВКА 2А

А) передача информации по каналу связи без помех

Б) хранение информации

*) защита от несанкционированного доступа

Оценка требуемого объема ЗУ. Для сообщений, хранимых в ЗУ, существуют методы кодирования, обеспечивающие сколь угодно близкое приближение количества информации, хранимой в ЗУ, к его физическому объему.

W_min ЗУ I_

Пример 1.

Источник вырабатывает сообщения с вероятностью: P₁, P₂, P₃, P₄ и подключен к синхронному двоичному каналу с пропускной способностью C = 1000 дв.ед./с. Определить скорость передачи для случаев:

А) P₁ = ½ B) P₁ = ¼

P₂ = ¼ P₂ = ¼

P₃ = ⅛ P₃ = ¼

P₄ = ⅛ P₄ = ¼

1. Пропускная способность, не зависящая от априорной вероятности C = 1 000 000 дв.ед./с

 = 2 дв.ед./букв. V = C/ = 500 000 дв.ед./с

2. Скорость для случая А:

4 -2 -1 -3 _{2 4}

а) I(X) = -  P_i *log₂P_i = ¼ *log₂¼ +½ *log₂½ + ²/₈ *log₂⅛ = ²/₄ + ½ + ⁶/₈ = (4+4+6)/8 = 14/8 =

i

= 1,75 дв.ед./сообщ.

б) V = V *I(X) = 1/ *I(X) = 500 000 сообщ./с * 1,75 дв.ед./сообщ. = 875 000 дв.ед./с

Скорость для случая В (равновероятное распределение):

4

а) I(X) = -  P_i *log₂P_i = 4* ¼ *log₂¼ = 2 дв.ед./сообщ.

i

б) V = V *I(X) = 1/ *I(X) = 500 000 сообщ./с * 2 дв.ед./сообщ. = 1 000 000 дв.ед./с

Пример 2

Провести оценку объема ЗУ, требуемого для хранения 1 страницы стандартного текстового материала с использованием русского алфавита.

а) Стандартный (используемый) способ [кодыASCI]:

1800 знаков х 1 байт – 1800 байт

б) с использованием равномерного кодирования (ПРОМЕЖУТОЧНЫЙ) (32 буквы – 5 знаков);

1800 знаков х 5 дв. разр.= 1125 байт

8 дв. разр.

в) минимально возможная (принципиально достижимая) величина:

1800 знаков х 2 дв. разр.=450 байт разница в 4 раза между а) и в)

8 дв. разр.

Для каждого источника сообщений соотношение V(X)  C может быть достигнуто специальным выбором способа кодирования сигналов (сообщений).

О степени приближения скорости передачи информации V(X) к пропускной способности канала утверждает теорема Шеннона для дискретного канала без помех.

Первая теорема Шеннона (об эффективности передачи информации по каналу связи)

Пусть источник сообщений характеризуется средним количеством информации I [бит/сообщ.], а канал связи имеет пропускную способность С дв.ед./с. Тогда можно закодировать сообщение на выходе источника таким образом, чтобы передавать сообщения по каналу со средней скоростью V(X) = C -  бит/сек, где   сколь угодно малая величина. V(X) – практический параметр. Передавать сообщение со средней скоростью V(X)  C/I – невозможно.

Иными словами: всегда можно построить такую систему передачи (с помощью специального кодирования), при которой среднее количество двоичных единиц на букву приближается к среднему количеству информации как угодно близко.

Первая теорема Шеннона утверждает, что существует системное кодирование, обеспечивающее V(X)  C, однако не указывает конкретную процедуру кодирования.

Вместе с тем,

а) V(X)  C осуществляется для I(X) = max,

б) что, в свою очередь, обеспечивается при равномерном распределении передаваемых символов сообщения.

Подобные процедуры кодирования, обеспечивающие V(X)  C, называются эффективными (оптимальными) и, впервые, были предложены Шенноном, Фано, Хаффменом.

Статистическое эффективное кодирование. (Использование при передаче и хранении).

Кодирование, учитывающее статистические особенности источника сообщений называется статистическим (эффективным) кодированием.

В настоящее время разработано большое количество различных способов оптимального статистического кодирования. Все они должны обеспечивать решение двух основных задач:

1. при заданной статистике сообщений {P_i}формировать кодовые комбинации, допускающие V(X)  C

2. возможность однозначного декодирования сигналов на приемной стороне

Для двоичного канала с отсутствием статистических связей между символами этим требованиям удовлетворяет код Шеннона-Фано.

Известно, что V  C выполняется при равной вероятности появления различных сообщений.

В соответствии с этим, построение кода выполняется по следующей последовательности:

А) все буквы алфавита выписывают столбцом в порядке убывания вероятности;

Б) столбец последовательно делят на группы с приблизительно равной суммарной вероятностью.

При этом:

• верхней половине  «0»;

• нижней половине  «1»;

В качестве примера рассмотрим алфавит сообщений из 8 букв (для С = 3000 дв.ед./с)

	Pi	Эффективное кодирование								Равномерное кодирование
		1	2	3	4	5	6	7	8		1	2	3
Z1	½	0									0	0	0
Z2	¼	1	0								0	0	1
Z3	⅛	1	1	0							0	1	0
Z4	1⁄₁₆	1	1	1	0						0	1	1
Z5	1⁄₃₂	1	1	1	1	0					1	0	0
Z6	1⁄₆₄	1	1	1	1	1	0				1	0	1
Z7	1⁄₁₂₈	1	1	1	1	1	1	0			1	1	0
Z8	1⁄₁₂₈	1	1	1	1	1	1	1			1	1	1