Кодирование не равновероятностных сообщений.

Это задача решается с помощью не равновероятных кодов. Средняя длина кодовой комбинации установиться минимальной тогда, когда каждый сигнал передатчика будет передавать максимальное возможное количество информации. Средняя длина кодовой комбинации должна быть равна энтропии.

Kф = H(Q)

Существует несколько неравномерных кодов.

Самый распрастроненный коды Шенона – Фано. И процедура Хафмана.

X1	0,25
X2	025
X3	0,125
X4	0,125
X5	0,625
X6	0,0625
X7	0,125

Расположить все вероятности в порядке убывания

Процедура предложена Фано.

00	0,25	0	0
01	0,25	0	1
100	0,125	1	0	0
101	0,125	1	0	1
1110	0,125	1	1	0
1111	0,625	1	1	1	0
1100	0,0625	1	1	1	1

Х1	0.30	0	0
Х2	0.25	0	1
Х3	0.25	1	0
Х4	0.10	1	1

Основной недостаток – невозможно разбить на 2 равновероятные подгруппы.

Шенон предложил другую процедуру

		Двоичная форма	Оценка вероятностей	Сумма предыдущих сообщений	код
Х1	0.5625	0.1001	1	0	000
Х2	0.1875	0.0011	001	1	100
Х3	0.1875	1.0011	001	101	101
Х4	0.0625	1.0001	0001	110	110

Процедура шеннона

1. Сообщения располагаются в порядке убывания вероятности

2. Вероятности каждого сообщения записываются в двоичном виде.

3. Оставляется старшая 1, и предшествующие нули до запятой. Остальное отбрасывается. Полученное число – оценка.

4. Записывают кодовую комбинацию – сумма оценок предыдущих сообщений. Если разрядность меньше разрядности оценки, то она дополняется нулями. Последняя кодовая комбинация нулями не дополняется.

Процедура Хафмана.

Х1	0.25	0.25		0.25	0.27	0.30	0.43	0.53	1	0.30
Х2	0.05	0.18		0.18	0.25	0.27	0.27	0.43		0.27
0.1	0.1	0.15		0.15	0.18	0.25	0.25			0.25
0.12	0.12	0.15		0.15	0.15	0.18				0.18
0.18	0.18	0.12		0.15	0.15
0.15	0.15	0.10	0.15	0.12
0.15	0.15	0.05	0.15

Разворачиваем дерево. Вправо пишем 1.

1

0.53

0 1

0.27 0.25

0 1

Это коды называются эффективные, экономные, оптимальные. Так же они префиксные.

Свойство префиксности – не одна комбинация не совпадает с началом более длинной комбинации.

С их помощью можно передать наибольшее количество информации. Наибольшая эффективность при кодировании длинными блоками.

Главный недостаток – могут применяться только при отсутствии помех.

Второй – сложность технической реализации.

Третий – не учитывается корреляционные связи между знаками.

Необходимо рассмотреть вопрос согласования источника и канала связи.

Основная задача – определить условия согласования источника сообщения и канала связи. Согласование должно быть по информационным характеристикам. Канал связи рассматривается.

Линия связи – это физическая среда, по которой распространяется сигнал. Линии связи бывают проводные, кабельные, оптоволоконные, и радиоканалы наземной и спутниковой связи.

Кабели – воздушные – витая пара.

По одной линии связи можно организовать несколько каналов передачи данных. Канал связи это совокупность технических устройств, обеспечивающих независимую передачу сигналов от одного пункта к другому. Канал связи характеризуется своим объемом (емкостью).

Vк = Tк*Нк*Fк. – емкость канала.

Tк – время действия канала. Существует только на сеанс связи.

Нк – динамический диапазон уровней. Характеризует превышение сигнала над помехой. (Pmax/Pnorm) (максимальный к допустимому уровню помех). Или как log(Pmax/Pmin) (допустимая нагрузка на канал/чувствительность аппаратуры)

Fк. – полоса пропускания канала.

Vc

Vc<=Vк

Скорость передачи информации.

Для дискретного канала. Различают техническую и информационную скорость.

Техническая скорость передачи.

Vt = 1/τ0 – скорость манипуляции (техническая) число элементарных сигналов (единичных элементов), передаваемых по каналу связи в единицу времени. τ0 – длительность единичного элемента. Единица измерения – Бот. 1бот – скорость передачи при 1 секунде – 1 элемент.

Информационная скорость - среднее количество информации, передаваемая по каналу связи в единицу времени

Vк = vт * J(x,y) где J(x,y) – среднее количество информации, переносимое единичным элементом. Информационная скорость зависит как от характеристик данного канала (объема алфавита, технической скорости, уровень помех, статистические свойства), так и от статистических свойств входных сообщений и его избыточности.

Пропускная способность – максимально возможная скорость передачи информации по каналу связи. Для дискретного канала без помех:

C =Vт* max(x,y) = Vt* log N

Условия согласования – производительность источника не должна превышать пропускную способность канала.

Пропускная способность – паспортная характеристика для сети, и характеризуется как среднюю (бит/сек) для сети (пакет в сек), мгновенную и максимальную.

Средняя пропускная способность – общий объем переданных данных / время передачи.

Мгновенная – определяется за оч короткий промежуток времени. (10мс, 1сек)

Максимальная – наибольшая мгновенная пропускная способность, зафиксированная за время наблюдения. Для сети определяют общую пропускную способность составного пути сети. Она равна минимальной из пропускных способностей элементов маршрута.

Основной информационной характеристикой канала связи является пропускная способность. В общем виде она оценивается:

С =Vt*max{J(X,Y)}

Дискретный канал из помех.

Дискретный канал с помехами.

Непрерывный канал с помехами.

max{J(X,Y)} = max{J(Y,X)} – максимально возможное среднее количество информации, содержащееся в одном символе принятого сигнала.

Важнейшим результатом теории информации является доказательство возможности передачи информации по данному каналу со скоростью, близкой к пропускной способности при сколь угодно высокой верности.

Функционал max{J(X,Y)} не зависит от источника, а зависит только от распределения вероятности между символами, вырабатываемыми источниками, и от уровня шумов.

Техническая скорость Vt не зависит от источника, и зависит отлько от канала. При передаче информации двоичными сигналами полоса пропускания зависит от частоты манипуляции.

Частота манипуляции равна частоте гармоники спектра сигнала, представляющая собой периодическую последовательность 0 и 1. Минимальная полоса пропускания C=2Fm – критерий найклиста.

C = Vt*log(m) = log(m)/τ

max{J(X,Y)} = H(X) – максимальна, если все символы, вырабатываемые источником, равновероятны.

Если символы не равновероятные, то скорость передачи информации Vk, то скорость меньше c, но будет приближаться к ней по мере удлинения сообщения за счет уменьшения взаимозависимости символа и выравнивания вероятностей их появления.

С = Log(m)/v

Пропускная способноть Применимо к звеньям и к сети в целом, и к отдельным ее сведеньям.

Существенным язвляется то, что С1 какого либо звена не должно превышать С2 второго звена, если оно расположено внутри первого звена.

Теорема Шенона. Если производительность источника не превышает пропускную способность на сколь угодно малую величину, то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника. Причем скорость передачи будет близка к пропускной способности.

Обратное утверждение не верно (невозможно обеспечить длительную передачу всех сообщений при этих условиях).

Теорема Шенона утвержадет, что при выполнеии условий скорость перечади будет близка к пропускной способности.

Причем, пропускная способность характеризует не только предельную скорость передчи информации, достижимую при безизбыточном входном сообщении, но и верхнюю границу скорости, принципиально достижимую при любых характеристиках.

Для рационального использования пропускной спосбоности необходимо применять соответствующие способы кодирования сообщения.

Кодированием называется отображения состояния одной физической системы с помощью состаня некоторой другой системы.

Важность теоремы шеннона - отвечает на вопрос является ли код оптимальным, и определяет предельно возможную экономность кода.

Эффективным (оптимальным) являет кодирование, при котором достигается наилучшее использование пропускной способности канала.

Задача эффективного кодирования состоит в том, что б преобразовать последовательность элементов сообщения с некоторой избыточностью в последовательность кодовых символов, не имеющую избыточность, или обладающего меньшей избыточностью. При эффективном кодировании устраняется избыточность, обусловленная не одинаковыми вероятностями элементов сообщения и статистическими связями между ними.