Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Шпоры по сетям ЭВМ / Ответы на вопросы по сетям 2003г.doc
Скачиваний:
55
Добавлен:
02.05.2014
Размер:
5.57 Mб
Скачать
  1. Энтропия. Пропускная способность многопозиционного канала.

Многопозиционный канал отличается от двоичного тем, что может передавать не два значения (0 или 1), а m значений (0,1,2 ... m-1). Пусть q – вероятность ошибки при передаче сигнала.

Определим пропускную способность ∆I m-позиционного канала, учитывая, что

p(x0)+p(x1)+...+p(xm-1)=1

H(X) = p0·log2 p0 + p1·log2 p1 +...+ pm-1·log2 pm-1

p(Y0/X0)=1-q p(Y1/X0)=q/(m-1) ... p(Ym-1/X0)= q/(m-1)

p(Y0/X1)= q/(m-1) p(Y1/X1)=1-q ... p(Ym-1/X1)= q/(m-1)

... ... ... ...

p(Y0/Xm-1)= q/(m-1) p(Y1/Xm-1)= q/(m-1) ... p(Ym-1/Xm-1)=1-q

H(Y/X0)=H(Y/X1)=...= H(Y/Xm-1)= -[(1-q)·log2(1-q) + (m-1)·(q/(m-1))·log2 (q/(m-1))]

H(Y/X) = p0·H(Y/X0) + p1·H(Y/X1) + ... +pm-1·H(Y/Xm-1) = {пусть p0=p1=...=pm-1=1/m} =

= -[(1-q)·log2(1-q) + (m-1)·(q/(m-1))·log2 (q/(m-1))]

Пропускная способность будет равна ∆I=[H(X)-H(Y/X)]·C, где C – скорость канала.

  1. Статистические коды Шеннона-Фоно, Хаффмана.

Теория кодирования. Основные определения.

Код – это система соответствий между элементами исходного сообщения и сочетаниями сигналов, при помощи которых эти сообщения могут быть зафиксированы и при необходимости быть переданы или использованы для дальнейшей обработки;

  • это совокупность условных символов или сигналов, обозначающих определенные сообщения;

  • это множество слов в некотором алфавите, поставленное во взаимооднозначное соответствие другому множеству.

Цель кодирования: представить информацию в более компактной форме для дальнейшей передачи и обработки; приспособить закодированную информацию к обработке на конкретном устройстве.

Условные сигналы, составляющие код, называются кодовыми комбинациями или кодовыми словами.

Число элементов или знаков, образующих кодовую комбинацию называют значимостью кода.

Разновидности кодов.

  1. По обнаружению ошибок: не обнаруживающие ошибки, обнаруживающие ошибки, обнаруживающие и исправляющие ошибки.

  2. По длине: равномерные (все комбинации имеют равную длину) m – основа кода, n – значимость, N = mn – число комбинаций; неравномерные.

  3. По обратимости: обратимые коды (кодовые комбинации различных сообщений различны, любая кодовая комбинация является началом другой); необратимые (кодовые комбинации различных сообщений могут быть одинаковы), этот код требует специальных разделительных знаков, которые ставятся между кодовыми комбинациями для правильного декодирования.

Утверждение: для того, чтобы неравномерный код был обратимым необходимо и достаточно, чтобы всякая последовательность кодовых символов не являлась началом другой.

Код Шеннона-Фано.

Изначально считается, что буквы статистически не связаны между собой. В результате код получается неравномерным и обратимым.

Код строится следующим образом: символы алфавита сообщений выписываются в таблицу в порядке убывания их вероятностей, затем они разделяются на две (для bin кода) группы так, чтобы суммы вероятностей каждой группы были, по возможности, одинаковыми. Всем буквам верхней половины в качестве первого символа присваивается 0, а второй половине – 1. Каждая их полугрупп в свою очередь разбивается на две подгруппы с одинаковыми вероятностями и т. д. Процесс повторяется до тех пор, пока в любой подгруппе не останется по одной букве.

Пример. Закодировать следующий алфавит, состоящий из 5 букв: A = {A1, ..., A5} с помощью bin кода, причем вероятности букв следующие:

P(A1) = 1/4

P(A2) = 1/4

P(A3) = 1/4

P(A4) = 1/8

P(A5) = 1/8

Ai

P(Ai)

A1

0,25

0

0

A2

0,25

1

A3

0,25

1

0

A4

0,125

1

0

A5

0,125

1

Рассмотрим преимущества кода Шеннона-Фано по сравнению с другими кодами.

код Ш-Ф

равномерный код

A1

00

000

A2

01

001

A3

100

010

A4

110

011

A5

111

100

Пусть нужно передать 1000 знаков, тогда:

по равномерному коду: V = 3*1000 = 3000,

по Ш-Ф:

A1

A2

A3

A4

A5

Часть

250

250

250

125

125

Значимость

2

2

2

3

3

i

500

500

500

375

375

V = 500 + 500 + 500 + 375 + 375 = 2250.

Для оценки эффективности неравномерного кода применяется не длина отдельных слов, а их средняя длина:

, где

n – общее число сообщений,

li – длина кодового обозначения для сообщения Ai,

P(Ai) – вероятность.

По методу Ш-Ф получается, что чем более вероятно сообщение, тем быстрее оно образует самостоятельную группу и тем более коротким кодом оно будет представлено. Это обстоятельство обеспечивает высокую экономичность кода Ш-Ф.

Примечание:

1. Теорема. Для самого экономичного bin равномерного кода в случае n-буквенного алфавита исходных сообщений, длина k кодовых комбинаций должна удовлетворять следующему неравенству:

.

2. Теорема. Среднее число bin элементарных сигналов, приходящееся на одну букву исходного сообщения не может быть меньше энтропии H.

3. При передаче длинных сообщений можно построить более выгодный bin код. Для этого неоьходимо отказаться от побуквенного кодирования, а вместо этого использовать т. н. блоковые коды, в которых кодовые обозначения сопоставляются блокам, состоящим из фиксированного числа последовательности букв. Метод Ш-Ф выгоден при блочном кодировании.

Тут вы можете оставить комментарий к выбранному абзацу или сообщить об ошибке.

Оставленные комментарии видны всем.