4. Скорость передачи и пропускная способность дискретного канала с помехами.

1. Скорость передачи:V(X/Y) = v * I = v * [H(X) – H(X/Y)] =

скорость передачи сообщений ↵ ↳ количество информации на одно сообщение

= 1/ * [ -P(x_i) * log₂P(x_i) +P(x_i,y_j)*log₂P(x_i/y_j) ]

время ↵ i i j

передачи первого сообщения

2.Пропускная способность C:

Согласно определения:

C= V_max = max{1/ * I}= 1/*max{-p(x_i) * log₂p(x_i) +P(x_i,y_j)*log₂P(x_i/y_j)}

i i j

Поиск максимума осуществляется с помощью варьирования значений априорных вероятностей[p(x_i)] припостоянныхзначениях элементов матрицы условных вероятностей, которые являются характеристиками каналов связи, т.е. варьируем статистику источника сообщений.

3. Определим C для бинарного симметричного канала связи.

Анализ выражения

C = 1/ max{-P₀ * log₂P₀ – P₁* log₂P₁} + [p*log₂p + q *log₂q] ,

H(X) H(X/Y)

получим его максимальное значение при условии P₀ = P₁.

При этом:

C = 1/ * [ log₂2 + q* log₂q + p* log₂p]

= 1

пропускная потери С вследствие действия помех в к.с.

способность

к.с. без помех

Вывод: В симметричном бинарном канале связи с помехами максимальная скорость передачи информации (численно равная пропускной способности канала связи) достигается при тех же условиях, что и в канале связи без помех: при равновероятностном законе передаче сообщений в канале связи.

Согласование V и c.

Основным условием, обеспечивающим достоверную, т.е. с любой, наперед заданной точностью , передачу информации по каналу связи с помехами является следующее соотношение:

V_{скор.передачи}  C

Возникает вопрос: как обеспечить V_{скор. передачи} и обеспечить достоверность?

Для дискретного канала с помехами Шенноном доказана следующая теорема (вторая теорема Шеннона): если скорость информации (эффективность и достоверность переданных сообщений) не превышает пропускную способность канала связи, т.е. справедливо равенство

V(X) = C - , где - любая сколь угодно малая величина,

то существует такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, а вероятность ошибочного опознавания будет сколь угодно малой.

Следствием теоремы является утверждение, что не существует метола кодирования, позволяющего вести передачу информации со скоростью выше Cи с малой вероятностью ошибки. Иными словами, еслиV *I  C, то можно подобрать такой код, который позволяет передавать всю информацию с(погрешностью)0. Этот результат является особенно ценным, поскольку из чисто инженернойинтуициион не следует.

Очевидно, что при наличии помех достоверность передачи информации можно повысить, например, путем многократного повторения каждой буквы, что ведет к снижению скорости передачи (если , то и V).

Интуитивно кажется, что для обеспечения нулевой ошибки число повторений должно быть бесконечным, а скорость передачи информацииV 0.

Однако, теорема утверждает, что при можно подобрать такой код, при котором V0 - конечная величина. Таким образом, данная теорема устанавливает соотношения при передаче по каналу с помехами между скоростью сообщений создаваемых источником V, пропускной способностью канала C и достоверностью передачи.

1-я теорема Шеннона – эффективность передачи.

2-я теорема Шеннона – эффективность + достоверность передачи.

Следует отметить, что данная теорема (как теорема для канала без помех) не отвечает на вопрос: каким образом нужно осуществлять кодирование, чтобы приблизить скорость передачи информации к пропускной способности канала связи?

Помехи P_ij