Теорема Шеннона для дискретного канала без шума

1. Прямое утверждение:

если скорость создания информации источником дискретных сообщений равна:

, где

С– пропускная способность дискретного канала без шума;

- сколь угодно малая положительная величина;

то существует такой способ кодирования, при котором все вырабатываемые источником сообщения будут переданы. При этом скорость передачи информации будет равна:

.

2. Обратное утверждение:

если скорость создания информации источником дискретных сообщений без шума

, то такого способа кодирования не существует. Другими словами, обеспечить скорость передачи выше пропускной способности невозможно.

Статистическое (эффективное) кодирование

Под статистическим кодированием понимают такое кодирование, которое позволяет приблизить скорость передачи информации к пропускной способности канала.

Метод кодирования Шеннона- Фано

При этом методе кодирования сообщение выписывается:

Последовательно делят сообщение на группы таким образом, чтобы сумма вероятностей была одинакова.

Iгруппу колируем «0»

IIгруппу кодируем «1»

Слева направо записываем 0 и 1 в зависимости от того, куда попало сообщение.

Скорость передачи:

- пропускная способность канала

Пропускная способность дискретного канала с шумом

Шум

Х Y

……

…..

Если шум в канале связи является стационарным и носит органический характер, то пропускная способность определяется:

(1)

(2) , где

- скорость создания информации на входе канала связи

Рассмотрим (1):

- средняя длительность передачи 1 сигнала на выходе канала

H(y) – энтропия выхода канала связи

Условная скорость создания информации:

, где

- условная энтропия канала связи

Для дискретного симметричного двоичного канала без памяти выражение для пропускной способности канала определяется из формулы:

(3)

0 0

11

линии () и () - ошибочные передачи

- вероятность пропуска

линия () – правильная передача

- вероятность ложной тревоги

График пропускной способности для канала с шумом:

Основная теорема Шеннона для дискретного канала с шумом

1. Прямое утверждение:

если скорость создания информации источником , гдеС– пропускная способность дискретного канала с шумом, а- сколь угодно малая положительная величина, то существует такой способ кодирования, при котором все сообщения будут переданы. При этом вероятность ошибочной передачи любого символа будет величиной сколь угодно малой:, где- сколь угодно малая положительная величина.

2. Обратное утверждение:

если , то такого способа кодирования не существует.

Пропускная способность непрерывного канала с шумом

Шум

x(t) y(t)

……

…..

если шум в канале связи является «белым», то пропускная способность для этого канала определяется по следующей формуле:

, где

F– полоса частот, в которой работает канал;

- средняя мощность сигнала;

- средняя мощность шума.

Основные методы повышения помехоустойчивости передачи данных

XY

Существует три основных метода повышения помехоустойчивости передачи данных:

1. методы оптимального приема сигналов;

2. методы помехоустойчивого кодирования;

3. методы, основанные на использовании обратной связи между приемником и передатчиком.

ИС – источник сообщения;

ПК – прямой канал;

ОК – обратный канал;

ПС – получатель сообщения;

1. ИОС – информационная обратная связь;

2. РОС – решающая обратная связь.

Преобразование информации.

Цели и виды преобразования информации.

Основными видами преобразования информации являются:

1. Обеспечение интерфейса, необходимого для реализации информационного взаимодействия различных функциональных элементов информационных систем (например, согласование источника информации с характеристиками канала связи).

2. Извлечение полезной информации , содержащейся в сигнале.

3. Устранение исходя из требований по качеству измененных данных, содержащихся в сигнале (редукция). Обеспечение специальных свойств, позволяющих повысить скорость передачи, помехоустойчивость, секретность (конфиденциальность).