1.3. Определение скорости передачи информации, пропускной способности дискретного канала связи без помех.

Под дискретным каналом передачи информации понимается совокупность технических средств, предназначенных для передачи дискретных сигналов.

На вход такого канала подаются дискретные сообщения , образующие первичный алфавит . Они кодируются с помощью преобразователя и преобразуются в кодированные сигналы . Для кодирования используется некоторый алфавит символов , а принцип кодирования заключается в представлении отдельных сообщений или последовательности сообщений определенными комбинациями символов используемого алфавита. Скорость ввода информации

,

где - средняя энтропия одного сообщения; - средняя длительность сообщения, - техническая скорость передачи.

Под технической скоростью передачи подразумевается число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Единицей измерения технической скорости служит бод - скорость, при которой за одну секунду передается один символ.

Под длительностью сообщения понимается интервал времени, в который появляются сообщения на выходе источника информации. Средняя длительность при отсутствии статистических зависимостей между сообщениями определяется выражением

,

где и - априорная вероятность и длительность -го сообщения; - количество сообщений.

В канале без помех каждому определенному входному сигналу всегда будет соответствовать один и тот же сигнал на выходе канала, иными словами, входные и выходные сигналы связаны однозначной функциональной зависимостью.

В этом случае среднее количество информации, переносимое одним символом, равно энтропии символа на входе канала

дв. ед. /символ.

Скорость передачи информации

дв. ед. /символ,

где - скорость передачи элементарных символов сигнала; - средняя длительность элементарных сигналов.

Для теории и практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу связи. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема:

.

Полагая заданной, получим, что максимальная скорость передачи информации будет обеспечена при максимальном значении энтропии кодированного сигнала:

,

т.е. при равномерном распределении вероятностей и статистической независимости символов алфавита сигналов.

Таким образом, скорость передачи информации может быть максимальной при условии, если статистические характеристики источника сообщений определенным образом согласованы со свойствами информационного канала. Для каждого источника сообщений это согласование может быть достигнуто специальным выбором способа кодирования сигналов.

На вопрос о том, в какой степени скорость передачи информации может быть приближена к пропускной способности информационного канала, отвечает теорема Шеннона для дискретного канала без помех. Теорема формулируется следующим образом: если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала, т.е. если справедливо равенство

,

где - сколь угодно малая величина, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, причем скорость передачи информации будет весьма близка к пропускной способности канала

.

Обратное утверждение теоремы заключается в том, что невозможно обеспечить длительную передачу всех сообщений если поток информации, вырабатываемый источником, превышает пропускную способность канала

.

Расширение объема алфавита символов приводит к повышению пропускной способности канала, однако возрастает и сложность технической реализации.