3.9.2.Скорость передачи и пропускная способность

Следующим важнейшим понятием является скорость передачи информации. Так называется количество информации, передаваемое в единицу времени. Эта величина определяется по формуле

(49)

где указанные энтропии исчисляются на единицу времени. В дискретном случае единицей времени удобно считать время передачи одного символа, тогда в формуле (49) фигурируют априорная и апостериорная энтропии на один символ. Для непрерывных каналов единицей времени может служить либо обычная единица (например, секунда), либо интервал между отсчетами; тогда в формулу (49) входят соответствующие дифференциальные энтропии. Для более наглядного представления о величине R укажем, что темп обычной речи соответствует скорости порядка 20 бит/с.

Скорость передачи информации по каналу связи зависит от многих факторов — от энергии сигнала, числа символов в алфавите избыточности, полосы частот, способа кодирования и декодирования. Если имеется возможность изменять некоторые из них, то, естественно, следует делать это так, чтобы максимально увеличить скорость. Однако обычно существует предел, выше которого увеличение скорости невозможно. Этот предел называется пропускной способностью канала.

Скорость передачи информации зависит от условий A, в которых функционирует канал связи A, где — множество вариантов условий. Т.к. множество можно определить по-разному, имеет смысл говорить о нескольких типах пропускных способностей. Наиболее важным является случай, когда мощность сигнала (объем алфавита) фиксирована, а варьировать можно только способ кодирования. Именно таким образом пропускную способность определил К. Шэннон. С другой стороны, В.И. Сифоров показал, что целесообразно рассмотреть предел, к которому стремится шэнноновская пропускная способность С при стремлении мощности полезного сигнала к бесконечности. Оказалось, что все каналы связи разбиваются на два класса: каналы первого рода (терминология Сифорова), для которых указанный предел бесконечен, и каналы второго рода, имеющие конечную пропускную способность даже при бесконечной мощности передатчика. Этот предел называют собственной пропускной способностью. При других требованиях, предъявляемых к множеству , мы придем к тем или иным условным пропускным способностям.

Для представления о порядках величин С приведем примеры. Прямыми измерениями установлено, что пропускные способности зрительного, слухового и тактильного каналов связи человека имеют порядок 50 бит/с (вопреки распространенному мнению о сильном отличии зрительного канала). Возможно, ограничивающим фактором являются не сами рецепторы, а нервные волокна, передающие возбуждения. Если включить в канал и "исполнительные" органы человека (например, предложить ему нажимать педаль или кнопку в темпе получения сигналов), то пропускная способность близка к 10 бит/с. Интересно отметить, что многие бытовые технические устройства слабо согласованы с органами чувств человека. Например, канал телевидения имеет пропускную способность в десятки миллионов бит/с.

3.9.3.Кодирование в отсутствии шумов

С помощью введенных понятий можно рассмотреть многие информационные процессы. Начнем с дискретных систем без шумов. Здесь главное внимание привлекает проблема эффективности: важно, чтобы данная информация заняла в запоминающем устройстве как можно меньше ячеек, при передаче желательно занимать канал связи на максимально короткий срок. В такой постановке задачи легко распознается проблема устранения всякой избыточности. Однако эта проблема не тривиальна.

В теории информации доказываются теоремы об условиях достижимости этих требований. Мы не будем приводить эти теоремы; укажем лишь, что речь идет не только о принципиальной возможности, но и о разработанных процедурах построения кодов, обеспечивающих безизбыточное кодирование (либо в случае невозможности этого — сколь угодно близкое к нему).