
- •1. Понятие информации
- •1.1. Предмет, место и роль теории информации и передачи сигналов
- •1.2. Предмет и метод теории информации
- •1.3. Этапы обращения информации
- •1.4. Типовая структурная схема информационной системы. Разновидности информационных систем
- •1.5. Виды информации
- •1.6. Структура информации
- •1.7. Устранение избыточности информации
- •2. Измерение информации
- •2.1. Структурные меры информации
- •2.1.1. Геометрическая мера
- •2.1.2. Комбинаторная мера
- •2.1.3. Аддитивная мера информации
- •2.2. Статистические меры информации
- •2.2.1. Вероятность и информация
- •Двоичные однопредметные явления
- •Двоичные двухпредметные явления
- •Понятие энтропии
- •Энтропия ансамбля
- •Энтропия объединения
- •Количество информации и избыточность
- •2.3. Семантические меры информации
- •2.4. Другие меры полезности информации
- •2.4.1. Энтропия, шум и тезаурус
- •3. Информационные характеристики источника сообщений и канала связи
- •3.1. Основные понятия и определения
- •3.2. Информационные характеристики источника дискретных сообщений
- •3.2.1. Модели источника дискретных сообщений
- •3.2.2. Свойства эргодических последовательностей знаков
- •3.2.3. Избыточность
- •3.2.4. Производительность источника дискретных сообщений
- •3.3. Информационные характеристики дискретных каналов связи
- •3.3.1. Модели дискретных каналов
- •3.3.2. Скорость передачи информации по дискретному каналу
- •3.3.3. Пропускная способность дискретного канала без помех
- •3.3.4. Основная теорема Шеннона о кодировании для дискретного канала без помех
- •3.3.5. Пропускная способность дискретного канала с помехами
- •3.3.6. Основная теорема Шеннона о кодировании для дискретного канала с помехами
- •3.4. Информационные характеристики источника непрерывных сообщений
- •3.5. Информационные характеристики непрерывных каналов связи
- •3.5.1. Модели непрерывных каналов связи
- •3.5.2. Скорость передачи информации по непрерывному каналу
3.3.2. Скорость передачи информации по дискретному каналу
Характеризуя дискретный канал связи, используют два понятия скорости передачи: технической и информационной.
Под технической скоростью передачи Vт, называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.
С учётом возможных различий в длительностях символов скорость VT равна
,
(45)
где ср – среднее значение длительности символа.
При одинаковой продолжительности всех передаваемых символов ср = .
Единицей измерения технической скорости служит бод – скорость, при которой за одну секунду передаётся один символ.
Информационная скорость, или скорость передачи информации, определяется средним количеством информации, которое передаётся по каналу в единицу времени. Она зависит как от характеристик данного канала связи, таких, как объём алфавита используемых символов, техническая скорость их передачи, статистические свойства помех в линии, так и от вероятностей, поступающих на вход символов, и их статистической взаимосвязи.
При
известной скорости манипуляции Vт
скорость передачи информации по каналу
(V,U)
задаётся соотношением
(V,U)
= Vт*I(V,U)
, (46)
где I(V,U) – среднее количество информации, переносимое одним символом.
3.3.3. Пропускная способность дискретного канала без помех
Пропускная способность канала определяется как возможная наибольшая скорость передачи информации по каналу:
.
(47)
Здесь через Vx обозначена предельная скорость передачи по каналу элементарных сигналов. Эту скорость можно выразить через среднюю продолжительность символов х передаваемого сигнала.
Через max{I(V,U)} обозначено максимально возможное значение среднего количества информации, содержащееся в одном символе принятого сигнала. Среднее количество информации, содержащееся в одном символе, зависит от распределения вероятностей между возможными символами, вырабатываемыми источником сигналов, и от характера и уровня шумов.
Скорость Vx определяется только свойствами канала и не зависит от источника сигнала. То же самое можно сказать и о значении max{I(V,U)}, которое не зависит от применяемого источника, так как является максимумом средней информации, которая может быть передана по каналу одним символом при оптимальном источнике.
Таким образом, пропускная способность зависит исключительно от канала.
Перейдём теперь к рассмотрению дискретного канала без помех. В любом реальном канале всегда присутствуют помехи. Однако если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискажёнными. В этом случае среднее количество информации, переносимое одним символом:
I(U,V)=I(V,V)=H(V), (48)
а максимальное значение
max{I(U,V)}=Hm(V), (49)
где Hm(V) – максимальная энтропия источника сигналов, получающаяся при равномерном распределении вероятности символов алфавита источника
p(v1)=p(v2)=…=p(vm)=1/m. (50)
Но максимальная энтропия выражается в единицах информации на символ сигнала как:
Hm(V)=logam. (51)
Следовательно, пропускная способность дискретного канала без помех в единицах информации за единицу времени равна:
C=Vx* logam. (52)