
- •1. Понятие информации
- •1.1. Предмет, место и роль теории информации и передачи сигналов
- •1.2. Предмет и метод теории информации
- •1.3. Этапы обращения информации
- •1.4. Типовая структурная схема информационной системы. Разновидности информационных систем
- •1.5. Виды информации
- •1.6. Структура информации
- •1.7. Устранение избыточности информации
- •2. Измерение информации
- •2.1. Структурные меры информации
- •2.1.1. Геометрическая мера
- •2.1.2. Комбинаторная мера
- •2.1.3. Аддитивная мера информации
- •2.2. Статистические меры информации
- •2.2.1. Вероятность и информация
- •Двоичные однопредметные явления
- •Двоичные двухпредметные явления
- •Понятие энтропии
- •Энтропия ансамбля
- •Энтропия объединения
- •Количество информации и избыточность
- •2.3. Семантические меры информации
- •2.4. Другие меры полезности информации
- •2.4.1. Энтропия, шум и тезаурус
- •3. Информационные характеристики источника сообщений и канала связи
- •3.1. Основные понятия и определения
- •3.2. Информационные характеристики источника дискретных сообщений
- •3.2.1. Модели источника дискретных сообщений
- •3.2.2. Свойства эргодических последовательностей знаков
- •3.2.3. Избыточность
- •3.2.4. Производительность источника дискретных сообщений
- •3.3. Информационные характеристики дискретных каналов связи
- •3.3.1. Модели дискретных каналов
- •3.3.2. Скорость передачи информации по дискретному каналу
- •3.3.3. Пропускная способность дискретного канала без помех
- •3.3.4. Основная теорема Шеннона о кодировании для дискретного канала без помех
- •3.3.5. Пропускная способность дискретного канала с помехами
- •3.3.6. Основная теорема Шеннона о кодировании для дискретного канала с помехами
- •3.4. Информационные характеристики источника непрерывных сообщений
- •3.5. Информационные характеристики непрерывных каналов связи
- •3.5.1. Модели непрерывных каналов связи
- •3.5.2. Скорость передачи информации по непрерывному каналу
3.5. Информационные характеристики непрерывных каналов связи
3.5.1. Модели непрерывных каналов связи
Каналы, используемые для передачи непрерывных сигналов, принято называть непрерывными. Такие каналы до сих пор находят широкое применение, например, в технике телефонной связи, в радиовещании.
Реальные непрерывные каналы представляют собой сложные инерционные нелинейные объекты, характеристики которых случайным образом изменяются во времени. Для анализа таких каналов разработаны математические модели различных уровней сложности и степени адекватности реальным каналам. Модели, получившие наиболее широкое распространение, – это разновидности гауссова канала.
Под гауссовым каналом понимают математическую модель реального канала, построенную при следующих допущениях:
основные физические параметры канала являются известными детерминированными величинами;
полоса пропускания канала ограничена частотой Fk герц;
в канале действует адаптивный гауссовый белый шум – аддитивная флуктуационная помеха ограниченной мощности с равномерным частотным спектром и нормальным распределением амплитуд.
Предполагается также, что по каналу передаются сигналы с постоянной средней мощностью, статистические связи между сигналами и шумом отсутствуют, ширина спектра сигнала и помехи ограничена полосой пропускания канала.
При рассмотрении информационных характеристик канала (скорости передачи, пропускной способности, коэффициента использования) основное внимание будет уделено гауссову каналу.
3.5.2. Скорость передачи информации по непрерывному каналу
Скорость передачи информации по непрерывному каналу – это количество информации, которое передаётся в среднем принятыми непрерывными сигналами v(t), относительно переданныхu(t) в единицу времени.
Поскольку
полоса пропускания канала всегда
ограничена, непрерывные сообщения на
достаточно продолжительном интервале
времени Тс некоторой погрешностью
могут быть представлены последовательностями
отсчётов. С учётом наличия корреляционных
связей между отсчётами и конечной
верности воспроизведения, обусловленной
воздействием помехи, для средней скоростипередачи
информации дискретизированным сигналом
получаем
, (67)
где I(VU) определяется выражением, аналогичным (63).
По мере увеличения длительности Т эта скорость возрастает, так как при каждом новом отсчёте реализации уточняются. В пределе при ТN-мер-ные распределения становятся бесконечномерными и выражение (67) будет определять скорость передачи информации по непрерывному каналу:
.
(68)
Переход к пределу при Ттакже означает усреднение скорости по всем возможным сигналам.
Степень вредного воздействия помехи с известными статистическими свойствами на различные ансамбли входных сигналов различна. Вследствие этого различны и значения скорости передачи информации.
Пропускная способность непрерывного канала связи. Максимально возможную скорость Сн передачи информации по непрерывному каналу с известными техническими характеристиками называют пропускной способностью непрерывного канала:
,
(69)
где максимум находят по всем возможным ансамблям входных сигналов.
Определим скорость передачи информации по гауссову каналу.
Пусть
по гауссову каналу передаётся непрерывный
сигнал uт(t)
из ансамбля {uт(t)}
со средней мощностьюPu
, равной дисперсии. На выходе канала получим сигналvт(t)
из ансамбля {vт(t)},
искажённый гауссовой помехой(t),
среднюю мощность которой обозначим Р
(Р=
).
Будем считать, что длительность Т сигнала uт(t) достаточно велика, чтобы с приемлемой погрешностью можно было заменитьuт(t) иvт(t) последовательностями отсчётов, взятых через интервалыt=1/(2Fк), гдеFк– полоса пропускания канала.
Выражение для среднего количества информации, передаваемой сигналом vт(t), принимает вид
I(V,U)=H(V)-HU(V), (70)
где H(V)uHU(V) – априорная и апостериорная энтропии случайногоN-мерного вектораV, составляющими которого являются случайные величиныV1,V2,…,VN.
Поскольку помеха в канале аддитивна и статистически не связана с входным сигналом, справедливо равенство
HU(V)= HU(U+)= H(). (71)
Величина HU() представляет собой энтропиюN-мерного случайного вектора, составляющими которого являются случайные величины1,2,…,N.
Учитывая, что значения белого шума в моменты отсчётов будут некоррелированными, запишем:
H()=2Fk*Th(), (72)
где h() – дифференциальная энтропия одного отсчётного значения помехи.
Для
помехи с нормальным распределением и
дисперсией
она составит
. (73)
Будем считать, что отсчётные значения входных функций uт(t) независимы. При воздействии на них независимых значений помехи отсчётные значения выходных сигналовvт(t) также независимы.
Тогда H(V) можно выразить через дифференциальную энтропиюh(V) одного отсчёта выходного сигнала:
H(V)=2Fk*Th(V). (74)
Подставив (73) и (74) в (70), получим:
.
(75)
Соответственно скорость передачи информации по непрерывному каналу связи
.
(76)
Определим теперь пропускную способность гауссова канала.
Найдём ансамбль входных сигналов, при котором обеспечивается максимальное значение h(V) в выражении (76).
Так как выходные сигналы образуются в результате суммирования входных сигналов и помехи, средние мощности которых ограничены, то и средняя мощность выходных сигналов ограничена. Для таких сигналов наибольшее значение h(V) достигается при распределенииVпо нормальному закону. Известно также, что сумма двух нормально распределённых случайных величин имеет такую же функцию распределения с суммарной дисперсией. Отсюда следует, что при нормально распределённой помехевыходной сигналVбудет распределён по нормальному закону лишь при нормально распределённом входном сигналеu.
Наибольшее значение энтропии h(V), а следовательно, и максимальная скорость передачи информации могут быть достигнуты при использовании нормальных центрированных случайных сигналов. Центрированность сигнала при заданной средней мощности соответствует максимальному значению дисперсии.
Они также должны иметь широкий и равномерный энергетический спектр, поскольку только в этом случае можно говорить о независимости отсчётов .
Таким образом, для более полного использования возможностей канала передаваемый сигнал должен обладать свойствами помехи, т.е. должен быть шумоподобным.
Максимальная величина дифференциальной энтропии
.
(77)
Подставляя в (76) и (77), получаем выражение для пропускной способности гауссова канала
.
(78)
Выясним, как зависит пропускная способность гауссова канала от ширины полосы пропускания Fк.
Из выражения (78) следует, что эта зависимость нелинейная, поскольку Fк также влияет на мощность помехи. Учитывая равномерность энергетического спектра белого шума, представим его мощность P через удельную мощность Ро на единицу частоты.
Выражение (49) примет вид
.
(79)
Рост пропускной способности канала при неограниченном расширении его полосы пропускания ограничен пределом См
.
(80)
Обозначив =1/Fк , по правилу Лопиталя определим предел Сн при
Сн=1,443*Рu/Po . (81)
О характере зависимости Сн=f(Fк) можно судить по графику, представленному на рисунке.