- •Н.Н. Куцый теория информации
- •1. О понятии "информация"
- •2. Этапы обращения информации
- •3. Информационные системы
- •4. Система передачи информации: основные понятия и определения
- •5. Уровни проблем передачи информации
- •6. Теория информации
- •7. Понятия сигнала и его модели
- •8. Формы представления детерминированных сигналов
- •9. Ортогональные представления сигналов
- •10. Временная форма представления сигнала
- •11. Частотная форма представления сигнала. Спектры периодических сигналов
- •12. Распределение энергии в спектре периодического сигнала
- •13. Частотная форма представления сигнала. Спектры непериодических сигналов
- •14. Распределение энергии в спектре непериодического сигнала
- •15.Соотношения между длительностью импульсов и шириной их спектра
- •16.Спектральная плотность мощности детерминированного сигнала
- •17.Функция автокорреляции детерминированного сигнала
- •18.Случайный процесс как модель сигнала
- •19.Стационарные и эргодические процессы
- •20.Спектральное представление случайных сигналов
- •21.Частотное представление стационарных случайных процессов (дискретный спектр)
- •22.Частотное представление стационарных случайных сигналов. Непрерывные спектры
- •23.Основные свойства спектральной плотности
- •24.Преимущества цифровой формы представления сигналов
- •25.Общая постановка задачи дискретизации
- •26.Способы восстановления непрерывного сигнала
- •27.Критерии качества восстановления
- •28.Методы дискретизации посредством выборок
- •29.Равномерная дискретизация. Теорема котельникова
- •30.Теоретические и практические аспекты использования теоремы котельникова
- •31.Дискретизация по критерию наибольшего отклонения
- •32.Адаптивная дискретизация
- •33.Квантование сигнала
- •34.Квантование сигналов при наличии помех
- •35.Геометрическая форма представления сигналов
- •36.Энтропия как мера неопределенности выбора
- •37.Свойства энтропии
- •38.Условная энтропия и её свойства
- •39.Энтропия непрерывного источника информации (дифференциальная энтропия)
- •40.Свойства дифференциальной энтропии
- •41.Количество информации как мера снятой неопределенности
- •42.Эпсилон-энтропия случайной величины
- •43.Информационные характеристики источника сообщений и канала связи. Основные понятия и определения
- •44.Информационные характеристики источника дискретных сообщений
- •45.Информационные характеристики дискретных каналов связи
- •46.Информационные характеристики источника непрерывных сообщений
- •47.Информационные характеристики непрерывных каналов связи
47.Информационные характеристики непрерывных каналов связи
Модели непрерывных каналов связи. Каналы, используемые для передачи непрерывных сигналов, принято называть непрерывными. Такие каналы до сих пор находят широкое применение, например, в технике телефонной связи, радиовещании.
Реальные непрерывные каналы представляют собой сложные инерционные нелинейные объекты, характеристики которых случайным образом изменяются во времени. Для анализа таких каналов разработаны математические модели различных уровней сложности и степени адекватности реальным каналам. Модели, получившие наиболее широкое распространение, - это разновидности гауссова канала.
Под гауссовым каналом понимают математическую модель реального канала, построенную при следующих допущениях:
1) основные физические параметры канала являются известными детерминированными величинами;
2) полоса пропускания канала ограничена частотой герц.
3) в канале действует аддитивный гауссовый белый шум – аддитивная флюктуационная помеха ограниченной мощности с равномерным частотным спектром и нормальным распределение амплитуд.
Предполагается также, что по каналу передаются сигналы с постоянной средней мощностью, статистические связи между сигналами и шумом отсутствуют, ширина спектра сигнала и помехи ограничена полосой пропускания канала.
При рассмотрении информационных характеристик канала (скорости передачи, пропускной способности, коэффициента использования) основное внимание будет уделено гауссовому каналу.
Скорость передачи информации по непрерывному каналу. Скорость передачи информации по непрерывному каналу – это количество информации, которое передаётся в среднем принятыми непрерывными сигналами относительно переданных в единицу времени.
Поскольку полоса пропускания канала всегда ограничена, непрерывные сообщения на достаточно продолжительном интервале времени с некоторой погрешностью могут быть представлены последовательностями отсчётов. С учётом наличия корреляционных связей между отсчётами и конечной верности воспроизведения, обусловленной воздействием помехи, для средней скорости передачи информации дискретизированным сигналом получаем
,
где определяется выражением, аналогичным (46.1).
По мере увеличения длительности эта скорость возрастает, так как при каждом новом отсчёте реализации уточняются. В пределе при мерные распределения становятся бесконечномерными и выражение (47.1) будет определять скорость передачи информации по непрерывному каналу:
.
Переход к пределу при также означает усреднение скорости по всем возможным сигналам.
Степень воздействия помехи с известными статистическими свойствами на различные ансамбли входных сигналов различна. Вследствие этого различны и значения скорости передачи информации.
Пропускная способность непрерывного канала связи. Максимально возможную скорость передачи информации по непрерывному каналу с известными техническими характеристиками называют пропускной способностью непрерывного канала:
,
где максимум находят по всем возможным ансамблям входных сигналов.
Определим скорость передачи информации по гауссову каналу.
Пусть по гауссову каналу передаётся непрерывный сигнал из ансамбля со средней мощностью , равной дисперсии . На выходе канала получим сигнал из ансамбля , искаженной гауссовой помехой , среднюю мощность которой обозначим .
Будем считать, что длительность сигнала достаточно велика, чтобы с приемлемой погрешностью можно было заменить и последовательностью отсчётов, взятых через интервалы , где полоса пропускания канала.
В соответствии с (45.5), т.е.
,
выражение для среднего количества информации, передаваемой сигналом , принимает вид
,
где и априорная и апостериорная энтропии мерного случайного вектора , составляющими которого являются случайные величины .
Поскольку помеха в канале аддитивна и статистически не связана с входным сигналом, справедливо равенство
.
Величина в этом выражении представляет собой энтропию мерного случайного вектора помехи , составляющими которого являются случайные величины .
Учитывая, что значения белого шума в моменты отсчётов будут некоррелированными, запишем
,
где дифференциальная энтропия одного отсчётного значения помехи.
Для помехи с нормальным распределением и дисперсией она составит (41.4), т.е.
,
и в конечном итоге
.
Будем считать, что отсчётные значения входных функций независимы. При воздействии на них независимых значений помехи отсчётные значения выходных сигналов также независимы.
1 СЕМИОТИКА (от греческого - знак) – комплекс научных теорий, которые изучают свойства знаковых систем, т.е. систем конкретных или абстрактных объектов (их называют знаками), с каждым из которых определенным образом сопоставлено некоторое значение. Для различных знаковых систем и при различном истолковании это значение может также быть как конкретным физическим объектом, так и абстрактным понятием.
2 Условия Дирихле: на любом конечном интервале функция должна быть непрерывной или иметь конечное число точек разрыва первого рода, а также конечное число экстремальных точек.
В точке разрыва функцию следует считать равной
3
Предел при . Если есть радианная мера угла, то и .