- •Н.Н. Куцый теория информации
- •1. О понятии "информация"
- •2. Этапы обращения информации
- •3. Информационные системы
- •4. Система передачи информации: основные понятия и определения
- •5. Уровни проблем передачи информации
- •6. Теория информации
- •7. Понятия сигнала и его модели
- •8. Формы представления детерминированных сигналов
- •9. Ортогональные представления сигналов
- •10. Временная форма представления сигнала
- •11. Частотная форма представления сигнала. Спектры периодических сигналов
- •12. Распределение энергии в спектре периодического сигнала
- •13. Частотная форма представления сигнала. Спектры непериодических сигналов
- •14. Распределение энергии в спектре непериодического сигнала
- •15.Соотношения между длительностью импульсов и шириной их спектра
- •16.Спектральная плотность мощности детерминированного сигнала
- •17.Функция автокорреляции детерминированного сигнала
- •18.Случайный процесс как модель сигнала
- •19.Стационарные и эргодические процессы
- •20.Спектральное представление случайных сигналов
- •21.Частотное представление стационарных случайных процессов (дискретный спектр)
- •22.Частотное представление стационарных случайных сигналов. Непрерывные спектры
- •23.Основные свойства спектральной плотности
- •24.Преимущества цифровой формы представления сигналов
- •25.Общая постановка задачи дискретизации
- •26.Способы восстановления непрерывного сигнала
- •27.Критерии качества восстановления
- •28.Методы дискретизации посредством выборок
- •29.Равномерная дискретизация. Теорема котельникова
- •30.Теоретические и практические аспекты использования теоремы котельникова
- •31.Дискретизация по критерию наибольшего отклонения
- •32.Адаптивная дискретизация
- •33.Квантование сигнала
- •34.Квантование сигналов при наличии помех
- •35.Геометрическая форма представления сигналов
- •36.Энтропия как мера неопределенности выбора
- •37.Свойства энтропии
- •38.Условная энтропия и её свойства
- •39.Энтропия непрерывного источника информации (дифференциальная энтропия)
- •40.Свойства дифференциальной энтропии
- •41.Количество информации как мера снятой неопределенности
- •42.Эпсилон-энтропия случайной величины
- •43.Информационные характеристики источника сообщений и канала связи. Основные понятия и определения
- •44.Информационные характеристики источника дискретных сообщений
- •45.Информационные характеристики дискретных каналов связи
- •46.Информационные характеристики источника непрерывных сообщений
- •47.Информационные характеристики непрерывных каналов связи
40.Свойства дифференциальной энтропии
1.Дифференциальная энтропия в отличие от энтропии дискретного источника является относительной мерой неопределенности. Её значение зависит от масштаба случайной величины , например в раз, оставив неизменным масштаб равномерной распределенной в единичном интервале случайной величины , принятой за эталон. Если , то .
Тогда
.
Если одновременно изменить масштаб величины , то относительная неопределенность также изменится, так как значение эталона будет уже иным.
2.Дифференциальная энтропия не зависит от конкретных значений случайной величины и, в частности, не изменения всех её значений на постоянное. Действительно, масштаб при этом не меняется и справедливо равенство
.
3.Какие же непрерывные распределения обладают максимальной дифференциальной энтропией?
а. Если единственным ограничением для случайной величины является область её возможных значений , то максимальной дифференциальной энтропией обладает равномерное распределение вероятностей в этой области.
При доказательстве решается задача определения плотности распределения , обеспечивающей максимальное значение функционала
при ограничении
.
Используя, например, метод неопределенных множителей Лагранжа, получим
, .
Нетрудно убедиться в том, что найденная функция обеспечивает максимум функционала , причём
.
б. Если ограничения на область значений непрерывной случайной величины отсутствуют, но известно, что дисперсия её ограничена, то максимальной дифференциальной энтропией обладает нормальное распределение величины .
При доказательстве решается задача определения функции , которая обеспечивает максимальное значение функционала
при ограничениях
и
,
где среднеквадратическое отклонение от математического ожидания (заданное ограничение).
Искомую плотность распределения находят, например, методом неопределенных множителей Лагранжа.
Она называется гауссовской:
.
Вычислив функционал (40.6) для этого распределения, получим значение максимальной дифференциальной энтропии
Поскольку в информационных системах сигнал, который описывается случайной величиной , часто представляет собой электрическое напряжение (или ток), дисперсия пропорциональна средней мощности сигнала. Тогда в соответствии с (40.7) можно утверждать, что при заданной мощности наибольшей средней неопределенностью выбора будет обладать источник, который генерирует сигналы, амплитуды которых распределены по нормальному закону.
4. Соотношения для дифференциальной энтропии объединения статистически зависимых непрерывных источников аналогичны соответствующим формулам для дискретных источников:
,
где
.
Справедливость соотношения (40.9) легко проверить подстановкой (39.2), заданного для и выражения (39.4) – для .
Так как
и ,
то
,
причём равенство имеет место только в случае отсутствия статистической связи между и .