- •Н.Н. Куцый теория информации
- •1. О понятии "информация"
- •2. Этапы обращения информации
- •3. Информационные системы
- •4. Система передачи информации: основные понятия и определения
- •5. Уровни проблем передачи информации
- •6. Теория информации
- •7. Понятия сигнала и его модели
- •8. Формы представления детерминированных сигналов
- •9. Ортогональные представления сигналов
- •10. Временная форма представления сигнала
- •11. Частотная форма представления сигнала. Спектры периодических сигналов
- •12. Распределение энергии в спектре периодического сигнала
- •13. Частотная форма представления сигнала. Спектры непериодических сигналов
- •14. Распределение энергии в спектре непериодического сигнала
- •15.Соотношения между длительностью импульсов и шириной их спектра
- •16.Спектральная плотность мощности детерминированного сигнала
- •17.Функция автокорреляции детерминированного сигнала
- •18.Случайный процесс как модель сигнала
- •19.Стационарные и эргодические процессы
- •20.Спектральное представление случайных сигналов
- •21.Частотное представление стационарных случайных процессов (дискретный спектр)
- •22.Частотное представление стационарных случайных сигналов. Непрерывные спектры
- •23.Основные свойства спектральной плотности
- •24.Преимущества цифровой формы представления сигналов
- •25.Общая постановка задачи дискретизации
- •26.Способы восстановления непрерывного сигнала
- •27.Критерии качества восстановления
- •28.Методы дискретизации посредством выборок
- •29.Равномерная дискретизация. Теорема котельникова
- •30.Теоретические и практические аспекты использования теоремы котельникова
- •31.Дискретизация по критерию наибольшего отклонения
- •32.Адаптивная дискретизация
- •33.Квантование сигнала
- •34.Квантование сигналов при наличии помех
- •35.Геометрическая форма представления сигналов
- •36.Энтропия как мера неопределенности выбора
- •37.Свойства энтропии
- •38.Условная энтропия и её свойства
- •39.Энтропия непрерывного источника информации (дифференциальная энтропия)
- •40.Свойства дифференциальной энтропии
- •41.Количество информации как мера снятой неопределенности
- •42.Эпсилон-энтропия случайной величины
- •43.Информационные характеристики источника сообщений и канала связи. Основные понятия и определения
- •44.Информационные характеристики источника дискретных сообщений
- •45.Информационные характеристики дискретных каналов связи
- •46.Информационные характеристики источника непрерывных сообщений
- •47.Информационные характеристики непрерывных каналов связи
38.Условная энтропия и её свойства
При оценке неопределенности выбора часто необходимо учитывать статистические связи, которые в большинстве случаев имеют место как между состояниями двух или нескольких источников, объединенных в рамках одной системы, так и между состояниями, последовательно выбираемыми одним источником.
Определим энтропию объединения двух статистически связанных ансамблей и . Объединение ансамблей характеризуется матрицей вероятностей всех возможных комбинаций состояний ансамбля и состояний ансамбля :
.
Суммируя столбцы и строки этой матрицы, получим информацию об ансамблях и исходных источников и :
,
.
Вероятности совместной реализации взаимозависимых состояний и можно выразить через условные вероятности или в соответствии с тем, какие состояния принять за причину, а какие- за следствие:
,
где вероятность реализации состояний ансамбля при условии, что реализовалось состояние ансамбля ; вероятность реализации состояния ансамбля при условии, что реализовалось состояние ансамбля . Тогда выражение (37.3), т.е.
для энтропии объединения принимает вид
.
Сумма
представляет собой случайную величину, которая характеризует неопределенность, приходящуюся на одно состояние ансамбля при условии, что реализовалось конкретное состояние из ансамбля .
Назовём её частной условной энтропией ансамбля и обозначим :
.
При усреднении по всем состояниям ансамбля получаем среднюю неопределенность, которая приходится на одно состояние ансамбля при известных состояниях ансамбля :
,
или
.
Величину называют полной условной или просто условной энтропией ансамбля по отношению к ансамблю .
Подставляя (38.6) в (38.3), получаем
.
Выражая в (37.3), т.е.
через другую условную вероятность в соответствии с (38.2), найдём
,
где
и
.
Таким образом, энтропия объединения двух статистически связанных ансамблей и равна безусловной энтропии одного ансамбля плюс условная энтропия другого относительно первого.
Распространяя правило (38.6) на объединение любого числа зависимых ансамблей, получим
.
Покажем теперь, что в объединении ансамблей условная энтропия любого ансамбля всегда меньше или равна безусловной энтропии того же ансамбля.
Для объединения двух ансамблей и данное утверждение принимает вид соотношения
,
.
Из (38.7) и (38.12) следует, что объединение двух произвольных ансамблей удовлетворяет соотношению
.
Для объединения нескольких произвольных ансамблей собственно имеем
.
Действительно, наличие сведения о результатах реализации состояний одного ансамбля никак не может увеличить неопределенность выбора состояния из другого ансамбля. Эта неопределенность может только уменьшиться, если существует взаимосвязь в реализациях состояний из обоих ансамблей.
В случае отсутствия статистической связи в реализациях состояниях из ансамбля и из ансамбля сведения о результатах выбора состояний из одного ансамбля не снижают неопределенности выбора состояний из другого ансамбля, что находит отражение в равенствах
, .
Если имеет место однозначная связь в реализациях состояний из ансамбля и из ансамбля , то условная энтропия любого из ансамблей равна нулю:
, .
Действительно, условные вероятности и в этом случае принимают значения, равные нулю или единице.
Поэтому все слагаемые, которые входят в выражения (38.4) и (38.10) для частных условных энтропий, равны нулю. Тогда в соответствии с (38.5) и (38.9) условные энтропии также равны нулю.
Равенства (38.17) отражают факт отсутствия дополнительной неопределенности при выборе события из второго ансамбля.
Уяснению соотношений между рассмотренными энтропиями источников информации (ансамблей) способствует их графическое отображение (рис. 38.1).
|
|
Рис. 38.1