17.1 Энтропия объединения двух случайно зависимых источников.

Для определения информативности сообщений объединения двух источников, используем совместную вероятность p(x_i,,y_j).

Энтропия объединения двух источников определим суммированием слагаемых вида:

В результате чего получим выражение:

Найдем

Покажем, что первак сумма являет собой энтропию сообщения Х.

И выполнив суммирование по j, с учетом, что

получим результат

Энтропия объединения равняется сумне двух энтропий: безусловной энтропии сообщения H(X) и условной энтропии

Таким образом, условная энтропия характеризует ту дополнительную информацию, которую дают сообщения Y при условии, что известны сообщения Х.

Легко показать, что

1) Если сообщения полностью независимы, то, как следует из рассмотрения свойств условной энтропии,

2) В случае жесткой статистической зависимости

17.2 Восстановительные функции. Требования к ним.

Задачи восстановления дискретных сообщений, во многих случаях похожи с задачами интерполирования функции. В случае восстановления начального сообщения формируется некоторый многочлен x’(t), который называется восстановительным, значения которого совпадают со значениями в точках отсчетов t = kΔt.

Как функции f(t – kΔt), который называют базисными, могут бать использованы такие: ряд Котельникова, ряд Фурье… Восстановление непрерывного сообщения может осуществляться интерполяционным, экстраполяционным либо комбинированным методом. Интерполяционные методы обеспечивают построение восстановительного многочлена в точках ,который лежат между отсчетными точками, в которых определено значение x(kΔt).

Экстраполяционные методы позволяют восстановить сообщения в точках, которые лежат за пределами интервала, который содержит известные значения x(kΔt).

Екстраполяційні методи дозволяють відновити повідомлення в точках, які лежать за межами інтервалу, що містить відомі значення x(kΔt).

Использование интерполяционных методов требует задержки сигнала на время, равное інтервалу интерполяции. В то же время интерполяционные методы требу ют меньшей избыточности отсчетов в сравнении с экстраполяционными при одинаковой точности.

Кмобинированные методы используют лучшие качестве обоих методов.

Главное требование к восстановительной функции – обеспечить допустимую точность восстановления!

Оценку точности восстановления непрерывного сообщения проводять на основе разных критериев.Текущую погрешность восстановления сообщения ε(t) определяют разностью Оценку погрешности можна определить для отдельных реализаций сигнала или усереднить по множеству реализаций.

Критерий найбольшего отклонения на интервале дискретизации t Δt_i.

Этот критерий обычно используют, если известны априорные даные о сигнале (например, его производные).

Среднеквадратический критерий, определяют выражением:

Средний квадрат погрешностии ε² определяют усреднением по множеству реализаций.

Интегральный критерий, как мера отклонения восстановленого сообщения от изначального, имеет вид