7.5. Информационные характеристики сигналов

В соответствии с базовыми положениями теории информации, выдвинутыми К.Шенноном (применительно к проблемам передачи и приема сигналов), количественной мерой неопределенности значения случайной величины Х может служить энтропия этой величины

, (7.102)

где - одномерная ПРВ случайной величины, зависящая от закона ее распределения.

Количество информации I , полученное в результате измерения случайной величины , определяется как разность энтропий, т.е.

, (7.103)

где - энтропия измеряемой величиныдо измерения; - энтропия измеренного значения величины, т.е. энтропия этой величиныпосле измерения.

Как следует из (7.102) и (7.103) измерительный сигнал (7.1) обладает информацией только в том случае, если он содержит случайную составляющую , или. Поэтому информационные и статистические характеристики сигнала связаны друг с другом.

Единицы энтропии и количества информацииодни и те же, однако, численные значения этих величин зависят от основания логарифма в формуле (7.102). При теоретическом анализе, интегрировании и дифференцировании математических выражений удобно использовать натуральные логарифмы, как это сделано в (7.102). Тогда энтропия и количество информации получаются в так называемыхнатуральных единицах - нитах. При анализе цифровых устройств, работающих в двоичном коде, удобнее пользоватьcя двоичными логарифмами и тогда энтропия и количество информации получаются в двоичных единицах - битах. Наконец, при анализе ИУ, работающих в десятичных кодах, удобнее использовать десятичные логарифмы и, соответственно, десятичные единицы информации и энтропии - диты. Соотношения между этими единицами примерно следующие: 1 дит = 2,3 нит = 3,3 бит; 1 нит = 1,45 бит = 0,43 дит и 1 бит = 0,19 нит = 0,3 дит.

Оценки неопределенностей в виде энтропии измеряемой физической величины до и после ее измерения, входящие в (7.103), могут быть вычислены по формуле (7.102) на основании вероятностного описания соответствующих измерительных ситуаций (т.е. ситуаций, имеющих место до и после измерения) . В этом случае при расчете энтропии результата измерения в формуле (7.102) вместо ПРВследует использоватьусловную плотность распределения вероятностей ), вид которой зависит от закона распределения погрешности результата измерения. Покажем это на конкретном примере [23].

Пусть для измерения величины тока используется прибор со шкалой от до. Если предположить, что измеряемый ток может с равной вероятностью оказаться в любой части этого диапазона, то вероятностное описание ситуациидо измерения изобразится равномерным распределением тока в пределах от до, показанным на рис. 7.17 сплошной линией, т.е.

, если ,

0, если .

Отсюда энтропия измеряемой величиныдо ее измерения равна

.

После проведения измерения получаем отсчет .

Рис. 7.17.

Однако, вследствие погрешности прибора, равной , можно лишь утверждать, что действительное значение измеряемой величины лежит где-то в пределах интервала неопределенности шириной(рис. 7.21), примыкающего к. Поэтому, если прибор обладает погрешностью с равномерным законом распределения, то вероятностная ситуацияпосле измерения описывается также равномерным законом распределения результата измерения с шириной и следующей плотностью распределения вероятностей (на рис. 7.21 ее график показан пунктирной линией)

, если ,

0, если .

Следовательно, энтропия результата измерения равна

.

Она, как и прежде, является логарифмической мерой длины интервала неопределенности, который в первом случае равен , а во втором. Согласно (7.103), количество информации, полученное в результате измерения, равно разности исходной и оставшейся энтропий, т.е.

.

Следовательно, количество информации, полученной в результате измерения, зависит только от числа , которое показывает, сколько интервалов неопределенности длинойукладывается на всем диапазоне измерений, т.е. какоечисло различимых градаций измеряемой величины можно получить с помощью данного прибора. Чем шире диапазон измерений и меньше погрешность прибора, тем больше это число и тем больше получаемое количество информации. Если в результатеповторных измерений и обработки их результатов удается снизить погрешность результата измерений , то такие повторные измерения приведут к увеличению количества получаемой информации. В противном случае повторные измерения дополнительной информациине дают.

П р и м е ч а н и е: очевидно, что при таком (шенноновском) подходе к определению количества информации приходится исключать такие ее аспекты как семантику (т.е. значимость информации для людей) и прагматику (воздействие информации на людей).

Соотношение , где- число различимых градаций, оказывается справедливым прилюбом законе распределения погрешности измерительного прибора, если интервал неопределенности выразить через энтропию результата измеренияв виде [13]

, (7.104)

где - энтропийное значение погрешности результата измерения;- энтропийный коэффициент;- СКО погрешности результата измерения.

Из (7.104) следует, что энтропийное значение погрешности измерения - это такоемаксимальное значение этой погрешности, при котором она, будучи равномерно распределенной в интервале ,оказывает такое же дезинформационное воздействие, какое вносит в результат измерения погрешность, имеющая фактический закон распределения .

В формуле (7.104) в качестве принимается величина, вычисляемая по формуле (7.102), где в качествеиспользуется условная ПРВ погрешности результата измерения. Поэтому результат вычислений зависит только от закона распределения этой погрешности . Дляравномерного закона распределения (т.е.), для симметричного треугольного распределения Симпсона(т.е.), для нормального распределения(т.е.) и т.д.

К.Шеннон доказал, что максимально возможное значение энтропийного коэффициента имеет нормальное распределение. Для других распределений погрешности, встречающихся на практике, энтропийное значение колеблется от(у арксинусоидального распределения) доу нормального распределения [13] . Поэтому при одинаковом СКОпогрешность, имеющая нормальное распределение, вносит более дезинформационное воздействие, чем погрешность, имеющая другие законы распределения.

Контрольные вопросы

1. Поясните смысл понятия «измерительный сигнал».

2. Какой параметр сигнала называется информативным параметром.

3. Поясните структуру и состав элементов математической модели сигнала во временной области.

4. Чем отличаются непрерывный, периодический, импульсный и гармонический сигналы друг от друга?

5. Поясните свойства полигармонического сигнала.

6. Назовите виды характеристик сигнала, поясните их назначение и физический смысл.

7. Напишите условие, при котором два детерминированных сигнала имеют одинаковую форму. Приведите пример таких сигналов.

8. Поясните состав и свойства спектральных характеристик периодического детерминированного сигнала (Приложение 5, задача 7.1). Чем отличаются тригонометрический и комплексный ряды Фурье?

9. Поясните состав и свойства спектральных характеристик непериодического детерминированного сигнала (Приложение 5, задача 7.2).

10. Поясните порядок расчета активной длительности и ширины спектра детерминированного сигнала Приложение 5, (Приложение 5, задача 7.3).

11. Поясните физический смысл корреляционных характеристик детерминированного сигнала (Приложение 5, задача 7.2).

12. Назовите основные статистические характеристики случайного сигнала, не изменяющегося во времени.

13. Сформулируйте свойства плотности распределения вероятностей.

14. Поясните порядок расчета статистических характеристик суммы, произведения и отношения двух случайных сигналов.

15. Перечислите типовые распределения случайных сигналов. Приведите пример расчета статистических характеристик сигнала, имеющего типовое распределение (Приложение 5, задача 7.6).

16. Перечислите статистические характеристики случайного сигнала, изменяющегося во времени.

17. Назовите признаки стационарности и эргодичности случайного сигнала.

18. Напишите формулы Винера – Хинчина.

19. Поясните отличие между частотными характеристиками детерминированного и случайного сигналов.

20. Перечислите информационные характеристики измерительного сигнала.

21. От чего зависит количество информации, получаемое в результате измерения физической величины ?

74