1 Информационные характеристики измерительных систем

1.1 Определение параметров источников цифрового сообщения.

Современные системы телеизмерений обычно используют конечное множество возможных сообщений с различными вероятностями их возникновения. Вероятность появления события тесно связано с количеством информации. В сообщении о событии большой вероятности содержится меньше информации, чем в сообщении с маловероятным событием. Если сообщение несет достоверное событие, т.е. его вероятность равна единице (1), то оно не несет никакой информации и нет смысла передавать его по каналу связи [11].

Неожиданность событий является результатом неопределенности, и чем она больше, тем больше информации содержит сообщение.

Вероятность события является мерой его неожиданности и определяет информационную содержательность события.

Ансамбль возможных сообщений представляется конечной схемой вида А:

А= ;

в котором – знаки ансамбля; – вероятности появления этих знаков в сообщениях.

Ансамбль цифрового сообщения содержит 10 знаков, а ансамбль русской азбуки содержит 33 знака. Из схемы А следует, что вероятность появления знака а₁→ Р(а₁); а₂→ Р(а₂) тогда в знаке а_i будет содержаться информация определяемая выражением:

I(a_i)= log_{2 ;}

Из этого выражения следует, что в ансамбле А разные знаки несут разное количество информации.

Энтропия - это количество информации, содержащаяся в среднем в одном знаке сообщения. Она характеризует меру неопределенности совокупности знаков сообщения, составляющих конечную схему А, содержащую знаки алфавита а_к и вероятности их появления на выходе источника Р(а_к).

Энтропия источника сообщения будет максимальной в том случае, если все знаки сообщения будут равновероятны и независимы

Н max = log ₂ К.

В остальных случаях

Н < lоg₂ К.

Поэтому количество информации, приходящееся на один знак, обычно меньше того количества информации, которое мог бы этот знак нести. При этом информационная нагрузка на знак часто оказывается меньше максимально возможной. Если знаки К – значного источника встречаются на выходе неравновероятно и независимо друг от друга, то энтропия рассчитывается по формуле, представленной в виде табулированной функции

,

для которой значения η[P(a_k)] приведены в Приложении А [10].

Степень недоиспользования информационных возможностей сообщения характеризуется избыточностью, т.е. наличием сообщений большего числа знаков, чем это минимально необходимо для передачи определенного количества информации.

Численно избыточность χ определяется относительной разностью максимально возможной и реальной энтропии:

Коэффициент сжатия ķ определяется отношением реальной энтропии к максимально возможной:

Избыточность изменяется от 0 до 1. Ее численное значение показывает, насколько можно сократить объем сообщения без потери информации за счет более рационального использования знаков источника сообщения. Если, например, χ = 0,2, то это означает, что после устранения избыточности объем сообщения уменьшается на 20 %. Коэффициент сжатия показывает насколько уже сжато сообщение. Количество информации I, содержащейся в цифровом сообщении, определится из выражения

I = H ∙ C,

где H – энтропия источника, бит/знак;

С – общее количество знаков в сообщении.