42. Количество информации, передаваемое за определенное время. Скорость передачи информации.

41. Количество передаваемой информации с учетом наличия аддитивной помехи.

Интерес представляет среднее количество информации, принимаемая в единицу времени, т.е. средняя скорость передачи информации по данному каналу. Эта величина

(47)

При независимом аддитивном шуме S(t) и нормальных распределениях “u” и “S” средняя скорость передачи информации

(48)

Информационные характеристики применимы не только к системам передачи информации, но и к измерительным приборам и системам. Погрешность есть  помеха, вносящая дезинформацию. При аддитивной независимой (помехе) погрешности  справедливо соотношение, аналогичное (44):

(49)

где I(U, W) – среднее количество информации получаемое при одном измерении величины u; H_диф(W) и H_диф() – дифференциальные энтропии воспроизводимой величины и погрешности.

Если к тому же измеряемая величина “u” и погрешность  имеют нормальные распределения, то количество информации можно выразить через дисперсии этих величин по аналогии с (45):

(50)

Рассматривая измеряемую величину, как случайную функцию времени, можем определить среднюю скорость получения информации при измерении по формуле (47). Если при этом “u” и  - взаимно независимые величины с нормальными распределениями, то

(51)

Если распределения “u” и  отличны от нормальных, то получить столь простые формулы не удастся. Однако для случая, когда среднеквадратическое отклонение погрешности () много меньше среднеквадратического отклонения (u) измеряемой величины или диапазона измерений, т.е. разности (u_кон-u_нач), можно получить достаточно удовлетворительные приближенные соотношения. При (u)>>() ошибка в подсчете количества информации будет невелика, если в формуле (50) опустить слагаемое, равное 1, т.е. пользоваться выражением

Но это выражение можно также получить, если в формуле (49) заменить дифференциальную энтропию измеряемой величины H_диф(W). Можно полагать, что при сформулированном условии относительной малости погрешности такая замена энтропий в формуле (49) справедлива не только для случая нормальных распределений “г” и . Итак, при относительно малых погрешностях

(52)

44. Количество и скорость передачи информации при равномерном распределении сигнала и нормальном распределении помехи (погрешности).

Предположим, что измеряемая величина “u” имеет равномерный закон распределения в диапазоне от начального u_нач до конечного значения u_кон. Дифференциальная энтропия такой величины

(53)

Если погрешность имеет нормальное распределение, то

(54)

Тогда для равномерного распределения “u” и нормального распределения :

(55)

45. Дифференциальная энтропия равномерно распределенной погрешности. Энтропийная погрешность.

Теперь рассмотрим случайный процесс u(t) с равномерным распределением “u” и равномерным спектром, ограниченным частотой F_max. Если погрешность относительно мала, а закон распределения ее близок к нормальному, то скорость получения информации при измерении можно приближенно оценить по формуле

(56)

Рассмотрим случай, когда погрешность  распределена равномерно в диапазоне от -_max до +_max, т.е.

(57)

При этом

(58)

Существуют понятие энтропийной погрешности. Смысл ее состоит в том, что реальная погрешность заменяется некоторой условной погрешностью с равномерным распределением, причем максимальное значение условной погрешности выбирают так, чтобы величина создаваемой ею дезинформации была такой же, как и при данной реальной погрешности. Это максимальное значение и называется энтропийной погрешностью.

Например, при реальной погрешности с нормальным законом распределения нужно выбрать так, чтобы были равны между собой величины H_диф(), рассчитанные по формулам (54) и (58). Величину выбирают из условия

Отсюда

Следовательно, при нормальном распределении реальны погрешности энтропийная погрешность приблизительно вдвое больше среднеквадратического отклонения.

Применяя информационные критерии к измерительным преобразователям, следует помнить, что у них выходная величина  не должна равняться входной “u”: поэтому нужно вместо  брать величину, пересчитанную от выхода преобразователя к его входу, и определять погрешность в единицах входной величины.