6.1.4. Суммирование нескольких погрешностей

Рассматривая энтропию непрерывных случайных функций можно сказать, что максимальная энтропия при заданной средней мощности (т.е. при данном значении ) имеет шум или погрешность с нормальным распределением. Исходя из этого, для характеристики помех с законом распределения, отличным от нормального, используется энергетически информационное понятие энтропийной мощности. Она определяется как мощность шума с нормальным распределением, имеющим то же самое значение энтропии, что и данный шум с произвольным законом распределения.

Располагая понятиями полной и энтропийной мощности помехи или погрешности, в 15-й теореме формулируется основное соотношение, характерное для случая суммирования ряда случайных погрешностей с различными законами распределения.

Из теории вероятностей известно, что при суммировании нескольких независимых случайных величин с дисперсиями дисперсия их суммы равна сумме дисперсий, т.е.

. (6.1.7)

Однако форма закона распределения при суммировании случайных величин сохраняется лишь для небольшого числа законов распределения (например, нормального, закона Пуассона и некоторых других). В общем же случае при суммировании случайных величин законы их распределения деформируются и закон распределения суммы оказывается отличным от закона распределения слагаемых. Так, например, при суммировании двух погрешностей с равномерными законами распределения закон распределения суммы является трапецеидальным или даже треугольным. А так как энтропия зависит именно от формы закона распределения (в то время как дисперсия суммы равна сумме дисперсий независимо от формы закона распределения), то соотношения между дисперсией и энтропией могут оказаться достаточно разнообразными. Задача о поиске этого соотношения и указания на некоторые его ограничения формулируются в виде 15-й теоремы.

Теорема 15. Пусть средние мощности двух ансамблей равны и , а их энтропийные мощности пусть равны и . Тогда энтропийная мощность суммы ограничена неравенствами + ≥ ≥ + .

Теорема 15 утверждает, что энтро­пийная мощность суммы случайных погрешностей не меньше суммы их энтропийных мощностей и не больше суммы полных мощностей, а, следовательно, не может быть найдена ни путем сум­мирования энтропийных мощностей, ни путем суммирования полных мощностей. Таким образом, 15-я теорема Шеннона является не решением, а лишь постановкой задачи точного суммирования случайных погрешностей.

6.1.5. Явление «краевой эффект». Приближенность информационных оценок каналов передачи информации

Вопрос об учете явления «краевого эффекта» рассматривается при доказательстве 11-й и 17-й теорем. Сущность «краевого эффекта» состоит в следующем. Пусть по каналу передачи информации передается случайная величина X, которая может принимать ряд значений в пределах от X = Х₁ до X = Х₂.

В результате измерения получаем показание прибора, например, в виде точки Х_п. Из-за случайной погрешности прибора этому показанию с теми или иными вероятностями может соответствовать целый ряд действительных значений X. Не учитывая маловероятных случаев, такую ситуацию можно изобразить веером лучей, сходящихся в точке Х_п. Неопределенность, вносимая в результат измерения этим веером, обусловленным случайной погрешностью прибора, и описывается условной энтропией , т.е. энтропией действительных значений X при известном значении Х_п. Но наличие случайной погрешности прибора создает и другое явление. При передаче по каналу крайних значений Х₁ и Х₂ передаваемой величины X полученные показания прибора могут быть и за границами Х₁ и Х₂. Поэтому распределение различных значений Х_п будет шире распределения X.

Точное определение этого «расширенного» распределения и его энтропии пока точно не известно, однако можно установить возможные пределы результата. Считая как вносимую погрешность, так и измеряемую величину X независимыми случайными величинами, для их суммирования между собой можно использовать 15-ю теорему. В любом частном случае результирующий закон распределения может быть найден как свертка заданных законов распределения и , а затем может быть вычислено значение его энтропии и энтропийной мощности.

Вследствие сложности подобного точного решения, теоремы 17, 18, 19, 22 и 23 посвящаются поиску приближенных решений проблемы «краевого эффекта» и дают ряд рекомендаций. В теореме 17 он показывает, что число различимых градаций полученного результата Х_п может быть оценено приближенно не по энтропийной мощности, а по соотношению полных мощностей сигнала Р_х и шума Р_ш. Если считать, что полная ширина разброса значений Х_п (от Х_{п max} до Х_{п min}) пропорциональна , а ширина веера лучей вокруг данного значения X соответственно пропорциональна , то число различимых градаций Х_п равно

, (6.1.8)

где – коэффициент Шеннона. Этот коэффициент должен быть порядка единицы. Если полагать = 1, то количество информации, получаемое при данной мощности сигнала и мощности шума, равно логарифму числа А различимых градаций, т.е.

(6.1.9)

Грубость приближения состоит в том, что оба его члена выражаются не через понятия энтропии и энтропийной мощности, а через полные мощности. Таким образом, приближение заключается в том, что точное выражение заменяется выражением , где не равен , a не равен . Поэтому в теоремах 18, 19, 22 и 23 Шеннон рассматривает ряд дальнейших приближений. В 18-й теореме он показывает, что лучшими приближениями вместо дроби являются соотношения и где – значение энтропийной мощности шума. Теорема 19 рекомендует в знаменателе этой дроби всегда использовать , а в числителе заменять на при  >  . В 22 и 23 теоремах он приходит к заключению, что если под понимать допустимую дисперсию ошибки передачи, то рассматриваемую дробь лучше писать в виде вместо , где – энтропийная мощность сигнала, а – его полная мощность.

Таким образом, от различных приближенных методов учета «краевого эффекта» в виде соотношений: , или , Шеннон приходит к выражению , т.е. вообще к отказу от использования поправки на «краевой эффект», однако с заменой полных мощностей сигнала и шума их энтропийными значениями. Это существенное обстоятельство. Упрощение в виде замены энтропии или энтропийной мощности значением средней мощности или дисперсии равносильно отказу от энтропийного подхода. Это просто возврат к обычным методам теории вероятности и отказ от основного рационального зерна теории информации. Однако пренебрежение «краевым эффектом» при  >>  вполне правомерно и весьма упрощает математические преобразования, и, наоборот, сохранение под знаком логарифма вместо отношения суммы резко усложняет их, так как логарифм суммы не раскрывается, и дальнейшие преобразования становятся затруднительными.