книги из ГПНТБ / Кавалеров, Г. И. Введение в информационную теорию измерений

i'l

Но в Х \ (J Mj входят те и только те точки, которые либо не

/=!

принадлежат ни одному из Fj, либо принадлежат и (а',р (а')). Поэтому

Будем считать, что а0 — невырожденное разбиение (если а0 вы­

рождено, то можно перейти к невырожденному разбиению а0, полу-' ченному из а0 объединением всех вырожденных и одного из невы­ рожденных элементов разбиения а0 в один элемент). Очевидно, что

Из леммы 2 следует, что найдется такое q>0, что для каждого

разбиения а, для которого р(а) <<у, найдется такое разбиение Ь, бо­ лее крупное, чем а, н такое, что выполнены неравенства (3-25). Тогда, используя свойство 2 и оценки (3-26) и (3-24), получаем, что

Н Рі (Я,) ^ Н р%( л , а) > Н р%(Я,, Ь) 5= Я Ра (Я,, а») -

- е / 2 > Я Яі( Я , ) - « .

Предложение доказано.

123

стояниями г 1, г2, и X снабжено расстоянием г = Ѵ г2\ + г22. Пусть на

некотором вероятностном пространстве заданы случайная величина —1со значениями в Xt и случайная величина Е2 со значениями в Х2, тем самым определена случайная величина Е =(Е |, Н2) со зна­

чениями в Х = ХіХХг.

тва X, относя две точки (х,, х2) и (х[, х 12) к одному и тому же эле­

менту разбиения а 1 X а2, если Xj и xj находились в одном элементе разбиения а 1, а х2 и х \ — в одном элементе разбиения а2. Разбне-

124

Р* (а2)—о

‘—‘2

Д о к а з а т е л ь с т в о . Нужно применить предложение 1 илемму 3.

125

x,x> S,XS2

Есл^і на X, и X2 заданы такие меры А, и А2, что Р (3 ,,3 2) имеет

плотность р (:ct, х 2) относительно \ , Х \ 2, то тогда Р ^ и Р-, пмс-

'“І —42

х,'ха

Вприложениях обычно Аі, А2— меры Лебега на прямой (или на некотором ее отрезке) или в некоторой области многомерного про­ странства, а 3 j и Н2 являются скалярными пли векторными вели­ чинами. В качестве г в этих случаях можно взять обычное рас­ стояние.

Вусловиях предложения 2 справедливы также утверждения, аналогичные следствиям 1, 2 и замечанию 2.

де; относительно характера их взаимодействия никаких спе­ циальных предположений не делается. Предположим, что 3, и Е2 подвергаются дискретизации. Математически дискретизацию можно описать заданием на Х0 некоторой функции G с конечным множе­ ством различных значений (Яі, . .., g „). Эти значения не обязаны

быть числами и могут пониматься как абстрактные символы. Дискре­ тизация G отвечает разбиение ас пространства Аг0, состоящее из п

элементов, причем Л,- содержит те и только те точки хеА'о, для

diam aG и т. д.

Вопрос, которым мы будем заниматься, таков: как ведет себя информация о Еі (или о дискретизированном сигнале G(Hi), содер­ жащаяся в дискретизированной смеси G(E2), когда элементы раз­ биения а0 становятся достаточно малыми?

П р е д л о ж е н и е 3.

/ ( 3 I, G( S2) ) — Т с)/ ( 3 і,Н2).

ѣ

До к а з а т е л ь с т в о . Заметим, что

/(3,, G (Н2)) = H pE^G (E2) ( Я(3„ G(32)))-

Если мы обозначим разбиение^ пространства Х а на отдельные

точки через ас, то, очевидно, diam ас=р(ас) =0 и для произвольного

12R

р_ (а') < Х 11 Для любой дискретизации G, для которой p^ (G)<Cq,

С другой стороны, как было показано в начале данного парагра-

фа,

/ ( 3 i,G (32) ) ^ / ( 3 2, 3 2).

Предложение доказано. П р е д л о ж е н и е 4.

утверждения о монотонности сходимости по измельчающимся по­ следовательностям разбиений (см. следствие 2), о возможности за­ мены р(а) на сііаш а (см. следствие 2) и формула для #(Е і, S2) (см. замечание 3).

Установив таким образом общие закономерности квантования в статике, перейдем далее к формулам для инженерных расчетов. Воспользуемся системой обозна­ чений, принятой в предыдущем параграфе и в § 1-5.

Для оценки количества информации воспользуемся формулой (1-52), причем z в данном случае есть диск­ ретная величина, а к — непрерывная.

127

единиц измерения х и рв.\- с квантом д. Входящие -в фор­ мулу (1-52) условные энтропии выразятся следующими формулами:

при первом подходе (т. е. с учетом 'погрешности диск­ ретности)

H(X\Z) = —Л£ р (Zi) £ р (Xi I Zi) log р (Xj 1Zi), (3-30)

1=0 1=0

где p(Zj\x) определяется формулой (3-10); p(zj\xi) и p(Xi) — формулой (3-15); p(zd — формулой (3-2).

Безусловные энтропии можно записать в форме

і=0

при первом подходе

Для вычислений можно воспользоваться как левой частью формулы (1-52), так и правой. В [Л. 3-17—3-20, 3-22] использовалось выражение H(Z)—H(Z\X), в то время как в опубликованных одновременно работах [Л. 3-13—3-15] использовалось выражение Н(Х) —

128

—H(X\Z). Оба подхода, естественно, дают совпадающие результаты.

Можно показать, что при выполнении условий (3-11)

x*~~iZ (log (Ljа) — Lj2aN ln 2 'при q<a,

где L — ширина интервала, в котором равномерно рас­ пределена измеряемая величина X, а — то же для г/Вх.

Ход кривой / х^ 7 в зависимости от N при различ­

ных а показан на рис. 3-3. Количество информации по мере возрастания числа областей квантования монотон­ но увеличивается, тіо скорость этого роста падает. При N'— >-оо количество информации стремится к log {Lfa),

т. е. к постоянному пределу. Выясним, что представляет собой этот предел. Отметим, что дифференциальная без­ условная энтропия X с учетом равномерности распре­ деления равна H(X) = \ogL; аналогично Н (Y^) = \og а. Таким образом,

Нт /*«__*= Hm Ix^ z =log(L/a) =

равно безусловной энтропии истинного значения измеря­ емой величины Н(Х) минус безусловная энтропия погрешности H(YBX) и минус потери информации на квантование L/{2aN ln 2).

Рассмотренный нами случай .квантования относится к способу аналого-цифрового преобразования с фикси­ рованной начальной фазой. Другими словами, мы пред­ полагали границы областей квантования заранее зафик­

с пространственными кодирующими масками и при по­ разрядном уравновешивании. В преобразователях с про­ межуточным преобразованием в длительность импульса (развертывающего типа) фаза фиксирована только при синхронизации генератора развертки и генератора так­ товых импульсов (образцовой частоты). Если начальная фаза не фиксирована, то вид формулы изменяется, но общий характер зависимости / x*~*z от ^ сохраняется.

Так, для равномерного распределения начальной фазы при соблюдении условий (3-11) в [Л. 3-25] было получе­ но следующее выражение:

9 ln 2 ( 9 - 3 ß + ^ ) ] при K ß < 2;

log (3 -j- 2 I/ 2) при ßs=2,

где $=a/q.

130

В дальнейшем, та,к же как и до рассмотрения послед­ ней формулы, ограничимся случаем фиксированной фазы как наиболее употребительным.

Перейдем к рассмотрению второго подхода к оценке информационных свойств, связанного с измерением х и Уъх в единицах, равных интервалу квантования q. (Ранее отмечалось, что это относится к анализу цифро­ вых измерительных приборов.)

Считаем, что квантование выполнено безошибочно,

квантования, перекрываемая законом распределения погрешности УВх, т. е. зоной шириной а, и, кроме того, две области, условная вероятность попадания в которые равна q/2a. Соответственно условная вероятность по­ падания в г—1 область равна q/a. Так же, как и в предыдущем случае, все значения условных энтропий вида H(Z\xi) равны между собой и, следовательно, рав-

ны среднему значению H(Z\X) в силу упомянутой спе­ цифичности законов распределения ‘Вероятностей X и

Твх. Тогда

= l°S‘N :l) - f 1о&' -Г +

что соответствует формуле (3-38).

Сопоставляя последнюю формулу с (3-34), видим, что характер зависимости количества информации от основ­ ных параметров L, а, N в обоих вы­

приборов соответствует сравнительно небольшим значе­

стрелочного прибора в принципе можно получить больше информации, чем с сопоставленного цифрового. В [Л.3-20]

Можно показать, что при других комбинациях наиболее употребительных законов распределения .вероятностей для X и Увх характер зависимости I x^ z от ^ сохраняет­ ся. Так, при равномерном законе распределения X и тре-- УГОЛЬНОМ Увх

132