книги из ГПНТБ / Кавалеров, Г. И. Введение в информационную теорию измерений
.pdfЕсли X распределена по равномерному закону
|
(1-56) |
то Н(X) =\og(b—а). |
|
Если X распределена то нормальному закону |
|
w (х) = (2изх) 1/2 exp |
(1-57) |
то Н {X) = log (\Z'2%e ах), |
|
где ах — среднеквадратическое значение X; X — матема тическое ожидание.
Так как здесь и далее обозначение log означает ло гарифм три основании два, то 'информация и энтропия измеряются в двоичных единицах.
Условная энтропия для дискретного распределения
выражается формулой |
|
|
H( Z\ X) = |
~ ' £ p i Ü Pi (j) log Pi O'), |
(1-58) |
|
;=i /=i |
|
где Pi(j) — условная |
вероятность получения |
выхода Zj |
при входе Хі; предполагается, что ансамбли возможных значений X и Z состоят из одинакового числа п возмож
ных символов. |
|
распределения вероятностей X |
|
Для непрерывного |
|||
и Z относительная мера условной энтропии. |
|
||
00 |
00 |
|
|
Н (Z IX) = — ^ |
wx (X) j |
wx (z j x) log wx (z j x) dz dx, |
(1-59) |
где wx(z\x) — условная |
плотность вероятности Z |
при |
|
заданных значениях х.
Итак, в дальнейшем мы будем в основном оценивать два вида количества информации:
1)количество информации относительно X в процес се, состоящем из суммы истинного значения X и погреш ности У;
2)количество информации в процессе на выходе зве на или прибора относительно входного сигнала данного
звена.
Необходимо подчеркнуть одно весьма важное обстоя тельство, к сожалению, иногда опускаемое пои постанов-
60
ке задач в технике. Понятие «количество информации» имеет смысл только применительно к паре объектов. Нельзя говорить о количестве информации, содержащей ся в сигнале вообще, и бессмысленна постановка задачи: «Сколько информации в процессе X (/) ?». Однако смесь сигнала с шумом несет информацию о сигнале, сигнал на выходе звена — о сигнале на входе и т. д. С другой стороны, законна постановка задачи: «Какова энтропия величины К?» [см. формулы (1-54) и (1-55)].
В ходе дальнейшего изложения используются следую щие свойства количества информации [Л. 1-54]:
О /* -♦ * > <*
>Z >
3) если пара случайных величин АТ и Хг независима от другой пары Zi и Z% то
І(Х„ 2,)<—>(Х„ |
"Ь |
(1-60) |
4) если случайная величина Z есть измеримая функ ция случайной величины U, то
причем равенство имеет место только при однозначности обратного преобразования.
Поскольку и истинное значение измеряемой величины X и погрешность У есть случайные процессы, зависящие от времени, то количество информации на один отсчет является недостаточной характеристикой.
Так же как и при описании погрешностей, в информа ционных критериях нельзя ограничиваться статикой. Для описания динамических информационных характеристик воспользуемся показателем скорости прохождения ин формации по измерительному тракту Е, представляю щим собой количество информации в единицу времени. Если отдельные следующие друг за другом измерения
независимы и каждое из них несет информациюI x*-^z >
E = XIx^ z , |
(1-62) |
|
где Я— число измерений в единицу времени. |
|
при |
Информация / вычисляется на основании ранее |
||
веденных в данном параграфе зависимостей. |
Если |
лро- |
61
цесс непрерывный (например, при изучении звеньев не прерывного преобразования), то его можно разложить на независимые составляющие (заменить непрерывный случайный процесс случайной последовательностью), вычислить информацию на один независимый отсчет и умножить полученное значение на число степеней сво боды в единицу времени.
Если же процесс дискретный во времени п соседние во времени значения коррелнрованы, то возникает необ ходимость в другой процедуре вычислений, к описанию которой мы обратимся в § 5-1.
Для нормальных случайных величин вне зависимости от того, являются ли они различными временными сече ниями одного случайного процесса или компонентами векторного процесса, можно воспользоваться следующим выражением для количества информации [Л. 1-54]:
■ |
det AgdetAg |
(1-63) |
|
2 |
det А |
||
|
где используются определители следующих матриц вто рых моментов:
А *= ||/? |
Ц; |
і = 1, |
2, |
j — 1, |
2, |
|
|
г |
j |
|
|
|
|
Az H l ^ iZJI; |
i = l . |
2 ,..., m; |
/ = 1 , |
2 ,..., m; |
||
а*х2 = ІІЯ*л |
іі; |
i= z1’ |
+ |
j — 1, |
2 ,..., /г + /?і, |
|
ГДе |
• |
• ■, Ati-J-jji) |
(Zi, £.% . . ., 2щ) . |
|||
Введенные |
нами |
информационные характеристики |
||||
были предложены |
впервые Р. |
Хартли |
[Л. 1.-28] и |
|||
К. Э. Шенноном [Л. 1-27]. Однако, по крайней мере за 7 лет до Р. Хартли статистиком Р. Фишером [Л. 1-29] было предложено другое определение информации. Оно исходит из понятий последовательного анализа и нахо дит применение в теории выбора решений применитель но к задачам связи и математической статистики.
По Р. Фишеру количество информации В2і (Ѳх) в эле менте Хі выборки X, состоящей из независимых отсчетов
{Хі, х2 ... хп), |
относительно некоторого параметра ®х |
распределения |
wx(x), характеризующего генеральную |
совокупность величины X, равно: |
|
В |
д In р (Xj j Ѳя) ' p(Xi\Qx)dxi, |
62
где р(ХіI Ѳг) — условная вероятность элемента Хі выбор ки X при значении параметра Ѳх; Гг- — область возмож ных значений лу.
При нормальном законе распределения вероятностей X и Ѳх= Х согласно {Л. 1-30]
Bh(<dx) = \/a*x.
Вообще,-при любом законе распределения X любая статистика, образованная из га независимых выборок, не может содержать 'более чем п/агх единиц информации от носительно параметра 0*, причем принципиально дости жение этого предела возможно лишь при применении достаточных статистик.
Для различения двух законов распределения с плот ностями вероятности wl (x) и w2{x) может быть исполь зована другая информационная характеристика — сред нее количество информации по С. Кульбаку (Л. 1-33],
имеющая вид: |
|
I (l\2) = ^ w l (x )log^ - ^ - dx . |
(1-64) |
В частности, количество информации по С. Кульбаку может вполне успешно конкурировать с таким широко известным критерием, как %2 для проверки гипотезы о принадлежности двух выборок одной генеральной сово купности. В этом случае различающая информация по
С. Кульбаку
П
v* + vz ■E(t i=г
где (хі, . .., xn) и (Zb ..., zn) — сравниваемые выборки; Vx и Vr — соответственно выборочные оценки математи ческого ожидания X и Z; га— объем каждой из выборок.
Если / значимо отлично от нуля, то выборки не при надлежат одной генеральной совокупности, а сама вели
чина 1 есть мера расхождения плотностей вероятности w(x) и w(z). Если распределение wi(x) может быть
задано с помощью ^-мерного векторного параметра |
Ѳ, |
||
а Wz(x) — с помощью векторного параметра |
Ѳ-ЬДѲ, |
то |
|
при соблюдении условия регулярности |
|
|
|
k |
k |
|
|
/ ( 1 : 2 ) « Е |
Е ^Д ^Д Ѳ ,, |
(1-66) |
|
і=1(=1
63
где bjj—-элементы информационной матрицы Фишера; А&і — -приращение /-й компоненты вектор-параметра в.
Для уяснения -связи между различными мерами ин формации введем функцию
|
00 |
|
|
Я(Ѳ, |
Ѳ0)= : — J w (x) log w (x) dx, |
(1-67)- |
|
|
—00 |
|
|
где Ѳ — параметр |
распределения ш(х); |
Ѳі=П(Ѳ, |
Ѳо)е |
е=£*ХЙ. |
|
|
удов |
Уилксом [Л. 1-55] было показано, что если w(x) |
|||
летворяет условиям регулярности, то |
Я(Ѳ, Ѳо) |
имеет |
|
относительный максимум Н(Ѳо, Ѳо) при Ѳ = Ѳо, а вторая производная разности Н (Ѳо, Ѳо)—Я (Ѳо, Ѳ) при Ѳ = = Ѳ0 равна Я2(Ѳо), т. е. количеству информации по Фи шеру. Так как Н (Ѳо, Ѳп) есть энтропия по Шеннону для распределения w(x), а разность
Я (Ѳ0, Ѳ0) — Я (Ѳ0, Ѳ )= [ w(x, |
(1-68) |
X |
|
есть информация по Кульбаку, то отсюда ясна связь различных видов информационных критериев. Функция типа Н(Ѳ, Ѳо) была использована М. М. Бонгардом для определения понятия «полезной информации».
Для оценки качества измерений могут быть исполь зованы не только шенноновская, но и фишеровская меры информации. В некоторых случаях, например при повер ке измерительных приборов,'учитывая, что, как правило, отыскание второго момента итоговой погрешности оказы вается проще поиска логарифмических показателей, а в ходе дальнейших преобразований измеряемой -вели чины не требуется информационное описание, следует' отдать предпочтение фишеровской мере. В остальных случаях, особенно когда имеет место совместная работа измерительного устройства с линией связи, вычислитель ной машиной или машиной централизованного контроля, предпочтительнее шенноновская оценка. Пропускная способность биологических систем преобразования ин формации также описывается на базе оценок Шеннона, так что при необходимости согласования прибора с на блюдателем в информационном смысле оценки Шенно-* на — Хартли также предпочтительнее.
64
В связи с вышеизложенным в ходе дальнейшего рас смотрения применяются информационные оценки Шен нона— Хартли, а -не Фишера. Читателю, интересующему ся мерой Фишера, можно, кроме упомянутых выше ра бот, рекомендовать [Л. 1-33—1-39].
Следует отметить, что информационная теория изме рений является не более чем частью общей теории информационной техники. Отсюда вытекает общность показателей е техникой связи, вычислительной техникой, системотехникой и автоматикой, позволяющая описать единым математическим аппаратом все звенья сложной информационной системы. В то же время решение задач измерительной техники имеет известную специфику, что особенно наглядно видно из последующих глав. Проти вопоставление же среднеквадратических оценок инфор мационным, бытующее у части специалистов по измери тельной технике, следует признать совершенно неправо мочным.
1-6. КРИТЕРИИ ОЦЕНКИ МНОГОКАНАЛЬНЫХ ИЗМЕРИТЕЛЬНЫХ СИСТЕМ
В предыдущем параграфе были рассмотрены зако нодательно закрепленные или незакрепленные, но приме няемые на практике методы оценки одноканальных изме рительных устройств. Перейдем теперь к рассмотрению многоканальной измерительной системы. Насколько из вестно авторам, специальных критериев для оценки сложной ИИС нет, поэтому используются в основном те же показатели, что и для одиночного прибора, которые, как было показано выше, для отдельного устройства далеко не всегда пригодны. В многоканальной системе их недостатки усугубляются. Остановимся на этом во просе несколько подробнее и покажем недостаточность предельных оценок погрешности.
Понятие «класс точности», казалось бы, легко рас пространяется на многоканальную ИИС. Для этого нуж но іпрежде всего, чтобы основная погрешность ни в одном канале «не превышала» некоторого уровня. Однако из мерению по разным каналам могут подлежать различ ные величины в различных пределах. Естественно, что требования к точности их измерения могут весьма су щественно различаться. Если заранее известен объект, на котором будет использоваться ИИС, то эту трудность
5—301 65
можно обойти, задавая различные пределы погрешно стей для разных групп датчиков, подобно тому, как это делается в многопредельных приборах. Но для практи ческого использования ИИС такие оценки часто неудоб ны. Например, само по себе превышение одним из кон тролируемых параметров некоторой уставки может еще не говорить об опасном состоянии контролируемого объ екта. Между тем совокупность значений по разным кана лам может свидетельствовать о предаварийном состоя нии объекта контроля. Отсюда вытекает неоднозначность в задании требуемой точности в каждом канале. Ориен тация на худший случай приводит к неоправданному удорожанию средств измерений. Кроме того, нужно учи тывать, что погрешности обычно зависят от текущего значения измеряемой величины. Другими словами, пре вышение погрешностью заданного уровня первоначально происходит «в одной точке шкалы». Как правило, это еще не свидетельствует о непригодности системы в це лом II тем более о непригодности других каналов. Необ ходимо учитывать, что ИИС обычно применяются для измерений на сложном объекте, где многие из измеряе мых величин взаимосвязаны.
Для ИИС может быть введен критерий максимальной оценки погрешности
Умакс== SU p SU p I) ( Х і , І ) , |
(1-69) |
ІX .I
где i = l, 2, .... п — номер канала; х, — возможные зна чения измеряемой величины в і-м канале («текущее зна чение по шкале»).
Однако такая оценка почти ничего не говорит о ре альном качестве системы, так как остается открытым вопрос о том, с какой вероятностью достигается данное значение погрешности. Есть основания считать, что эта вероятность исчезающе мала.
Показанная выше нецелесообразность максимальной оценки заставляет искать другие методы. Естественно, что они оказываются более сложными. Это отчасти иску пается тем, что они дают большую информацию о ре альном качестве системы.
Остановимся прежде всего на среднеквадратических оценках. Выше говорилось о среднеквадратических кри териях для описания погрешности в одном канале. Они являются некоторыми средними характеристиками. Сод-
66
местно с математическим ожиданием погрешности во многих случаях эти оценки дают практически достаточ ное знание о свойствах погрешности в статике. Мы будем различать следующие виды среднеквадратических ха рактеристик:
1. Если в каждом канале преобладают систематиче ские погрешности, т. е. плотность вероятности погреш ности имеетвид 6-функции Дирака, то следует исчислять дисперсию погрешности системы по множеству каналов
П
(1-70)
где У — математическое ожидание погрешности системы, рассчитываемое усреднением по всем каналам; у і — си стематическая погрешность в і-м канале.
Необходимо отметить, что уі может иметь различный смысл. В большинстве случаев даже систематическая по грешность различна в различных точках «шкалы». Если под уі подразумевается максимальное значение погреш ности в і-ы канале, то паша характеристика есть дис персия максимальных значений. Более рациональным представляется задание Уі как среднего значения по всей «шкале» с учетом принятого закона распределения веро ятностей Хі.
2. Если -преобладают случайные погрешности или случайная и систематическая погрешность одного поряд ка (напомним, в этом случае, что систематическая по грешность представляет собой математическое ожидание результирующей погрешности), то мы можем говорить не только о дисперсии максимальных или средних значений, но и о дисперсии дисперсий.
При оценке свойств системы необходимо также учи тывать важность показаний по тем.или иным каналам. Это может быть сделано в конкретной системе путем введения весовых функций при вычислении среднеква дратических либо информационных характеристик.
Все перечисленные критерии можно обобщить сле дующим образом. Совокупность нормируемых метроло гических характеристик по всем каналам может быть представлена как п-мерный вектор, где п — число кана лов. Если сравниваются две системы, то можно построить вектор-разность двух исходных векторов. Норма этого вектора может характеризовать (различие в качестве си-
5* 67
стем. Введением соответствующей меры в пространство переменных можно получить сравнение либо по диспер сиям, либо по информационным показателям, либо по интерквантильному интервалу погрешностей.
В свете высказанных положений можно дать следую щие рекомендации. Необходимо изучать прохождение сигнала по каждому из каналов ИИС. Развитый в дан ной книге подход позволяет сделать это двояким спосо бом. Во-первых, можно вычислить по операторам бло ков реальный и идеальный операторы всего измеритель ного тракта. Во-вторых, принятый метод описания каж дого блока как і-то в цепи преобразования сигнала по зволяет пройти последовательно по всем блокам системы и получить результирующую погрешность. Характеристи ки отдельных каналов позволяют рассчитать показатель качества ИИС в целом. Для сравнения систем, по на шему мнению, удобнее всего пользоваться информацион ными критериями.
1-7. ОБ ОБОБЩЕННЫХ КРИТЕРИЯХ
В процессе разработки любой ИИС или решения вопроса о применении некоторой системы в конкретном елучае инженеры неизбежно сталкиваются с необходи мостью выбора одного из нескольких вариантов. При этом обязательно должен приниматься во внимание це лый ряд показателей, таких как погрешности, надеж ность, масса, габариты, быстродействие, стоимость, про стота эксплуатации и обеспеченность уже разработанны ми или даже выпускаемыми промышленностью блоками и узлами системы. В общем случае оценивается п пара метров, которые мы обозначим Qi, Q& ■■., Q n ■По сово купности значений этих параметров принимается реше ние. Зачастую принятые варианты не являются опти мальными. Во всяком случае, имеет место значительный элемент волюнтаризма.
В связи с этим за последнее время предпринимаются попытки формализовать процедуру выбора вариантов.
Например, широкое распространение получил «критерий |
||
принятия решения» вида |
П |
|
|
(1-71) |
|
А = £ аДи |
||
|
і=1 |
|
где at — некоторые коэффициенты.
G8
Для каждой области возможных 'применений задают ся свои коэффициенты. Нап,рямер, если Qi масса аппа ратуры, то в авиации и космической технике а, будет весьма велико. Для наземных устройств а* относительно
мало.
Размерность коэффициентов должна быть выбрана так, чтобы результирующий критерий оказался величи
ной безразмерной.
В связи с тем, что величина А подлежит в дальней шем минимизации, а параметры Qi, Q2 , ■■ Qn носят противоречивый характер (одни желательно увеличить, например, надежность, другие — уменьшить, например, массу), некоторые величины Q, должны быть обратными
по отношению к исходным параметрам.
Нетрудно видеть, что формуле (1-71) произвольно придам линейный характер, а коэффициенты о;, опреде ляемые «из практического опыта», носят произвольный характер. Элемент произвола вносится также при норми ровке коэффициентов, так как вьгбор базы для сравне ния производится на интуитивной основе. Величина А
скалярна.
Неудовлетворенность этим критерием привела к воз никновению целого ряда новых предложений.
Интересная попытка выработки общего подхода к оценке средств измерения и качества проведения от дельных операций измерения была сделана в (Л. 1-44].
Автор этой работы учитывает лишь часть |
параметров |
и принимает, что известны w2(z\x) и wx(x), |
т. е. услов |
ная плотность вероятности величины на выходе прибо ра при известном воздействии на вход и безусловная плотность вероятности истинного значения измеряемой величины X. Кроме того, задан произвольный критерии G, связанный некоторым соотношением с функцией штрафов ф(л:, z). Считается, что один прибор не хуже другого прибора по критерию G при данном распреде лении wx (x), если среднее значение штрафа для первого прибора не более соответствующей величины для второ
го, т. е.
00 со
jwx(x) J <]>(.*, z) w, (z I -0 dzdx <
—00 — 00
< ^ wx (x) г <|>(x, z) w., (z I x) dz dx. |
(1-72) |
69