3. Методы оценки информативности диагностических параметров

Вводные замечания. В технической диагностике [3.1], особенно при построении оптимальных диагностических процессов, широко используется теория информации. Возникшая как математическая теория связи в трудах Винера и Шеннона [3.2], теория информации получила применение и в других областях науки как общая теория связи статистических систем.

В диагностике такими системами являются система состояний (диагнозов) и связанная с ней система признаков.

Центральное место в теории информации занимает понятие энтропии системы.

3.1 Энтропия системы

Энтропия характеризует степень неопределенности системы. Пусть рассматривается система A, которая может иметь п случайных состояний A₁, A₂, ..., A_п с вероятностями Р(A₁), Р(A₂), ..., Р(А_п). Если одно из состояний системы обязательно реализуется, а два состояния одновременно невозможны (полная группа несовместных событий), то

(3.1)

Именно такие системы и рассматриваются в дальнейшем.

Степень неопределенности системы зависит от числа n возможных состояний. Например, при бросании игрального кубика их может быть шесть, при бросании монеты – только два. Степень неопределенности, вообще говоря, возрастает с увеличением п.

Однако, не только число возможных состояний определяет энтропию системы. Например, если система имеет шесть возможных состояний с вероятностями Р(A₁)=0,95; Р(А₂)=Р(А₃)=Р(А₄)=Р(А₅)=Р(А₆)=0,01, то с большой достоверностью можно утверждать априори (заранее, до проведения опыта, обследования), что она находится в состоянии A₁. Неопределенность такой системы невелика. Если же Р(A₁)=1, а вероятности остальных состояний равны нулю, то система вовсе не обладает неопределенностью – энтропия такой системы равна нулю.

В теории информации энтропия (степень неопределенности) системы А ₉ имеющей п возможных состояний с вероятностями Р(A₁), Р(A₂), ..., Р(А_п),

(3.2)

Величина Н(А), введенная Шенноном [3.2], называется энтропией системы. Обозначение Н(А) показывает, что энтропия относится к системе А, и его не следует понимать как обычное обозначение функциональной зависимости. Так как вероятности состояний системы 0<Р(A_i)<1, то энтропия представляет существенно положительную величину. В формуле (3.2) логарифм может быть взят при любом основании – изменение основания приводит только к появлению множителя, т. е. к изменению единицы измерения.

Исходя из соображений физической наглядности, будем вычислять энтропию системы с помощью двоичных логарифмов, тогда

(3.3)

Целесообразность использования двоичных логарифмов легко понять, вычисляя энтропию системы, имеющей два равновероятных состояния. В этом случае Р(А₁)=Р(А₂)=0,5 и по формуле (3.3) находим Н(А)=1.

Таким образом, в качестве единицы энтропии (при выборе двоичных логарифмов) принимается степень неопределенности системы, имеющей два возможных, равновероятных состояния. Эта единица измерения называется двоичной единицей или битом. Название бит происходит от английских слов binary digit – двоичная единица (взяты две начальные и конечная буквы).

Если принять при вычислении энтропии обычные десятичные логарифмы, то в качестве единицы использовалась бы неопределенность системы, имеющей 10 равновероятных состояний (десятичная единица).

Не следует, однако, думать, что введенная величина энтропии полностью характеризует неопределенность систем различной физической природы. Она учитывает только вероятности состояний и их число, но не отражает таких существенных свойств, как относительная ценность (важность) состояний, их близость, что может иметь серьезное значение для оценки неопределенности системы. Но во многих задачах, где существенны именно стати­стические свойства систем, использование энтропии как меры неопределенности вполне оправдано и целесообразно.

Можно также ввести понятие неопределенности отдельного состояния систем:

(3.4)

Энтропия системы представляет собой среднее значение энтропий отдельных состояний:

(3.5)

Равенство (3.5) можно записать так:

(3.6)

Такое определение подчеркивает вероятностный характер понятия энтропия.

3.2 Измерение информации

Для того чтобы пояснить понятие информации, рассмотрим следующий пример. Допустим, что в данное время силовой трансформатор имеет равные вероятности быть в исправном и неисправном состоянии. Если по результатам испытаний, установлено, что значение сопротивления изоляции R₆₀=400 Мом, то вероятней всего в данном трансформаторе дефект отсутствует. Однако, если при данном значении сопротивления, значение степени полимеризации целлюлозы меньше 200 ед., можно гарантировать (с вероятностью единица) недопустимый износ основной изоляции трансформатора, и невозможность его дальнейшей эксплуатации. Какое из этих сообщений несет больше информации? Очевидно, второе, так как оно полностью устраняет неопределенность состояния объекта.

Подобные соображения позволяют определить величину информации как разность неопределенностей (энтропий) системы до и после получения информации. Если начальная энтропия системы равна H(A), а после получения информации она составляет H_*(A), то внесенная информация

(3.7)

Очень часто информация относительно системы A получается с помощью наблюдения за другой, связанной с ней системой В, Обычно эта вторая система (система сигналов) дает информацию о состоянии основной системы. Среднюю величину этой информации, или информативность системы В относительно системы A, можно определить из равенства

(3.8)

В правой части последнего соотношения содержится разность первоначальной энтропии системы A и ее энтропии после того, как стало известным состояние системы сигналов В. Так как системы A и В являются связанными, то, в свою очередь, знание состояния системы A изменит априорную вероятность состояний системы В. Например, если известно, что объект находится в неисправном состоянии, то вероятность поступления тех или иных сигналов также изменится. Средняя информация [3.1-3.4], содержащаяся в системе A относительно системы В:

(3.9)

Учитывая свойства энтропии сложной системы []:

(3.10)

Равенство (3.10) выражает важное свойство взаимности информации.

Так как , то из формулы (3.8) вытекает важное соотношение:

, (3.11)

где: H(AB) – энтропия системы AB.

Принимая во внимание зависимость (3.2), получим

(3.12)

Если учесть равенства:

; (3.13)

; (3.14)

то:

(3.15)

В окончательном виде получаем симметричную формулу для информации, которую несет система сигналов В относительно состояния системы А:

(3.16)

Если системы А и В независимы, то Р(A_iB_j)=Р(A_j)Р(B_j) и тогда из соотношения (3.16) вытекает I_А(В)=I_B(A)=0. С физической точки зрения этот результат очевиден: наблюдение над одной из систем не может дать информации относительно другой, если между состояниями этих систем нет связи.

В некоторых случаях формулу (3.16) удобно использовать в одном из следующих видов:

(3.17)

(3.18)

Информация относительно состояния системы. Величина I_А(В) представляет собой ожидаемое значение информации, содержащееся в системе В относительно всех состояний системы А. Если I_Аi(В) – средняя информация, содержащаяся в системе В относительно состояния А_i, то естественно считать

(3.19)

Сопоставляя равенства (3.17) и (3.19), можно записать:

(3.20)

или в эквивалентной форме:

(3.21)

Отметим, наконец, и такую форму, часто более удобную для вычислений:

(3.22)

Соотношения (3.20) и (3.21) представляют ожидаемое (среднее) значение информации, которую может дать система В относительно состояния А_i. Из связи систем А и В следует, что каждое из состояний системы В может содержать информацию относительно какого-либо состояния системы А (и наоборот, так как информативная связь является взаимной).

Можно назвать информацией, которую дает состояние В_j относительно состояния следующую величину:

(3.23)

Тогда I_Аi(В_j) представляет собой усреднение этой информации по всем состояниям системы В при условии, что эта информация относится к состоянию А_i:

(3.24)

Последнее равенство следует из соотношений (3.21) и (3.23).

Величину I_Аi(В_j) назовем элементарной информацией состояния В_j о состоянии А_i [3.1]. Она явилась последним звеном при постепенном расчленении общего понятия о взаимной информации систем. Величины I_Аi(В) и I_А(В) являются усреднением элементарной информации. Вместе с тем элементарная информация имеет ясный физический смысл. Пусть, для определенности, система В представляет собой систему сигналов (признаков), связанных с состояниями системы A. Тогда, если сигнал В_j встречается одинаково часто при наличии состояния A, и при любых других состояниях системы A, т. е. Р(В_j/А_i)=Р(В_j), то, очевидно, такой сигнал не несет информации о состоянии А_i. Из формулы (3.23) в этом случае вытекает Если априорная вероятность состояния А_i равна Р(А_i), а после получения сигнала В_j она изменилась и стала Р(А_i/В_j), то знание состояния В_j дает некоторую информацию относительно А_i:

(3.25)

Но вероятность состояния А_i, после получения сигнала может стать больше или меньше первоначальной (априорной) вероятности в зависимости от характера связи этих состояний. Например, увеличение тангенса угла диэлектрических потерь изоляции, может уменьшать вероятность исправного состояния объекта.

Таким образом может быть как положительной, так и отрицательной величиной, тогда как I_Аi(В) и I_А(В) всегда положительны или равны нулю. Элементарная информация становится отрицательной, если вероятность состояния А_i после получения сигнала В_j уменьшается.