4.5. Использование достаточных статистик

Фактически нахождение правила решения , удовлетворяющего одному или сразу нескольким рассмотренным выше принципам пред­почтения, представляет собой далеко не простую задачу. Это связано с тем, что даже задача отыскания байесова правила решения при от­сутствии априорной неопределенности, несмотря на существование об­щих рецептов, подчас оказывается слишком сложной из-за трудностей вычисления апостериорного риска в явной и вполне детализированной форме. В этом отношении большую пользу при решении конкретных задач приносит использование достаточных статистик (минимальных или хотя бы достаточно малой размерности), о которых шла речь в гл. 2. Дело в том, что для практических задач синтеза информационных си­стем характерно наличие большой размерности - в первую очередь, данных х, описывающих результаты наблюдения, - что существенно затрудняет получение окончательных замкнутых результатов. Использо­вание достаточных статистик резко понижает размерность задачи, что приносит существенное упрощение и при чисто байесовом подходе, а в задачах с априорной неопределенностью часто позволяет получить конкретные алгоритмы принятия решений, основанные только на до­статочных статистиках и являющиеся если не абсолютно оптимальными, то, по крайней мере, обладающие многими чертами оптимальности. Есте­ственно также, что при относительно малой размерности легче выявить условия существования строго или приближенно равномерно наилучше­го правила решения. Даже если эти условия не выполняются или не на­ходятся, то нахождение достаточных статистик способствует отысканию и пониманию структуры оптимального правила решения - функционального соответствия между данными наблюдения х и решением . Последнее обстоятельство позволяет целенаправленно и с пониманием существа дела ввести аппроксимацию зависимости , исключить возможные неизвестные параметры, делающие эту зависимость не впол­не определенной, и т. п. Таким образом, можно утверждать, что выяв­ление достаточных статистик малой размерности является если не обя­зательным, то весьма целесообразным элементом решения задачи синтеза в условиях априорной неопределенности.

Общее определение достаточных статистик и правила их нахожде­ния рассмотрены в § 2.6. Из этих результатов следует, в частности, что совокупность величин (4.2.7) является достаточной статистикой для решения задачи различения сигналов {}, наблюдаемых в смеси с гауссовой помехой произвольной (в том числе неизвестной) интенсивности. Если дополнить их еще одной величиной , то полученная совокупность будет достаточной статистикой для решения той же зада­чи уже с произвольными вероятностями появления сигналови произ­вольной матрицей потерь, не равными 1/m и соответствен­но, как в § 4.2.

Для задач синтеза в условиях априорной неопределенности особое значение имеют инвариантные достаточные статистики, то есть такие пре­образования , распределения вероятности которых одинаковы при любом распределении вероятностихиз классаP_ .Если инвари­антная достаточная статистика существует, то можно ввести такое пре­образование, что функция правдоподобия, запи­санная в новых переменных, для всех элементовклассаP_ , соответствующего имеющейся априорной неопределенности, может быть представлена в виде

, (4.5.1)

где - одинакова для всех P_ . Отсюда немедленно сле­дует, что апостериорное распределение одинаково для всех элементовP_ и, следовательно, априорная неопределенность является несущественной. Таким образом, отыскание инвариантной достаточной статистики фак­тически эквивалентно устранению первоначально имевшейся априорном неопределенности.

К сожалению, общие методы отыскания инвариантных или приближенно инвариантных достаточных статистик не разработаны, а сущест­вование строго инвариантных достаточных статистик - довольно редкое явление. Тем не менее, это понятие полезно, поскольку его использо­вание приводит к довольно быстрому решению достаточно сложных за­дач, среди которых выделяются двухальтернативные задачи с так назы­ваемой свободной альтернативой. Этот термин соответствует тому слу­чаю, когда одна из альтернативных ситуаций как-то задана (полностью или частично), а о второй вообще ничего не известно и она может быть совершенно произвольной (естественно, не совпадающей с заданной). Фактически подобные задачи отражают широкий круг практических потребностей, связанных с нахождением правил проверки какого-либо однозначно или многозначно заданного гипотетического предположения, когда альтернативой этому предложению может быть все, что угодно.

Рассмотрим для примера задачу, когда по результатам наблюдения в дискретных точках() требуется решить, содер­жит лисигнал из заданного класса или нет. Пусть заданный класс удовлетворяет следующему описанию

: , (4.5.2)

где - известные функции времени; - произвольные неизвестные коэффициенты: 1, - соответствующие векторы (столбцы) неизвестных коэффициентов и известных функций, т - знак транспортирования (- вектор-строка). Данные наблюдения х представляют собой последовательность

, , (4.5.3)

где - гауссова некоррелированная помеха с дисперсиейи нулевым математическим ожиданием. Альтернативой (4.5.2) может быть со­вершенно произвольный сигнал.

Функция правдоподобия при условии, что принадлежит классу (4.5.2) (будем считать, что этой ситуации соответствует (), имеет значение

(4.5.4)

(К .- несущественный нормировочный множитель) и зависит от сово­купности l неизвестных параметров . Значение функции правдоподобия для альтернативной ситуации () равно

, (4.5.5)

где - совершенно произвольный сигнал, и фактически вообще не­известно из-за неопределенности этого сигнала. Таким образом, мы име­ем двухальтернативную задачу с весьма большой априорной неопреде­ленностью.

Из-за крайней неопределенности во второй ситуации очевидно, что никакой нетривиальной достаточной статистики, кроме последователь­ности {}, для этой ситуации не существует. Для первой же ситуации существует весьма экономная (одномерная) достаточная статистика, распределение вероятности которой не зависит от неизвестных парамет­ров , создающих априорную неопределенность в этой ситуации. Действительно, (4.5.4) можно преобразовать к виду

, (4.5.6)

где

(4.5.7)

- оптимальная линейная оценка вектора ;

(4.5.8)

• положительно определенная матрица порядка {}. Нетрудно убе­диться, что распределение вероятности одномерной статистики

(4.5.9)

не зависит от значений неизвестных параметров , поэтому величина из (4.5.9) обладает свойством инвариантности, и всякое правило реше­ния, использующее только эту величину, будет иметь вероятность оши­бочно отвергнуть исходную гипотезу о принадлежности сигнала классу (4.5.2), одинаковую при любых значениях ,то есть для всех представителей этого класса.

Остальные статистик , через которые совместно с выра­жается функция правдоподобия (4.5.6), несут информацию только о зна­чениях неизвестных параметров , уточняя тем самым вид сигнала в пределах класса (4.5.2). Исходя из этого, а также из полной неопре­деленности для альтернативной ситуации, кажется достаточно правдо­подобным, что оптимальное правило решения о соответствии сигнала, наблюдаемого в смеси с гауссовой помехой, заданному классу (4.5.2) должно использовать только статистику из (4.5.9). Разными способами, например, на основе понятия равномерно наиболее мощного критерия для гипотезы со свободной альтернативой, применением минимакса и развиваемыми ниже методами, можно доказать, что эта действительно так, и оптимальное правило принятия решения следую­щее: принимается, что сигналпринадлежит классу (4.5.2), если

, (4.5.10)

где С - некоторый порог сравнения, который определяется из дополни­тельных соображений, например, так, чтобы вероятность ошибочно отвергнуть исходную гипотезу имела заданное значение (в силу инвари­антности статистики одинаковое для всевозможных значений).

Аналогичными свойствами строгой или приближенной инвариант­ности и достаточности обладают статистики, формируемые при использовании известных непараметрических критериев согласия Колмогорова, Смирнова, Мизеса, хи-квадрат и т. д., применяемых в задачах со свободной альтернативой для проверки гипотезы о соответствии данных наблюдения заданному распределению вероятности либо о его неиз­менности для двух совокупностей наблюденных данных. Исследованию свойств этих статистик посвящена обширная литература, поэтому ограничимся только упоминанием о них.

Приведем еще пример, иллюстрирующий свойство достаточных ста­тистик, связанное с возможностью установления структуры правила ре­шения - функциональной зависимости между их, о которой шла речь выше. В гл. 2 при обсуждении понятий полного класса решающих пра­вил и достаточной статистики уже приводились некоторые примеры для случая, когда множество решений дискретно. Теперь рассмотрим случай непрерывного множества решений , когда требуется оценить значение вектора по результатам наблюдения вектора, который представляет собой аддитивную смесь с вектором помехи. Решениеявляется вектором, представляющим собой оценку вектора. Пусть иимеют гауссовы распределения вероятности с корреляционными матрицами (известными либо неизвестными)исоответственно. Тогда плотность совместного распределения вероятности

, (4.5.11)

где - определитель матрицы;- матрица, обратная(аналогично).

Преобразуя выражение (4.5.11), получаем

(4.5.12)

и апостериорную плотность вероятности

, (4.5.13)

где – матрица, определяемая из уравнения

. (4.5.14)

Из (4.5.13) следует, что вектор

, (4.5.15)

представляющий собой линейное преобразование вектора х с матрицей из (4.5.14), является достаточной статистикой (поскольку его раз­мерность совпадает с размерностью вектора , он является также мини­мальной достаточной статистикой). Поэтому всякое оптимальное реше­ние - оценкавекторадля какой-либо функции потерь- обязательно является функцией только этой достаточной статистики. Фактически, как уже отмечалось в гл. 2, при слабых ограничениях на функцию потерьоптимальная оценкасовпадает сиз (4.5.15). Таким образом, если корреляционные матрицыинеизвестны, то есть мы имеем чисто байесову задачу, то нахождение до­статочной статистики (4.5.15) уже означает полное решение задачи син­теза оптимальной процедуры оценивания (фильтрации, если индексимеет смысл дискретного времени, аизначения под­лежащего выделению и наблюдаемого процессов в дискретные моменты времени). Если жеиполностью или частично неизвестны, то выражение (4.5.15) для достаточной статистики все равно чрезвычайно полезно в том смысле, что устанавливает структуру оптимальной оценки как линейного преобразования векторах. Это значительно сокращает выбор в условиях априорной неопределенности, поскольку общий вид оптимального алгоритма оценивания ясен и задача заключается только в правильном выборе коэффициентов линейного преобразования (4.5.15).

Некоторые из приведенных выше примеров свидетельствуют о том, что для нахождения байесова правила решения не обязательно тре­буется полное знание распределений вероятности х и , а нечто мень­шее, что дает возможность найти минимум апостериорного риска. Чтобы определить, какие же конкретные сведения об этих распределениях дей­ствительно необходимы для нахождения оптимального правила реше­ния, полезно использовать понятия достаточной статистики. Поясним это на примере. Пусть ставится задача двухальтернативного ре­шения - обнаружения факта наличия сигналапо результатам на­блюдения в дискретные моменты времениего смеси с некоторой не­коррелированной в различные моменты времени помехой. Данные наблюдения представляют собой последовательность,которая может быть порождена либо только одной помехой, либо смесью сиг­нала и помехи. Будем считать, что распределение вероятности помехи и способ ее комбинирования с сигналом произвольны.

В соответствии с этим любая из величин имеет плотность рас­пределения вероятностипри отсутствии сигнала ипри его наличии, где, а и- некоторые произвольные плотности вероятности.

Составляя отношение правдоподобия, которое является минималь­ной достаточной статистикой для рассматриваемой двухальтернативной задачи, с учетом независимости значений получаем

. (4.5.16)

Естественно, что в общем случае для реализации оптимального алгорит­ма обнаружения, который состоит в сравнение с порогом отношения правдоподобия, требуется знание функций и, то есть статистики помехи и способа комбинирования сигнала с помехой. Предпо­ложим теперь, что нас интересует часто встречающийся на практике асимптотический случай слабого сигнала. Тогда с учетом равенства

, (4.5.17)

где

. (4.5.18)

Отношение правдоподобия является взаимооднозначной функци­ей величины

, (4.5.19)

которая также является минимальной достаточной статистикой в рас­сматриваемом асимптотическом случае; оптимальный алгоритм обнару­жения заключается в простом сравнении с порогом величины . Для реализации этого алгоритма нужно знать лишь первую производную логарифма условной плотности вероятностипри, то есть функ­циюиз (4.5.18), которая определяет вид нелинейного преобразова­ния наблюдаемых значений. Другие более детальные сведения о виде распределенийидля нахождения оптимального алгоритма просто не требуются, поэтому неопределенность, выходящая за пределы знания вида функции, не является существенной.

Аналогично можно рассмотреть большое количество частных, но практически важных задач, однако даже приведенные выше простые примеры достаточно ясно иллюстрируют значение общего подхода, осно­ванного на выделении достаточных статистик и исследовании их струк­туры.