книги из ГПНТБ / Синдлер Ю.Б. Метод двухступенчатого статистического анализа и его приложения в технике

АКАДЕМИЯ НАУК СССР

ОРДЕНА ТРУДОВОГО КРАСНОГО ЗНАМЕНИ ИНСТИТУТ РАДИОТЕХНИКИ И ЭЛЕКТРОНИКИ

ПРЕДИСЛОВИЕ

Метод двухступенчатого статистического анализа применяется (или может быть применен) во многих видах статистических экспе­ риментов, осуществляемых в технических системах. Сущность ме­ тода состоит в том, что эксперимент проводится в две ступени: на первой ступени получают предварительную информацию об объек­ те, подвергаемом испытанию, и в зависимости от этой информации корректируют процедуру второй ступени эксперимента. Известно, что корректирование процедуры в ходе эксперимента позволяет в среднем сделать его более эффективным по сравнению со слу­ чаем, когда процедура выбирается заранее и в ходе эксперимента не изменяется.

Метод двухступенчатого анализа занимает в некотором смысле промежуточное положение между методом одноступенчатого ана­ лиза, при котором процедура является неизменной, и последо­ вательного анализа, при котором допускается большое число кор­ рекций процедуры. В данной книге мы в основном будем рассмат­ ривать случай, когда допускается только одна коррекция. Естест­ венно, возникает вопрос, почему этому частному случаю уделено столько внимания. Для того чтобы ответить на него, обратим внимание читателя па следующее обстоятельство. Если рассмат­ ривать проблему последовательного анализа с теоретической точ­ ки зрения, то следует сказать, что в основополагающих работах А. Вальда и в последующих математических работах проблема получила достаточно глубокое и всеобъемлющее развитие. С вы­ числительной же точки зрения проблема развита еще далеко недостаточно. Одна из трудностей состоит в следующем. Для того чтобы построить оптимальную процедуру по методу после­ довательного анализа, нужно решить некоторую систему рекур­ рентных уравнений. Во многих сложных ситуациях решение этих уравнений удается цолучить только для небольшого числа шагов (ступеней). С другой стороны, следует отметить, что на практике часто по тем или иным соображениям испытания на каждой ступени эксперимента проводят крупными выборками. При этом, как правило, уже на первых ступенях получают достаточно большое количество данных для того, чтобы можно было принять решение. Если при этих условиях вводится запрет на продолже­ ние эксперимента для некоторого числа ступеней, скажем, двух, трех, четырех, то этот запрет не приводит к слишком су­ щественной потере эффективности процедур. Между тем при этом

существенно увеличиваются возможности их исследования и оп­ тимизации.

Двухступенчатым процедурам посвящена довольно обширная периодическая литература. Однако, насколько известно автору, монографий в этой области не было.

Предлагая читателю данную книгу, автор имеет в виду реко­ мендовать к более широкому исследованию и использованию не только двухступенчатые процедуры, непосредственно рассматри­ ваемые здесь, а вообще процедуры с небольшим числом ступеней, в том числе трех- и четырехступенчатые.

Книга предназначена главным образом для инженеров-иссле­ дователей, интересующихся приложениями математической ста­ тистики. Предполагается, что читатель знаком с основами теории вероятностей и математической статистики, в том числе и с осно­ вами теории Неймана — Пирсона и теории последовательного анализа Вальда.

Следует заметить, что двухступенчатые процедуры известны и применяются на практике давно, с 30-х годов, однако вычисли­ тельные методы для их оптимизации длительное время не были разработаны.

В оспове развиваемого в настоящей книге вычислительного метода лежит один из общих методов современного математиче­ ского программирования — метод множителей Лаграижа, который, будучи давно известным в классической математике, получил в на­ стоящее время значительное развитие. Необходимые нам сведе­

проверки двух простых гипотез. Эта задача является одной из наиболее важных в математической статистике, к ней сводится большое число технических задач. Исследования, связанные с этой задачей, автор старался изложить более обстоятельно. При­ ведена классификация и исследованы свойства оптимальных двухступенчатых процедур; развит достаточно универсальный численный метод, позволяющий строить эти процедуры с помощью ЭВМ; определены условия, при которых метод может быть приме­ нен; рассмотрены вопросы, касающиеся точности метода, единст­ венности решения и др.

Автор считает своим приятным долгом выразить признатель­ ность В. И. Буиимовичу, проявлявшему постоянное внимание к работе, В. И. Аркину, который дал автору ряд ценных советов при обсуждении теоретических вопросов, а также М. И. Лоидеру, Л. И. Филиппову и Я . Б. Шору, прочитавшим рукопись и сделав­ шим ряд замечаний, способствующих улучшению книги.

ВВЕДЕНИЕ

1. Краткая историческая справка

Метод двухступенчатого статистического анализа возник

вконце 20-х годов в связи с проблемой контроля качества про­ дукции в промышленности. Идея метода впервые была высказана

влитературе Доджем и Ромигом [1], предложившими двухсту­ пенчатую процедуру проверки доли дефектных изделий в партиях продукции. Эта процедура построена следующим образом. На первой ступени подвергают испытанию выборку объема ?гх изде­ лий. Пусть dx — число дефектных изделий, оказавшихся в вы­

Для того чтобы принять окончательное решение, суммарное число

Процедуры подобного рода нашли применение.в целом ряде стандартов статистического выборочного контроля промышлен­

представляет работа Стейна, предложившего в 1945 г. [2] двух­ ступенчатую процедуру оценивания среднего значения и. нормаль­ ного распределения N с2 ) при условии, что дисперсия а2 неизвестна. Согласно процедуре Стейна, на первой ступени про­

как обычно усредняя результаты всех измерений. Стейн показал, какую нужно взять функцию п2 = /(s2 ), чтобы неизвестное зна­ чение и. при любом о 2 было накрыто доверительным интервалом фиксированной ширины с вероятностью, не меньшей заданного значения.

Библиография по вопросам двухступенчатого оценивания n a j раметров содержится в конце главы 2.

Мы указали две из наиболее значительных работ в данной области, вышедших в свет до появления общей теории статисти­ ческих процедур с управляемой длительностью наблюдения, созданной Вальдом [3, 4]. Эта теория широко известна, и мы не будем на ней останавливаться. Отметим лишь один конкретный результат данной теории, который представляет для нас интерес в связи с темой настоящей книги. В [4] в качестве иллюстратив­ ного примера к общей теории рассматривается следующая зада­ ча. Наблюдаемые величины xv, х2,... независимы и распределены нормально, причем дисперсия их известна. Математическое ожи­

менте является неизменной; требуется установить, какое из двух, возможных значений она имеет.

Эксперимент проводят в две ступени. На первой ступени ис­ пытывают выборку объема ггх и получают данные xlt..., хщ. Да­ лее испытывают вторую выборку, объем которой п2 зависит or данных х^..., Хщ. По окончании наблюдений принимают решение' с учетом полученных данных. Для этого случая Вальд определил оптимальную структуру двухступенчатой процедуры, при которой достигает минимума величина среднего байесовского риска. Вальд показал, что объем выборки на второй ступени п2 должен опреде­ ляться с помощью случайного эксперимента, в результате кото­ рого величина п2 может принимать значения корней некоторого1

В 50-х годах статистические процедуры с управляемой дли­ тельностью наблюдения привлекли к себе внимание радиоинже­ неров, занимающихся проблемой обнаружения сигналов на фоне шумов [5—8]. Большое число работ в этой области посвящено проблеме так называемого динамического обзора. Сущность этой проблемы состоит в следующем. Радиолокатор производит обзор пространства, направляя луч под различными углами места и ази­ мута. В результате наблюдений для каждого направления должно быть принято решение о наличии или отсутствии' в нем целей. Управление лучом осуществляется по определенным пра­ вилам (алгоритмам). В процессе управления в каждый момент учитывается информация, полученная на предшествующих ста­ диях наблюдения.

Алгоритмы управления могут быть построены различными способами. Один из способов (см., например, [5]) состоит в том, что луч поочередно устанавливают в каждом направлении и дер­ жат в нем до тех пор, пока не будет принято окончательное реше­ ние относительно этого направления. Другой способ управления

.лучом состоит в том, что сначала равномерно просматривают все направления; после этого для некоторых направлений при­ нимают окончательные решения; оставшуюся часть направлений просматривают вновь (в общем случае неравномерно); затем для части из них принимают окончательные решения и т. д. Библио­ графия по этим вопросам приведена в конце глав 2 и 7.

Исследования двухступенчатых процедур проводились при­ менительно и к ряду других областей техники, биологии и др. Интересный обзор работ по двухступенчатым процедурам содер­ жится в книге Ветерилла [9], где читатель может также найти обширную библиографию.

2. Условия применимости методов одноступенчатого, двухступенчатого и последовательного анализа

^Напомним, что под методом одноступенчатого анализа здесь понимается всякий метод построения эксперимента, при котором процедура выбирается заранее и не изменяется в ходе его выпол­ нения. При методе последовательного анализа допускается много коррекций процедуры, а при методе двухступенчатого анализа — только одна.

Обсудим следующий вопрос: при каких условиях, выбирая процедуру эксперимента, следует отдавать предпочтение тому или иному методу? При этом мы будем рассматривать случай, когда корректируемым параметром является объем эксперимента, г

Известно много технических систем, в которых производятся многократно повторяющиеся статистические эксперименты. На

.основе полученной в каждом эксперименте информации прини­ мается некоторое решение, а иногда определяется еще и мера достоверности этого решения. Такой мерой могут служить, на-, пример, величина апостериорной вероятности, отношение правдо­ подобия, ширина доверительного интервала и т. д. Предположим, что в процессе эксперимента мы можем регулировать число на­ блюдений. Естественный принцип регулирования состоит в том, чтобы продолжать наблюдения до того момента, пока не будет получена достаточно полная информация для принятия решения с требуемой достоверностью. Не допуская сверх этого лишних наблюдений, мы в среднем (по многим экспериментам) получаем определенную экономию. Часто от такой возможности отказы­ ваются — по той причине, что сэкономленные в одном экспери­ менте ресурсы нельзя использовать в другом эксперименте (или использовать в о о б щ е ) / В таком случае проводят максимальное число наблюдений, которое допускается по техническим возмож­ ностям; другими словами, применяют метод одноступенчатого анализа. В качестве примера приведем случай, часто встреча­ ющийся в системах автоматического управления. Предположим, что в такой системе имеется прибор, который периодически про­ изводит измерения регулируемого процесса с некоторой точностью.

Темп измерений может быть выбран произвольно, но с единст­ венным условием, чтобы эта величина не выходила за некоторые задашше границы. Ясно, что в этом случае следует брать темп измерении равным своему максимально допустимому значению.

Положение существенно изменяется, если мы заинтересованы в экономии ресурсов в каждом эксперименте. Тогда, естественно, следует применять статистические процедуры с управляемой дли­ тельностью наблюдения. Мы уже отмечали две проблемы техни­ ки, при решении которых эти процедуры иаходят широкое при­ менение,— проблема выборочного контроля качества продукции и проблема радиолокационного обнаружения сигналов иа фоне шумов. Чем можно объяснить эффективность применения этих процедур в указанных областя.х^При выборочном контроле ка­ чества продукции эффективность этих процедур очевидна: они позволяют при заданной достоверности контроля сократить в сред­ нем объем испытаний, что дает определенный экономический эффект У Эти процедуры также выгодны и для систем радиолока­ ционного обнаружения сигналов. Радиолокаторы с электронным сканированием (см., например, [10]) имеют возможность произ­ водить обзор пространства с неравномерной скоростью, удержи­ вая луч в каждом направлении столько времени, сколько тре­ буется для получения необходимой информации. Ясно, что чем эко­ номнее расходуется время в каждом направлении, тем больше направлений радиолокатор может обслужить.

Рассмотрим теперь вопрос о том, в каких случаях какому из двух методов — методу последовательного или методу двухсту­ пенчатого анализа —следует отдать предпочтение. Следует за­ метить, что последовательные процедуры обладают несколько лучшими показателями, чем двухступенчатые процедуры.

Тем не менее метод последовательного анализа часто оказы­ вается неудобным, а иногда и неприемлемым. Приведем примеры.

1.Технологические условия выборочного контроля в произ­ водстве не всегда позволяют проводить испытания последователь­ но по одному изделию, так как на контроль одного изделия при­ ходится затрачивать достаточно большое время, а решение о ка­ честве партии должно быть принято быстро. В этом случае при­ ходится параллельно испытывать большое число изделий, т. е. проводить контроль посредством малого числа крупных выборок.

2.Проведение выборочного контроля по методу последова­ тельного анализа может быть связано с организационными труд­ ностями.

3.Контроль надежности сложных изделий по интенсивности потока отказов в принципе можно организовать по методу после­ довательного анализа. При этом в процессе контроля через малые интервалы времени производится подсчет числа отказов, проис­ шедших до текущего момента, и принимается решение о продол­ жении или прекращении испытаний. Для принятия каждого решения необходимо провести определенную вычислительную