6.2. Развитие основ математической статистики

Успехи математики, физики, философии и других наук, повышение практических потребностей в статистической обработке анализе данных, стремительный прогресс вычислительной техники способствовали развитию статистического метода. Повысился теоретический уровень методов, возникших в XIX п., появилось множество новых методов. Четко обозначились главные направ­лении применения статистического метода: и пространстве (ста­тические исследования) и во времени (динамические исследования).

Статистическое наблюдение. Выборочный метод

Выборочные наблюдения, включая опросы населения, — основной метод сбора данных за рубежом. Поэтому служба сбор данных там весьма развита: разработаны теория организации обследований (в том числе панельных), методы интервьюирова­ния. Особое значение для практики имеет развитие теории вы­борочного метода и ее применения.

Сама идея выборки как основы для принятия решения су­ществует с давних времен. Так, покупая партию пшеницы, купец ограничивался несколькими пробами, не просматривая весь то­вар, следовательно, он исходил из возможности по этим пробам судить о всей партии. Многие косвенные расчеты политических арифметиков были основаны на несплошных данных. Как отме­чалось в гл. 1, в 1802 г. под руководством Лапласа выборочным методом была определена численность населения Франции. При­мечательно, что Лаплас мотивировал применение выборки не только тем, что сплошная перепись — операция несравненно¹бо-пее дорогая, но и тем, что ее трудно выполнить точно. Известны и ДРУ^ГИС примеры практики выборочного наблюдения до того, как было' дано его полное теоретическое обоснование.

В XIX в. в США стали широко применять несплошные анкетные наблюдения (например, для изучения условий жизни), в которых неполнота возникала как неизбежное зло — в результате несовер­шенных приемов наблюдения (из-за частичного возврата запол­ненных анкет при почтовом опросе и т. д.). Это были примеры неорганизованного (заранее неспланированного) несплошного на­блюдения. Проводились несплошные опросы населения Франция, Германии, Бельгии, состоялось несколько крупных опросов в Англии.

В 1895 г. директор Норвежского статистического бюро Андерс Николфи Клэр (1838--1919) на заседании Междуна­родного статистического института поставил вопрос о необходимо­сти внедрении выборочных обследований ъ статистическую прак­тику. Он определял выборочное наблюдение как «частичное», по­скольку считал выборку частицей всей совокупности, в миниатюре отражающей все ее свойства. Клэр подчеркивал, что выборочное наблюдение должно быть достаточно массовым, а его объем дол­жен быть определен заранее. Клэр широко практиковал несплош­ные обследования в Норвегии: в 1895 г. с целью обследования условий труда были опрошены 120 тыс. работающих (причем эта численность планировалась заранее); в 1900 г. было обследова­но 5% общего числа сельских хозяйств и 10% частных заведений в городах; для изучения вопроса об инвалидности было проведено обследование Vi2 всех жителей Христиании (Осло) в возрасте старше 50 лет (причем при планировании выборки обращалось внимание на пропорциональность представительства разных районов города).

После целого ряда докладов в 1903 г. на Берлинской сессии Международного статистического института была принята резо­люция о том, что выборка может дать точные результаты, если соблюдаются условия отбора наблюдаемых единиц.

Теоретические основы выборочного метода окончательно сфор­мировались в трудах представителей петербургской математиче­ской школы —Чебышева, Ляпунова, Маркова (см. гл. 4). Но теория вероятностей медленно внедрялась как в естественные, так и в социально-экономические науки; к тому же недостаточно осознавалась связь выборочного метода с теорией вероятностей и законом больших чисел. В 1901 г. русский статистик Борткевич Указал, что теоретической основой выборочного метода должно служить исчисление вероятностей. Решение задачи в 1906 г. дал английский статистик Артур Боули (1869—1957) на основе работ К- Пирсона и Фрэнсиса Из ид р о Эджворта (1845— 1926). Он показал, как могут определяться случайные ошибки выборочного наблюдения. С этого времени началось ши­рокое использование выборочного метод в конкретных исследованиях и дальнейшая детализация его теории. Боули также при- . надлежит идея стратифицированной (районированной) выборки. Он показал, что если известны точные веса страт (районов) в генеральной совокупности, то для получения наиболее точной средней следует общий объем выборки распределить пропорционально этим весам: n_i=n*(N_i/N), где n₁ —объем выборки для i-той страты; n — общий объем выборки; -— объем i-той страты в гене­ реальной совокупности; N —общий объем генеральной совокуп­ности,

Кроме того, Боули выдвинул идею планомерно-организованного отбора (целевого отбора) и вывел формулу ошибки выборки при этом отборе. Однако он не сумел до конца понять преиму­ществ стратификации, так как использовал случайные основания для выделения страт, что давало незначительное уменьшение дисперсии внутри них по сравнению с общей дисперсией.

В 1934 г. Е. Нейман ввел в теорию выборочного метода идею оптимальной выборки — размещение общей численности выборки но стратам (районам) пропорционально не только числен­ности единиц, но и вариации в стратах.

Это позволило обеспечить минимизацию дисперсия выборочной средней. В дальнейшем индиец Т. Далениус заметил, что очень важно учитывать зависимость тою, что изучается, от того, по каким основаниям проводится стратификация объекта. При на­личии тесной связи между признаками можно значительно сни­зить ошибку выборки за счет уменьшения дисперсии внутри страт (внутрирайонной дисперсии).

Все особенности современной практики статистического ме­тода— повышение точности наблюдения путем ограничения «игры случая» (метод отношения средних, метод регрессии и системати­ческий (механический отбор)) подробно разработаны У. Кокре-ном н Ф. Йейтсом. Кокрен ввел в формулы ошибки выборки учет конечности объема генеральной совокупности.

Для экономии объема выборки при получении выводов с за­данной вероятностью был разработан . и подробно исследован Д. Вальдом (США) метод последовательного отбора. Его раз­витием явился способ «взаимопроникающей» выборки, предло­женный индийским математиком профессором Прасанта Чандра М а х а л а лоноб и со м (1893—1972). Все эти методы предполагают разделение выборки на подгруппы с целью повыше­ния ее устойчивости и репрезентативности и исходят из того, что достоверность индуктивного вывода повышается с ростом одно­родности данных.

Применением выборочного метода в динамических исследова­ниях занимался Оскар Николаевич Андерсон {1887— 1960), норвежский ученый, родившийся и получивший образова­ние в России, ученик А. Л. Чупрова. Он указал на особые слож­ности обеспечения однородности временных данных из-за появле­ния новых факторов и структурных сдвигов.

Распространение за рубежом выборочных опросов населения привело к необходимости специальной разработки проблем, свя­занных с ошибкой респондента, понижением стоимости обследо­ваний, ограниченной численностью изучаемых объектов. Была разработана теория квотных выборок- Традиционной областью применения выборочных обследований являются бюджетные об­следования. Выборки стали применяться также при изучении за­нятости, образа жизни, жилищных условий, динамики пен, каче­ства потребительских товаров, общественного мнения по различ­ным социально-политическим вопросам, контроля качества про­дукции, проверки материалов, деталей и узлов машин и т. д.

Развитие теорий оценивания и испытания статистических гипотез

Внедрение в статистику теории ошибок измерения, начиная с Кетле, привело к разработке теории оценивания. В начале XX в. благодаря трудам русского статистика А. А. Чупрова (см. гл. 4 распространилась трактовка всех статистических характеристик как выборочных, что усилило внимание к методологическим проблемам статистического оценивания (точечного и интервального) К. Пирсон видел основу их решения в понятии апостериорной или обратной вероятности и теореме Т. Бейеса (1763), согласно которой, если по данным о вероятности события можно судить о его частости, то и по данным о частости события можно судить о его вероятности. Эту точку зрения разделял Ф. И. Эджворт. На основе метода наименьших квадратов и метода моментов Пирсон получил оценки основных характеристик ряда распределения, коэффициента корреляции. Все они основывались на предположении о нормальности распределения выборочных характеристик. Он исследовал распределение у² и предложил критерий х ² (1900); который считал всего лишь «критерием добротности выравнива­ния».

Эджворт разработал методы оценки существенности различий двух средних величин (для больших выборок), предложил формулу средней квадратической ошибки коэффициента регрессии! Процедура оценивания у него тесно связана с группировкой данных, выделением однородных объектов, подчиненных нормальному распределению.

В 1908 г. англичанин Вильям Госсет (1876—1937), опубликовавший свой труд под псевдонимом «Стьюдент», получил; одно из наиболее важных статистических распределений— t-pacпределение (распределение Стьюдента). Было доказано, что ве­роятность ошибки выборочной средней (или доли, частости) зависит не только от величины отклонения от генеральной средней (или вероятности), но и от объема выборки. Это послужило основанием для решения проблем малой выборки.

Следующий шаг в развитии теории оценивания был сделан Р. А. Фишером. Он отверг теорию апостериорной вероятности теорему Бейеса и предложил новый метод оценивания — метод максимального правдоподобия (1925). Фишер строго разграничивал параметры — неизвестные характеристики генеральной совокупности, и статистики — наблюдаемые характеристики. Он ввел понятия состоятельных, эффективных, достаточных статистик, которые стали фундаментальными понятиями математической статистики. Фишер показал, что в случаях малых выборок и при значениях коэффициентов корреляции, близких к 1 (по абсолютной величине), распределение коэффициента корреляции не может считаться нормальным, и предложил специальные методы дл определения того, что наблюденная корреляция существенно отличается от некоторого теоретического значения и что две наблюденные корреляции существенно отличаются друг от друга

Нейман ввел понятие наилучшей несмещенной оценки, под­черкнув, что среди различных возможных расчетов наибольшей точностью будет обладать тот, который включает минимальный показатель вариации. Он развивал теорию интервального оцени­вания (1937).

В разработку эффективных оценок при заданных функциях потерь и других проблем оценивания значительный вклад внес шведский математик Гарольд Крамер (р. 1893).

В период 1925—1935 гг. сформировалось новое направление математической статистики — теория испытания статистических гипотез. Ее становление и развитие связаны с трудами Р. Л. Фи­шера. Разработанный им дисперсионный анализ — отделение дис­персии, приписываемой одной группе причин, от дисперсии, приписываемой другой группе причин, возник как метод испытания статистических гипотез на основе предложенного им критерия, который американский статистик Снедекор назвал в его честь F-критерием. Фишер показал, что критерии х² Пирсона и t Стьюдента могут рассматриваться как критерии проверки гипо­тез. Развивая идеи Стьюдента, он разработал методологию оцен­ки существенности разности между двумя средними при малых выборках. Заслуга Фишера также в обосновании необходимости рандомизации (случайного отбора) как условия для проявления закона случая. Идея рандомизации способствовала развитию пла­нирования эксперимента — особого направления математической статистики.

Фишер утверждал, что критерии дают возможность отбрасывать маловероятные гипотезы. Не отрицая этого, И. П. Лемани, Ш. Закс и другие обращали особое внимание на трудности разли­чии испытуемой и альтернативной гипотез при повышении мощ­ности критерия.

В развитие теории и приемов испытания статистических гипо­тез внес вклад Эгон Пирсон (сын К. Пирсона).

В современной прикладной статистике применяется множество статистических критериев (тестов). При всей их условности целе­сообразность их использования несомненна. Изучение любой серь­езной проблемы включает определенную последовательность дей­ствий, столь многообразных и взаимосвязанных, что в какой-то момент исследователь должен остановиться и решить, что делать дальше, и в этих случаях статистические тесты позволяют умень­шить частоту неправильных действий.

Новая стадия в развитии методов оценивания и испытания гипотез возникла с разработкой многомерного статистического анализа.

Многомерным статистическим анализом (МСА) называют об­общение, представление и интерпретацию данных с измерением более чем одной характеристики выборки. Многомерный анализ имеет дело с оценками, доверительными интервалами, испытанием гипотез для средней, дисперсии, ковариации, корреляционных xaрактеристик и т. д.

В разработке принципиальных подходов МСД приоритет при-] надлежит Р. А. Фишеру. Он разработал классификацию статистических гипотез и критериев. Его работы вдохновили других исследователей. Впшарт (США, 1931) рассмотрел распределен пие выборочных дисперсий и ковариацнй в многомерной нормаль-: ной совокупности; американский статистик и математик Гарольд Хоте л л инг (1895—1973) вывел распределение обобщенного /-критерия (1932), который представляет собой обобщение (-кри­терия Стьюдепта для задач многомерного анализа. С а м у э л ь Стенли Уилкс (1906—1964) разработал процедуру для допол­нительной проверки гипотезы о средних, дисперсиях, коварнацнях. Значительные результаты в этой области получили представители индийской математико-статистичсской школы — С. Р. Рао н П. Ч. Мзхаланобис.

Разработка методов оценивания и испытания статистических гипотез быстро внедрилась в исследовательскую практику и дала мощный толчок развитию статистических методов контроля каче­ства продукции В этой области главные достижения принадлежат В. А. Шухарту (США, 1939).