Многомерный статистический анализ (128

2.2.Интервальное оценивание и проверка гипотез

опараметре μ при неизвестной матрице ковариаций

Пусть ξ1, ξ2 , ξ3 , ..., ξn – выборка из нормальной совокупно-

сти, ξi ~ N(μ, D); μ, D – неизвестны.

Для того чтобы получить доверительную область для параметра μ, необходимо воспользоваться выражением для квадратичной

формы Q, в которой вместо неизвестной теперь матрицы D следует подставить ее несмещенную оценку S.

Определение 2.2. Статистикой Хотеллинга T 2 называется случайная величина, равная

Нетрудно видеть, что статистика (2.5) определяет в некотором смысле «расстояние» между вектором средних μ и его оценкой μ.

Чтобы применять статистику T 2 для решения требуемых задач, необходимо знать ее распределение.

Теорема 2.2. Случайная величина Q, определяемая по формуле

имеет распределение Фишера F( p, n − p) с (p, n – p) степенями

свободы.

Доказательство опускается.

Теорема 2.2 позволяет находить доверительное множество Ω(μ) для вектора средних точно таким же образом, как и при из-

вестной D. Точнее,

где zγ – квантиль уровня γ распределения Фишера.

Аналогично записывается критическое множество для проверки гипотезы (2.3) о значении вектора средних μ.

21

Некоторые изменения возникают при проверке гипотезы (2.4) о равенстве средних двух нормальных совокупностей с одинаковыми (но неизвестными) матрицами ковариаций D. В этом случае в качестве совместной (по обеим выборкам) оценки матрицы D используется статистика

где S1, S2 – несмещенные оценки D по каждой выборке соответ-

ственно.

Тогда критерий проверки гипотезы однородности определяется статистикой T 2 вида

T 2 = mmn+ n (μ1 −μ2 )′S0−1(μ1 −μ2 )

с критической областью

где z1−α определяется очевидным образом.

Рассмотрим обобщение гипотезы (2.4) однородности двух выборок.

ираспределенапозакону χ2 (n− p) присправедливостигипотезы(2.7).

3.ДИСКРИМИНАНТНЫЙ АНАЛИЗ

Внастоящем разделе рассматривается задача классификации многомерных наблюдений, т. е. отнесение результата эксперимента к одной из нескольких возможных совокупностей. Такие задачи широко применяются в теории надежности, медицине, социологии

идругих отраслях науки.

Мы рассмотрим данную задачу в наиболее простой постановке: наблюдения необходимо отнести к одной из двух возможных совокупностей, цены ошибок классификации одинаковы, априорные вероятности появления наблюдений из разных совокупностей также одинаковы (и, следовательно, равны 0,5).

Предположим, что распределения обеих совокупностей полностьюопределены, т. е. ξ ~ N(μi , D), i = 1, 2, где μi , D – известны.

Рассмотрим отношение правдоподобия для двух возможных нормальных плотностей

23

Согласно общему принципу отношения правдоподобия, наблюдение ξ следует отнести к первой совокупности, если выполняется неравенство λ ≥ k, или ln λ ≥ ln k. Здесь k – некоторая

константа. Преобразуя показатель степени, легко получить последнее неравенство в виде

ξ′D−1 (μ1 −μ 2 )− 12 ( (μ1 +μ 2 )′D−1(μ1 −μ 2 )) ≥ ln k.

Для рассматриваемого случая одинаковых цен ошибок и вероятностей появления элементов каждой совокупности справедливо равенство k = 1, или ln k = 0.

две части плоскостью, которая называется дискриминирующей или разделяющей. В частном случае p = 2 разделяющая плоскость является прямой (рис. 3).

Рис. 3

24

При классификации наблюдений возможны ошибки – отнесение наблюдений не к той совокупности, из которой они извлечены. Пусть Hi , i =1, 2 – событие, означающее, что наблюдение извле-

чено из i-й совокупности. Тогда вероятности ошибок классификации можно записать следующим образом:

Для определения вероятностей (3.2) рассмотрим случайную величину

Так как u есть линейная комбинация нормальных величин, то она также имеет нормальное распределение N(ai , σ2 ). Найдем

параметры распределения для i = 1. Получим

Совершенно аналогично показывается, что если ξ ~ N(μ 2 , D),

где Φ(x) – функция Лапласа.

До сих пор считалось, что распределения обеих совокупностей известны. На практике это бывает очень редко. Чаще всего исследователь имеет в своем распоряжении так называемые обучающие выборки, т. е. выборки наблюдений, о каждой из которых точно известно, из элементов какой совокупности они состоят. В этом случае оценивают по обучающим выборкам неизвестные параметры μGi , D согласно формулам разд. 1 (заметим, что для матрицы

ковариаций используют объединенную по обеим выборкам оценку S ) и подставляют эти оценки вместо действительных значений параметров. В частности, вместо случайной величины u используется ее выборочный аналог v, т. е.

Распределение случайной величины v является очень сложным, однако при больших объемах обучающих выборок справедлива

–распределение v сходится к распределению u;

–значения вероятностей ошибочной классификации, определяемые с использованием оценок параметров, сходятся к истинным значениям этих вероятностей.

26

4. МЕТОД ГЛАВНЫХ КОМПОНЕНТ

Во многих исследовательских работах число рассматриваемых случайных величин очень велико. Поскольку главный интерес представляют отклонения величин от их средних, методы сокращения числа этих величин состоят в том, что их линейные комбинации с малыми дисперсиями (т. е. практически не меняющиеся от наблюдения к наблюдению) отбрасываются, а рассматриваются линейные комбинации только с большими дисперсиями. Вполне может оказаться, что различия между наблюдениями (т. е. описываемыми ими индивидуумами) сводится лишь к небольшому числу линейных комбинаций.

Пусть ξ~ N(μG, D). Поскольку будут рассматриваться только

корреляционные связи между компонентами вектора ξ, без ограничения общности можно положить μ = 0.

Поставим задачу: найти такую линейную комбинацию u =βG′ξG компонент ξi вектора ξG, которая имела бы наибольшую диспер-

сию. Естественным условием является нормированность вектора

G

коэффициентов β, поскольку иначе задача не Gимеет решения. Другими словами, должно выполняться условиеβ′β =1.

Найдем среднее и дисперсию случайной величины u. Очевидно, что

Таким образом, необходимоG G найти условный максимум Du при наличии ограничения β′β =1.

Функция Лагранжа имеет вид

где λ – множитель Лагранжа.

Дифференцируя (4.1) по параметру β и приравнивая производную нулю, получаем

27

∂∂βLG = 2DβG − 2λβG = 0,

что эквивалентно однороднойG системе линейных уравнений для компонент вектора β

где E – единичная матрица.

Для того чтобы система имела ненулевое решение, необходимо выполнение условия

Следовательно, множитель Лагранжа является собственным числом матрицы ковариации D. Так как D – симметричная, по- ложительно-определенная матрица, то имеется p положительных собственных чисел. Расположим их в порядке убывания:

λ1 ≥ λ2 ≥ ... ≥ λp .

Умножим (4.2) слева на β′. Получим

βG′(D −λE)βG = 0 βG′DβG = λ.

Так как Du = λ, а требуется найти наибольшую дисперсию, то

положим λ = λ1.

Решая с выбранным λ = λ1 систему (4.2), получим в качестве решения нормированный собственный вектор. Обозначим его βG1. Таким образом, линейная комбинация u1 = β1' ξG является решением

поставленной задачи. Она называется первой главной компонентой вектора ξ.

Найдем теперь линейную комбинацию u2 =β′ξG, обладающую

Из условия некоррелированности следует

вующий этому числу, причем β′2β2 = 1. Величина u2 = β′2ξ назы-

вается второй главной компонентой вектора ξ.

Повторяя этот процесс, можно показать, что существуют p некоррелированных (следовательно, независимыхG ) нормальных слу-

чайных величин u1, u2 , ..., up , ui = βi' ξ, где βi – собственные

векторы матрицы ковариаций, Dui =λi – собственные числа той же матрицы, расположенные в порядке убывания.

29

На практике из рассмотрения исключают те величины ui с

наибольшими номерами, суммарная дисперсия которых составляет 15…20 % от общей суммы дисперсий.

Напомним, что из свойств собственных чисел следует, что сумма дисперсий компонент исходного вектора ξ равна сумме

p p

собственных чисел матрицы D, т. е. ∑λi = ∑Dξi .

i=1 i=1

Часто в качествеG меры разброса, характеризующей распределение вектора ξ, используется обобщенная дисперсия, равная по определению детерминанту матрицы ковариаций. Ясно, что при переходе от исходного вектора ξ к вектору главных компонент uG = (u1, u2 , ..., up ) обобщенная дисперсия не меняется,

p

так как D = ∏λi .

i=1

5. КАНОНИЧЕСКИЕ КОРРЕЛЯЦИИ

В настоящем разделе решается задача выделения наиболее коррелированных между собой линейных комбинаций из двух множеств случайных величин. Решение этой задачи имеет большое значение в том случае, если рассматриваемые множества очень велики и естественно ограничиться использованием небольшого числа линейных комбинаций из каждого множества.

Пусть ξ~ N (μG, D). Нас будут интересовать только дисперсии

и ковариации случайныхG величин, поэтому без ограничения общности положим μ = 0.

имеют размерности r, m соответственно. Положим r ≤ m . Матрица ковариаций разбивается аналогичным образом на блоки с r, m строками и столбцами:

30