Многомерный статистический анализ (128

рых u1, v1 имели бы максимальный коэффициент корреляции ρ = max ρ(u 1,v1). Чтобы задача имела единственное решение, нор-

мируем αG, β условием единичности дисперсий

слева на β′, найдем

31

Из (5.3) и (5.6) видно, что коэффициент корреляции совпадает с одним из корней. Так как нам необходим наибольший коэффициент, то полагаем λ = λ1. При этом значении λ решаем систему

(5.7) и находим искомые векторы αG, β. Обозначим их αG1, β1 . Определение 5.1. Случайные величины u1 =αG1′ξ1, v1 =β1′ξG2 на-

v2 =βG′ξG2 , которые имели бы наибольший коэффициент корреля-

ции среди всех линейных комбинаций, некоррелированных с первыми каноническими величинами.

Из условия некоррелированности получим

0 = Eu1u2 = α′D11αG1.

Таккак λ1 ≠ 0, то D11αG1 = 1 D12βG1. Тогдасправедливоравенство

λ1

0 = Ev1u2 = αG′D12β1,

т. е. величины v1, u2 также некоррелированы. Аналогично находим

0 = Ev1v2 =βG′D22βG1 = λ1 βG′D21αG1 = Ev2u1.

1

Функция Лагранжа для этого случая имеет вид

L = αG′D12βG − 12 λ(αG′D11αG −1) − 12 μ(βG′D22βG −1) + +ναG′D11αG1 + θβG′D22βG1.

33

Дифференцируя L по α, получим

Умножим (5.10) слева на α1′. Тогда

0 = αG1′D12βG −λαG1′D11α+G ναG1′D11αG1 = ναG1′D11αG1.

Из условия нормировки следует, что ν = 0. Совершенно аналогично предыдущему дифференцируем L по β, а затем умножаем

полученное равенство слева на β′, находим θ = 0.

Таким образом, определение наибольшего коэффициента корреляции сводится к уже решенной задаче нахождения экстремума функции Лагранжа (5.4). В качестве решения (5.9) берем второе по

называются вторыми каноническими величинами, а их коэффициент корреляции ρ = αG′D12β называется второй канонической кор-

реляцией.

Продолжая процесс определения искомых линейных комбинаций, получим последовательность независимых пар случайных величин (u1, v1), (u2 , v2 ) ,…, (ur , vr ). Эти пары называются кано-

ническими величинами, а их коэффициенты корреляции – каноническими корреляциями.

На практике всегда вместо параметров подставляют их оценки.

где оценки Dij определяются из оценки матрицы ковариаций D.

Оценки наибольшего правдоподобия для векторов αGi , βi удовлетворяют уравнениям (5.7), (5.8) для выбранного значения λi .

6.МНОГОМЕРНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ

6.1.Оценка параметров линейной регрессии

Пусть проводят эксперимент, в результате которого наблюдается векторная величина. При этом известно, что на результат эксперимента (точнее, на его распределение) оказывают влияние q факторов, значения которых известны в каждом эксперименте или даже прямо определяются исследователем. Ставится задача – построить модель зависимости наблюдений от значений факторов, а также оценить параметрыG этой модели.

Пусть ξ1, ...,ξn – n наблюдений над случайным вектором. Обозначим zG = (z1,..., zq )′ вектор факторов, влияющих на исход эксперимента, и zGi = (z1i ,..., zqi )′ – его значение в i-м наблюдении. Будем предполагать, что ранг матрицы Z = (z1,..., zGq ) равен

r(Z) = q.

Обозначим B = ( bij ) матрицу размеров (p×q).

Определение 6.1. Линейной моделью называется следующая

система предположений о распределении вектора наблюдений

ξG = (ξ1,...,ξp ).

1. Математическое ожидание i-го наблюдения имеет вид

EξGi = BzGi .

2. Матрица ковариаций D вектора наблюдений не зависит от значений факторов zG = (z1,..., zq ).

G 3. Вектор наблюдений имеет нормальное распределение

ξ ~ N(Bz, D).

Необходимо по выборке оценить неизвестные параметры B, D. Воспользуемся методом максимального правдоподобия.

Функция правдоподобия в данном случае имеет вид

35

Для того чтобы найти производные по B и D, напомним правила дифференцирования функционалов по матричным аргументам, приведенные в пособии [1].

Пусть для матриц X, A, C и вектора a определены все операции, приведенные ниже. Справедливы соотношения:

∂∂X [trX ′AXC]= AXC + A′XC′;

Здесь tr A – след матрицы A. Получим систему уравнений

В (6.4) матрица Q(B) равна:

Q(B) = n (ξGi − BzGi )(ξG i − BzGi )′.

i=1

36

При выводе уравнений (6.3), (6.4) учитывалась симметричность матриц

Тогда оценки максимального правдоподобия можно записать в виде

Для вычисления оценки матрицы ковариаций D часто используют эквивалентную формулу

Можно доказать, что оценка матрицы ковариаций смещена:

= n −q ED n D.

Несмещенной оценкой является статистика

Вычислим максимальное значение функции правдоподобия. Преобразуем квадратичную форму в показателе степени:

Тогда

Это значение потребуется в дальнейшем при проверке статистических гипотез о параметрах B.

6.2. Проверка гипотез в линейной модели

Пусть справедлива линейная модель. Разобьем матрицу коэффициентов B на две подматрицы: B = (B1B2 ), где B1 – матрица

размеров p ×q1 , B2 – матрица размеров p ×q 2 . В соответствии с

этим разбиением вектор факторов и матрица Qzz также распадаются на два подвектора и четыре блока соответственно:

где числитель равен максимуму функции правдоподобия при условии справедливости (6.9), а знаменатель – безусловному максимуму.

Очевидно, что 0 ≤ λ ≤1, причем большие значения статистики свидетельствуют в пользу гипотезы.

Знаменатель определен в (6.8).

Обозначим L0 = L(ξG; B, D H0 ). Найдем max L0 .

Пусть ηGi = ξGi − B10 zG1i . Очевидно, что при справедливости гипотезы H0 выполняется соотношение ηi ~ N (B2 z2i , D) , так как вид

распределения не изменится при вычитании константы. Однако в этом случае оценки параметров определяются по тем же форму-

Нулевой индекс означает, что оценки получены в предположении справедливости H0 . Тогда условный максимум равен

39

Статистика отношения правдоподобия (6.10) имеет вид

Эта статистика эквивалентна статистике

D

U = . (6.13)

D 0

Для использования (6.13) необходимо знать распределение статистики при условии основной гипотезы. Точные распределения очень сложны уже при размерностях более двух, однако для больших объемов выборок справедлива следующая теорема.

Теорема 6.1. Если справедлива гипотеза (6.9), то при n → ∞ рас-

пределение случайной величины V = −(n − q2 − 12 ( p + q1 +1))lnU

сходится к распределению случайной величины хи-квадрат с ( pq1 ) степенями свободы:

Большие значения V свидетельствуют против гипотезы (6.9).

7. ФАКТОРНЫЙ АНАЛИЗ

Пусть проводят экспериментG , в результате которого наблюдается векторная величина ξ = (ξ1,..., ξp )′. Модели факторного ана-

лиза базируются на предположении, что структура связей между компонентами (причинами) ξ1,...,ξp определяется их зависимо-

40