1185

произведение имеет один столбец и пять строк, что соответствует размерности матрицы Y. И тогда матрица-произведение имеет вид

1&0“b ^i(0)

i^ о + М - И ) _1 &0+ М4"2)_

Сопоставление матрицы-произведения с системой уравнений убеждает нас в тождественности матричной и нематричной форм записей. Вектор Y, оказывается, и есть матрица произведений в данном случае. Элементы матрицы-произведения называются Скалярными произведениями вектор-строки матрицы, стоящей слева, и соответствующего вектор-столбца матрицы, стоящей справа.

рядке записаны матрицы в произведении. Вы, наверное, заметили, что левая и .правая матрицы неравноправны. Если вы захотите умножить матрицу В на матрицу X (ВХ), то убедитесь, что этого сделать невозможно, ибо длины векторов, входящих в скалярное произведение, должны быть согласованы.

Таким образом, длй двух произвольных матриц произведение су­ ществует, если число столбцов матрицы, стоящей слева, равно числу строк матрицы, стоящей справа. Ясно, что для двух'квадратных мат­ риц одинакового размера существуют оба произведения (справа и слева),однако они могут быть различными. Матрицы, произведение которых не зависит от порядка сомножителей, называются комму­ тирующими. В общем же случае для произведения матриц комму­

Можно показать, что в матричном виде она запишется следующим образом: XTX B = X TY. Здесь Хг обозначает матрицу, транспо­ нированную по отношению к матрице X. Протранспонировать матрицу — это значит столбцы исходной матрицы сделать строками транспонированной матрицы, сохранив их последовательность. Так, в нашем случае транспонированная матрица

Для получения системы нормальных уравнений нам пришлось умножить обе части исходной системы уравнений слева на Хт. Давайте выполним эти операции

160

Теперь можно записать систему уравнений:

Читателю представляется возможность убедиться в том, что полученная матричная запись в точности соответствует исходной системе нормальных уравнений.

Матрица ХТХ называется матрицей системы нормальных уравнений. Она обладает рядом важных для нас свойств. Прежде всего заметим, что в этой матрице два элемента, расположенных симметрично относительно диагонали, идущей с левого верхнего угла в правый нижний (так называемой главной диагонали),. равны между собой. В нашем случае это нули. Такое свойство характерно для матриц систем нормальных уравнений МНК, так как векторы, входящие в скалярные произведения, комму­ тативны.

Матрица, элементы которой симметричны относительно глав­ ной диагонали, называется симметричной. Если все элементы вне главной диагонали равны нулю, то такая матрица называется диагональной. В дальнейшем нам понадобится еще одна разновид­ ность диагональных матриц. Диагональная матрица, все элементы главной диагонали которой являются единицами, называется еди­ ничной матрицей. Единичная матрица играет в алгебре матриц такую же роль, какую единица — в алгебре чисел.

Решить систему нормальных уравнений это значит записать в явном виде элементы вектора В (Ь0 и Ъг). Если бы мы имели дело с числами, то для этого нужно было бы поделить обе части на коэф­ фициент при неизвестном и получить ответ. Но для матриц вместо деления (которое не определено) используется специальная опе-

рация умножения на обратную матрицу. Задача состойт в том, чтобы превратить матрицу, стоящую перед матрицей неизвестных коэффициентов, в единичную. Тогда умножение вектора В на еди­ ничную матрицу его не изменит, а чтобы равенство не наруши­ лось, и правую часть придется домножить на соответствующую матрицу. Если условиться обозначать обратную матрицу степенью

—1 , то предыдущие рассуждения приведут к следующей записи: (Х7^ ) -1 (X7’X )B = (X TX)_1X7'Y. Здесь система нормальных уравнений МНК умножена слева на матрицу, обратную к матрице системы .нормальных уравнений.

Произведение обратной матрицы на прямую справа равно

Лишь благодаря простоте примера можно было воспользоваться столь элементарной процедурой. В общем случае приходится при­ бегать к более сложным алгоритмам и вычислительной технике [5, 6].

Отметим некоторые существенные свойства обратной матрицы. Произведение прямой и обратной матрицы коммутативно. Если прямую матрицу обозначить А, то АА_1= А_1А = Е .

Матрица, обратная к симметричной, тоже будет симметрична. На главной диагонали матрицы, обратной к диагональной, будут стоять числа, обратные соответствующим числам, стоящим на диагонали прямой матрицы. Зная это свойство, мы могли не про­ делывать предыдущие вычисления, а сразу записать обратную матрицу для нашего примера.

Продолжим вычисление для примера. Подставим известные матрицы в уравнение для вектора коэффициентов B = (X TX)-1X TY.

162

Осталось перемножить матрицы и получить

Две матрицы равны, когда равны их соответствующие элементы, поэтому Ъ0= 2 , Ъх= 1. Таким образом, мы получили результат, совпадающий с полученным ранее без использования матриц.

Введем еще одно важное понятие: каждой квадратной матрице можно поставить в соответствие некоторое число, называемое определителем этой матрицы. Определитель представляет собой алгебраическую сумму всех возможных произведений, в каждое из которых входит по одному элементу от каждой строки и от каждого столбца. Причем знак произведения ( + или —) зависит от положения элементов данного произведения матрицы.

Посчитаем определитель для матрицы системы нормальных уравнений. Здесь возможны два произведения, каждое из кото­ рых содержит два сомножителя 5-10=50 и 0-0=0.

Определитель принято обозначать

или

det 05 100 = 50

(det — определитель от латинского determinant). Вычислим определитель обратной матрицы

Можно заметить, что между определителями прямой и обратной матрицы существует в данном случае простое соотношение: они являются взаимнообратными числами. Такое соотношение выполняется и в общем случае.

Определитель может быть любым действительным числом, как положительным, так и отрицательным. Он может оказаться и равным нулю. С последним случаем связаны некоторые особен­ ности свойств матрицы. Матрица, определитель которой равен нулю, не имеет обратной. Такую матрицу называют особенной, вырожденной или сингулярной. Если же определитель матрицы не равен нулю, то матрица называется неособенной, невырожден­ ной или несингулярной.

11* 163

Значит, решение системы нормальных уравнений возможно только тогда, когда матрица невырождена, т. е. det (ХгХ)т^0. Это предполагалось и имело место в нашем примере.

10.3.Обобщение метода наименьших квадратов на многофакторный линейный случай

Пусть имеется к факторов и известно, что отклик и факторы

связаны линейно: у = Ъ 0х 0 ^ - Ъ 1х 1-\-Ъ 2х 2 - {- . -\-Ъ к х к . Выпишем для

этого случая матрицы X, Y и В

После преобразований, аналогичных рассмотренным в пре­ дыдущем параграфе, придем к следующей формуле:

Скалярные произведения удобно представлять в виде сумм, т. е. матрицу системы нормальных уравнений можно ваписать в сле­ дующем виде;

104

_ 2 г/**

Чтобы получить ответ, т. е. вектор В, остается обратить ма­ трицу Х^Х и умножить обратную матрицу на XrY.

Проведем обработку данных табл. 7.9 матричным способом

8 0 0 0 0 0 0 0 "

0 8 0 0 0 0 0 0

0 0 8 0 0 0 0 0

Х*Х =

0 0 0 8 0 0 0 0

0 0 0 0 8 0 0 0 ;

0 0 0 0 0 8 0 0

0 0 0 0 0 0 8 0 L0 0 0 0 0 0 0 8^,

«66

Мы получили те же результаты, что и в седьмой главе. Детально рассмотренная процедура МНК в матричной форме показывает, как получаются формулы для коэффициентов регрессии, которые использовались в предыдущих главах.

Аналогичным путем можно оценить эффекты взаимодействия, входящие в модель. Для этого надо расширить матрицу X, вклю­ чив в нее столбцы взаимодействий. Все остальные операции про­ изводятся совершенно аналогично. В векторе В появляются при этом элементы, соответствующие эффектам взаимодействий. Рас­ ширение матрицы X подобным образом называют линеаризацией. Это эквивалентно замене эффектов взаимодействия новыми ли­ нейными членами. Подобная процедура возможна только тогда, когда все коэффициенты входят в уравнение линейно. Такие урав­ нения называются линейными по параметрам и только они рас­ сматриваются в нашей книге. В некоторых случаях приходится использовать уравнения, нелинейные по параметрам. Примером

166

10.4. Статистический анализ

Впредыдущей главе вначале была продемонстрирована про­ цедура МНК, а затем рассмотрены статистические аспекты. Так же построена и эта глава.

Перейдем к статистическому анализу в матричной форме. Будем предполагать, что постулаты регрессионного анализа вы­ полняются. Что значит провести статистический анализ? Это значит проверить ряд статистических гипотез: гипотезу об аде­ кватности заданной модели, гипотезы о значимости отдельных ко эффициентов регрессии и др. Дальнейшее изложение направлено на прояснение некоторых обстоятельств, определивших вид фор­ мул статистического анализа регрессионной модели. Знакомство

сэлементами алгебры матриц поможет сделать это. Фундаментальную роль в анализе уравнения регрессии играет

матрица

M'i = (X T X sl})-\

которая называется матрицей дисперсий-ковариаций. Прямая матрица М называется информационной матрицей Фишера.

В структуре матрицы дисперсий-ковариаций содержится вся информация о статистических свойствах модели. Провести стати­

Умножить матрицу на скаляр слева или справа — значит умно­ жить на этот скаляр каждый элемент матрицы.

Полученные таким образом произведения имеют определенный статистический смысл. Так, на главной диагонали матрицы-про­ изведения стоят оценки дисперсий коэффициентов регрессии, вне главной диагонали расположены оценки, ковариаций.

Чтобы познакомиться с понятием ковариация, рассмотрим два произвольных вектор-столбца матрицы X. Во многих случаях важно знать, сколь сильна линейная связь между этими векторами. Ковариация является одной из мер такой связи. Чтобы найти ко­ вариацию, сначала центрируют оба вектора, а затем вычисляют их скалярное произведение. Центрирование используется для устранения неопределенности, связанной с выбором начала коор­ динат. Пусть, например, изучается ковариация между темпера­ турой и каким-нибудь другим фактором. Если значения темпера­ туры записываются в шкале Цельсия, то без центрирования зна­ чение ковариации получится иное, чем для шкалы Кельвина. При центрировании же это не произойдет.

1=1

Заметим, что это выражение совпадает с числителем коэффициента парной корреляции, с которым мы уже сталкивались (§ 2.3).

Давайте построим матрицу М-1 для однофакторной линейной модели. Информационная матрица М равна:

Ортогональные планы, рассматриваемые в этой книге, обла­ дают тем свойством, что ковариации между всеми парами коэф­ фициентов регрессии равны нулю. Это можно проиллюстрировать примером из предыдущего параграфа:

(так принято сокращенно записывать квадратные матрицы, когд^4 все внедиагональные элементы равны нулю). В этом примере

гональных планов.

Рассмотрим теперь проверку адекватности линейного урав­ нения регрессии. Дисперсия адекватности равна

N

2 (у,

о2 -- ___________

°*д — iv — (A -h 1) •

168

Приведем конкретный пример (§ 6.4, пример № 4) расчета остаточной суммы квадратов разными способами (см. табл. 10.3).

Таблица 10.3 Расчет остаточной суммы квадратов

Линейное уравнение регрессии имеет вид #=88,0 —2,0 ^ —4,5а:2. Обычный способ вычисления остаточной суммы дает

2 (у, — y ,f = (0,25 + 0,25 + 0,25 + 0,25) = 1,00.

1=1

Воспользуемся теперь матричной записью. Для этого придется ввести еще одну матричную операцию — операцию вычитания. Разностью двух матриц одинакового размера называется матрица, элементы которой являются разностями соответствующих эле­ ментов матриц уменьшаемого и вычитаемого, взятых в том же порядке:

169