ТВиМС.Малярец.Егоршин 22.12.12

В новой статистике Стьюдента для сравнения средних рангов двух групп

Дополнение к выводу формул Краскала – Уоллиса

Математика – это не поваренная книга рецептов, где все надо запоминать без каких-либо доказательств.

Конечно, для нематематиков сложные выводы можно не приводить, а ограничиться ссылками на соответствующие источники. Но если математические преобразования посильны и поучительны, может быть стоит их привести как дополнительные (необязательные) материалы к изучению данной темы. Разве неинтересно узнать, каким образом была выведена формула для диспер-

141

Этот результат мы установили ранее простейшими рассуждениями. Вычислим дисперсию суммы рангов z iui в случайной выборке:

Вопросы для самопроверки

1.Сформулируйте задачу дисперсионного анализа.

2.Что такое суммы квадратов? Напишите разложение общей суммы квадратов на компоненты.

3.Что такое число степеней свободы? Напишите разложение общего числа степеней свободы на компоненты.

4.Что такое средние квадраты?

5.Что означает дисперсионное отношение Фишера?

6.Как определяется значимость различий между группами наблюдений?

7.Как оценить тесноту связи между классификационной и результативной переменными?

8.Как уточнить, между какими именно группами имеются значимые различия?

9.Что такое ранги?

10.Какие преимущества имеет ранговый дисперсионный анализ?

142

14. Регрессионный анализ

Регрессионный анализ предназначен для изучения корреляционных связей между количественными переменными, причем результативная переменная должна быть измерена в количественной непрерывной шкале. Несколько странное название «регрессионный анализ» (почему «регресс», а не «прогресс»?) закрепилось исторически. Дело в том, что характерной особенностью прогрессивно возрастающих зависимостей является увеличение темпа возрастания результативной переменной у / х при увеличении абсолютного уровня объясняющей переменной х. Такими зависимостями обычно описываются нестабильные процессы типа взрыва (цепная реакция, демографический взрыв, удвоение числа публикаций через определенный период и т. п.). Большинство же интересующих нас биометрических («био» – жизнь) зависимостей регрессивны, для них характерно насыщение – постепенное снижение эффективности управляющих воздействий (объясняющих переменных), с возрастанием их абсолютных значений темпы прироста результативной переменной снижаются

(рис. 14.1).

Рис. 14.1. Прогрессивная и регрессивная зависимости

В регрессионном анализе (так же, как и в дисперсионном) изучается поведение только одной характеристики распределения результативной переменной – центра группировки Y при каждом значении объясняющих переменных х1 , х2 , х3 и т. д. Следовательно, в регрессионном анализе изучаются корреляционные зависимости. По традиции уравнения этих зависимостей называются уравнениями регрессии, а их графики – линиями регрессии. Корреляционнорегрессионный анализ не решает вопрос о направлении причинно-

143

следственных связей; специалист должен сам указать, какую именно переменную надо считать результативной (остальные переменные тогда будут считаться объясняющими). В регрессионном анализе все ошибки будут отнесены только к результативной переменной, а объясняющие переменные будут считаться неслучайными, измеренными точно. Из-за этой особенности одним и тем же данным будет соответствовать не одно, а несколько так называемых сопряженных уравнений регрессии в зависимости от того, какая именно переменная объявлена результативной. На рис. 14.2 изображены линии сопряженных регрессий для двух случайных величин (X, Y), причем на рис. 14.2a за результативную переменную принята переменная Y и найдены ее средние значения М( y | x ) для каждого значения х, а на рис. 14.2б за результативную переменную принята переменная Х и найдены ее средние значения М( х | у ) для каждого значения y.

а) б)

Рис. 14.2. Сопряженные линии регресии и диагональная регрессия

Данный пример соответствует случаю совместного нормального распределения двух случайных величин (X, Y). С уровнем доверия Р = 0,95 практически все точки (95 %) попадают в эллиптическую область, поскольку для двумерного нормального закона область рассеивания точек (xi , yi) имеет такую форму.

Если X – причина, а Y – следствие (рис. 14.2а), то линия регрессии М( y | x ) = f1(x) будет совпадать с диаметром эллипса, сопряженным семейству вертикальных хорд (то есть серединами вертикальных хорд эллипса).

Если Y – причина, а X – следствие (рис. 14.2б), то линия регрессии М( х | у ) = f2(у) будет совпадать с диаметром эллипса, сопряженным семейству горизонтальных хорд (серединами горизонтальных хорд эллипса).

Это совсем разные диаметры. Обе сопряженные линии регрессии не совпадают с главной осью эллипса рассеивания – это следствие выбора только

144

одной переменной в качестве случайной (результативной) величины, которой приписываются все ошибки (случайные и неслучайные). Чаще всего специалист не сомневается в правильности выбора направления причинноследственных связей. Тогда разумным выглядит предположение, что одна из переменных определяет другую.

Однако бывает, что обе переменные (X, Y) являются разными следствиями одной и той же общей причины, что и порождает наблюдаемую связь между ними (например, обе переменные возрастают со временем). В такой задаче нет оснований принимать какую-либо переменную в качестве результативной и считать, что одна переменная определяет другую; наилучший график зависимости между равноправными переменными X, Y должен совпадать с главной осью рассеивания данных. По традиции этот особый вид зависимости называется диагональной регрессией. Сразу же отметим, что диагональная регрессия не есть регрессия (корреляционная зависимость) по определению, так как точки диагонали эллипса не являются средними значениями одной из переменных при заданных значениях остальных.

Метод наименьших квадратов (МНК)

Данные обычно имеют вид таблицы значений показателей (х1 , х2 , у), один из которых является результативным (у) и выражается через оставшиеся объясняющие переменные (х1 , х2), которые иногда называются факторами.

Предполагается, что форма связи нам известна с точностью до параметров, наилучшие значения которых надо найти по опытным данным, то есть найти МНК-оценки параметров. Для применения метода наименьших квадратов крайне желательно, чтобы параметры входили в форму связи линейным образом, например, так:

линейная двухфакторная зависимость: у = b0 + b1 x1 + b2 x2 + e; квадратичная однофакторная зависимость: у = b0 + b1 x + b2 x2 + e; нелинейная зависимость: lnу = b0 + b1 lnx1 + b2 lnx2 + e.

Здесь b0 , b1 , b2 – параметры модели, которые подлежат определению; е – ошибки (остатки модели).

Далее будем рассматривать базовую линейную зависимость, к которой могут быть сведены многие другие зависимости соответствующими заменами переменных: у = ур + е, где ур = b0 + b1 x1 + b2 x2 .

145

Условимся суммирование по всем наблюдениям обозначать квадратными

По методу наименьших квадратов (МНК) параметры модели b0 , b1 , b2 следует определять из условия минимума суммы квадратов ошибок по всем наблюдениям [e2] min.

Согласно необходимым условиям экстремума, приравниваем к нулю частные производные суммы квадратов ошибок по каждому параметру модели b0 , b1 , b2 .

В результате получим такую систему нормальных уравнений:

[e] = 0; [ex1] = 0; [ex2] = 0.

При преобразованиях были использованы правила:

Название «система нормальных уравнений» объясняется терминологией векторного исчисления.

Таблицы значения любых переменных (у, х0 , х2 , е) представляют собой n- мерные векторы:

y = (y1 , y2 , … , yn); x0 = (1, 1, … , 1);

xj = (xj1 , xj2 , … xjn);

e = (e1 , e2 , … , en).

Два вектора перпендикулярны (ортогональны, нормальны), если их скалярное произведение (сумма значений одноименных компонент) равно нулю

Таким образом, система нормальных уравнений действительно представляет собой запись условий ортогональности (нормальности) вектора ошибок (е) к каждому члену модели (1, х1 , х2).

Помножим равенство у = а0х0 + а1х1 + а2х2 + е (где х0 = 1) на каждую переменную, которые входят в это равенство, и вычислим средние полученных выражений по всем наблюдениям.

При этом учтем требование нормальности (ортогональности) ошибок к

каждому члену модели e 0, ex1 0, ex2 0.

146

Если вычислить эти параметры с 4-мя десятичными знаками, то для суммы квадратов ошибок получим значение [e2] = 0,945, а с 5-ю знаками – уже

[e2] = 0,915.

Оценка тесноты принятой формы связи

Ввиду ортогональности ошибок к каждому члену модели [e] = 0; [ex1] = 0; [ex2] = 0 ошибки будут также ортогональны к расчетным значениям

[eур] = 0, где ур = b0 + b1 x1 + b2 x2 .

Выражение у = ур + е представляет собой разложение полного сигнала (у) на две компоненты – детерминированную часть (ур), которая определяется моделью (уравнением регрессии; в конечном итоге, – объясняющими переменными х1 , х2), и ошибку (е), которая моделью не определяется. Оказывается, что

0

Удвоенная сумма равна нулю ввиду ортогональности ошибок к расчетным значениям [eур] = 0 и свободному члену модели [e] = 0.

Получили разложение общей суммы квадратов отклонений (SSy ) на две компоненты, одна из которых определяется моделью (SSр ), а другая (SSе) моделью не определяется SSy = SSр + SSе, или в относительных величинах:

сумм квадратов, которые не могут быть отрицательными; с другой стороны, ко-

149