книги / 41

3.2.ОДНОФАКТОРНАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

Вобщем смысле линейной функцией с одной переменной называется функция вида у = а0 + а1х, где а0 и а1 – некоторые констан-

ты. Областью определения линейной функции является множество всех действительных чисел (вся числовая прямая). Область значений линейной функции при а1 ≠ 0 также представлена числовой

прямой. При а1 = 0 область значений состоит из одной точки а0. Линейная функция дифференцируема на всей числовой прямой.

Так как f ′(x) = a1, то при а1 > 0 функция f возрастает на всей числовой прямой, при а1 < 0 функция f на этом же промежутке убывает, а при а1 = 0 функция постоянная. При а1 ≠ 0 линейная функция

не имеет экстремумов. Коэффициент а0 равен ординате точки пересечения прямой с осью ординат, коэффициент а1 – тангенсу угла между прямой и осью абсцисс.

Применительно к судебно-медицинской антропологии независимая переменная х в составе однофакторной линейной функции представлена значениями идентифицирующего показателя, а зависимая переменная у – прогнозируемыми значениями идентифицируемого параметра. Области определения и значений линейной модели идентификации представляют собой множество неотрицательных действительных чисел. Как отмечалось, на практике неизвестными являются не только регрессионные коэффициенты, но и сам класс истинного аналитического выражения прогнозной зависимости идентифицируемого параметра от идентифицирующего показателя. В этой связи однофакторная линейная регрессия является всего лишь одной из множества альтернативных моделей, аппроксимирующих класс неизвестной истинной функции регрессии.

Моделью однофакторной линейной регрессии является выраже-

ние ~ = β0 + β1 , где β0 и β1 – неизвестные параметры генеральной y x

совокупности, которые необходимо оценить по результатам выборочных наблюдений.

Если для оценки параметров β0 и β1 из двумерной генеральной совокупности (x,y) взята выборка объемом n, где (xi , yi ) результат

i-го наблюдения (i = 1,2,K,n), то модель регрессионного анализа

имеет вид ~i = β0 + β1 i + εi , где εi – независимые нормально рас- y x

101

пределенные случайные величины с нулевым математическим ожиданием и дисперсией σ ε2 .

Согласно методу наименьших квадратов для парной линейной регрессии задача заключается в отыскании неизвестных параметров b0 и b1, минимизирующих функцию Q:

Для этого продифференцируем функцию (11) отдельно по β0 и

β1:

Приравняв частные производные нулю и подставив в (12) вместо β0 и β1 их оценки b0 и b1, получим систему нормальных уравнений:

Величина b1 является угловым коэффициентом линии регрессии и называется коэффициентом регрессии (наклона). Поскольку f ′(x) = b1, то зависимая переменная у при b1 > 0 всегда возрастает в

среднем на b1 единиц, если независимая переменна х возрастает на единицу (или убывает в среднем на b1 при b1 < 0). Величина b0 называется коэффициентом сдвига. В отличие от b0 коэффициент регрессии более информативен и играет значительную роль в прикладном анализе.

102

Полученное на основе анализа выборочных данных уравнение

зависимости от значений х. Ввиду наличия в составе регрессионного уравнения компонента εi, обозначающего величину отклонения

точечной оценки )i от истинного значения yi, то прогнозирование

у

зависимой переменной не будет точным. Поэтому для оценки надежности регрессионного уравнения используется такая характеристика, как остаточное стандартное отклонение (стандартная ошибка регрессии), вычисляемое по формуле:

Для определения интервальных оценок результативного показа-

-каждому значению х соответствует распределение наблюдаемых значений у, которое является нормальным;

-дисперсия у остается постоянной при изменении х;

-ошибка ε является случайной величиной со средней, равной нулю, причем последовательные значения ε независимы друг от друга

и имеют одинаковую дисперсию, т.е. Мεi = 0; Dεi = σ 2 для всех i = 1,2,K,n и Mεiε j = 0 при i ≠ j.

При линейной корреляционной связи между переменными х и у дисперсия распределения у вокруг прямой регрессии совпадает с дисперсией случайных ошибок ε.

Поскольку статистики b0 и b1 являются выборочными оценками неизвестных коэффициентов β0 и β1, то общая дисперсия прогноза,

обеспечиваемого уравнением ) = + , слагается из трех дис- y b0 b1xi

персий: остаточной дисперсии и дисперсий статистик b0 и b1.

В теории доказано, что дисперсии статистик b0 и b1 определяются как

103

Ввиду (20) и допущений о нормальности распределения у вокруг прямой регрессии можно определить доверительный интервал для yi при любом заданном xi:

Из (21) следует, что по мере удаления xi от среднего значения х ширина доверительного интервала для yi снижается. Наименьшую величину доверительный интервал для yi имеет при xi = x .

С помощью t-распределения можно также с доверительной вероятностью 1-α определить интервальные оценки параметров β0 и β1:

β0 b0 ± tα ;n−2 sb0 и β1 b1 + tα ;n−2 sb1 .

Установление значимости однофакторного линейного уравнения регрессии сводится к проверке при заданном α нулевой гипотезы о значимости коэффициента регрессии β1, т.е. гипотезы H0 : β1 = 0

при альтернативной гипотезе: H0 : β1 ≠ 0. Для этого используется значение статистики

104

которое сравнивают с критическим значением t при уровне значимости α и v = n − 2 степенях свободы. Нулевая гипотеза H0 : β1 = 0

левая гипотеза принимается, и уравнение регрессии считают незначимым. В случае отсутствия значимости b1 использование выборочного регрессионного уравнения для прогнозирования и анализа не имеет смысла, так как оно не отражает реальной связи между исследуемыми переменными.

Доказано, что результаты проверки значимости однофакторной регрессии и парного коэффициента линейной корреляции с помощью формул (22) и (5) тождественны [16].

Рассмотрим показатель, определяющий в какой степени изменением независимой переменной объясняется вариация зависимой переменной. Определение интенсивности связи основано на разложении на два слагаемых суммы квадратов отклонений зависимой переменной yi от среднего у :

Величина r2 называется коэффициентом детерминации. Данный коэффициент характеризует удельный вес общей дисперсии, который объясняется уравнением регрессии (или изменением факторного показателя х). Можно показать, что значение коэффициента детерминации равно квадрату коэффициента корреляции, поэтому r2 [0;1].

Из выражения (16) следует, что остаточная сумма квадратов связана с остаточной дисперсией соотношением

n

∑(yi − y)2 = (n − 2)sε2 .

i=1

Всвою очередь, общая сумма квадратов связана с дисперсией s2y

соотношением

n

∑(yi − y)2 = (n −1)s2y .

i=1

Отсюда r2 = 1− n − 2 sε2 . n −1 s2y

105

В качестве примера однофакторной линейной регрессии продолжим построение регрессионной модели идентификации гестационного возраста плодов и новорожденных по диаметру лимфоидных узелков селезенки. В разделе 2.2 было доказано наличие и оценена степень тесноты связи между гестационным возрастом и указанным гистометрическим показателем фетальной селезенки. Однако для идентификации гестационного возраста необходимо получить аналитическое выражение зависимости данного идентифицируемого параметра от идентифицирующего показателя – диаметра лимфоидных узелков. Необходимые для этого результаты промежуточных вычислений приведены в таблице 8.

Таблица 8

Промежуточные результаты построения однофакторной линейной регрессионной модели идентификации гестационного возраста

Исходя из (14), (15), (16) и (20) получаем оценки b1, b0, sε и sf:

sε = 1874,4 /(99 − 2) = 4,396;

s f = 4,3961,010 + (xi −185,4)2 /172973,2 .

Отсюда с учетом (21) получаем полную регрессионную модель идентификации гестационного возраста по диаметру лимфоидных узелков селезенки:

yi = 13,684 + 0,085xi ± 4,396tα ;97 1,010 + (xi −185,4)2 /172973,2 ,

где xi – средний диаметр лимфоидных узелков с учетом усадки, мкм; yi – гестационный возраст, недель (рис. 18).

5 Здесь и в других примерах некоторые различия в итоговых результатах связаны с округлениями на стадии промежуточных вычислений.

106

Рис. 18. Геометрическая интерпретация однофакторной линейной регрессионной модели идентификации гестационного возраста плодов и новорожденных по диаметру лимфоидных узелков селезенки. По оси абсцисс – средний диаметр лимфоидных узелков селезенки с учетом усадки, мкм; по оси ординат – гестационный возраст, недель. Непрерывной линией показана прямая регрессии, пунктирными - 95% доверительная область для значений гестационного возраста.

С помощью (17) вычислим стандартные ошибки коэффициентов регрессии:

sb1 = 4,3962 /172973,2 = 0,0106.

Отсюда с помощью t-распределения определяем 95% интервальные оценки параметров β0 и β1:

9,698 < β0 < 17,670;

0,064 < β1 < 0,106.

Поскольку 95% доверительный интервал для β1 не содержит нуль, можно со статистической надежностью, равной не менее 0,95, сделать вывод о значимости данного регрессионного уравнения. Точное значение вероятности ошибочного принятия альтернативной гипотезы о значимости регрессии в данном случае равняется р = 2,106 10−12 .

107

3.3.МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

Спомощью уравнений однофакторной регрессии можно прогнозировать значения идентифицируемого параметра всего лишь по одному идентифицирующему показателю. Полученные подобным образом прогнозные оценки редко бывают точными. Поэтому в су- дебно-медицинских антропологических исследованиях повышения точности обычно добиваются путем включения в диагностическую регрессионную модель нескольких признаков, обладающих наибольшей идентификационной значимостью. Подобные задачи в су- дебно-медицинской антропологии и других приложениях решаются методами множественной регрессии.

Важнейшей предпосылкой применения множественной регрессии является линейность связь между переменными. На практике это предположение, в сущности, никогда не может быть достоверно подтверждено. Однако процедуры множественного регрессионного анализа в незначительной степени подвержены воздействию малых отклонений от этого предположения [13].

В общем случае модель множественной линейной регрессии можно представить в виде уравнения

Если для оценки неизвестных параметров βi (i =1,2,K,k) уравне-

ния множественной регрессии взята случайная выборка из (k+1)- мерной нормально распределенной генеральной совокупности, где yi ,xi1,Kxik - результат i-го наблюдения, где i = 1,2,K,n, то модель

множественной линейной регрессии имеет вид:

средним.

В матричной форме модель множественной линейной регрессии имеет вид:

108

ных величин (n > k);

β1

β = β2 - вектор столбец размерности (k+1) неизвестных пара-

Mβk

метров, подлежащих оцениванию;

Причем ковариационная матрица ∑(ε ) = Мεε Т , где

Для дальнейшего анализа повторим сделанные ранее допущения относительно ошибок: εi является случайной величиной со средней, равной нулю, причем последовательные значения εi независимы друг от друга и имеют одинаковую дисперсию, т.е. для всех

109

Оценки неизвестных параметров β определяются из условия минимизации скалярной суммы квадратов Q по компонентам вектора

β:

Условием обращения Q в минимум является система уравнений

∂Q = 0, где j = 1,2,K,k . Вычисляя частные производные, получим

∂β j

− 2X T (Y − Xβ ) = 0,

где ХТ – транспонированная матрица Х.

Заменяя вектор β на оценку метода наименьших квадратов, в конечном счете, можно получить

В случае линейной модели b является несмещенной оценкой с минимальной дисперсией вектора β [26].

Ковариационная матрица вектора b равна

∑(b) = σ 2 (X T X )−1 ,

вкоторой элементы главной диагонали представлены дисперсиями вектора оценок b. Вне главных оценок ковариационной матрицы расположены значения коэффициентов ковариации:

cov(bibj ) = M (bi − βi )(bj − β j ), где i, j = 0,1,2,K,k .

Таким образом, оценка bi коэффициента множественной линейной регрессии βi (i = 0,1,2,K,k) имеет нормальный закон распреде-

110