Теория вероятностей и математическая статистика_Лисьев В.П_Уч. пос_МЭСИ, 2006 -199с

Дисперсионный анализ

F1 ≥ Fα1 и F2 ≥ Fα2, то нужно признать влияние на X обоих факторов. Не следует забывать, что эти выводы имеют вероятностный характер, так как имеют место вероятности ошибок первого и второго рода.

При «ручных» вычислениях удобнее пользоваться следующими формулами:

i=1

Для проверки гипотезы об отсутствии взаимодействия между факторами необхо- димо иметь по нескольку измерений на каждой комбинации уровней факторов. Предпо- ложим, что на каждой комбинации уровней факторов сделано по t измерений. Тогда рас- сматривается обычная задача двухфакторного анализа, в которой вместо xij берутся вели- чины xij + :

Гипотеза об отсутствии взаимодействия проверяется следующим образом. Вычис- ляется дополнительное отношение F3:

Отношение F3 будет иметь F-распределение со степенями свободы (k – 1)(n – 1) и kn(t – 1). Как обычно, по уровню значимости α и данным степеням свободы определяется критическое значение Fα3. Если F3 < Fα3, то взаимодействие между факторами не является существенным. Это означает, что решение о влиянии факторов можно принимать инди- видуально по каждому фактору. Если F3 ≥ Fα3, то взаимодействие между факторами при- знаётся существенным. В таком случае нужно провести однофакторный анализ по каждо- му фактору отдельно, затем учесть, что в совокупности эти факторы также оказывают влияние на исследуемую величину.

8.4.Трёхфакторный дисперсионный анализ. План «латинский квадрат»

Рассмотренную схему проведения дисперсионного анализа можно применять и для большего числа факторов. Однако с ростом числа факторов резко повышается тре- буемый объём измерений случайной величины. В связи с этим иногда отказываются от полного факторного плана и применяют тот план эксперимента, который позволяет со- кратить число измерений. Рассмотрим одним из таких планов – план «латинский квад- рат», применяемый в трёхфакторном анализе.

Имеется случайная величина X, на которую, возможно, влияют три фактора A, B и C. Пусть каждый фактор имеет n уровней. Тогда для реализации полного факторного плана потребуется не менее чем n3 измерений. Идея плана «латинский квадрат» состоит в следующем. Измерения делаются по такой схеме, в которой каждая пара уровней раз-

131

Дисперсионный анализ

Термины для запоминания

♦Дисперсионный анализ; однофакторный дисперсионный анализ; двухфакторный и многофакторный дисперсионный анализ; план эксперимента; полный факторный план; план «латинский квадрат»; рассеивание по фактору; остаточное рассеивание.

Список контрольных вопросов

1.Какую задачу решает дисперсионный анализ?

2.Как понимать термины «однофакторный анализ» и «многофакторный анализ»?

3.Что такое «план эксперимента» в дисперсионном анализе?

4.В чём заключается идея полного факторного плана и плана «латинский квадрат»?

5.Какой критерий проверки гипотезы используется в дисперсионном анализе?

6.Как сравниваются математические ожидания исследуемой величины на разных уровнях факторов?

7.Что называется рассеиванием по фактору?

8.Что называется остаточным рассеиванием?

9.Объясните правило принятия решения в однофакторном дисперсионном анализе.

10.Объясните правило принятия решения в двухфакторном дисперсионном анализе.

11.Как проверить гипотезу об отсутствии взаимодействия между факторами?

12.На что указывает ключевая матрица в плане «латинский квадрат» дисперсионного анализа?

Вопрос для обсуждения

Предположим, что вас попросили выяснить с помощью статистических методов, влияет ли цвет автомобилей на количество автомобильных аварий. Как бы вы решали эту зада- чу?

133

Регрессионный анализ

ТЕМА 9.

Регрессионный анализ

Студент должен освоить:

•методику построения функций, аппроксимирующих статисти- ческие зависимости между величинами, и схем проведения рег- рессионного анализа;

приобрести навыки:

•проведения регрессионного анализа: линейного, нелинейного, одномерного, многомерного.

135

Теория вероятностей и математическая статистика

Постановка задачи регрессионного анализа. Линейный и нелинейный одномерный регрессионный анализ. Многомерный линейный регрессионный анализ.

Краткое

содержание

9.1.Постановка и схема решения задачи регрессионного анализа

Задача регрессионного анализа – это задача об аппроксимации, т.е. приближённой замене, статистической связи между величинами функциональной связью. В регрессион- ный анализ входят и сопутствующие задачи, связанные с оценкой точности аппроксима- ции, её достоверности, а также задачи по выявлению тех переменных, которые сущест- венным образом влияют на исследуемую случайную величину.

Рассмотрим общую постановку задачи регрессионного анализа. Пусть на величину Z могут (предположительно) влиять величины X, Y, …, T. Имеются и другие величины (или факторы), влияющие на величину Z, которые не являются контролируемыми. В связи с этим точное вычисление (прогнозирование) значений величины Z по известным значе- ниям величин X, Y, …, T оказывается невозможным. В регрессионном анализе предпола- гается, что для возможных значений указанных величин выполняется соотношение

z = ϕ(x, y, …, t) + ξ, (9.1)

где ϕ(x, y, …, t) – неизвестная функция, а ξ – случайная компонента, обусловленная неуч- тёнными факторами и независящая от переменных x, y, …, t. Предполагается, что слу- чайная компонента ξ имеет нормальное распределение с нулевым математическим ожи- данием и дисперсией σξ2. Приближённое определение функции ϕ(x, y, …, t) по экспери- ментальным данным и является основной задачей регрессионного анализа.

Заметим, что аргументы искомой функции могут быть либо случайными, либо не случайными величинами. Здесь существенно то, что неконтролируемая компонента явля- ется случайной величиной. Эта особенность отличает задачу регрессионного анализа от других задач подобного типа, например, от задачи интерполяции.

В п. 3.6 уже говорилось о том, что лучшей функцией для прогнозирования значе- ний одной случайной величины по значениям другой величины является регрессия. Это положение справедливо и для случая, когда у зависимой переменной есть не один, а не- сколько аргументов. Действительно, если бы была известна условная плотность распре- деления f(z | x, y, …, t), то можно было бы определить условное математическое ожидание величины Z по отношению к величинам X, Y, …, T:

∞

mz (x, y, ..., t) = M{Z | X ,Y , ..., T} = ∫ z f (z | x, y, ..., t)dz .

−∞

Эта функция была бы наилучшей в смысле минимума среднего квадрата отклоне- ния истинных значений величины z от прогнозируемых. На практике получить услов- ный закон распределения вероятностей невозможно, поскольку исследователь располага- ет только измерениями случайных величин, не имея никакой дополнительной инфор- мации. В связи с этим, функция ϕ(x, y, …, t) может быть установлена только приближён-

но. Эту функцию называют аппроксимирующей функцией или прогнозирующей функцией.

Задача регрессионного анализа условно разбивается на два этапа. На первом этапе выбирается структура аппроксимирующей функции с точностью до неизвестных пара- метров. Этот выбор делается на основе некоторых известных физических, химических, экономических (и т.п.) свойств рассматриваемого процесса или на основе иных соображе-

136

Регрессионный анализ

ний. В частности, если изучается зависимость между двумя величинами, т.е. ищется ап- проксимирующая функция z = ϕ(x), то можно нанести экспериментальные точки (xi, yi), i = 1, 2, …, n, на координатную плоскость и по характеру расположения этих точек сделать предположения о структуре аппроксимирующей функции. При полном отсутствии ин- формации о структуре аппроксимирующей функции в качестве такой функции выбирают многочлен от её аргументов. Степень многочлена может быть уточнена при дальнейшем исследовании.

На втором этапе определяют неизвестные коэффициенты аппроксимирующей функции из условия минимума среднего квадрата ошибки прогнозирования. Делается это следующим образом. Пусть имеется n независимых измерений соответствующих значений величин Z, X, Y, …, T:

где ϕ(xi, yi, …, ti, a, b, …, h) – функция, структура которой была выбрана на первом этапе с точностью до неизвестных коэффициентов a, b, …, h. Неконтролируемая компонента ξi представляет собой ошибку аппроксимации. Таким образом, средний квадрат ошибки ап- проксимации будет равен:

Коэффициент 1/n не влияет на процесс минимизации. Поэтому обычно миними- зируют сумму S. Необходимым условием экстремума функции нескольких переменных является равенство нулю частных производных по этим переменным. Легко видеть, что величина S имеет минимум и не имеет максимума. Поэтому для определения точки экс- тремума (минимума) достаточно решить систему уравнений:

Пусть значения a*, b*, …, h* есть решение данной системы уравнений. Тогда функция

будет наилучшей аппроксимирующей функцией в смысле минимума среднего квадрата ошибки прогнозирования (наилучшей для выбранной структуры).

Точность аппроксимации определяется остаточной дисперсией. Смысл остаточной дисперсии рассмотрен в п. 3.6. Если в качестве функции ϕ(x, y, …, t) выбрать условное ма- тематическое ожидание mz(x, y, …, t), то дисперсия величины Z будет равна

где Dϕ – дисперсия контролируемой компоненты ϕ(x, y, …, t) из (9.1); Dξ – дисперсия некон- тролируемой компоненты ξ. При прогнозировании значений z по формуле (9.5) неопреде- лённость, связанная со случайным характером первой компоненты в (9.1), снимается, а неоп-

137

Теория вероятностей и математическая статистика

ределённость, обусловленная случайным характером неконтролируемой компоненты ξ, ос- таётся. Поэтому дисперсию Dξ называют остаточной дисперсией. Точно определить эту дис- персию невозможно, поскольку неизвестно условное математическое ожидание mz(x, y, …, t). Дляаппроксимирующей функции (9.5) остаточная дисперсия определяется формулой:

В этой формуле число k является числом оценённых параметров аппроксимирующей функции. Эти параметры были оценены на основе одной и той же выборки измерений. По- этому число независимых слагаемых всумме (9.7) будет равноn – k, ане n, какв(9.3).

Предположим, что получена некоторая аппроксимирующая функция типа (9.5). То-

гда для этой функции можно записать равенство: Dz* = Dϕ* + D*ост. При этом D*ост не будет минимальной, так как аппроксимирующая функция является всего лишь приближённым выражением регрессии. Тем не менее, можно ввести некоторый коэффициент связи, ана- логичный корреляционному отношению, который характеризует силу связи между вели- чиной Z и всеми аргументами аппроксимирующей функции в совокупности:

Если аппроксимирующая функция имеет всего один аргумент, например X, то ве- личина R2 будет являться оценкой корреляционного отношения η2z / x . Если, кроме того, имеет место только линейная связь, то величина R2 будет оценкой квадрата коэффици- ента корреляции rzx2 . Если аргументов несколько, а статистическая связь только линей-

ная, то R называют обобщённым коэффициентом корреляции.

Рассмотрим подробнее случай, когда аппроксимируется зависимость величины Z всего от одной случайной величины X. Выберем структуру аппроксимирующей функ-

Преобразуя эту систему, получим:

Особенностью данной системы является то, что её матрица коэффициентов сим- метрична относительно своей главной диагонали. Кроме того, элементы матрицы могут значительно различаться между собой. Это приводит к неустойчивости процесса реше-

138

Теория вероятностей и математическая статистика

где σ*я = Dz* и σ*x = Dx* – эмпирические средние квадратические отклонения. Для эмпирического ковариационного момента справедливо следующее соотношение:

Эта формула эквивалентна формуле (3.23) для теоретических моментов.

Можно найти коэффициенты аппроксимирующей функцию z = ax + b исходя не- посредственно из теории случайных величин. Для этого нужно минимизировать матема- тическое ожидание квадрата отклонения случайной величины Z от функции aX + b:

М{[Z − aX −b]2 } = М{[(Z − mz ) − a( X − mx ) −(b − mz − amx ]2 } → min.

a,b

Возводя в квадрат и пользуясь свойствами математического ожидания, получим:

Формула совпадёт с формулой (9.15), если в ней заменить теоретические моменты эмпирическими.

Если известно, что величины X и Z имеют нормальное распределение, то найден- ная аппроксимирующая функция по структуре будет точно совпадать с теоретической регрессией. Теоретическая регрессия повторяет структуру формулы (9.15), но вместо эм- пирических характеристик содержит теоретические характеристики. Это совпадение свя- зано с тем, что, согласно законам преобразования случайных величин, две нормально распределённые величины могут иметь только линейную связь. Никаких других связей между ними быть не может. В окружающем мире широко распространено нормальное распределение (согласно центральной предельной теореме). Поэтому и линейный рег- рессионный анализ имеет широкое применение.

Построение доверительного интервала для коэффициентов связи r* и a* в общем случае является трудной задачей. Если величины X и Z имеют нормальное распределе- ние или достаточно близкое к нормальному распределению, то r* будет распределено нормально с математическим ожиданием r и дисперсией σr2 ≈ (1 – r*2)2/n. Величина

мально распределённой случайной величиной. Рассмотрим уравнение P{| T | < εγ} = γ. Очевидно, что P{| T | < εγ} = 2Ф(εγ}. Решая уравнение Ф(εγ} = γ/2 по таблицам нормального распределения при заданной доверительной вероятности γ, найдём εγ. Получим довери- тельный интервал:

с вероятностью γ. Из этого интервала легко получается доверительный интервал для a*:

При малых значениях n нужно пользоваться распределением Стьюдента.

140