4. Контрольная работа. Построение линейной регрессионной модели с одной независимой переменной.

Цель работы:

– знакомство с основами линейного регрессионного анализа;

– построение линейной модели по имитированным результатам "наблюдений".

Работа выполняется с использованием системы Mathcad.

Одной из основных задач обработки данных является установление функциональной зависимости между переменными (параметрами) исследуемого процесса. Зачастую такие зависимости не очевидны или слишком сложны. В таком случае ставится задача аппроксимации функциональной связи по эмпирическим данным. Эта задача решается с помощью регрессионного метода, который был назван известнейшим специалистом в области обработки данных профессором Тьюки методом века.

Аппроксимацией называется подбор математического выражения, описывающего связь между экспериментальными данными. Само математическое выражение называют уравнением регрессии (регрессией), а соответствующую кривую – линией регрессии. Простейшей регрессионной зависимостью является линейная. Если между переменными существует линейная функциональная связь, то результаты измерений будут концентрироваться около прямой, отражающей эту зависимость. Отклонения от прямой вызваны погрешностью измерений.

В случае двух переменных одна из них (X) рассматривается как независимая и называется фактором или предиктором, вторая переменная Y является зависимой и называется откликом. Таким образом, уравнение Y относительно X – уравнение регрессии ( говорят что Y регрессирует на X).

В случае линейной модели уравнение регрессии имеет вид:

, (13)

где ₀ и ₁ – параметры модели,

 – остаточный член, обусловленный влиянием погрешностей измерений, случайных вариаций Y и погрешностью модели.

Погрешность модели возникает в случае замены какой-либо более сложной модели линейной зависимостью.

Оценки параметров модели (₀ и ₁) находятся по результатам наблюдений.

Модель (13) является линейной первого порядка. Порядок модели определяется наивысшей степенью предиктора. Так модель

(14)

является линейной (относительно параметров ) третьего порядка.

В процессе построения модели (14) находятся оценки параметров b₀ и b₁. Уравнение регрессии, соответствующее уравнению (13), имеет вид

, (15)

где – расчетное или прогнозируемое значениеY для данного X.

МНК–оценки параметров получаются минимизацией суммы квадратов отклонений от ″истинной″ линии.

где n – число независимых наблюдений величин Х_i и Y_i.

Получены следующие МНК–оценки параметров ₀ и ₁:

, (16)

где – средние значения наблюдаемых величинX и Y. Подставляя оценки (16) в уравнение (15), можно вычислить ″прогнозируемые″ значения и найти остатки. Для правильно построенной модели сумма остатков равна нулю.

Для наблюдаемых пар {X_i, Y_i} построено уравнение регрессии . В каждой точкеX_i получено отклонение ″предсказанного″ значения от наблюдаемогоY_i. Это отклонение (остаток) можно представить в виде:

. (17)

Уравнение (17) можно записать следующим образом:

. (18)

Возведя в квадрат обе части уравнения (18) и просуммировав все уравнения по i: i=1, ... , n, получим:

. (19)

В уравнении (19) сумма является суммой квадратов отклонений зависимой переменной относительно среднего значения. Сумма- представляет собой сумму квадратов отклонений предсказанных значений относительно среднего значения независимой переменной (сумма квадратов, обусловленная регрессией) и характеризует угол наклона линии регрессии.

Сумма – сумма квадратов отклоненийi - го наблюдения величины Y – oт ее предсказанного значения . Таким образом, уравнение (19) можно выразить следующим образом:

.

Качество построенной модели тем выше, чем больше сумма квадратов, обусловленная регрессией, превосходит сумму квадратов остатков относительно регрессии! Так как сумма квадратов отклонений пропорциональна дисперсии случайной величины, то уравнение (19) называется основным уравнением дисперсионного анализа. В статистике исследуются средние квадраты остатков, которые получаются делением их суммы на число степеней свободы. Под числом степеней свободы некоторой статистики понимается разность между числом наблюдений и числом параметров, определенных по этим наблюдениям.

Сумма квадратов отклонений относительно среднего имеет (n-1) степеней свободы. С учетом выше изложенного строится таблица дисперсионного анализа (таблица 3). Таблица 3

Источник вариации	Число степеней свободы	Суммы квадратов (SS)	Средний квадрат (MS)
Обусловленный регрессией.	1		MS рег.=
Остаток относительно регрессии.	n – 2		S=
Общий	n – 1		–

Задание на контрольную работу

1. Сгенерировать 42 результата ״наблюдений״ (X_i, Y_i), считая, что величины X и Y связаны зависимостью и в результатах наблюденияY_i присутствует погрешность , подчиняющаяся нормальному закону с нулевым математическим ожиданием и СКО =.

Независимая переменная (предиктор) X выбирается случайным образом из интервала [a, b] и подчиняется равномерному распределению.

2. Построить уравнение регрессии для полученных ״псевдоизмерений״.

3. Построить таблицу дисперсионного анализа.

Варианты задания

N	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16
0	2	2	2	2	2	3	3	3	3	3	4	4	4	4	4	4
1	0,1	0,2	0,3	0,4	0,5	0,1	0,2	0,3	0,4	0,5	0,2	0,3	0,4	0,5	0,6	0,7
	0,1	0,1	0,1	0,1	0,1	0,1	0,1	0,1	0,1	0,1	0,1	0,1	0,2	0,2	0,2	0,2
a	0	0	0	0	0	10	10	10	10	10	20	20	20	20	20	20
b	10	20	30	40	50	20	30	40	50	60	30	40	50	60	70	80
N	17	18	19	20	21	22	23	24	25	26	27	28	29	30	31	32
0	4	4	4	5	5	5	5	5	5	6	6	6	6	6	6	6
1	0,8	0,9	1	1	1,1	1,2	1,3	1,4	1,5	0,5	0,6	0,7	0,8	0,9	1	1,1
	0,2	0,2	0,2	0,2	0,3	0,3	0,3	0,3	0,3	0,3	0,3	0,3	0,3	0,3	0,3	0,3
a	30	30	40	40	40	40	40	40	40	0	0	0	0	0	10	10
b	90	100	60	70	80	90	100	110	120	10	20	30	40	50	30	40

Методика выполнения работы

1. Случайные числа, подчиняющиеся равномерному распределению в диапазоне от 30 до 100, генерируются с помощью Mathcad – процедуры runif

2. Формирование массива «откликов» Y и построение его графика

2. Вычисление коэффициентов линейной регрессии

2. Анализ остатков и построение таблицы дисперсионного анализа

Источник вариаций

квадрат

Число степени сумма квадратов средней свободы

.

Требования к оформлению отчета.

Отчет должен содержать:

1. Название и цель работы.

2. Задание на работу.

3. Графики полученных зависимостей Y = F(X).

4. Результаты проверки гипотезы о равенстве полученных оценок уравнения регрессии заданным в работе, т.е. b₀=₀ и b₁=₁

5. Таблицу дисперсионного анализа.

Отчет должен соответствовать стандарту СТО ИрГТУ. 005 – 2007 оформление текстовых и графических материалов студентами.

Отчет представляется в распечатанном виде.