Моделирование процессов и систем. Учебное пособие

11

Нормированные факторы используются, если натуральные единицы измерения различных факторов и диапазоны их изменения сильно отличаются между собой и требуется ранжирование факторов по степени их влияния на результирующую величину.

Основные предпосылки регрессионного анализа

Стандартная процедура регрессионного анализа получила широкое практическое применение, поскольку она справедлива при некоторых достаточно часто выполняемых предположениях.

Прежде всего, ограничим рассматриваемые модели классом линейных, т. е. таких, выходная переменная которых в каждом опыте представима в виде следующего выражения:

где j =1,2,…,N – номер наблюдения; N – общее число наблюдений. Данные этих наблюдений представляются в виде таблицы:

Таблица содержит матрицу плана эксперимента и вектор значений функции отклика исследуемого объекта в соответствующих точках плана.

В принципе в таблице можно записать и более одного отклика. Поскольку для каждого отклика вид модели идентичен, но каждая модель определяется (специфицируется ) конкретным набором функцийрегрессоров и задача построения регрессионной модели решается индивидуально для каждой выходной переменной объекта, будем рассматривать результаты наблюдений только для одного отклика.

12

В классическом регрессионном анализе делаются следующие основные предположения, которые в основном определяются известной теоремой Гаусса – Маркова.

П.1. Величина j, j = 1,2,..., N есть случайная величина.

В силу этого и yj – тоже случайная величина с распределением того же вида, что и j, что непосредственно вытекает из равенства уj= j+ j, где j – неслучайная величина.

П.2. Случайная величина имеет нулевое математическое ожидание, т. е. E{ j} = 0 при j = 1,2, ..., N.

Это означает, что средние отклонения от j равны нулю, что легко выполнимо.

П.3. Значения случайной величины j, j ==1,2, ..., N, не корре-

лированы и имеют одинаковые дисперсии 2, т. е.

Предположение (9) часто не выполняется. Вместе с тем существует очень много реальных задач, для которых условие (9) выполняется. Условие (10) называется условием однородности или гомоскедастичности наблюдений. Если же оно не выполняется, наблюде-

ния неоднородны (гетероскедастичны).

Однородность наблюдений означает, что интенсивность случайных возмущений не изменяется ни при изменениях факторов, ни во времени, в течение которого делаются наблюдения. Данное условие выполняется очень часто, поскольку обычно и условия проведения эксперимента, и его точность остаются неизменными при различных значениях факторов. Однако встречаются и такие случаи, когда наблюдения гетероскедастичны. Иногда это можно установить из содержательных соображений, если известно, что дисперсия случайного возмущения некоторым образом связана с математическим ожиданием отклика. Это может случиться, например, если точность измерения како- го-нибудь фактора зависит от его значения (для ненормированных факторов).

В классическом регрессионном анализе предположение П.3 должно быть выполнено.

П. 4. Случайная величина j имеет нормальное распределение.

Это предположение выполняется очень часто. Причина заключается в

13

том, что согласно центральной предельной теореме теории вероятностей влияние множества случайных величин с примерно одинаковыми дисперсиями эквивалентно влиянию единственной случайной величины с нормальным законом распределения. На практике мы нередко сталкиваемся именно с такими условиями. На исследуемый объект влияет множество случайных возмущений с относительно слабым воздействием. Их совокупное действие гораздо сильнее и соответствует действию одной случайной величины с нормальным распределением.

Для формулирования дальнейших предположений введем сле-

дующую (N k)-матрицу F, которая называется матрицей регрессоров. При планировании эксперимента она еще называется расширен-

ной матрицей плана эксперимента.

В каждой строке F записаны значения функций fij из модели (8) при данном наблюдении (j = 1,2, ..., N). Так как в регрессионном анализе предварительно предполагается некоторая структура модели, вид функций fij известен и их значения легко вычислить по данным матрицы плана эксперимента

П.5. Матрица F не случайна.

Это означает, что ее элементы — известные числа, точно заданные исследователем.

Предположение нарушается, когда факторы х1, х2, ..., xm устанавливаются на заданные уровни или измеряются с ошибками. Если ошибки случайные, то числа, записанные для факторов в таблице, – просто один из множества возможных случайных наборов. Если же рассматривать эти числа как неслучайные, полученные выводы будут относиться только к заданным значениям факторов. Однако для исследователя гораздо интереснее получить оценки коэффициентов регрессии и оценки их статистических свойств при некоторых усредненных характеристиках ошибок, т. е. при заданном распределении ошибок измерения или ошибок в задании уровней факторов.

Нарушение предположения П.5 происходит и в случае, когда исследователь хочет распространить выводы на более широкий класс значений факторов х1, х2, ..., xm и более высокую степень аппроксимирующего полинома, чем позволяют имеющиеся данные.

14

П.6. Ранг матрицы F равен числу k коэффициентов в модели (8),

т. е. rank (F) = k.

Напомним, что рангом матрицы называется наивысший порядок отличного от нуля минора.

Предположение П.6 необходимо для реализации процедуры вычисления коэффициентов модели. Заранее ясно, что оно нарушено, если число опытов меньше, чем число коэффициентов (N < k), но нарушение данного условия может быть налицо, и, если N > k, достаточно,

чтобы между некоторыми столбцами матрицы F существовала линейная зависимость.

П.7. На значения параметров i, i =1,2, ..., k, в модели (8) не накладывается никаких ограничений, т.е. предварительно об их значениях ничего не известно и при вычислениях они могут получиться какими угодно. В некоторых случаях есть априорная информация о

значениях параметров i, которую можно эффективно использовать для улучшения оценок.

Иногда из соображений, связанных с сущностью рассматриваемого явления, вытекают некоторые соотношения между коэффициен-

тами i, накладывающие известные ограничения на их возможные значения.

Классический регрессионный анализ – это процедура оцени-

вания регрессионных коэффициентов и статистический анализ модели, когда выполняются все семь предположений.

Простая линейная регрессия

Поскольку результаты наблюдений – случайные величины, по-

лучить «истинные» значения коэффициентов 1, 2,…, k из модели (8) нельзя. Вместо этого на основе данных таблицы наблюдений можно получить их оценки b1, b2, ..., bk. Модель (8) в этом случае принимает вид:

Величина yˆ j в (11) называется предсказанным значением от-

клика и служит оценкой "истинного" значения j.

В регрессионном анализе для получения оценок коэффициентов модели (8) используется метод наименьших квадратов.

Рассмотрим этот метод вначале на примере простой линейной регрессии.

15

Под простой линейной регрессией понимается зависимость отклика только от одной объясняющей переменной:

где x – объясняющая переменная.

Имеется N наблюдений xj над этой переменной (j = 1, 2, ..., N). Неизвестные параметры регрессии b0 и b1 подлежат оценке по определенной процедуре.

Параметр b0 — постоянная регрессии. Ее можно представить в виде коэффициента при фиктивной переменной, принимающей для всех j значение 1. Постоянная b0 определяет точку пересечения прямой

менении объясняющей перемен-

ной х на одну единицу. Знак b1 определяет направление этого изменения.

Параметры регрессии – не безразмерные величины. Постоянная уравнения регрессии b0 имеет размерность переменной у. Размерность коэффициента регрессии b1 представляет собой отношение размерности зависимой переменной к размерности объясняющей переменной.

После получения численных оценок параметров по уравнению регрессии может быть вычислено значение yˆ j для каждого значения

независимой переменной хj (j = 1, ..., N). При линейной функции совокупность предсказанных значений образует прямую регрессии. Значе-

ния функции регрессии yˆ j являются оценками средних значений пере-

менной уj для каждого фиксированного значения переменной хj.

17

вестно, что необходимым условием для этого служит обращение в нуль первых частных производных этой функции по каждому из параметров b0 и b1, а вторые частные производные по b0 и b1 должны быть поло-

В результате получена система двух уравнений первой степени относительно неизвестных параметров b0 и b1. Соотношения (17) и (18) образуют систему нормальных уравнений, составленных с уче-

том требования метода наименьших квадратов. На решении этих уравнений базируется определение прямой регрессии, так как параметры b0 и b1 минимизируют функцию Q(b0, b1) тогда и только тогда, когда они удовлетворяют нормальным уравнениям.

В нормальных уравнениях (17) и (18) неизвестны только параметры b0 и b1. Их можно определить с помощью детерминантов (правило Крамера). Введя для простоты обозначение суммы без индексов,

18

Определив b0 и b1, можно по (12) вычислить значения регрессии для заданной области значений объясняющей переменной х. Эти значения регрессии представляют собой наилучшее в смысле метода наименьших квадратов линейное приближение (аппроксимацию) к эмпирическим значениям yj, так как выбранная мера разброса Q сводится при этом к минимуму.

Множественная регрессия

Пусть требуется найти оценки коэффициентов линейной множественной регрессии общего вида (8), которые минимизируют сумму Q, определенную выражением (13). В силу предположения П.6 на возможные значения оценок коэффициентов не наложены никакие ограничения, поэтому минимум получим, подставив (11) в (13) и приравняв к нулю производные Q по неизвестным оценкам b1,b2,..., bk. В результате, как и в случае простой регрессии, будет получена система уравнений относительно неизвестных коэффициентов. Полученная система нормальных уравнений линейна относительно искомых оценок b1,b2,..., bk, а число уравнений в ней равно числу k неизвестных коэффициентов модели.

Представление МНК в виде системы нормальных уравнений довольно громоздко. Поэтому обычно для поиска оценок коэффициентов линейных регрессионных моделей используется МНК, представленный в матричной форме.

С целью получения матричной формы МНК необходимо все используемые в расчетах величины представить в векторно-матричной форме. Для этого, кроме введенной выше расширенной матрицы F, необходимо представить результаты наблюдений выходной величины, предсказанные значения и остатки в виде вектор-столбцов размерно-

стью N 1, а коэффициенты регрессии – в виде вектора-столбца размерностью k 1. В результате будем иметь:

20

Если выполнено предположение П.6, т. е. ранг F равен k, то ранг FTF также равен k, так как из теории матриц известно, что произведе-

ние матриц FT и F есть положительно определенная матрица.

При этих условиях можно получить матрицу, обратную информационной. Обозначим ее С = (FTF)-1.

Поскольку (FTF)-1 (FTF) = I, умножение выражения (25) слева на матрицу (FTF)-1 приводит к решению системы нормальных уравнений:

Матрица С = (FTF)-1 называется матрицей дисперсий - ковариаций или матрицей ошибок. Иногда ее называют просто дисперсионной или ковариационной матрицей .

Свойства МНК-оценок

Оценки регрессионных коэффициентов, получаемые с помощью

МНК, — случайные величины, поскольку они основаны на случайных наблюдениях. Поэтому их статистические свойства представляют большой интерес.

При условии выполнения предпосылок классического регрессионного анализа имеют место следующие свойства оценок b неизвест-

ных коэффициентов , получаемых методом наименьших квадратов. 1. МНК-оценки не смещены, т. е. их математические ожидания

равны истинным значениям: Е (b) = .

Если – значение отклика при отсутствии возмущений, то его можно выразить так:

иего можно представить в виде:

= F .

Сдругой стороны, поскольку математическое ожидание случай-

ного возмущения равно нулю, Е (у) = Е ( ) + Е ( ) = . Если учесть это обстоятельство и формулу (26) для вектора оценок неизвестных коэффициентов, получим:

Е (b) = Е [(FTF)-1FT y] = (FTF)-1FT Е (у) =

= (FTF)-1FT = (FTF)-1FTF = , (27)

что и доказывает несмещенность оценок b коэффициентов .