3.5.1. Метод наименьших квадратов
Рассмотрим особенности регрессионного анализа результатов моделирования на примере построения линейной регрессионной модели.
На рис. 3.9 показаны точки (xi, yi), полученные в эксперименте. Делаем предположение, что функция отклика может быть представлена в виде прямой линии
Требуется получить такие значения коэффициентов b0 и b1, при которых сумма квадратов ошибок будет минимальной. На рисунке ошибки ei для каждой экспериментальной точки равны расстояниям по вертикали от этой точки до линии регрессии (рис. 3.9).
Рис. 3.9. К построению регрессионной модели
Обозначим (yt)i
=b0+ b0xi
(здесь (уt)i
- величина, предсказываемая
регрессионной моделью), тогда выражение
для ошибок будет
иметь вид
а функция ошибки
Для получения коэффициентов b0 и b1 при которых функция F0 будет минимальной, приравняем нулю частные производные dF0 /db0 и dF0 /db1. Будем иметь:
(3.22)
Таким образом, получена система двух линейных алгебраических уравнений:
(3.23)
Решая систему этих уравнений, получим
(3.24)
где N – число реализаций при моделировании.
Мы рассмотрели частный случай для уравнения (3.23). В более общем случае, когда эмпирическую функцию принимают в виде полинома
(3.25)
система уравнений типа (3.23), (3.24) будет иметь вид
(3.26)
Для оценки точности совпадения теоретических и экспериментальных данных следует определить среднюю квадратичную ошибку на единицу веса
(3.27)
или среднее абсолютное отклонение
(3.28)
где r – число вычисляемых (табличных) значений;
s – число параметров.
Последовательность вычислений при построении уравнения регрессии на основе метода наименьших квадратов рассмотрим на конкретном примере.
Пусть, например, необходимо подобрать уравнение регрессии по экспериментальным данным, приведенным ниже.
-
x
0
0.5
1.0
1.5
2.0
y
7.0
4.8
2.8
1.4
0
Вначале попытаемся в качестве типа эмпирической формулы принять линейную зависимость, удерживая в формуле два первых члена:
Составим нормальные уравнения, для чего предварительно заполним таблицу В таблице предусмотрим дополнительные столбцы 4, 5 и 8, которые нам могут потребоваться в дальнейшем (таблица 3.7).
Таблица 3.7
-
x0
x
x2
x3
x4
1
2
3
4
5
1
0
0
0
0
1
0.5
0.25
0.125
0.0625
1
1.0
1
1
1
1
1.5
2.25
3.375
5.0625
1
2.0
4
8
16
5
5
7.5
12.5
22.125
Пользуясь данными столбцов 1, 2, 3, 6, 7, составим нормальные уравнения (3.26), которые применительно к нашему случаю при удержании только двух первых членов формулы будут иметь вид:
Подставляя табличные данные, получим:
Решая эти уравнения, найдем: b0 =6,68; b1 = -3,48, следовательно,
Оценим точность выполненных построений. Подставив в полученную формулу значения x (табл. 3.8), определим вычисленные значения уt и отклонения.
Таблица 3.8
-
x
yt
y-yt
(y-yt)2
0
0.5
1.0
1.5
2.0
+6.68
+4.94
+3.20
+1.46
-0.28
+0.32
-0.14
-0.40
-0.06
+0.28
0.1024
0.0196
0.1600
0.0036
0.0784
Суммируя данные последнего столбца, будем иметь:
Средняя квадратическая ошибка на единицу веса
Среднее абсолютное отклонение (5.9) равно
Полученные величины показывают, что формула подобрана неудовлетворительно, так как исходные данные имеют точность до 0,1, а средняя квадратическая ошибка на единицу веса значительно больше 0,1.
Повторим все операции, используя более точное выражение
Для записи нормальных уравнений (7) дополним вспомогательную табл. 3.8 новыми данными, которые приведены в столбцах 4, 5, 8 и выделены курсивом. Составим нормальные уравнения:
После решения этой системы найдем b0=7.00; b1=-4.74; b2=0.63 и запишем искомую зависимость:
Для определения средней квадратической ошибки составим табл. 3.9.
Таблица 3.9
-
x
yt
y-yt
(y-yt)2
0
0.5
1.0
1.5
2.0
7,0
4.79
2,89
1.30
0.04
0
+0.01
-0.09
+0.10
-0.04
0
0.0001
0.0081
0.0100
0.0016
Суммируя последний столбец, получим
Средняя квадратическая ошибка на единицу веса
Среднее абсолютное отклонение
Следовательно, формула
вполне удовлетворительно соответствует
экспериментальным данным.