Математическое моделирование. Практикум. Учебное пособие
.pdf
Регрессионный анализ применяется для построения статистической модели и включает в себя два этапа.
1)Структурный синтез – определение вида модели, например, y = a+bx.
2)Параметрический синтез – вычисление неизвестных ко-
эффициентов модели (a и b).
Структуру модели определяем исходя из количества входных параметров.
Коэффициенты модели рассчитываем таким образом, чтобы
N
Φ(a,b) = å( yiвыч - (a + bxi )) ® min .
i=1
Для этого:
- составляется регрессионная матрицаF = {Fij} = {fj(xi)}. Число строк матрицы равно числу экспериментов, число столбцов равно числу функций модели. Например, y = a + bx = =1× a + b × x , f1 = 1, f2 = x:
é1 |
1ù |
|
ê1 2ú |
; |
|
Φ = ê |
ú |
|
ê1 |
3ú |
|
ê |
ú |
|
ë1 |
4û |
|
- составляется столбец выходных параметров:
é10ù
êú
Y = ê20ú ;
ê30ú
êú
ë40û
-b - столбец искомых коэффициентов модели:
éaù b = ê ú .
ëbû
)
Затем из уравнения (ΦT Φ) ×b = ΦT Y находят значения коэф-
фициентов - вектор b . FТ – транспонированная матрица F.
После построения модели проводится ее статистический анализ.
61
1) Вычисляется значение остаточной дисперсии:
|
1 |
N |
|
Sост2 = |
å( yiвыч - yiэксп )2 , |
||
N - k |
|||
|
i=1 |
где k – число коэффициентов модели.
2) Вычисляется коэффициент детерминации:
N
R2 = Qрегр = åi=1 ( yiвыч - y)2 ~1.
Q N
общ å( yiэксп - y)2
i=1
Коэффициент детерминации показывает, какую долю общей суммы квадратов можно объяснить неслучайными причинами.
3) Проверяется эффективность модели:
F эф
Kэф = выч >1,
Fтабл
|
S 2 |
|
|
|
|
|
|
|
|
где F эф = |
рег |
- вычисленное значение критерия Фишера; |
|||||||
Sост2 |
|||||||||
выч |
|
|
|
|
|
|
|
||
|
|
|
|
|
1 |
N |
|||
|
|
Sрег2 |
= |
|
å( yiвыч - |
|
)2 , |
||
|
|
|
y |
||||||
|
|
|
|
||||||
|
|
|
|
k -1 i=1 |
|||||
|
|
|
Fтабл (a, nч , nзн ) , |
||||||
где α = 0,05 – уровень |
значимости; nч = k - 1 – число степеней |
||||||||
свободы числителя для S рег2 |
; nзн = N – k – число степеней свобо- |
||||||||
ды для знаменателя Sост2 .
Кэф позволяет оценить, насколько влияние контролируемых параметров сильнее влияния случайных помех.
4) Оценивается значимость коэффициентов модели. Основная гипотеза Н0: bi = 0 – коэффициент незначимый.
Альтернативная гипотеза Н: b ¹ 0 – коэффициент значи-
а i
мый.
Проверку проводят с помощью 3-го критерия Стьюдента:
62
|
выч |
= |
bi |
, |
|
Tз i |
Sост2 ×Сii |
||
|
|
|
|
|
где Сii – диагональный элемент обратной матрицы (ΦTΦ)-1 . |
||||
Определяется табличное |
значение критерия Стьюдента |
|||
Ттабл (α/2, n), где |
α/2 = 0,025; n = N – k - число степеней свободы |
|||
для знаменателя Sост2 . |
|
|
|
|
Если | T выч |
| > Ттабл (α/2, n), то i-й коэффициент значимый. |
|||
з i |
|
|
|
|
Если коэффициент незначимый, то его необходимо исключить из модели и пересчитать все заново.
Значимость коэффициентов оценивает влияние отдельных входных параметров или каких-то их сочетаний.
Задание. (Исходные данные в приложении 9.)
1. Определить вид модели. Составить регрессионную мат-
рицу.
2.Вычислить коэффициенты модели.
3.Провести статистический анализ модели.
4.Записать вывод.
Пример расчета
Пусть даны входные и выходные параметры (таблица).
|
|
|
|
Таблица |
|
х1 |
1 |
2 |
3 |
4 |
|
х2 |
5 |
6 |
7 |
7 |
|
уэксп |
6 |
8 |
12 |
15 |
|
Рассмотрим модель: y = b0 + b1x1 + b2 x2 . Для данной модели
f0 = 1, f1 = x1, f2 = x2.
Построим регрессионную матрицу:
é1 |
1 |
5ù |
|
|
|
|
é1 1 |
1 |
1ù |
|
|
|
é 4 10 25 ù |
||
ê1 2 6ú |
|
|
|
|
|
|
|
||||||||
; |
Φ |
T |
= |
ê |
2 |
3 |
ú ; |
Φ |
T |
Φ = |
ê |
ú . |
|||
Φ = ê |
3 |
ú |
|
|
ê1 |
4ú |
|
ê10 30 |
66 ú |
||||||
ê1 |
7ú |
|
|
|
|
ê5 |
6 |
7 |
7ú |
|
|
|
ê25 66 |
159ú |
|
ê |
4 |
ú |
|
|
|
|
ë |
|
|
û |
|
|
|
ë |
û |
ë1 |
7û |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
63
é 41 ù
|
Вычисляем: ΦT Y = |
ê118ú . |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
ê |
ú |
|
|
|
|
|
|
|
|
|
|
|
|
|
ê267ú |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ë |
û |
|
|
|
|
|
|
|
|
Составляем систему: B := (ΦT Φ)-1 × (ΦT Y ) . |
|
|
|
|
|
|
|||||||
|
Решив систему, находим значения коэффициентов |
|
|
|||||||||||
) |
) |
1 |
) |
1 |
|
|
|
|
|
|
|
|
|
|
b = 4; b = 3 |
|
; b = - |
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
0 |
1 |
3 |
2 |
3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
1 |
|
|
|
||
|
Таким образом, получили модель: y = 4 + 3 |
x |
- |
x |
|
. Далее |
||||||||
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
3 |
1 |
3 |
|
2 |
|
||
проводится статистический анализ полученной модели.
Контрольные вопросы и задания
)
1. Запишите условие, согласно которому ищутся оценкиb j
при использовании метода наименьших квадратов.
2.Перечислите этапы регрессионного анализа.
3.Как составляется регрессионная матрица?
4.Каким образом находят значения коэффициентовb и строят
модель?
5.Назовите этапы статистического анализа полученной мо-
дели.
6.Для чего необходим коэффициент детерминации и как его вычисляют?
7.Запишите формулу расчета коэффициента эффективности. Что он показывает?
8.Как рассчитывается 3 коэффициент Стьюдента?
9.В каком случае коэффициент уравнения регрессии будет
)
значимым? Если коэффициент b j окажется незначимым, что не-
обходимо сделать?
Практическая работа № 10. Параметрический синтез и статистический анализ
Цель работы: освоить методы построения статистических моделей на основе регрессионного анализа.
64
Теоретические сведения
Параметрический синтез – это определение коэффициентов модели. Одним из методов, используемых для этого, является метод наименьших квадратов (МНК).
Пусть есть данные эксперта:
x- вектор входных параметров;
y- вектор выходных параметров.
Рассмотрим модель объекта, линейную относительно коэф-
фициентов bi: |
|
|
|
) |
(x) + b2j2 |
(x) + L+ bk jk (x) . |
(1) |
y = b1j1 |
Проведем расчет коэффициентов моделиbi, исходя из следующего условия:
N
= - ) 2 ®
S (b) å( yi yi ) min,
i=1
где N – объем выборки; yi – экспериментальные выходные значе-
)
ния; yi - значения выходных параметры, рассчитанные по моде-
ли (1).
Введем обозначения:
X = {xi} – матрица входных параметров или матрица плана эксперимента;
Y = {yi} – матрица выходных параметров.
Тогда матричная форма записи МНК будет иметь вид
|
|
|
|
|
|
ΦT Φb =ΦT y , |
|
(2) |
|||||
где Φ ={j j (x)} - регрессионная матрица: |
|
|
|
|
|
||||||||
çæj1 (x1 ) |
j2 (x1 ) L jk (x1) ÷ö |
|
|||||||||||
çj1 (x2 ) j2 (x2 ) L jk (x2 ) ÷ |
; |
||||||||||||
Φ = ç |
M |
|
|
|
|
M |
|
M |
|
M |
|
÷ |
|
ç |
|
|
|
|
|
|
|
|
|
|
|
÷ |
|
çj1 (xi ) |
j2 (xi ) L jk (xi ) ÷ |
|
|||||||||||
çj (x |
n |
) j |
2 |
(x |
n |
) L j |
k |
(x |
n |
)÷ |
|
||
è |
1 |
|
|
|
|
|
ø |
|
|||||
ΦT - транспонированная матрица. Операция транспонирования означает, что в матрице F столбцы заменяются на строки;
65
b - вектор (столбец) коэффициентов модели, b = {bi};
y - вектор (столбец) выходных экспериментальных параметров.
Из (2) получаем, что значения коэффициентов b определяют по формуле
b = (ΦT Φ)-1 ×ΦT y ,
где (ΦT Φ)-1 - обратная матрица.
На этом этапе параметрический синтез закончен.
Статистический анализ полученной модели - это оценка качества модели и принятие решения о ее пригодности.
Статистический анализ модели включает в себя следующие
этапы. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1. Вычисление |
остаточной |
|
дисперсии, |
которая |
определяет |
|||||||||||||||||||||
величину разброса |
выходных |
параметров y под действием слу- |
||||||||||||||||||||||||
чайных помех: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
2 |
|
|
|
1 |
|
|
|
|
N |
) |
|
2 |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
å( yi |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
Sост |
= |
|
|
|
|
|
|
- yi |
) |
|
, |
|
|
|
|
|||||
|
|
|
|
|
|
N |
- k |
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
||||||||
где k – число коэффициентов модели. |
|
|
|
|
|
|
|
|
|
|||||||||||||||||
2. Вычисление коэффициентов детерминации. |
|
|||||||||||||||||||||||||
|
|
|
|
|
|
R |
2 |
= 1 - |
|
åост |
= |
åрег |
, |
|
|
|||||||||||
|
|
|
|
|
|
|
åобщ |
|
åобщ |
|
|
|
|
|||||||||||||
где |
|
|
|
N |
) |
2 |
- |
|
сумма |
остаточной |
дисперсии; |
|||||||||||||||
|
|
|
|
|
|
|||||||||||||||||||||
|
åост = å( yi - yi ) |
|
|
|||||||||||||||||||||||
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
)2 - |
сумма общей дисперсии; |
|
y - среднее экс- |
|||||||||||||||||||||
åобщ = å( yi - |
y |
|
||||||||||||||||||||||||
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
N |
|
) |
|
|
|
|
|
2 |
- сумма |
|
регрессионной дис- |
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
периментальное; åрег = å( yi - y) |
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
персии; |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
- среднее модельное. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
66
3. Проверка эффективности модели.
При проверке эффективности модели выдвигаются две гипотезы.
Основная Н0: S рег2 = Sост2 - модель неэффективна;
Альтернативная На: S рег2 > Sост2 - модель эффективна.
Проверку проводят с помощью критерия Фишера:
|
|
|
|
|
|
|
|
|
|
|
S |
2 |
|
|
|
|
|
|
|
|
|
|
F эф |
= |
|
рег |
, |
|
|
|
|
|
|
|
|
|
выч |
|
Sост2 |
||
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
1 |
N |
|
|
|
|
|
|
|
|
|
|
2 |
|
) |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
где S |
рег |
= |
|
å( yi |
- y) |
|
- регрессионная дисперсия, которая |
||||||
|
|
||||||||||||
|
|
|
k -1 i=1 |
|
|
|
|
|
|
|
|
|
|
показывает разброс модельных выходных параметров относительно их среднего значения.
По значениям S рег2 и Sост2 принимается одна из гипотез (Н0
или На). Если модель эффективна, то тогда целесообразно говорить о коэффициенте эффективности. Определяется
Fтабл (a, nч , nзн ) ,
где α – уровень значимости; nч = k-1 – число степеней свободы числителя для S рег2 ; nзн = N – k – число степеней свободы для
знаменателя Sост2 .
Если Fвычэф > Fтабл , то модель эффективна. Определяется коэффициент эффективности модели:
F эф Kэф = выч .
Fтабл
Если Кэф >>4, то модель эффективна.
4. Оценка значимости коэффициентов модели. Выдвигаются две гипотезы.
Основная Н0: bi = 0 – коэффициент незначимый; Альтернативная На: bi ¹ 0 – коэффициент значимый.
Проверку проводят с помощью III критерия Стьюдента:
67
выч |
= |
bi |
, |
Tз i |
Sост2 ×Сii |
||
|
|
|
где Сii – диагональный элемент обратной матрицы (ΦT Φ)-1 . Определяется табличное значение критерия Стьюдента
Ттабл(α/2, n), где α/2 = 0,025; n = N – k - число степеней свободы для знаменателя Sост2 .
Если | Tз выi ч | > Ттабл(α/2, n), то i коэффициент значимый.
Задание. (Исходные данные в приложении 10.)
1.Выполнить параметрический синтез модели.
2.Провести статистический анализ полученной модели.
3.Решить задачу с помощью MathCAD.
4.Записать вывод.
Пример расчета
Рассмотрим модель: y = b0 + b1 x1 + b2 x2 .
Матрица входных параметров (матрица плана эксперимента):
æ 6 |
2 |
ö |
ç |
4 |
÷ |
ç 8 |
÷ |
|
X = ç10 |
5 |
÷ . |
ç |
6 |
÷ |
ç11 |
÷ |
|
ç |
7 |
÷ |
è12 |
ø |
Матрица выходных экспериментальных данных:
æ 6 ö ç ÷
ç 8 ÷
Y= çç12÷÷ . ç15÷
ç ÷ è17ø
68
Решение
1. Исходные данные
æ |
6 |
|
2 ö |
|
æ |
6 |
ö |
|
|
||
ç |
|
|
÷ |
|
ç |
|
|
÷ |
|
|
|
ç |
8 |
|
4 ÷ |
|
ç |
8 |
÷ |
|
|
||
X := ç 10 |
|
5 ÷ |
Y := ç 12 ÷ |
|
|
||||||
ç |
11 |
|
6 ÷ |
|
ç |
15 |
÷ |
|
|
||
ç |
|
|
÷ |
|
ç |
|
|
÷ |
|
|
|
è 12 |
|
7 ø |
|
è 17 ø |
|
|
|||||
2. Составляем регрессионную матрицу |
|
||||||||||
|
|
æ 1 |
|
6 |
2 ö |
|
|
|
|
|
|
|
|
ç 1 8 4 ÷ |
|
|
|
|
æ 1 1 1 1 1 |
ö |
|||
|
|
ç |
|
|
÷ |
|
FT = |
ç 6 8 10 11 12 |
÷ |
||
F := ç 1 10 5 ÷ |
|
||||||||||
|
|
ç 1 11 6 ÷ |
|
|
|
|
ç |
÷ |
|||
|
|
|
|
|
|
||||||
|
|
|
|
|
|
è 2 4 5 6 7 ø |
|||||
|
|
|
|
|
|
||||||
|
|
ç |
|
12 |
÷ |
|
|
|
|
|
|
|
|
è 1 |
|
7 ø |
|
|
|
|
|
|
|
3. Вычисляем ФТФ |
|
|
|
|
|
|
|||||
|
|
|
æ |
5 |
47 |
24 |
ö |
|
|
|
|
T |
|
ç |
|
|
|
|
÷ |
|
|
|
|
F F = |
ç |
47 |
465 |
244 |
÷ |
|
|
|
|||
|
|
|
è 24 |
244 |
130 ø |
|
|
|
|||
4.Вычисляем ФТY
æ58 ö
FT Y = çç 589 ÷÷
è313 ø
5.Находим коэффициенты регрессии
B := (FT F)- 1×(FT Y ) |
|
æ -7.917 |
ö |
B = |
ç 2.417 |
÷ |
|
, |
|
ç |
÷ |
|
|
è -0.667 |
ø |
69
6. Вычисляем выходной параметр по модели Y=Ф·B:
Y1 := F ×B,
æ 5.25 ö
ç÷
ç8.75 ÷
Y1 = ç 12.917 ÷
çç 14.667 ÷÷ è 16.417 ø
Статистический анализ
1. Вычисляем остаточную дисперсию: i := 0 .. 4, N := 5, k := 3.
|
êéå(Y i - Y1i)2úù |
|
Sost := |
ë i |
û |
|
|
|
N - k
Sost = 1.208
2. Вычисляем коэффициенты детерминации:
Y2 := |
1 |
×åYi |
Y2 = 11.6 |
||
5 |
|||||
|
|
i |
|
|
|
|
|
|
å(Yi - Y1i)2 |
||
R2 := 1 - |
i |
|
R2 = 0.972 |
||
|
|
||||
å(Yi - Y2)2
3. Проверяем эффективность модели:
i
|
êéå(Y1i - Y2i)2úù |
|
Sregr := |
ë i |
û |
|
|
|
k - 1
70
