Методы исследования систем управления. Учебное пособие
.pdfсумма может быть равна нулю для многих прямых, в том числе и для прямых, которые отражают зависимость очень плохо.
Функция f (a0 , a1 ) |
является функцией переменных a0 и a1 , и точка ее |
|||||||||||||
минимума должна удовлетворять условиям: |
|
|
|
|||||||||||
|
df |
|
0 ; |
|
df |
0 . |
|
|
(3) |
|
|
|
||
|
da0 |
|
|
|
|
da1 |
|
|
|
|
|
|
||
Беря эти частные производные от (2), получим следующую систему |
||||||||||||||
уравнений: |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
n |
|
|
|
a0 |
a1 xi |
yi ; |
|
|
df ( 2) * ( yi a0 a1 xi ) 0 ; |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
n |
n |
n |
|
da0 |
i 1 |
|
|
|
i 1 |
i 1 |
i 1 |
||||||
|
|
|
|
|
|
|
n |
|
n |
|
|
|
|
|
a0 n a1 xi |
|
yi |
- это 1-ое уравнение системы. |
|||||||||||
|
|
|
|
|
|
|
i 1 |
|
i 1 |
|
|
|
|
|
Или |
|
|
|
|
|
|
|
|
|
|||||
|
df |
|
|
|
n |
|
|
|
|
|
|
|||
|
|
|
( 2) * ( yi a0 a1 xi ) 0 ; |
|
|
|
||||||||
|
da |
|
|
|
|
|
||||||||
|
|
|
i |
1 |
|
|
|
|
|
|
||||
1 |
|
|
|
|
|
|
|
|
||||||
|
|
n |
|
|
n |
|
n |
|
|
|
|
|||
a0 xi |
a1 xi2 |
xi yi |
- это 2-ое уравнение системы. |
|||||||||||
|
i 1 |
|
|
i 1 |
|
i 1 |
|
|
|
|
||||
Полученная система уравнений называется нормальной: |
|
|||||||||||||
|
|
|
|
|
|
|
n |
n |
|
|
|
|
|
|
a0 n a1 xi yi |
|
|
|
|
||||||||||
|
|
|
|
|
|
i 1 |
i 1 |
|
|
|
|
|
||
|
|
n |
|
|
n |
|
n |
|
|
|
|
|||
a0 xi |
a1 xi2 xi yi . |
|
(4) |
|
|
|||||||||
|
i 1 |
|
|
i 1 |
|
i 1 |
|
|
|
|
||||
Как решить систему нормальных уравнений? Используя правила Крамера, можно получить формулы вычисления неизвестных параметров a0
и a1 :
a0
a1
|
|
yi xi2 xi xi yi |
; |
|||
|
n xi2 ( xi |
)2 |
||||
|
|
|||||
|
n xi yi |
xi yi |
|
. |
(5) |
|
|
n xi2 |
( xi )2 |
|
|||
Нарисуем прямую линию, выбранную по методу наименьших квадратов, для некоторых пар наблюдений ( xi , yi ).
11
Рис. 3. Отклонения от прямой, причем сумма квадратов всех отклонений оказывается минимальной
На рис. 3 показаны вертикальные отклонения от прямой, как положительные (для точек над прямой), так и отрицательные (для точек под прямой), причем сумма квадратов всех отклонений оказывается минимальной.
К решению нормальной системы уравнений можно прийти и подругому.
Разделив оба уравнения системы (4) на n, получим:
a0 a1 x y
a |
|
|
|
a |
|
2 |
|
|
y , |
|
|
|
|
|
|
|
(6) |
|
|
|||||
0 |
x |
x |
x |
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
1 |
xi |
; y |
1 |
yi ; |
|
2 |
1 |
xi2 |
; |
|
|
y |
1 |
xi yi . |
|||||||
|
x |
x |
x |
|||||||||||||||||||||
|
|
n |
n |
n |
|
n |
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Умножив 1-ое уравнение системы (6) на x и вычитая его из 2-ого получим:
a ( |
|
2 ( |
|
|
)2 ) |
|
y |
|
* y ; |
|||||||||
x |
x |
x |
x |
|||||||||||||||
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a |
|
|
|
y |
|
|
* y |
. |
|
|||||||||
x |
x |
(7) |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
1 |
|
|
|
|
|
|
2 ( |
|
)2 |
|
|
|
|
|
||||
|
|
|
|
x |
x |
|
|
|
||||||||||
Коэффициент a0 |
после получения коэффициента a1 рассчитывается из |
|||||||||||||||||
первого уравнения (6) по формуле: a0 y a1 x (8). Окончательно имеем:
a xy x * y |
||
1 |
x 2 |
(x)2 |
|
||
a0 y a1 x .
12
Коэффициент a1 называется коэффициентом регрессии и
показывает насколько единиц в среднем изменяется результативный показатель y при увеличении фактор-признака x на одну единицу.
Как оценить тесноту корреляционной зависимости? Коэффициент регрессии не может быть взят для оценки тесноты связи, так как он имеет следующие недостатки:
1)Коэффициент a1 - это угловой коэффициент прямой линии
регрессии. Этот коэффициент может быть одним и тем же для многих линий, относящихся к разным корреляционным полям, например, как на рис. 4:
Рис. 4. Коэффициент a1 одинаковый для разных случаев связи между х и y.
Очевидно, что в одном случае точки корреляционного поля отстоят дальше от линии регрессии, чем в другом случае. Ясно, что во втором случае теснота связи между х и y больше.
2)Второй недостаток коэффициента a1 состоит в том, что он зависит
от натуральных единиц измерения фактор-признаков. Так,. если фактор х исчисляется в миллионах рублей вместо тысяч, то a1 увеличивается в 1000 раз.
Чтобы избавиться от этих недостатков, необходимо перейти к стандартной системе измерения случайных величин. В стандартной системе за единицу измерения случайной величины принимают ее среднее квадратичное отклонение (ошибку).
Вычитая из |
уравнения |
регрессии |
|
уравнение y a0 |
|
|
|
|||||||||||||
y a0 a1 x |
a1 x |
|||||||||||||||||||
получим уравнение регрессии в следующей форме: |
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
y y |
a1 |
(x x) . |
(9) |
|
|
|
|||||||||||||
Перейдем от натуральных единиц измерения случайных величин |
||||||||||||||||||||
y y |
||||||||||||||||||||
и x |
|
|
к |
стандартным единицам, |
поделив их |
соответственно |
на |
|||||||||||||
x |
||||||||||||||||||||
среднеквадратичные ошибки, |
которые равны S x и S y . Тогда уравнение (9) |
|||||||||||||||||||
примет вид: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
S x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
y y |
a |
|
* |
x x |
. |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
S y |
1 S y |
S x |
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
13 |
|
|
|
|
|
|
Обозначим |
|
|
|
|
|
|
|
||
|
S x |
|
|
|
y |
|
* y |
||
rxy a1 |
|
x |
x |
||||||
|
|
|
|
|
(10) |
||||
S y |
|
|
|
||||||
|
|
|
|
S x S y |
|||||
Коэффициент |
rxy называется выборочным коэффициентом |
||||||||
корреляции (выборочным коэффициентом корреляции случайных величин
Х и У).
Коэффициент rxy совпадает по знаку с a1 . Если rxy >0, то корреляционная связь является прямой. Если rxy <0 - обратной.
Коэффициент парной корреляции рассчитывается и по другим формулам, вытекающим из (10), например:
rxy |
|
|
|
n xi yi xi yi |
|
|
|
|
|
|
. (11) |
||||
(n x2 |
( xi )2 ) *(n yi2 ( yi )2 |
||||||
|
|
|
|||||
Свойства коэффициента корреляции.
1.Коэффициент корреляции удовлетворяет неравенству
-1 < rxy < 1.
2.Если между Х и У существует линейная функциональная связь, то | rxy |=1, и наоборот: если | rxy |=1, то между x и y существует линейная
функциональная связь (см. рис. 5)
Рис. 5. Между x и y существует линейная функциональная связь если | rxy |=1 и наоборот.
3.При rxy =0 между Х и У отсутствует линейная корреляционная
связь, линейное уравнение регрессии будет иметь вид |
|
y , то есть нет |
y |
зависимости y от x. Но в этом случае зависимость может быть нелинейной, даже функциональной (см. рис. 6).
14
Рис. 6. Тесная корреляционная зависимость при rxy =0.
Из рис. 6 видно, что существует тесная корреляционная связь, хотя коэффициент корреляции близок к нулю.
Таким образом, коэффициент корреляции хорош только для линейной связи. Он применим только при нормальном или близком к нормальному распределении случайных величин. Косвенным признаком, свидетельствующим о линейности связи и нормальности распределения, является большая абсолютная величина ( rxy >0.6) коэффициента корреляции.
Рассмотрим пример. Пусть имеются данные о товарообороте и сумме издержек обращения по 10 торговым точкам компании в млн. руб.
Товарооборот, X |
Издержки |
xi yi |
x 2 i |
x 2 i |
|
обращения, y |
|
|
|
480 |
30 |
14400 |
230400 |
900 |
510 |
25 |
12750 |
260100 |
625 |
530 |
31 |
16430 |
280900 |
961 |
540 |
28 |
15120 |
291600 |
784 |
570 |
29 |
16530 |
324900 |
841 |
590 |
32 |
18880 |
348100 |
1024 |
620 |
36 |
22320 |
384400 |
1296 |
640 |
36 |
23040 |
409600 |
1296 |
650 |
37 |
24050 |
422500 |
1369 |
|
|
0 |
00 |
1444 |
о (xi ) : 5790 |
о (yi ) : 322 |
00 |
100 |
10540 |
15
|
( (xi ))2 |
33524100 ; ( (yi ))2 103664 ; |
|
|
|||
rxy |
|
|
|
10 *188600 5790 * 322 |
|
0.876 |
|
|
|
|
|
||||
|
|
|
|
||||
(10 * 3888100 33524100) * (10 *10540 103664) |
|||||||
|
|
|
|
|
|||
Система нормальных уравнений для рассматриваемого примера будет выглядеть так:
10a0 5790a1 322
5790a0 3338100a1 188600
Решая систему, находим коэффициенты a0 и a1 , тогда уравнение регрессии запишется в виде:
y 2.8758 0.0606x
Коэффициент регрессии в уравнении a1 =0,0606 показывает среднее увеличение суммы издержек обращения на 60,6 тыс. руб. на каждый миллион прироста товарооборота.
Варьируя значение фактор-признака, можно прогнозировать поведение результативного показателя. То есть коэффициент регрессии a 1 имеет очень большое практическое значение.
Также коэффициент регрессии используется при определении показателя эластичности. Коэффициент эластичности Е характеризует процент изменения результативного показателя в случае изменения факторпризнака на 1 процент.
В рассмотренном примере можно говорить об эластичности издержек обращения по отношению к товарообороту.
Если имеется зависимость показателя y от x, то формула для определения эластичности показателя y такова:
|
|
|
dy |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
dy |
|
x |
|
|
|
||
E |
|
y |
|
* |
|
|
|
|||||||
|
|
|
|
|
. |
(12) |
|
|
||||||
|
dx |
|
dx |
y |
|
|
||||||||
|
|
|
x |
|
|
|
|
|
|
|
|
|
||
В |
случае |
расчета показателя |
y по линейному уравнению регрессии |
|||||||||||
формула |
|
|
|
|
|
|
|
|
|
|
||||
y a0 a1 x принимает вид: |
|
|
|
|||||||||||
E a1 * |
x |
|
|
|
|
|
|
|||||||
|
. |
|
|
|
(13) |
|
|
|||||||
|
|
|
|
|
|
y |
|
|
|
|
|
|
||
То есть, чтобы получить коэффициент эластичности, например, спроса |
||||||||||||||
от дохода, достаточно коэффициент регрессии a 1 умножить на отношение |
x |
. |
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
16 |
|
|
Где x – интересующее нас значение дохода, а по уравнению регрессии при данном доходе.
Коэффициент эластичности может быть вычислен для любого значения фактор-признака. Можно найти также среднее значение коэффициента эластичности издержек обращения y, воспользовавшись уравнением регрессии:
|
|
|
|
|
|
=-2,8758+0,0606x. |
|
|
|
|
|
|
|
|
|
y |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Товарооборот, x |
Издержки |
Расчетные |
|
|
Коэффициент |
||||||||
x/ y |
|
||||||||||||
|
|
|
|
|
|
|
обращения, y |
издержки |
|
|
эластичности |
||
|
|
|
|
|
|
|
|
обращения, |
|
|
E a1 |
* |
x |
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
y |
|
|
|
|
y |
480 |
|
|
|
|
30 |
26,2122 |
18,3120 |
1,1097 |
|
||||
510 |
|
|
|
|
25 |
28,0302 |
18,1946 |
1,1026 |
|
||||
530 |
|
|
|
|
31 |
29,2422 |
18,1244 |
1,0983 |
|
||||
540 |
|
|
|
|
28 |
29,8482 |
18,0915 |
1,0963 |
|
||||
570 |
|
|
|
|
29 |
31,6662 |
18,0002 |
1,0908 |
|
||||
590 |
|
|
|
|
32 |
32,8782 |
17,9450 |
1,0875 |
|
||||
620 |
|
|
|
|
36 |
34,6962 |
17,8693 |
1,0829 |
|
||||
640 |
|
|
|
|
36 |
35,9082 |
17,232 |
1,0801 |
|
||||
650 |
|
|
|
|
37 |
36,5142 |
17,8012 |
1,0788 |
|
||||
660 |
|
|
|
|
38 |
37,1202 |
17,7800 |
1,0775 |
|
||||
Итого (xi ) : |
Итого (yi ) : |
32,2116 |
17,9942 |
1,0904 |
|
||||||||
5790 |
|
|
|
|
322 |
|
|
|
|
|
|
||
|
|
Средний |
коэффициент |
эластичности |
издержек |
обращения |
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
E a1 |
|
0.0606 * 579 / 32.2126 1.09 . |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|||||||
|
|
|
y |
|
|
|
|
|
|
|
|
|
|
При увеличении издержек товарооборота на 1% издержки обращения увеличиваются в среднем на 1,09 %.
Замечание.
Коэффициенты корреляции и регрессии находятся в следующей
зависимости rxy |
a1 |
S x |
, |
(14) |
|
S y |
|||||
|
|
|
|
||
Где S x , |
S x |
- |
среднеквадратические ошибки. (или дисперсии). |
||
Рассмотрим на нашем примере, как считать среднеквадратические ошибки.
17
Товарооборот, X |
|
|
Абсолютные |
|
Издержки |
Абсолютные |
|
|
|
|
|
отклонения |
|
обращения, y |
отклонения |
480 |
|
|
-99 |
|
30 |
-2,2 |
|
510 |
|
|
-69 |
|
25 |
-7,2 |
|
530 |
|
|
-49 |
|
31 |
-1,2 |
|
540 |
|
|
-39 |
|
28 |
-4,2 |
|
570 |
|
|
-9 |
|
29 |
-3,2 |
|
590 |
|
|
11 |
|
32 |
-0,2 |
|
620 |
|
|
41 |
|
36 |
3,8 |
|
640 |
|
|
81 |
|
36 |
3,8 |
|
650 |
|
|
71 |
|
37 |
4,8 |
|
660 |
|
|
81 |
|
38 |
5,8 |
|
x = 579 |
|
|
S x =59,7 |
|
y = 32,2 |
S y =4,14 |
|
|
|
|
|
|
|
||
Из предыдущей формулы получаем |
|
||||||
a1 rxy |
S y |
|
|
|
|||
|
|
. |
(15) |
|
|||
S |
|
|
|||||
|
|
x |
|
|
|
||
И, следовательно, коэффициент регрессии можно рассчитать через коэффициент парной корреляции, не решая систему нормальных уравнений,
если известны среднеквадратичные ошибки S x |
и S y . |
|||
Из формулы rxy a1 |
S x |
вытекает и |
следующая интерпретация |
|
S y |
||||
|
|
|
||
коэффициента rxy : Коэффициент парной корреляции показывает, на сколько стандартных единиц S y изменяется случайная величина y, если величина x изменяется на одну свою стандартную единицу S x .
Рассмотренный коэффициент корреляции rxy показывает тесноту связи
лишь в случае линейной зависимости между случайными величинами, имеющими совместное нормальное распределение. Поэтому возникает необходимость найти коэффициент тесноты или интенсивности связи и в случае нелинейной зависимости. Роль таких коэффициентов играют корреляционное отношение и индекс корреляции, которые в случае линейной зависимости совпадают с коэффициентом корреляции и потому раскрывают его с новой стороны.
Корреляционным отношением (эмпирическим) называется величина:
|
|
2 |
|
|
|
|
|
|
|
|
S |
|
|
|
|
yx |
|
|
y |
|
|
|
|
|
|
|
(16) |
|
|
||
|
S 2 , |
|
|
||||
|
|
|
|
|
|||
|
|
|
y |
|
|
|
|
где |
2 |
- выборочная дисперсия расчетных значений |
|
, вычисленных по |
|||
S y |
y |
||||||
уравнению регрессии (необязательно линейному), а S y2 - полная дисперсия
18
для эмпирических значений y. Дисперсия в числителе выражает вариацию, обусловленную выбранным фактор-признаком x, или это есть дисперсия, объясненная уравнением регрессии. Полная же дисперсия, стоящая в знаменателе, обуславливается еще и многими другими факторами, не учтенными в модели.
Если S y2 , то есть теоретически рассчитанные значения показателя у по уравнению регрессии совпадают с эмпирическими данными, то yx =1;
если же |
2 |
=0, то переменная x не вызывает изменения |
|
и |
yx =0. |
S y |
y |
Наряду с коэффициентом корреляции и корреляционным отношением в математической статистике используют индекс корреляции.
Как мы сказали, дисперсия S y называется объясненной дисперсией, а |
|||||
|
|
2 |
|
|
|
дисперсия |
S y |
- полной. Имеет место равенство S y |
S y |
S y y , |
|
|
2 |
2 |
2 |
2 |
|
где |
S y y |
|
|
|
|
- остаточная (необъясненная дисперсия), то есть вариация |
|||||
|
2 |
|
|
|
|
разностей между эмпирическими данными и линией регрессии. Если в формуле (16) представить объясненную дисперсию
S y |
как |
2 |
|
разность между полной дисперсией |
S y2 |
|
случайной величины |
y и |
необъясненной (остаточной) дисперсией |
S 2 |
, |
то получим формулу |
для |
|
y y |
|
|
|
расчета так называемого индекса корреляции: |
|
|
|
|
|
|
|
|
|
|
S |
2 |
|
|
|
|
|
|
|
|
iyx |
|
|
1 |
|
y y |
|
|
|
|
|
|||||
|
|
|
|
. |
|
|
(17) |
|
|||||||
|
S |
2 |
|
|
|
||||||||||
|
|
|
|
|
|
y |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Для вычисления остаточной и полной дисперсии используются |
|||||||||||||||
формулы: |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
2 |
|
|
|
( yi |
|
2 |
|
|
S |
2 |
|
|
|
ei |
|
yi |
) |
, |
(18) |
|||||
|
y y |
|
|
n l |
|
|
|
n l |
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|||||
|
2 |
|
ei2 |
|
( yi y)2 |
|
|
(19) |
|||||||
S y |
n l |
|
|
|
n l |
. |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||
где |
n - объем выборки |
|
(количества |
наблюдений), l – количество |
|||||||||||
неизвестных параметров в уравнении регрессии (для парной корреляции таких параметров два).
|
|
S 2 |
|
|
|
Величина R iyx2 |
1 |
y y |
называется коэффициентом детерминации. |
||
S |
2 |
||||
|
|
|
|||
|
|
|
y |
|
|
Коэффициент детерминации показывает, какая доля вариации исследуемого показателя y объясняется вариацией выделенного фактор-
признака x. Другими словами, коэффициент детерминации показывает, какая часть дисперсии случайной величины y объясняется построенным уравнением регрессии.
Чем ближе коэффициент детерминации R к единице, тем меньше
остаточная (или необъясненная) дисперсия |
S 2 |
и, следовательно, тем лучше |
|
y y |
|
19 |
|
|
построенное уравнение регрессии отражает корреляционную зависимость между показателями x и y.
Для линейной модели регрессии коэффициент корреляции корреляционное отношение yx и индекс корреляции iyx численно равны между собой. В случае нелинейной модели коэффициент корреляции rxy может быть близок или даже равен 0, а коэффициенты yx iyx могут быть
близки к единице или даже равны единице в случае удачного выбора нелинейной зависимости y от x. Равенство индекса корреляции или коэффициента детерминации единице означает функциональную зависимость y от x.
После построения регрессионной модели необходимо проверить ее на адекватность исследуемому процессу, то есть необходимо выяснить, правильно ли она отображает подмеченную закономерность, или зависимость исследуемого показателя y от показателя x.
Это нужно сделать для того, чтобы убедиться в пригодности и надежности модели для использования в прикладных целях, в частности для прогнозирования показателя у в будущем.
Для оценки адекватности используется критерий Фишера. Для этого определяется расчетный показатель по формуле:
S |
2 |
|
|
|
|
|
|
|
|
|
|
|
|||
F |
|
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
. |
(20) |
|
|
|
||
S y y |
|
|
|
|
|||
Полученное значение |
сравнивается с табличным |
значением |
Ftable - |
||||
распределения |
при числе |
степеней свободы |
k1 l 1, |
k2 n 1 и |
уровне |
||
значимости . |
Если F Ftable , то с вероятностью |
P 1 можно утверждать, |
|||||
что связь между результативным и факторным признаком существенна. Очевидно, что уравнение регрессии после проверки его надежности
можно использовать для предсказания значений результирующего показателя y при некоторых интересующих нас значениях фактора-признака x.
Прогноз значений исследуемого показателя может быть точечным и интервальным. Точечный прогноз получается прямой подстановкой значения
x0 |
в |
уравнение регрессии, например, линейное |
|
a0 |
a1 x . Значение |
y |
|||||
|
a0 |
a1 x - это и есть точечный прогноз показателя y. Однако фактическое |
|||
y |
|||||
значение исследуемого показателя y при значении независимого показателя никогда в точности не совпадет с точечным прогнозом y0 , а будет
находиться в некотором интервале, содержащем y0 . Практически важнее интервальный прогноз. Границы этого интервала равноудалены от центра y0
и определяются на основе дисперсионного анализа.
Для определения доверительного интервала задаются некоторой доверительной вероятностью P прогноза. Обычно доверительная вероятность
20
