140
приближенную (теоретическую) линию регрессии того или иного вида, определяя неизвестные параметры этой функции из условия минимума ∆.
Можно показать, что если переменные X и Y представляют собой суммы большого числа независимых (или почти независимых) случайных величин, то X и Y связаны линейной корреляционной зависимостью (если она вообще существует). Так как на практике именно этот случай реализуется чаще всего, то приближенную функцию регрессии ищут, как правило,
в виде линейной функции y = h(x) = a x + в. |
При |
этом задача сводится |
лишь к отысканию неизвестных параметров |
a и |
в. Это можно сделать |
различными способами. Наиболее распространенным из них, позволяющим получить в некотором смысле наилучшее приближение к экспериментальным данным, является метод наименьших квадратов.
10.3. Метод наименьших квадратов
Суть метода состоит в следующем: пусть известны результаты эксперимента (x1, y1), (x2, y2), . . . ,(xn, yn) и выбран с точностью до k неизвестных параметров вид функции
y = f (x, a1, a2, . . ., ak ), (10.4)
аппроксимирующей экспериментальные данные.
Согласно методу наименьших квадратов неизвестные параметры ai выбираются так, чтобы сумма квадратов отклонений была минимальной
∑k [yi − f (xi ,a1,a2 , ak )]2 |
= min . |
(10.5) |
i=1 |
|
|
Под отклонением понимается разность между наблюдавшимся значением yi и расчетным значением y, вычисленным по уравнению (10.4) при x=xi.
Для отыскания значений ai , обеспечивающих минимум левой части уравнения (10.5), необходимо приравнять нулю производные по ai . Тогда получим
141
|
n |
|
|
∂f |
|
|
|
|
|
|||||
|
∑[yi − |
f (xi ,a1,a2 |
, ,ak )] |
|
|
|
= 0, |
|
||||||
|
∂a |
|
|
|||||||||||
|
|
i=1 |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
1 |
|
x=x |
|
|
||||
|
n |
|
|
|
|
|
|
i |
|
|
||||
|
|
|
∂f |
|
|
|
|
|
|
|||||
|
|
|
|
|
f (xi ,a1,a2 |
|
|
|
|
|
= 0, |
|
||
|
|
|
|
∂a |
|
|
|
|||||||
|
∑= [yi − |
, ,ak )] |
2 |
|
|
|
(10.6) |
|||||||
|
i 1 |
|
|
|
|
|
x=x |
|
||||||
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
................................................................. |
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
∂f |
|
|
|
|
|
|
||||
|
|
∑[yi − |
|
|
|
|
|
|
= 0. |
|
||||
|
|
|
|
|
|
|
||||||||
|
|
f (xi ,a1,a2 , ,ak )] |
∂a |
|
|
|
|
|
||||||
|
i=1 |
|
|
k |
|
|
x=xi |
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
∂f |
|
|
|
|
|
|
|
|
|
|
||
Здесь числа |
|
|
- значения частных производных функции по |
|||||||||||
|
||||||||||||||
|
|
|
||||||||||||
|
|
∂ai x=x |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
параметрам αi в точке x i . Число уравнений в системе (10.6) равно числу неизвестных параметров.
В интересующем нас случае функция
f (xi , a1, , ak )= y = h(x)= a x + в линейна и содержит два неизвестных параметра. Необходимыми условиями минимума суммы квадратов отклонений условных средних (то есть “истинной” линии регрессии) от приближенной функции регрессии являются условия
∂α |
= 0, |
∂α |
= 0, |
|
∂a |
∂в |
|||
|
|
где
α= 1 ∑∑s t (yj − a xj −в)2ni j n i=1 j=1
= |
1 |
∑(yj − a xj −в)2 nxj . |
|
n |
j |
В результате получим два линейных уравнения
1n ∑j (yj − axj − в)nxj = 0,1n ∑(yj − a xj − в)xjnxj = 0j
или
142
|
|
|
|
|
t |
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∑xjnxj |
|
|
|
|
|
∑nxj |
|
|
|
|
|
∑yjnxj |
|
|
|
|
||||||||||||
|
|
|
|
j=1 |
|
|
|
a |
+ |
|
j=1 |
|
|
в = |
|
j=1 |
|
|
|
|
, |
|
|
|
|||||||||
|
|
|
|
|
n |
|
|
|
|
|
n |
|
|
|
n |
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
||||
|
|
|
|
|
∑x2j nxj |
|
|
|
|
|
∑xjnxj |
|
|
|
∑yj xjnxj |
||||||||||||||||||
|
|
|
|
j=1 |
|
|
|
a |
+ |
|
j=1 |
|
|
|
|
в= |
|
j=1 |
|
|
. |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
n |
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
n |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Так как |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
t t |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
1∑x2j nxj |
= x2 , |
|
|
|
|
|
1 ∑yj xjnxj |
= |
1 |
∑∑yi xjni j = |
xy |
, |
|||||||||||||||||||||
n j=1 |
|
|
|
|
|
|
|
|
|
|
n j=1 |
|
|
|
|
|
|
|
|
|
n i=1 j=1 |
||||||||||||
|
|
1 |
t |
nxj |
|
|
1 |
|
s |
t |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
∑yj |
= |
|
∑∑yjni j = y, |
|
|
|
|
||||||||||||||||||||
|
|
|
|
n j=1 |
|
|
|
|
|
|
|
n i=1 j=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
с учетом обозначений (10.1) , (10.2) |
можно записать |
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
x a +в = y, |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
a + x b = xy, |
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|||||||||||||||||
откуда следует: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
− x y |
|
|
|
|
|
|
|
|
|
|
x 2 y − x |
|
|
|
|
|
|
|
||||||||||
a = |
|
xy |
, |
|
|
|
|
|
в = |
xy |
. |
(10.7) |
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
x2 |
− x 2 |
|
|
|
|
|
|
|
|
x2 |
− x 2 |
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Функция y = h(x)= a x + в, коэффициенты которой определяются по формуле (10.7), называется линейной среднеквадратической регрессией
Y на X.
10.4. Выборочный коэффициент регрессии
Угловой коэффициент a прямой линии регрессии Y на X называ-
ется выборочным коэффициентом регрессии Y на X и обозначается че-
рез
ρy / x = a. |
|
Уравнение линейной среднеквадратической регрессии Y на |
X |
можно записать теперь в виде |
|
y − y = ρy/ x (x − x). |
|
143
Так как
|
|
|
∑t (x j − x)2 nx j |
|
∑x2j nx j |
|
2x∑x j nx j |
|
x 2 ∑nx j |
|
σ |
2 |
= |
j=1 |
= |
j |
− |
j |
+ |
j |
= |
|
|
|
|
|
||||||
x |
|
n |
|
n |
|
n |
|
n |
|
|
|
|
|
|
|
|
|
||||
= x2 − 2x x + x 2 = x2 − x 2 ,
то из первого выражения (10.7) следует
|
|
|
|
|
|
|
|
|
|
ρy/ x = |
|
|
|
|
− |
x y |
. |
|
||||
|
|
|
|
|
|
|
|
|
|
xy |
(10.8) |
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
σ 2 |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|||
Аналогично, уравнение линейной среднеквадратической регрессии |
||||||||||||||||||||||
X на Y имеет вид: |
|
x − x = ρx/ y (y − y), |
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
y = |
|
|
− xy |
, |
|
||||||
|
|
|
|
|
|
|
|
|
|
ρx/ |
xy |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
σ 2 |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
y |
|
|||
|
|
2 |
|
|
|
|
2 |
|
1 s |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= y |
2 |
− y |
= |
- выборочная дисперсия |
Y. |
|||||||||||||||
|
||||||||||||||||||||||
σ y |
|
|
∑(yi − y) ny |
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
n i=1 |
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Замечание. В частном случае, когда все значения X и соответствующие им значения Y различны, а общее число опытов равно n, из усло-
вия минимума ∆ = ∑n [yi −(a xi + в)]2 получим
i=1
∑n [ yi −i=1
n∑[ yi −i=1
(axi + b)] xi = 0,
(axi + b)]= 0.
Разрешая эту систему относительно a и в, найдем следующие выражения для коэффициентов уравнения регрессии:
a = ρy/ x = |
n∑xi yi |
−∑xi ∑yi |
, |
|
n∑xi2 |
−(∑xi )2 |
|||
|
|
в = ∑xi2 yi −∑xi ∑xi yi . n∑xi2 −(∑xi )2