7.4 Выбор уравнения регрессии

После того, как установлено наличие связи между переменными строится, так называемое, корреляционное поле. Определяется эмпирическая линия регрессии. Выводится уравнение теоретической линии регрессии. Предположим, что в результате корреляционного анализа установлено равенство коэффициента корреляции корреляционному отношению. В этом случае вопрос решается простой подстановкой рассчитанных в процессе корреляционного анализа данных в уравнение (7.1). В случае, если такого равенства не наблюдается, необходим поиск криволинейной связи. Наиболее часто наблюдающейся в различных технических приложениях формой криволинейной связи является параболическая связь, выражающаяся уравнением параболы n –го порядка:

_x = a + bx² + cx³ + ...

Задача заключается в поиске численных значений коэффициентов уравнения a,b,c,.... Метод, с помощью которого определяются коэффициенты уравнения, носит название метода наименьших квадратов.

Рассмотрим общую постановку вопроса. Пусть из каких либо соображений выбран общий вид функции Y = f ( x ), зависящий от нескольких числовых параметров a,b,c,...; именно эти параметры и требуется выбрать согласно методу наименьших квадратов так, чтобы сумма квадратов отклонений y_i от f (x ) была минимальна. Запишем y как функцию не только аргумента х, но и параметров a,b,c,...:

y = f ( x;a,b,c,...).

Требуется выбрать a,b,c,... так, чтобы выполнялось условие:

[ y_i – f ( x;a,b,c,...)]² = min (7.2)

Найдем значения a,b,c,...,обращающие левую часть выражения (7.2) в минимум. Для этого продифференцируем eго по a,b,c,... и приравняем производные нулю:

[ y_i –f ( x;a,b,c,...)] ( f / a)_i = 0 ;

[ y_i –f ( x;a,b,c,...)] ( f / b)_i = 0 ; (7.3)

[ y_i –f ( x;a,b,c,...)] ( f / c)_i = 0 ;

где ( f / a)_i = f^/ ( x;a,b,c,...) – значение частной производной функции f по параметру а в точке х_i;

( f / b)_i , ( f / c)_i ,...- аналогично.

Система уравнений (7.3) содержит столько же уравнений, сколько неизвестных a,b,c,... .

Решить систему (7.3) в общем виде нельзя; необходимо задаться конкретным видом функции f( x ). Рассмотрим простейший случай нелинейной зависимости, когда корреляционная связь выражается уравнением параболы второго порядка:

_x = ax² + bx + c. (7.4)

дифференцируя выражение (7.4) по a,b,c , получим:

( f / a)_i = x _; ( f / b)_i = x _i ; ( f / c)_i = 1.

Подставляя производные в систему уравнений (7.3) имеем:

[ _x – ( ax² + bx + c ) ] ² x = 0 ,

[ _x – ( ax² + bx + c ) ] ² x _i= 0 ,

[ _x – ( ax² + bx + c ) ] ² = 0 ,

После несложных преобразований получим систему уравнений:

x _x = a x + b x + c x ,

x _{i x} = a x + b x + c x _i , (7.5)

_x = a x + b x _i+ cn ,

Решение системы уравнений (7.5) дает значение

коэффициентов a, b, c.

7.5. Понятие о множественной корреляции

Корреляционные связи могут существовать не только между двумя, но и между несколькими признаками. Исследование статистических связей между многими величинами составляет предмет теории множественной корреляции. В практике машиностроения встречаются случаи линейной корреляционной связи между тремя величинами или факторами. Поэтому ограничимся рассмотрением простейшего случая линейной корреляционной связи между тремя величинами X, Y и Z. Причем Z будем считать величиной, зависящей от X и Y. Линейная связь между Z, X и Y выражается уравнением:

_yx = a +bx +cy,

где a ,b , c - постоянные коэффициенты, которые вычисляются с помощью коэффициентов корреляции между x и y ( r_xy ); x и z

( r_xz ); y и z ( r_yz ), а также средних квадратических отклонений S_x, S_y, S_z по формулам:

b = ( S_z / S_x ) ( r_xy - r_xz r_yz ) / ( 1 - r ) ;

c = ( S_z / S_y ) ( r_yz - r_xz r_xy ) / ( 1 - r );

a = - b - c ;

Мерой силы линейной связи между Z и X, Y служит коэффициент множественной корреляции:

R_xyz = .

Коэффициент R_xyz всегда положительный и заключен между 0 и 1. Если R_xyz =1, то между Z , X и Y существует точная линейная связь вида _yx = a +bx +cy, если _yx =0, то Z не имеет линейной связи с X и Y, но криволинейная связь возможна.

Для исследования наличия связей между X и Z , Y и Z а также оценки влияния X и Y в отдельности на Z пользуются частными коэффициентами корреляции, которые обозначим r _xz(y) (связь между x и z при постоянном значении y) и r_yz(x) (связь между y и z при постоянном x). Эти коэффициенты вычисляются по формулам:

r _xz(y) = (r_xy - r_xz r_yz) / ;

r_yz(x) = (r_yz - r_xz r_xy ) / .

Смысл частных коэффициентов заключается в том, что они служат мерой линейной связи между x и z при постоянном значении y и между y и z при постоянном x. Значения коэффициентов заключены между -1 и +1. Когда они равны 0, частная связь между x и z, y и z не может быть линейной, но криволинейная возможна.