8.2. Принцип наименьших квадратов

Рассмотрим величины х_ъ...,х_к как независимые переменные. При этом каждое значение у можно считать случайным значени­ем величины у, которое «выбирается» в соответствии с ее услов­ным распределением к(у\х_и...,х_к) при фиксированных значениях х_ь...,х_к независимых переменных. При такой интерпретации пе­ременных поставленную выше задачу замены реальной статисти­ческой связи у с XI,...,х_к на функциональную (сглаженную) зави­симость у=/(х\,...,хк) можно свести к построению средней 136

квадратической регрессии у на х_ь...,х_к при условии, что функция у =Дх_и...,хк) относится к определенному классу функций Ср

Предположим, что все функции из класса Су описываются оп­ределенным набором параметров (далее эти параметры обозна­чаются через а_и а_г,...,а_м) и соответственно используем следую­щее обозначение для таких функций (случай множественной за­висимости):

У=Л<*\> а₂,...,а_м;х_и...,х_к).

В рассмотренных выше представлениях зависимости у от х_!,...,х_А-роль указанных параметров играют: в случае множествен­ной линейной зависимости — а₀, а\,...,а_к при М=К+ 1, в кине­тической зависимости — а₀, а_ь...,а_к, /_ь...,/^ при М= 2К+ 1 и т. д.

Средняя квадратическая регрессия определяется как наилуч­шее функциональное представление зависимости случайной величины у от х_и...,х_кв смысле принципа наименьших квадра­тов. Поскольку условные распределения к{у\х_х,...,х_к) неизвест­ны и на практике приходится иметь дело с выборочными их представлениями, этот принцип формализуется следующим образом:

определить функцию / из класса С/, то есть найти значения параметров а_ь...,а_м, при которых минимизируется сумма квадра­тов отклонений случайных значений величины у, полученных в выборках, от соответствующих значений функции/

N

X

У=1

1^}~/{а_ъ а₂,...,а_м;х{, х{,...,х^

► тт.

(8.1)

Отметим, что в приведенной сумме величины у-',х(,...,х^_к,]=\,.,.,Ы — суть константы, и, следовательно, эта сумма может рассматриваться как функция только переменных а_и...,а_м.

Принцип наименьших квадратов служит источником получе­ния так называемых нормальных уравнений для определения ис­комых значений параметров а_ъ...,а_м. Далее предполагается, что первые частные производные функции из заданного класса по параметрам а_ь...,а_м существуют. Для получения нормальных уравнений в соответствии с необходимыми условиями достиже­ния экстремума приравняем к нулю эти производные. С точнос­тью до постоянных коэффициентов получим так называемую си­стему нормальных уравнений, из которой и находят значение па­раметров а\,...,а_м:

137

N

X

N

X

у* -/[а_ъ...,а_м;х{,...,х{ф — у-¹ -/(а_и...,а_м\х{,...,х^-^-

х_х ,...,х_к

х{,...,х^}_к

=0;

=0:

(8.2)

X

У=1

^ -/(«],-

,ам',х

)

"к

#

л/

с?а

х/,...,4

=0.

8.3. Системы нормальных уравнений

ДЛЯ ОСНОВНЫХ ВИДОВ

ПРОИЗВОДСТВЕННЫХ ФУНКЦИЙ

Рассмотрим несколько примеров системы нормальных урав­нений для случая парной зависимости (М= 1); во всех них нор­мальные уравнения линейны относительно параметров а_и...,а_м.

1. Пусть Су—класс линейных функций, то есть ищется ли­нейная средняя квадратическая регрессия ^ нах. В принятых обозначениях это означает, что реальную статистическую за­висимость результативного показателя у от производственного фактора х мы хотим заменить функциональной линейной свя­зью

У=Ааи аъ х) = а_х + а₂х.

(8.3)

Подставляя это выражение в общую систему нормальных уравнений (8.2), после дифференцирования и элементарных пре­образований получим

N . N .

а_{И+а₂ X х³ = ХУ; у=1 У=1

7 = 1 у = Г ' у = Г '

(8.4)

где N'— общее число наборов экспериментальных данных (число наблюдений).

При проведении вычислений обычно уравнения из этой сис­темы делят на число наблюдений, приводя ее к виду

138

N . ' N .

2>^у ХУ

7 = 1 ^7 = 1 /V

N

N , _л2

й\\а₂

ТУ

X

.У=1

N . IV 1 .\1 IV I .

Х*^у ХМ ХУх

7 = 1 7=' ■•-'

/у

ЛГ

/V

(8.4а)

2. Пусть Су— класс полиномов второй степени (парабол), то есть ищется параболическая регрессия у на х:

у —.Доь а₂, а₃; х) — а\ + а₂х + а$к².

(8.5)

В этом случае система нормальных уравнений для определе­ния параметров щ, а₂, а^ будет иметь вид

N . N , _л2 N .

а^+а₂1х->+а₃2₁[х^ = ХУ;

7 = 1

7 = 1 \2

7 = 1

# , _лз

«1 X ^+«2 X И +«3 X К = X (у'хЛ 7 = 1 7 = 1^У ' 7 = Г ' 7 = 1^{У У}

N , _л2 N I _лз N , .и N , . _л2

«1 X (*^У) +«2 X (*') +«3 X (*^У) = X (>^)

7 = 1

(8.6)

3. Если С/— класс гипербол, ищется гиперболическая регрес­сия у на х.

у=/(а₁,а₂;х)=а₁ +

а₂

(8.7)

Тогда система нормальных уравнений имеет вид

7 = 1

N \ N .

я1^+я₂хЛ=5>^у;

7 =

/V !

* 1 «1 Х-7+Я2 X

7

у = 1*

_''"И

*/\л

^^Л ;

(8.8)

Аналогично составляются системы нормальных уравнений в случае большего числа производственных факторов. Например, для случая трех факторов при необходимости построения линей­ных регрессий вида

139

После решения системы нормальных уравнений и подстанов­ки полученных значений параметров в общее выражение, связы­вающее результативный показатель с факторами, получают кон­кретное уравнение, которое и принимается в качестве искомого представления производственной функции.

Для иллюстрации определим в соответствии с рассмотренным методом линейное представление зависимости урожайности ози­мой пшеницы от балльной оценки качества земли по данным таблицы 13. Расчет сумм, входящих в систему нормальных урав­нений (8.4), показан в таблице!4.

14. Расчет коэффициентов системы нормальных уравнений (линейная регрессия,

задача 8.1)

Номера участков ]

X

У х2

ху

У = /(х)

1. 30 23,5 900 705,0 23,01

1. 35 23,7 1225 829,5 25,55

1. 35 24,0 1225 840,0 25,55

1. 38 26,7 1444 1014,6 27,08

1. 29 24,3 841 704,7 22,50

1. 40 28,8 1600 1152,0 28,09

1. 45 33,5 2025 1507,5 30,63

1. 37 27,6 1369 1021,2 26,57

1. 35 23,0 1225 805,0 25,55

1. 40 29,4 1600 1176,0 28,09

1. 50 30,5 2500 1525,0 33,18

1. 52 35,0 2704 1820,0 34,19 I 466 330,0 18658 13100,5 330,0

140

У =А<*о, а_и а₂, а_ъ; х) =<я₀ + а_хх_х + а₂х₂ + а₃х₃ (8.9)

система нормальных уравнений имеет вид

' N . N . N . N .

1>/ 5>₂^У 2>з 2У

7 = 1 7=1 7=1 7=1

N ^л N ³ N N N . N I _Л2 N I . _л N , . _л N , .

й₀ ——•+«{ —— -+а₂— +«з ^}~ ~^;~

N ¹ N N N - N

N . N , . _л N , _Л2 N , / _л N , . _л

М X */** X х₂; I х₂^ X _у^

7=1 7=1 7=1 7=1 7=1

оп- +й| - +о?- +а->- =- ;

^и N ¹ N ^г N ³ N N

N . N , . _л N , . _л N , _л2 N , . _л

14 ^(х{хЛ 1^ ХЙ ъ(уЧ)

7 = 1 7 = 1 ' / = Г ' у'=Г ⁷ у = Г ⁷

ап- +а\- +ат- +а->- =- .

⁰ N ' N ² N ³ N N

Таким образом, система нормальных уравнений (8.4) для рас­сматриваемой задачи будет иметь вид

12а₁ + 466о₂ = 330,0; 466а,+ 18658а₂= 13100,5.

Для решения разделим каждое уравнение на коэффициент при а_{. Получим

^ + 38,833^ = 27,500; а_х + 40,039о₂ = 28,113.

Вычтем из второго уравнения первое:

1,206а₂ = 0,613, откуда а₂ = 0,508.

Подставив значение а₂ в любое из уравнений, найдем а, = 27,5-38,833-0,508 = 7,77.

Таким образом, линейное представление зависимости уро­жайности пшеницы от оценки качества земли имеет вид

у=/(х)=7,77+0,508х.

Графическое представление этой зависимости и было дано на ри­сунке 5. Численные значения урожайности у, рассчитанные по по­лученной формуле, представлены в последнем столбце таблицы 14.

Аналогичные расчеты можно провести, если представление рассматриваемой зависимости искать не в классе линейных функ­ций, а, например, в классе полиномов второй степени (парабол). В этом случае необходимо исходить из регрессии вида (8.5) и соот­ветственно системы нормальных уравнений вида (8.6). Необходи­мые промежуточные вычисления представлены в таблице 15.

15. Расчет коэффициентов системы нормальных уравнений (параболическая регрессия, задача 8.1)

]	X	У	ху	X1	хгу	X3	X*	У
1	30	23,5	705,0	900	21150,0	27000	810000	23,11
2	35	23,7	829,5	1225	29032,4	42875	1500625	25,52
3	35	24,0	840,0	1225	29400,0	42875	1500625	25,52
4	38	26,7	1014,6	1444	38554,8	54872	2085136	27,01
5	29	24,3	704,7	841	20436,3	24389	707281	22,64
6	40	28,8	1152,0	1600	46080,0	64000	2560000	28,02
7	45	33,5	. 1507,5	2025	67837,5	91125	4100625	30,58
8	37	27,6	1021,2	1369	37784,4	50653	1874161	26,51
9	35	23,0	805,0	1225	28175,0	42875	1500626	25,52
10	40	29,4	1176,0	1600	47040,0	64000	2560000	28,02
11	50	30,5	1525,0	2500	76250,0	125000	6250000	33,23
12	52	35,0	1820,0	2704	94640,0	140608	7311616	34,32
Е	466	330,0	13100,5	18658	536380,5	770272	32760694	330,01

141

С учетом результатов, рассчитанных в последней строке таб­лицы! 5, система нормальных уравнений (8.6) приобретает вид

12й,+ 466а₂ + 18658д₃ = 330,0;

466а_х + 18658а₂ + 707272а₃ =13100,5;

18658л, + 770272д₂ + 32760694д₃ + 536380,5.

Решая эту систему по аналогичной схеме¹, получим значения коэффициентов а_ъ а₂, а₃ и соответствующую сглаженную зави­симость урожайности пшеницы от качества земли:

у=/(х)=10,3+0,38х+0,001бх².

Сравнение двух представлений (последние столбцы табл. 14 и 15) наглядно демонстрирует тот факт, что в условиях рассматри­ваемой выборки линейное и параболическое представления прак­тически неразличимы, и если выбор осуществлять лишь между этими двумя, достаточно ограничиться линейным.

Задача 8.2. Найти зависимость потерь времени смены на хо­лостые повороты и заезды комбайна СК-6 «Колос» при прямом комбайнировании на уборке зерновых колосовых (у, %) от длины гона (дг, км) по исходным данным, представленным в таблице 16. При построении регрессии полагать, что искомая зависимость

является гиперболической: У=а\+—•