
книги из ГПНТБ / Гинзбург Г.Л. Руководство по использованию метода наименьших квадратов в экономико-статистических расчетах учеб. пособие
.pdfТеперь, опираясь на положения первой главы, можно пе рейти к изложению основного материала с использованием понятия о квадратичных формах, отмечая, кстати, что изложе ние метода наименьших квадратов с точки зрения математи ки можно вести различно. Французский математик А. Андуайэ применил для этого теорию квадратичных форм, которая занимает видное место в работах Эрнесто Чезаро [15] и Н. И. Идельсона [8].
Г ЛАВА II
СИСТЕМЫ НОРМАЛЬНЫХ УРАВНЕНИЙ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ
§ 1. Квадратичные формы
Определение нормальной системы
Нормальные системы встречаются при решении многих вопросов экономико-статистического анализа, главным обра зом при использовании метода наименьших квадратов для аппроксимации и обработки эмпирических данных.
Прежде чем ввести определение нормальной системы, да дим понятие квадратичной формы.
Целый однородный полином второй степени от п перемен ных называется квадратичной формой этих переменных.
В общем случае квадратичная форма имеет вид -
« ( * „ * 2,..., x n) = |
an Xi-\-а2,х1+...-\-аппх 2п + |
^ |
|||||
-f- 2ai2x^x2-f- 2ai3x Jx 3+ |
2an~i, n x n-i x n, |
|
|||||
где а,7 ( г < ;/= 1,2 |
л) — постоянные числа, |
причем |
для |
||||
удобства |
записи |
соответствующие |
коэффициенты при i |
||||
взяты в четной форме 2а1) . |
|
|
|
|
|||
Если положить для i>j, atj = ау7, то формулу (2, 1) |
мож |
||||||
но записать короче |
|
|
|
|
|
||
|
|
|
П |
П |
|
|
|
|
! и {хи х 2,..., |
x n) |
|
. |
|
(2,2) |
|
|
|
|
£=1 |
;=1 |
|
|
|
Матрица А = |
|atj | называется |
матрицей |
квадратичной |
||||
формы (2, |
1). Эта матрица будет симметрической, т. е. |
сов |
|||||
падет со своей транспонированной матрицей. |
|
|
21
Наоборот, для всякой симметрической матрицы ||а;у|| можно построить соответствующую квадратичную форму
( 2, 2) .
Квадратичная форма (2, 1) называется положительно (отрицательно) определенной, если она принимает положи тельные (отрицательные) значения, обращаясь в нуль лишь при Xi=X2 = . . .= хп =0. Подробное изложение этого вопроса можно найти в работе [7].
Определение. Линейная система SП
i=\
называется нормальной, если:
1. Матрица коэффициентов А — || |) — симметрическая.
2.Соответствующая квадратичная форма
ПП
и= ^ ^ a ^ X i X j — положительно определенная. i=l ;=1
§ 2. Суммы степеней натуральных чисел
Числа Бернулли
Существует два главных направления в практике аппрок симации функций методом наименьших квадратов.
1.Приближение осуществляется с использованием орто гональных полиномов.
2.Ортогональные полиномы не используются.
Отдавая должное первому направлению, мы избрали вто рой путь, применив для решения систем нормальных уравне ний формулы сумм степеней натурального ряда чисел в раз личных модификациях.
Ряд натуральных чисел принадлежит к таким фундамен тальным творениям человеческой культуры, что изучение свойств этого ряда, в частности, нахождение формул сумм степеней натуральных чисел и сумм четных степеней нату ральных и нечетных чисел привлекло внимание многих круп нейших математиков и статистиков.
Еще в XVII веке И. Фаулхабер (1580— 1635) в «Продол жении нового чудесного искусства» привел суммы одиннадца ти первых степеней рядов вида:
1г + 2' + 3' + ... + /гг .
Хотя вывод у Фаулхабера отсутствовал, можно .полагать, что он составил такие суммы для первых значений i. Позднее
22
Фаулхабер вычислил суммы степеней целых чисел до Еп17 и при этом получил первые восемь чисел Бернулли. Фаулхабер приводит формулы этих сумм в виде многочленов, которые он не смог разложить на множители, так как теорема Безу появилась позже.
Профессор Франк Александр Росс из Колумбийского Уни верситета пишет, что наиболее известными таблицами для суммирования степеней первых п натуральных чисел являют ся «Таблицы для статистиков и биометриков» под редакцией Карла Пирсона, в которых имеются суммы первых семи сте пеней натуральных чисел до я=100 включительно. 1 Росс го ворит, что он не знает подобных таблиц для сумм степеней нечетных чисел и предлагает несколько простых формул для подсчета таких сумм до 56 включительно. Таким образом его небольшой по объему реферат является попыткой «закре пить» приоритет в этом вопросе.
Внашей работе кроме формул для сумм степеней первых
пнатуральных чисел применены аналогичные формулы для сумм четных степеней натуральных чисел и сумм четных сте пеней нечетных чисел до 5ю включительно.
При дальнейшем изложении нам потребуется вычисление
следующих сумм:
|
|
Л |
5- = 11 -j- 2г |
Т" r i 1 = |
У1"Д== ОД !•••! 2т _9) • |
|
|
;=i |
Общая формула для отыскания таких сумм имеет вид [16]
|
|
|
(2,3) |
Я * * 1-3 + 7 |
5 W g/Д-5 |
+...-Ь-В,п . |
|
(Последний член содержит п или п2) . |
|
|
|
Здесь Вч, £ 4, Вв ... — числа |
Бернулли, |
а |
=С'* . |
В данной работе мы несколько раз будем применять числа Бернулли, .получающиеся из многочленов Бернулли. Эти мно гочлены играют большую роль в математическом анализе
1 Ф. А. Росс. «Формулы для облегчения расчетов при анализе вре менных рядов» Журнал американской статистической ассоциации 1425, март
23
и имеют ряд важных приложений; о них существует обшир ная литература, в которой приводятся специальные таблицы чисел Бернулли.
Я. Бернулли при изучении свойств сумм степеней после довательных натуральных чисел с натуральными показате лями получил формулы многочленов, носящих его имя. Фор мулы для первых десяти многочленов имеют вид
В0(х) = 1
в1(х) = x ~ Y
В2(х) = х 2— + ~
В3{ х ) = х а — |
|
х |
|
|
Вк(jc) = х 4 — 2л* + л" — y |
|
|||
Въ (х) = |
х:5 |
+ |
Т А'3 ~ Т х |
(2,4) |
Вй(х) = |
х 6 — Зхь + |
— д:4 — - у х 2 + |
~~ |
в ч(х) = х 7 — - j xS + \ х ь — Y x3 + х
Bs (х) = х 8 — 4 х ‘ + |
14 |
7 |
, |
2 |
, |
|
1 |
y x<,~ |
Т х ‘ + Т х |
— |
30 |
||||
Be ( x ) = x 9—~~xs + |
6х~‘ — — |
х:5 + |
2х* — - у х |
||||
Значения многочленов |
Бернулли |
при |
Х = 0 называются |
||||
числами Бернулли. |
|
|
|
|
|
|
|
Числа Бернулли определяются из символического равен |
|||||||
ства |
|
|
|
|
|
|
|
" Г / |
- |
х- |
, |
|
|
|
|
в котором Вр следует заменить через |
Вп . |
||||||
Полагая В0=1, при р—2, получим 2B i+'l=2, |
откуда Вi |
||||||
При р — 3, ЗВ2 + ЗВ\+ 1=3, откуда В2= |
1 |
и т. д. |
|||||
у |
24
Приведем значения нескольких чисел Бернулли 1 (пропу щены числа, равные нулю).
В0^ |
1, В1— |
2 ’ |
== 6 |
’ ^ — |
30 ’ |
^ G== 42 ’ |
|
Вз = — |
J _ |
_5_ |
__ |
691 |
_7_ |
_ |
3617 |
зо >5 Ю= |
66 ’ ^ 2 — |
2730 ' Ви = Q ,Вцj= — |
510 . |
Все Бернуллиевы числа с нечетным значком равны нулю,
1
кроме В1— Бернуллиевы числа с четными значками име
ют поочередно знаки плюс и минус.
§3. Системы нормальных уравнений
сравноотстоящими узлами 2
(общий случай)
1. Постановка задачи
Очень многие вопросы теории и практики из области ста тистики, экономики и техники приводят к следующей задаче. Для п значений аргумента
. .,п) |
(2,5) |
известны п значений «экспериментальной» функции
( 2, 6)
Требуется найти аналитическое выражение «теоретиче ской» функциональной связи
y = f W , |
(2,7) |
дающее в некотором смысле наилучшее приближение экспе риментальной функции.
После того как вид теоретической функциональной связи (2, 7), исходя из конкретных соображений рассматриваемо го вопроса, избран в виде семейства функций, зависящего от т параметров
y = f {x,aa,al t. . .,am_i), |
(2,8) |
|
возникает задача определения этих параметров |
||
^о, , •••, &т—1, |
(2,9) |
|
1 Более подробную таблицу |
чисел Бернулли |
можно найти в работе |
[5], стр. 1094. |
Ю. И. Соркиным. |
|
2 Написан совместно с доц. |
|
25
при которых функция (2, 8) дает наилучшее, в некотором смысле экстремальное приближение функции (2, 6). Будем искать функциональную связь на множестве многочленов сте пени т — 1. Тогда теоретическая функциональная связь бу дет иметь вид
у = а0 + агх + . . . + am—i л""-1. |
(2, 10) |
Наиболее распространенным и теоретически обоснован ным методом аппроксимаци является метод наименьших квадратов. Согласно этому методу значения параметров (2.9), при которых достигает минимума выражение
П
У ] [ У< (xt) — (f х „ «О» а , |
, ат-\ |
) ]=, |
|
i=l |
|
|
|
находятся из системы нормальных уравнений (1, 4), |
|||
|
п |
|
|
где = х[ + х 21+ .. .-\-xl„ |
xj (i = |
0, 1, .. |
,2т—2) (2,11) |
|
j =i |
|
|
|
П |
|
|
и Ь1= у1х\ + у2х [-\ -.. .+ упХп = ^p1iji x j(i=Q,\,t ...,m-\)(2, 12)
;=1
Практически наиболее важен случай равноотстоящих уз лов, т. е. случай, когда
x t= |
х { + |
t ■Ах , |
где А х —постоянно, а t=0, |
1, 2, |
..., п — 1. |
Если произвести линейное преобразование
1
t = —^ ~ (x — x 1) + 1 ,
то новый аргумент t будет принимать при х = х и х2, ..., х п первые п натуральных значений 1, 2, ..., п, а коэффициенты и свободные члены системы нормальных уравнений (1,4) со ответственно равны:
•5/= 1 '+ 2' + |
•••+ |
п1— |
/(г'=0, 1,. .., 2т—2) |
(2,13) |
|
|
|
7 = 1 |
|
|
|
|
п |
|
и bt= |
+ |
.. . + у пп‘ = ^ у у ‘,(1=0Л ,. ■.,т — 1) |
(2,14) |
|
|
|
|
i =1 |
|
26
То обстоятельство, что коэффициенты (2, 13) системы нор мальных уравнений имеют специальный вид сумм степеней первых п натуральных чисел, позволило для 5 решить си стему в общем виде.
При этом искомые параметры выражаются в виде линей ных форм
|
at = |
1)'+/+1 |
(Л) Ь1~ь (‘ = 0 , |
1 , •••, т - |
1). |
(2,15) |
||||||
|
7^1 |
|
|
|
|
|
|
|
|
|
|
|
В данной работе находятся коэффициенты |
у™ |
ли |
||||||||||
нейных форм |
(2, |
15) |
|
в виде |
функций |
от п, для т= 2, 3, 4. |
||||||
С помощью ЭВМ |
были составлены |
таблицы |
коэффициентов |
|||||||||
у” |
для п = 2, |
3, ..., 50. (см. .приложение 1). |
|
|
|
|||||||
Эти таблицы освобождают нас от необходимости решать |
||||||||||||
систему (1, 4). |
|
|
|
|
|
|
|
|
|
|
|
|
2. |
Система |
двух нормальных уравнений |
( т = 2). |
При |
||||||||
т = 2 |
система |
нормальных уравнений (1, 4) примет вид |
||||||||||
|
|
|
S0 &о 4” |
|
— b0 1 |
|
|
|
(2, 16) |
|||
|
|
|
Sx |
4“ S2 & 1 — bj |
j |
|
|
|
||||
|
|
|
|
|
|
|
||||||
где в соответствии с (2, 3) |
коэффициенты равны: |
|
|
|||||||||
|
|
|
|
|
Iй = |
п |
|
|
|
|
|
|
|
|
|
|
|
П |
|
|
|
|
|
|
|
|
|
Sv |
|
S'" |
п(и + |
1) |
|
|
|
|
||
|
|
|
|
|
;=i |
|
|
|
|
|
|
|
|
|
|
|
|
п |
|
п (п + |
1) (2п 4- 1) |
|
|
|
|
|
|
S , = |
|
•2 _ |
|
|
|
|||||
|
|
|
У ~ |
|
б |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
Sj=1 |
|
|
|
|
|
|
|
|
Подставим в систему (2, 16) выражения для коэффициен |
||||||||||||
тов в виде функций от п. |
Тогда система (2, |
16) |
примет вид |
|||||||||
|
. |
л (« + |
1) |
|
|
|
|
|
|
|
||
|
п а 0 + |
— |
------аг --- Ь0 |
|
|
|
|
(2,17) |
||||
|
п ( п + I) |
, |
|
п(л + 1)(2л+1) |
а1 = о1 |
|
|
|||||
|
2 |
а0-\- |
|
|
|
g |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
27
Матрица А2 системы (2, 17) имеет определитель
А |
•So |
(л — 1)п*(п + 1) |
|
St S 2 |
12 |
||
|
отличный от нуля. Поэтому система (2, 17) имеет единствен ное решение, для нахождения которого вычислим обратную матрицу к матрице А2:
1 |
An |
A2i |
|
1 |
S 2— Sj |
ы 2| |
Al2 A 22 |
~ 1Л 1 |
- S x So |
||
|
n (л + |
1) |
(2n + 1) _ |
л (л +1) |
|
|
|
|
6 |
2 |
|
12 |
|
|
|
|
|
(n — 1) л2 (л + |
1) |
л ( л + 1) |
|
||
|
|
n |
|||
|
|
|
2 |
|
|
|
|
|
|
|
|
2(2«+1) |
_ |
|
6 |
|
|
|
(л— 1)л |
|
(и— |
1) n |
|
(2,18)
6_________ 12
(n—l) II (П— 1) П (/2+ 1)
Здесь через Atj обозначаются алгебраические дополне ния (адъюнкты) элемента матрицы, стоящего на пересече нии i-ro столбца и /-й строки. Обозначим элементы матрицы
(2, 18) через = 1,2) . Здесь нижние индексы указыва ют соответственно номера строки и столбца матрицы, а верх ний индекс 2 — число уравнений системы (2, 16). Таким об разом
2 _ |
2 (2/1+1) |
|
|
"i11 |
(л— 1) п |
’ |
|
О ____ |
9 _____ 6 |
(2,19) |
|
Тп— |
Т21 |
(я_ 1)я |
|
2 _ _____ 12_____ |
|
||
Т22— |
(я_ 1) я (я+1) |
' |
В этих обозначениях решение системы (2, 17) имеет вид
й-а= Тп — Tl2 bi
(2,20)
fll= —T2|60-f Т22 bt
28
На ЭВМ по формулам (2,19) были вычислены коэффици
енты угу линейных форм (2, 20) для п от 2 до 50 включи тельно и сведены в таблицы. Таким образом решение систе
мы (2, |
16) можно получить, не решая и даже не выписывая |
|||
системы по формулам |
(2, 20), пользуясь таблицами. |
|
||
3. |
Система трех нормальных уравнений (т — 2>) |
|
||
Система трех нормальных уравнений имеет вид |
|
|||
|
50 й„ |
Si cix-Т S2 й-о— Ь0 |
|
|
|
51 а0 + |
S2 |
ах + S3 а2= Ьх |
(2,21) |
|
52 а04- S3 |
Й1-)- S4 ci2 — Ь„ |
|
где Si выражаются в соответствии с (2, 3):
S3 = |
|
j 3 = Jl4n±ll_ |
|
|
|
||
|
|
|
|
|
|
|
|
|
j |
= 1 |
|
|
|
|
|
s , = 2 |
' - |
‘ |
n(/i+ l) (2/1+ 1) (3/1-+3/1—1) |
|
|||
' |
30 |
|
|
||||
|
7=1 |
|
|
|
|
|
|
Определитель матрицы A3 системы (2, 21) равен |
|||||||
\А*\ |
|
= |
(и—2) (я—1)а п3 (п+1)г (л+2) |
|
|||
|
|
2160 |
|
|
|||
а обратная матрица |
равна |
|
|
|
|||
1 |
|
|
АххАг\т431 |
3 |
3 |
3 |
|
|
|
з |
з |
„3 |
|||
|
|
|
|
|
7 п |
721 |
731 |
И, |
|
|
А12 vA22^32 |
7 12 |
722 |
Тз2 |
|
|
|
•^13 -^23 -^33 |
3 |
3 |
3 |
||
|
|
|
713 |
723 |
733 |
||
где |
|
|
|
|
|
|
|
3 |
Ах |
_ |
3 (Зла + 3/г + |
2) |
|
|
|
Т и _ |
\At \ " |
(п—2) (п—1) и ; |
|
|
|||
з __ |
з |
__ |
^12______ —18 (2п—1) |
|
|
||
712— |
|
7 2 1 - |
| j4 i| - |
|
; |
|
|
з __ |
|
з _ |
^ 1з___________ 30______ |
|
|
||
7 13 — 7з1 |
| ^ | — (,г— 2) ( « — 1) л ’ |
|
|
||||
з „ _ Л 22__________12(2/i-H) (Бл+11) |
|
|
|||||
Т22 |
|Л, | “ |
(л-2) (/1-1) и (п+1) (л+2) |
; |
29
3 Л8 3 _______________180____________
Т з з _ |Л| "" (л -2 )(л -1 )л (л + 1 )(л + 2) ;
зЛ33_______________—180_________
Т23= I Л3 I “ ( л - 2 ) ) (л -1 ) л (я+?) '
Решение системы (2, 21) имеет вид
«о = Tii Ь0— т?2 Ьг + 7?3 Ь2
а.\ = — Т21 + Т22 Ьх — -у23 ьй ■ .
а* — Тз Ь0— т|2 Ь3+ Тзз Ь2
4.Система четырех нормальных уравнений.
Система четырех нормальных уравнений (т = 4)
вид |
|
|
|
$оао + |
Slai + |
-$га2 + S3as — Ь0 |
|
SjCi0+ |
S^cii + |
S3a2-j- Stla3 = |
bx |
Sna04“ $за1+ |
54(72 -f“ SB#8 = |
b2 |
|
за о ~b |
4 " ^ a j - ] - S ea 3 = 6 3 |
(2,22)
имеет
(2,23)
где коэффициенты 5г выражаются в соответствии с (2, 3) :
|
п- (л +1)г (2 п-+2п—1) |
|
^ъ — |
12 |
’ |
__ |
п (л-П) (2я+1) (Зл'Ч-бя3—Зя+ 1) |
Определитель |
матрицы А4 системы |
(2, 23) |
равен |
||||
I ^ , |
_ (/г—3) (п—2)2 (п—I)3 п* (/г+ I)3 (л+2)2 (л+3) |
|
|
||||
4 |
~ |
6048000 |
|
|
|
|
|
а обратная матрица имеет вид |
|
|
|
|
|||
|
|
Ац j42i А33у\41 |
4 |
4 |
4 |
4 |
|
|
|
Til |
T21 |
T31 |
Т-11 |
||
|
|
А\3^22А32 А42 |
4 |
4 |
4 |
4 |
|
Ал 1 |
IAI |
Т12 |
Т22 |
Т32 |
т 12 |
||
А\з А23 А3з Ai3 |
4 |
4 |
4 |
4 |
|||
|
|||||||
|
|
Aii Аз4 A3i Л44 |
Т 13 Тгз |
Тзз |
Т13 |
||
|
|
4 |
4 |
4 4 |
|||
|
|
|
Tl4 Т24 |
Т34 Т44 |
30