15. Метод наименьших квадратов.

Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих случайные ошибки.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Примеры

Пример кривой, проведённой через точки, имеющие нормально распределённое отклонение от истинного значения. Пусть надо решить систему уравнений

(1)

число которых более числа неизвестных x, y,

Чтобы решить их по способу наименьших квадратов, составляют новую систему уравнений, число которых равно числу неизвестных и которые затем решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной x и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной y и, сложив почленно, получают второе нормальное уравнение и т. д. Если обозначить для краткости:

то нормальные уравнения представятся в следующем простом виде:

(2)

Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной в третьем уравнении равен коэффициенту у третьей неизвестной в первом и т. д

16. Регрессионный анализ. Теоретическое корреляционное отношение и линейный коэффициент корреляции.

1. Определение регрессии. Регрессия — функция, позволяющая по средней величине одного признака определить среднюю величину другого признака, корреляционно связанного с первым.

С этой целью применяется коэффициент регрессии и целый ряд других параметров. Например, можно рассчитать число простудных заболеваний в среднем при определенных значениях среднемесячной температуры воздуха в осенне-зимний период.

2. Определение коэффициента регрессии. Коэффициент регрессии — абсолютная величина, на которую в среднем изменяется величина одного признака при изменении другого связанного с ним признака на установленную единицу измерения.

3. Формула коэффициента регрессии. R_у/х = r_ху x (σ_у / σ_x)  где R_у/х — коэффициент регрессии;  r_ху — коэффициент корреляции между признаками х и у;  (σ_у и σ_x) — среднеквадратические отклонения признаков x и у.

В нашем примере [r_ху = - 0,96 коэффициент корреляции между изменениями среднемесячной температуры в осенне-зимний период (х) и средним числом инфекционно-простудных заболеваний (у)];  σ_х = 4,6 (среднеквадратическое отклонение температуры воздуха в осенне-зимний период;  σ_у = 8,65 (среднеквадратическое отклонение числа инфекционно-простудных заболеваний).  Таким образом, R_у/х — коэффициент регрессии.  R_у/х = -0,96 х (4,6 / 8,65) = 1,8, т.е. при снижении среднемесячной температуры воздуха (x) на 1 градус среднее число инфекционно-простудных заболеваний (у) в осенне-зимний период будет изменяться на 1,8 случаев.

4. Уравнение регрессии. у = М_у + R_y/x (х - М_x)  где у — средняя величина признака, которую следует определять при изменении средней величины другого признака (х);  х — известная средняя величина другого признака;  R_y/x — коэффициент регрессии;  М_х, М_у — известные средние величины признаков x и у.

Например, среднее число инфекционно-простудных заболеваний (у) можно определить без специальных измерений при любом среднем значении среднемесячной температуры воздуха (х). Так, если х = - 9°, R_у/х = 1,8 заболеваний, М_х = -7°, М_у = 20 заболеваний, то у = 20 + 1,8 х (9-7) = 20 + 3,6 = 23,6 заболеваний.  Данное уравнение применяется в случае прямолинейной связи между двумя признаками (х и у).

5. Назначение уравнения регрессии. Уравнение регрессии используется для построения линии регрессии. Последняя позволяет без специальных измерений определить любую среднюю величину (у) одного признака, если меняется величина (х) другого признака. По этим данным строится график — линия регрессии, по которой можно определить среднее число простудных заболеваний при любом значении среднемесячной температуры в пределах между расчетными значениями числа простудных заболеваний.

6. Сигма регрессии (формула).

где σ_Rу/х — сигма (среднеквадратическое отклонение) регрессии;  σ_у— среднеквадратическое отклонение признака у;  r_ху — коэффициент корреляции между признаками х и у.

Так, если σ_у - среднеквадратическое отклонение числа простудных заболеваний = 8,65; r_ху — коэффициент корреляции между числом простудных заболеваний (у) и среднемесячной температурой воздуха в осенне-зимний период (х) равен — 0,96, то

7. Назначение сигмы регрессии. Дает характеристику меры разнообразия результативного признака (у).

Например, характеризует разнообразие числа простудных заболеваний при определенном значении среднемесячной температуры воздуха в осеннне-зимний период. Так, среднее число простудных заболеваний при температуре воздуха х₁ = -6° может колебаться в пределах от 15,78 заболеваний до 20,62 заболеваний.  При х₂ = -9° среднее число простудных заболеваний может колебаться в пределах от 21,18 заболеваний до 26,02 заболеваний и т.д.

Сигма регрессии используется при построении шкалы регрессии, которая отражает отклонение величин результативного признака от среднего его значения, отложенного на линии регрессии.