5 Практическое занятие №5. Метод наименьших квадратов.

Цель работы: построение уравнений регрессии методом средних и наименьших квадратов.

5.1 Теоретическая часть Уравнение регрессии

Задача линейного регрессионного анализа состоит в том, что зная положение точек на плоскости, так провести линию регрессии, что бы сумма квадратов отклонения вдоль ординаты этих точек от проведенной прямой была минимальной. Можно использовать различные способы (метод наименьших квадратов, метод средних, графический метод). Для проведения вычислений по методы наименьших квадратов к выдвигаемой гипотезе или форме уравнения регрессии выдвигаются следующие требования:

- это уравнение должно быть линейным попараметром или допускать возможность линеаризации.

Пусть уравнение вида

и ,

Это расчетное значение, следовательно, аналитически задачу наименьших квадратов можем выразить

, где

, или

Необходимо вычислить частные производные и прировнять их к нулю. Решая эту системы, находим коэффициенты регрессии b0 и b1. Эта система называется системой нормальных уравнений.

Если подставить в системы значения U и продифференцируем, то получим системы следующего вида

Преобразуем систему нормальных уравнений

Если уравнение вида

, , ,

Метод средних

Данный метод имеет ограниченное применение. Используется только в парных ситуациях y = f(x). Данный метод состоит в следующем – выполнение условия равенства нулю всех отклонений наблюдаемой величины суммы всех отклонений наблюдаемой величины от среднего значения.

, где

, где ,

Преимущество данного метода заключается в его простоте, не накладывает ограничение на исходные опытные данные (например, что бы эти данные имели нормальное распределение).

Если зависимость вида, то для получения нужного количества уравнений выбирают из общего количества пар наблюдений примерно половину и сумму их отклонений приравнивают к нулю, а затем сумму прочих отклонений