20. Понятие множественной линейной регрессии. Нахождение параметров модели множественной линейной регрессии. ( 6 из статистики )

Множественная линейная регрессия является обобщением парной линейной регрессии на несколько объясняющих переменных. При выполнении предпосылок Гаусса-Маркова оценки параметров уравнения множественной линейной регрессии, полученные методом наименьших квадратов, обладают свойствами несмещенности, эффективности и состоятельности. Статистическая значимость коэффициентов и качество подбора уравнения проверяются с помощью распределений Стьюдента и Фишера. Коэффициент при объясняющей переменной показывает, на сколько единиц изменится зависимая переменная, если объясняющая вырастет на одну единицу при фиксированном значении остальных объясняющих переменных. В случае множественной регрессии дополнительно предполагается отсутствие мультиколлинеарности объясняющих переменных.

• Модели множественной регрессии

• Расчет коэффициентов множественной линейной регрессии матричным способом

• Дисперсии и стандартные ошибки коэффициентов

• Проверка статистической значимости коэффициентов уравнения множественной регрессии

Модели множественной регрессии

Построение модели множественной регрессии (или многофакторная модель) заключается в нахождении уравнения связи нескольких показателей у и х1, х2 и т.д. , т.е. определяется как повиляет изменение показателей хi на величину y.

Для построения модели множественной регрессии используют:

линейную модель

степенную модель

экспоненциальную модель

Для анализа уравнения множественной регрессии применяют метод наименьших квадратов ( МНК). Для линейных уравнений, а также нелинейных уравнений, которые необходимо привести к линейным, составляется система нормальных уравнений:

Для решения этой системы целесообразно применить метод определителей:

где числители в 1-м уравнении - частные определители параметров а и b, получаемые заменой соответствующего столбца матрицы определителя системы значениями левой части системы.

Другим видом уравнения множественной регрессии, которое не редко нужно находить в контрольных работах является уравнение в стандартизированном масштабе:

bi (бета)- стандартизованные переменные

К такому уравнению также применим МНК

Стандартизованные коэффициенты регрессии определяют из данной системы уравнений:

Связь стандартизованных коэффициентов с коэффициентами множественной регрессии bi в эконометрике определяются следующим уравнением

Параметр а рассчитывается по формуле

Средние коэффициенты эластичности для линейной регрессии определяют по формуле

Для расчета частных коэффициентов эластичности используется формула:

21. Допущения применения метода наименьших квадратов (5 вопрос)

Метод наименьших квадратов (МНК, англ. Ordinary Least Squares, OLS) является одним из основных методов определения параметров регрессионных уравнений, Он заключается в том, чтобы определить вид кривой, характер которой в наибольшей степени соответствует выраженной эмпирическими данными зависимости. Такая кривая должна обеспечить наименьшее значение суммы квадратов отклонений эмпирических значений величин показателя от значений, вычисленных согласно уравнению этой кривой. Меняя вид теоретических кривых, приближенно отображающих динамику рассматриваемого показателя, пытаются добиться как можно меньшего значения этой разности.

Сущность обоснования Н. к. м. (по Гауссу) заключается в допущении, что «убыток» от замены точного (неизвестного) значения физической величины и её приближённым значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки: (X - μ)². В этих условиях оптимальной оценкой естественно признать такую лишённую систематической ошибки величину X, для которой среднее значение «убытка» минимально. Именно это требование и составляет основу Н. к. м. В общем случае отыскание оптимальной в смысле Н. к. м. оценки Х — задача весьма сложная, поэтому практически эту задачу сужают и в качестве Х выбирают линейную функцию от результатов наблюдений, лишённую систематической ошибки, и такую, для которой среднее значение «убытка» минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению (См. Нормальное распределение) и оцениваемая величина μ зависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Н. к. м.), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Х также подчиняется нормальному распределению со средним значением μ и, следовательно, плотность вероятности случайной величины Х         

       при х = Х достигает максимума в точке μ = Х (это свойство и выражает точное содержание распространённого в теории ошибок утверждения «оценка X, вычисленная согласно Н. к. м., — наиболее вероятное значение неизвестного параметра μ»).

Допущения применения метода наименьших квадратов.

Использование метода наименьших квадратов для решения последней системы приводит так же, как и при классическом анализе, к неопределенным результатам.

Использование метода наименьших квадратов для граничных точек позволяет решить задачу о трехмерном напряженном состоянии в зоне пересечения цилиндрической и сферической оболочек. Решение слабо зависит от выбора параметров коллокаций и хорошо согласуется с экспериментальными данными.

Однако использование метода наименьших квадратов при избыточном числе датчиков эффективно для измерений с небольшими погрешностями и малопригодно при наличии грубых погрешностей.

С использованием метода наименьших квадратов были определены константы устойчивости ацетилацетонатов тория, урана и плутония. 

При использовании метода наименьших квадратов для выделения тренда среднегодовых колебаний исходным материалом должны являться данные о среднемесячном потреблении газа. 

При использовании метода наименьших квадратов или других норм, основанных на принципе максимума правдоподобия, определение таких интервалов не представляет принципиальных трудностей при известном законе распределения ошибки измерений. 

Допущения относительно использования метода наименьших квадратов для многофакторных моделей те же самые, что и для однофакторной модели. 

Рассмотрим пример использования метода наименьших квадратов для определения параметра экспоненциального распределения.

Процедура самокалибровки предусматривает использование метода наименьших квадратов для минимизации квадрата модуля разности между наблюдаемой функцией видности V as и соответствующими значениями V del для рассчитываемой модели. 

Ниже приводится пример использования метода наименьших квадратов для построения фафика линейной зависимости на основе представленных выше данных. Зависимой переменной является заработная плата рабочих отдела отгрузки продукции. Независимой переменной является количество отфуженной продукции в килограммах.

Расчет проводится с использованием метода наименьших квадратов.

Вычисление проводится с использованием метода наименьших квадратов.

Расчет проводится с использованием метода наименьших квадратов.

В работе [24] с использованием метода наименьших квадратов проанализировано большое количество экспериментальных данных по форме траекторий струи в поперечном внешнем потоке.

Точность расчетов повышается при использовании метода наименьших квадратов.