42. Метод наименьших квадратов

Изложенный ранее метод максимального правдоподобия всегда приводит к состоятельным оценкам, хотя иногда смещённым. Известно, что этот метод использует наилучшим образом всю информацию о неизвестном параметре, содержащуюся в выборке. Однако часто его применение связано с необходимостью решения сложных систем уравнений.

Другим способом, имеющим большое практическое применение в задачах оценивания неизвестных параметров генеральной совокупности по выборке и часто приводящим к более простым выкладкам, является метод наименьших квадратов.

Пусть, как и прежде, Х- случайная величина (дискретная или непрерывная) с законом распределения , (где: - неизвестный параметр генеральной совокупности, который нужно оценить по выборке). - независимые наблюдения, - оценка параметра , зависящая от количества наблюдений и их числовых значений.

Основная идея метода наименьших квадратов в приложении к оцениванию параметров сводится к тому, чтобы в качестве оценки неизвестного параметра принимать значение, которое минимизирует сумму квадратов отклонений между оценкой и параметром для всех наблюдений. То есть находится минимум функции .

Если исходная случайная величина имеет нормальный закон распределения, то метод максимального правдоподобия и метод наименьших квадратов дают одинаковые результаты.

Особенно часто метод наименьших квадратов применяется в задачах выравнивания или сглаживания. Пусть в результате наблюдений получен ряд точек с координатами . Если заранее известно, что зависимость между переменными имеет вид , то необходимо определить числовые параметры , которые наилучшим образом, в смысле наименьших квадратов, описывали бы зависимость, полученную при наблюдении. То есть найти минимум функции . Для этого нужно решить систему уравнений .

Пример 41. Найти методом наименьших квадратов коэффициенты линейной зависимости по полученным эмпирическим точкам с координатами ..

Решение. Функция имеет вид система уравнений или

Выражая из первого уравнения имеем , подставляя в первое получим . Отсюда , подставляя полученное в выражение для , находим его. Используя понятие средней арифметической результат можно записать гораздо компактней и .

43. Распределение средней арифметической

для выборок из нормальной совокупности.

Распределение Стьюдента

Выборочная средняя, вычисленная по конкретной выборке, есть определённое число. Так как состав выборки случаен, то средняя арифметическая, вычисленная для элементов другой выборки того же объёма из той же генеральной совокупности, определяется числом, как правило, отличным от первого, то есть средняя меняется от выборки к выборке.

Следовательно, выборочную среднюю можно рассматривать как случайную величину, что позволяет говорить о законе распределения выборочной средней. Приведём без доказательства следующую теорему.

Т. Если случайная величина Х подчиняется нормальному закону распределения с параметрами , а - ряд независимых наблюдений над случайной величиной Х, каждое из которых имеет те же характеристики, что Х, то выборочная средняя также подчиняется нормальному закону распределения с параметрами .

Нормированное отклонение подчиняется нормальному закону распределения со средним значением, равным нулю, и дисперсией, равной единице. Действительно, используя свойства математического ожидания, а также тот факт, что и независимы, имеем: и .

Пример 42. Автомат штампует детали. Контролируется длина детали которая подчиняется нормальному закону распределения. Найти вероятность того, что средняя длина деталей, отобранных случайным образом, отклонится от математического ожидания более чем на 2 мм, если дисперсия случайной величины Х равна мм², а количество деталей в выборке п=16.

Решение. Случайная величина Х имеет нормальное распределение с математическим ожиданием и дисперсией или . Найдём вероятность того, что при она равна , следовательно: , то есть практически можно быть уверенным, что наблюдаемая средняя длина детали отклонится от заданной не более чем 2 мм.

Итак, если случайная величина Х имеет нормальное распределение, то нормированное отклонение также подчиняется нормальному закону распределения. Однако дисперсия генеральной совокупности почти всегда оказывается неизвестной, поэтому вызывает большой практический интерес изучение распределения статистики , где: - несмещенная и состоятельная оценка дисперсии, вычисленная по выборочным данным. Распределение статистики не зависит ни от математического ожидания случайной величины Х, ни от дисперсии , а лишь зависит от объёма выборки п. Закон распределения статистики называют распределением Стьюдента. Распределение Стьюдента табулировано во всех учебниках по математической статистике.

Из анализа распределения Стьюдента при п>50 видно, что оно мало отличается от нормального.