4.2. Метод наименьших квадратов

Метод наименьших квадратов является одним из наиболее простых методов построения оценок. Суть его заключается в том, что статистика определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки. Рассмотрим применение метода на примере определения выборочной средней. Определим ее из условия

м инимизации:

Используя необходимые условия экстремума, получим:

Откуда

т.е. искомая оценка есть выборочная средняя.

4.3.Метод максимального правдоподобия

Принцип максимального правдоподобия сформулирован для непрерывной случайной величины и может быть использован для дискретной. Основой гауссовского обоснования метода наименьших квадратов является принцип, согласно которому наилучшими значениями неизвестных параметров являются те значения, при которых результат наблюдений имеет максимальное значение плотности вероятности. Этот принцип Фишер Р.А. использовал в качестве основы метода, позволяющего оценить неизвестные параметры в том случае, когда результаты наблюдений являются случайными величинами с распределением, зависящим от . Принцип максимума правдоподобия состоит в следующем.

Пусть случайная величина имеет дискретное распределение с возможными значениями a₁,...,a_k, причем P₁(a),...,P_k(a) - вероятности этих значений, т.е. P( , а_i)=P_i( ),где -неизвестный параметр.

Из генеральной совокупности извлечена выборка х₁,...,х_n. Причем, значение а_j встречалось n_j раз . Тогда, по правилу умножения вероятностей, вероятность при n независимых наблюдениях величины , получить выборку x₁ , . . , , х_n

Величина L получила название функции правдоподобия. Значение параметра необходимо выбирать так, чтобы вероятность L была максимальной. В этом случае величина , являющаяся точкой максимума функции L, называется оценкой наибольшего правдоподобия, полученной по методу максимума правдоподобия (называется правдоподобной).

Лекция 5

Вопросы лекции:

5.1. Точность и достоверность оценок параметров распределения.

5.2. Доверительные оценки параметров распределения.

5.1. Точность и достоверность оценок параметров распределения.

При решении практических задач математическое ожидание m и дисперсия D случайной величины Х заменяются оценками: выборочной средней ; выборочной дисперсией ². При этом мы допускаем ошибку. Необходимо оценить эту ошибку, т.е. найти вероятность β _ε того, что ошибка не превзойдет наперед заданного малого числа ε >0. ε – характеризует точность оценки, а вероятность β _ε - ее достоверность.

Рассмотрим элементы теории точности и достоверности оценок. Предположим, что объем выборки п не слишком мал (порядка десятков).

Для оценки точности и достоверности оценки необходимо знать ее закон распределения. Вели п велико, то закон распределения близок к нормальному.

Например, среднее выборочное

представляет собой сумму сравнительного большого числа п независимых случайных величин и согласно центральной предельной теореме имеет распределение, близкое к нормальному, с математическим ожиданием E[ ] = m_x и дисперсией D[x] = .

Допустим, что оценка имеет асимптотически нормальное распределение. Найдем вероятность того, что оценка отклоняется от своего математического ожидания m_x, меньше чем на .

.

Используя приведенную выше формулу, рассмотрим решение следующих примеров.

Пример. При обработке результатов 20 независимых опытов получены оценки случайной величины х: =4,25, ² =2,35.

Найти вероятность того, что, полагая =m=4,52, мы не совершим ошибки, большей, чем =0,3.

Решение.

=4,52, D[ ] = =0,11,

[х] = 0,343.

Тогда

Р{| < 03} =2Ф 0,618.

Вероятность ошибки не настолько велика, чтобы считать это событие практически достоверным событием, а значит, замена =m_x ,приведет к грубой ошибке.

Пример. При обработке результатов 100 независимых опытов получены оценки

=4,52, ²=2,35.

Найти вероятность того, что, полагая =m_x мы нe совершим ошибки, больше чем

ε=0,3.

Решение.

D[ 0,023; σ[ ]=0,15.

Тогда

Р{| < 0,3} = 2Ф 0,95.

Искомое событие можно считать достоверным, и замена =m_x , не приведет к грубой ошибке.

Рассмотрим процедуру определения точности и достоверности оценки дисперсии ².

²

При n>20 оценка ² , независимо от распределения случайной величины X, распределена асимптотически нормально с параметрами

где μ_ и D_x соответственно четверый центральный момент и дисперсия случайной величины X.

Величину μ_ можно заменить ее оценкой:

однако,такая оценка при малом числе опытов дает большие ошибки. Если закон расределения случайной величины Х известен, то величину μ_ можно определить. Например, для нормального закона μ₄ =3 , откуда

.

Заменяя в последнем выражении величину D_x ее оценкой ² , получим

.

Если закон распределения случайной величины Х неизвестен, то в практических задачах рекомендуется пользоваться приближенным равенством

Пример. При обработке результатов 20 независимых опытов получены оценки математического ожидания =4,52 и дисперсии ² =4,52.

Найти вероятность р того, что, полагая D= ² , не будет совершена ошибка больше чем ε=0,5.

Решение.

Определим = 2,35 и 0,762.

Найдем вероятность того, что нормально распределенная случайная величина ² отличается от своего математического ожидания меньше чем на 0,5.

Р = Р{| | < 0,5} = 2Ф( .

Следовательно, искомое событие нельзя считать достоверным и замена σ_x на ² приведет к грубой ошибке.