Обзор основных понятий и задач математической статистики

Статистикой будем называть любую функцию, зависящую только от наблюдений. Так как наблюдения - случайная величина, то и статистики тоже случайные величины, которые могут сильно отличаться от истинного значения. Наша задача - нахождение несмещенных оценок с минимальной дисперсией. Математической статистикой называется наука, занимающаяся методами обработки опытных данных.

Основные задачи математической статистики:

• оценивание параметров;

• получение интервальных оценок;

• проверка гипотез;

• построение статистических моделей по эмпирическим данным;

Первая задача состоит в получении точечной оценки параметра.

Вторая - нахождение интервала, в котором заключена оценка ( эта задача напрямую связана с проблемой отбраковки данных ).

Третья задача тесно связана со второй. При этом подвергается испытанию некоторая гипотеза H₀ по сравнению с одной или большим числом альтернативных гипотез. Например, H₀: параметр Q равен нулю; H₁: Q 0 и так далее.

Методы оценивания параметров

Наиболее часто используются 3 метода:

1. метод максимального правдоподобия;

2. метод моментов;

3. оценивание по Байесу.

Мы будем рассматривать только метод максимального правдоподобия.

Метод максимального правдоподобия ( предложен Фишером )

Пусть P(x; Q₁, Q₂,.., Q_n) - плотность распределения случайной величины X, Q_i - параметр функции распределения. Считается, что вид плотности распределения функции - известен. Пусть имеем выборку из n независимых наблюдений из одного и того же распределения. Совместную плотность при этом можно записать так

g_n(X \ Q) = g_n(x₁, x₂,..,x_n \ Q) = f(x₁ \ Q) f(x₂ \ Q) .... f(x_n \ Q)

Совместное распределение наблюдений, рассматриваемое как функция неизвестного параметра Q, называется функцией правдоподобия (ФП) выборки.

g_n(X \ Q) = f(x₁ \ Q) f(x₂ \ Q) .... f(x_n \ Q)

Те значения выборки Q, для которых функция правдоподобия достигает максимума ( так как события x₁, x₂,..,x_n - уже произошли, то они имеют максимальную вероятность, равную 1! ), называются оценками максимального правдоподобия.

ОМП - оценки максимального правдоподобия обладают следующими свойствами:

• оценки асимптотически несмещенные ( ! асимпто-тическая несмещенность ОМП вовсе не означает что оценки всегда не смещены );

• асимптотически нормальные;

• асимптотически эффективные.

Более удобно работать с логарифмической функцией правдоподобия. Переход к логарифмической функции правдоподобия возможен потому, что значения аргументов, максимизирующие функцию и ее логарифм - совпадают

(*) ln(X \ Q) = ln_ng(X \ Q) =

Если функция правдоподобия достаточно гладкая, то есть имеет 1-ую и 2-ую производные, то ее максимум ищется приравниванием нулю частных ее производных по каждому из параметров Qi.

Или, что то же самое,

(**)

Пример: оценивание параметров функции правдоподобия.

f(x,Q₁, Q₂) = Опыты независимы !!

g(Q₁, Q₂ \ x₁, x₂,..,x_n ) = =

(***) lng = L =-nln(Q₂ ) -

(****)

Решение системы (****) дает следующие оценки:

E[ ] = , где - дисперсия - параметр закона распределения

- выборочная дисперсия - несмещенная оценка дисперсии

- смещенная оценка параметра - дисперсии

В (***) первый член не влияет на положение максимума, так как - параметр масштаба, а не сдвига. Второй же член входит в L со знаком ( - ). Поэтому для максимизации функции правдоподобия необходимо минимизировать выражение , то есть сумму квадратов отклонений случайных величин от своего математического ожидания ( от среднего ). Это обстоятельство, по существу, - теоретическое обоснование метода наименьших квадратов.

МНК был разработан К. Гауссом в начале 19 века. Основное его достоинство - простота реализации и ясный физический смысл. МНК широко применяется в различных задачах, связанных с построением математических моделей. Параметры моделей подбираются таким образом, чтобы минимизировать сумму квадратов отклонений вычисленных по модели значений от наблюденных, и так далее ( такая же задача ставится при обработке измерений ).