Тема 2.2. Статистическое оценивание

1. Статистическое оценивание. Точечные и интервальные оценки. Требование к оценкам: несмещенность, состоятельность и эффектив­ность.

2. Методы оценивания: метод моментов, метод максимального правдоподобия (Фишера), метод наименьших квадратов.

3. Статистики. Критерии. Критериальные случайные величины Пирсона, Стьюдента, Фишера-Снедекора.

4. Проверка статистических гипотез Н₀ и H_I. Уровень значимости. Ошибки

1-го и 2-го рода.

Конспект лекции.

1. Статистическое оценивание.

Задача оценивания параметров теоретического распределения состоит в построении приближенных формул для вычисления значений этих параметров, зависящих от выборочных значений х₁, ….х_n. Любую функцию  =  (х₁, ….х_n), зависящую от выборочных переменных и поэтому являющуюся случайной величиной, принято называть статистикой. Для того чтобы оценки неизвестных параметров, т.е. статистики, давали хорошие приближение неизвестных параметров распределения генеральной совокупности, они должны удовлетворять определенным требованиям:

1. Математическое ожидание оценки параметра по всевозможным выборкам данного объёма должно равняться истинному значению определяемого параметра (как предписывает теория вероятностей). Оценку, удовлетворяющую этому требованию, называют несмещенной.

2. При увеличении объёма выборки оценка должна сходиться по вероятности к истинному значению параметра. В этом случае оценку называют состоятельной.

3. Оценка параметра представляет собой случайную величину, зависящую от выборки, поэтому естественный интерес представляет разброс этой оценки, т.е. её дисперсия. Оценку называют эффективной, если при заданном объёме выборки эта оценка имеет наименьшую дисперсию.

Поскольку в качестве оценки мы ищем число – точку на координатной оси, то такие оценки называются точечными.

2. Методы оценивания: метод моментов, метод максимального правдоподобия (Фишера), метод наименьших квадратов.

Наиболее известны три основных метода нахождения приближенных формул вычисления точечных оценок: метод максимального правдоподобия, метод моментов и метод наименьших квадратов.

Примечания. Параметры и оценки будем обозначать греческими буквами в отличие от значений случайных величин, которые мы традиционно записываем буквами латинского алфавита. Причем для истинных значений оцениваемых параметров будем использовать прописные греческие буквы, а для их оценок – малые греческие буквы.

Метод максимального правдоподобия (Фишера)

Пусть исследуемый нами признак Х имеете непрерывное распределение, зависящее от m параметров Θ₁….Θ_m из некоторого множества Θ. В этом случае плотность вероятности генеральной совокупности будет зависеть от значения признака х и этих параметров, т.е. ƒ(х, Θ₁….Θ_m). Пусть теперь из генеральной совокупности получена выборка объёмом n: х₁, …..х_n. Рассмотрим представленную выборку с позиции того, что каждое значение её х_i есть реализация некоторой случайной величины Х_i, полученное в i-ом наблюдении, причем в силу репрезентативности выборки Х_i имеет то же распределение, что и вся генеральная совокупность. В результате выборку можно рассматривать как n –мерную случайную величину (Х₁, …. Х_n) или выборочный вектор Х = (Х₁…. Х_n), все компоненты которого представляют независимые случайные величины с одинаковыми функциями плотности вероятности, совпадающими с плотностью вероятности генеральной совокупности, т.е.

ƒ _Хi (х_i, Θ₁….Θ_m) = ƒ(х_i, Θ₁….Θ_m)

Из теории вероятностей известно, что плотность вероятностей совместного распределения независимых случайных величин равна произведению плотностей вероятностей каждой из случайных величин, т.е.

ƒ(х₁, х₂, ….х_n, Θ₁….Θ_m) = ƒ(х₁, Θ₁….Θ_m) ƒ(х₂, Θ₁….Θ_m)….. ƒ(х_n, Θ₁….Θ_m)

Метод максимального правдоподобия оценки неизвестных параметров распределения

Θ₁….Θ_m основан на свойстве случайной величины реализовывать в эксперименте в основном те свои значения (Х₁, …. Х_n) , вероятность которых максимальная.

Таким образом, в качестве оценки неизвестных параметров распределения Θ₁….Θ_m принимаются те значения, которые доставляют max функции ƒ(х₁, х₂, ….х_n, Θ₁….Θ_m), т.е. решения уравнения : ƒ(х₁, х₂, ….х_n, ) = max ƒ(х₁, х₂, ….х_n, Θ₁….Θ_m),

( Θ₁….Θ_m ) Θ, если решения этого уравнения существуют.

Во многих случаях вместо функции ƒ(х₁, х₂, ….х_n, Θ₁….Θ_m) рассматривают её натуральный логарифм, достигающий максимума в тех же точках, что и сама функция ƒ(х₁, х₂, ….х_n, Θ₁….Θ_m). В результате нахождение оценок сводится к известной задаче математического анализа - отыскания максимума функции m переменных. Для отыскания точек экстремумов получаем уравнения максимального правдоподобия:

или i = 1….m

Пример 1. Пусть время t до выхода из строя группы компьютеров на испытательном стенде описывается показательным распределением:

,

единственный параметр которого λ – неизвестен. Найти методом максимального правдоподобия оценку параметра λ .

Решение. Испытав n компьютеров, мы получим выборку объёмом n : t₁, ….t_n. Функция плотности вероятности совместного распределения значений t₁, ….t_n имеет вид:

ƒ(t₁, t₂, ….t_n, λ) = λe^-λt₁ λe^-λt₂…. λe^-λt_n = λⁿ e^-λt₁ e^-λt₂…. e^-λt_n

поскольку выражение для функции плотности вероятности представляет собой произведение экспонент, то лучше воспользоваться логарифмической формой функции правдоподобия:

ln ƒ(t₁, t₂, ….t_n, λ) = ln [λⁿ e^-λt₁ e^-λt₂…. e^-λt_n ] = n lnλ – λ (t₁ + t₂ + ….+ t_n).

Уравнение максимального правдоподобия будет иметь вид:

– (t₁ + t₂ + ….+ t_n) = 0

Как было установлено в теории вероятностей, математическое ожидание для показательного распределения равно М(Х) = и обозначая , получим:

Пример 2. Пусть интересующая нас случайная величина распределена по нормальному закону с неизвестными параметрами М_х и σ (математическое ожидание и среднеквадратическое отклонение) и получена выборка на основе опытов объёмом n : х₁, …..х_n. Найти методом максимального правдоподобия оценку параметров М_х и σ.

Р е ш е н ие. Плотность вероятности совместного распределения значений х₁, …..х_n независимых нормально распределённых случайных величин имеет вид:

ƒ(х₁, х₂, ….х_n, М_х, σ) =

….. =

=

Воспользуемся логарифмической формой представления функции правдоподобия:

ln ƒ(х₁, х₂, ….х_n, М_х, σ) = - ln 2π - ln σ² =

- ln 2π - ln D

Обозначим σ² = D – дисперсию распределения признака Х. Уравнения максимального правдоподобия для оценки параметров М_х и σ² = D имеют вид:

-= 0

Решения этой системы дают оценки параметров:

Пример 3. Найти методом максимального правдоподобия оценку параметра λ в распределении Пуассона на основе проведенных опытов.

Решение. Будем называть опытом группу из n испытаний. При этом в каждом опыте фиксируем число появления рассматриваемого события. Пусть таких независимых опытов будет к. Обозначим число появлений события в i-м опыте m_i.Функция плотности вероятности совместного распределения количества появления рассматриваемого события m₁, m₂,…. m_k имеет вид:

ƒ(m₁, m₂, ….m_n, λ) =

……. =

Находим логарифм этой функции:

Ln ƒ(m₁, m₂, ….m_n, λ) =

Возьмём первую производную по λ и приравняем её к нулю. Получим уравнение максимального правдоподобия:

, откуда Если взять вторую производную

то оказывается, что она отрицательная. Это значит, что при полученном значении функция правдоподобия lnƒ(m₁, m₂, ….m_n, λ) достигает максимума.

Вывод. Метод максимального правдоподобия является эффективным в случае малых выборок, но часто требует довольно сложных вычислений.