![](/user_photo/2706_HbeT2.jpg)
- •Глава 5
- •2. Задача математической статистики
- •3. Генеральная и выборочная совокупности
- •4. Статистическое распределение выборки,
- •5. Графическое изображение статистического
- •6. Числовые характеристики
- •Тема19. Элементы теории оценок и проверки гипотез
- •1. Оценки параметров распределения
- •2. Методы нахождения точечных оценок параметров распределения
- •2.1. Метод моментов (мм)
- •2.2. Метод максимального правдоподобия (ммп)
- •2.3. Сглаживания экспериментальных зависимостей
- •3. Понятие интервального оценивания параметров
- •4. Доверительные интервалы для параметров
- •4. 2. Доверительный интервал для математического ожидания
- •4.3. Доверительный интервал для среднеквадратического отклонения
- •5. Другие характеристики вариационного ряда
Тема19. Элементы теории оценок и проверки гипотез
1. Оценки параметров распределения
- Понятие оценки параметров
Пусть рассматривается
случайная величина
с
некоторым законом распределения. По
виду статистического распределения
(таблицы распределения) можно строить
гипотезы об истинном характере
распределения величины
.
Например, построив гистограмму,
естественно предположить, что распределение
величины
подчиняется
определённому (нормальному или
равномерному и т.д.) закону.
На практике, в целом, редко встречается такое положение, когда изучаемый закон распределения неизвестен полностью. Чаще всего дело обстоит следующим образом, что вид закона распределения заранее (из каких-либо теоретических соображений) известен. Требуется найти лишь некоторые параметры, от которых закон зависит. Например, если распределение происходит по закону Пуассона
,
то следует определить
параметр
,
а если по нормальному закону, то нужно
определить параметры
и
.
Впрочем, в некоторых задачах и сам вид
закона распределения несущественен, а
требуется только его числовые
характеристики. Во всех подобных случаях
можно обойтись сравнительно небольшим
числом - порядка одного или нескольких
десятков наблюдений.
Предположим, что изучается
случайная величина
с
некоторым законом распределения,
зависящим от одного или нескольких
параметров.
Напомним, что
случайные
величины, полученные в результате
опытов (наблюдений), при этом:
результат
первого наблюдения,
результат
второго наблюдения и т.д., при этом каждая
с.в.
имеет такое же распределение как
:
конкретная выборка
это значения (реализация) независимых
случайных величин
.
Статистической оценкой(далее просто оценкой - оценкой
)
параметра
теоретического распределения называющего
приближённое значение, зависящее от
данных (свойства) выборки.
Для того чтобы статистические оценки давали «хорошие» приближения оцениваемых параметров, они должны удовлетворять определенным требованиям.
- Требования, предъявляемые к оценкам параметров.
Предположим, что закон распределения
с.в.содержит
некоторый параметр
.
Численное значение этого параметра не
указано (хотя оно должно быть определённым
числом). В связи с этим возникает задача:
исходя из набора значений
величины
,
полученного в результате
независимых опытов, оценить значение
параметра
.
Любая оценка для
- обозначим её буквой
-
является значением некоторой функции
результатов наблюдений над случайной
величиной
,
т.е.
(1)
.
Тем самым
будет
случайной величиной (принимающей свои
значения в результате
опытов над
).
Её закон распределения будет зависеть
от закона распределения с.в.
,
которому подчинена каждая из величин
,
а следовательно величин
и от проводимого количества опытов
.
Естественно, к оценке величины
предъявить
ряд требований, которым она должна
удовлетворять, чтобы быть «близкой» к
истинному значению параметра
,
быть в каком-то смысле «доброкачественной,
надёжной» оценкой. Попробуем сформулировать
некоторые из этих требования:
1. Желательно, чтобы, при использовании
величиной
вместо
,
не происходили систематические ошибки
ни в одну сторону (ни в сторону занижения,
ни в сторону завышения), т.е. чтобы было
(16)
Оценка, удовлетворяющая условию (16) называется «несмещённой». Требование наличие несмещённой оценки особенно важно при «малом» числе испытаний (опытов).
Другими словами несмещённой
называют статистическую
оценку ,
математическое ожидание которой равно
оцениваемому параметру
при любом объёме выборки.
В случаях, когда
,
то оценка
называется «асимптотически
несмещённой».
Смещённой называют оценку, математическое ожидание которой не равно оцениваемому параметру.
2. Желательно, чтобы с увеличением числа
опытов
,
значения случайной величины
концентрировались около величины
все более тесно, т.е. чтобы выполнялось
предел
(17)
когда
.
Другими словами, оценкапараметра
,
называют «состоятельной», если
она сходится по вероятности к оцениваемому
параметру
:
т.е. для любого
выполняется предельное равенство:
(18)
Равенство (18) означает, что с увеличением
объёма выборки мы всё ближе приближаемся
к истинному значению параметра
;
т.е. практически верно приближённое
равенство
.
Теорема 19.1. Если оценка
параметра
является несмещённой и выполняется
равенство
, то
являетсясостоятельной оценкой,
т.е. справедливо равенство
Доказательство. На основании
неравенство Чебышева для с.в.для
любого
имеем
Поскольку, по условию (17)
то
Но вероятность любого события не
превосходит единицы и, следовательно,
выполняется предельное равенство (18),
т.е. состоятельность оценки
к
параметру
доказана.
Замечание. Свойство состоятельности обязательно для любого правила оценки (несостоятельные оценки не используются).
Однако было бы ошибочным
считать, что несмещенная оценка всегда
дает хорошее приближение оцениваемого
параметра. Действительно, возможные
значения
могут
быть сильно рассеяны вокруг своего
среднего значения, т. е. дисперсия
может быть значительной. В
этом случае, найденная по данным одной
выборки оценка, например
,
может оказаться весьма удаленной от
среднего значения
,
а значит, и от самого оцениваемого
параметра
;
приняв
в качестве приближенного значения
,
мы допустили бы большую ошибку. Если же
потребовать, чтобы дисперсия
была малой, то возможность допустить
большую ошибку будет исключена. По этой
причине к статистической оценке
предъявляется требование «эффективности».
Несмещённая оценка
параметра
называетсяэффективной, если
она среди всех возможных несмещённых
оценок параметра
,
имеет наименьшую дисперсию, т.е. оценка
эффективна, если ее дисперсияминимальна.
Эффективную оценку в ряде случаев можно вычислять, на основании формулы (неравенство) Рао – Крамера:
где
информация
Фишера, определяемая формулами:
в дискретном случае, где
,
а в непрерывном случае
где
плотность
распределения непрерывной случайной
величины
Эффективность оценки определяется равенством (формулой):
,
где
эффективная оценка, а
.
Чем ближе
к
единице, тем эффективнее оценка
.
Если
при
то оценка называетсяасимптотически
эффективной.
Следует отметить, что на практике не всегда удаётся удовлетворить всем перечисленным выше требованиям (несмещённость, состоятельность, эффективность), и поэтому приходится ограничиться (довольствоваться) оценками, не обладающими сразу всеми тремя свойствами. Тем не менее, выполнение всех трёх свойств, как правило, обеспечивает однозначность оценки.
- Точечные оценки математического ожидания и дисперсии, оценки параметров
нормального распределения
Предположим, что заранее известен вид
теоретического распределения интересующего
нас признака
,
но параметры этого распределения не
известны и должны быть найдены по данным
выборки. Например, если известно, что
интересующая нас величина распределена
по нормальному закону, то нужно определить
математическое ожидание и среднеквадратическое
отклонение (или дисперсии). Другими
словами неизвестными параметрами
являются: м.о.
и дисперсия
Требуется их найти. Поскольку в качестве
оценки обычно ищут количество точек
характеризующих искомое число (точку
на координатной оси), то такие оценки
называютточечными.
Статистика (число), используемая в
качестве приближённого значения
неизвестного параметра генеральной
совокупности, называется её точечной
оценкой. Другими словами, точечная
оценка характеристики генеральной
совокупности – это число, определяемое
по выборке, т.е. точечная оценка,
определяетсяодним числом (например,
в качестве точечной оценки неизвестной
вероятностив случае биномиального распределения
берут
относительную частоту).
Пусть
выборка,
полученная в результате проведения
независимых наблюдений за с.в.
.
Чтобы подчеркнуть то, что величины
носят
случайный характер перепишем их в виде
последовательности случайных величин
,
т.е. под
будем
подразумевать значение с.в.
в
м
опыте. Случайные величины
можно
рассматривать как
независимых «экземпляров»
величины
.
Поэтому имеем:
и
=Имеет место утверждение
Теорема 19.2. Пусть
выборка
из генеральной совокупности и
.
Тогда выборочное среднее
есть несмещённая и состоятельная
оценка математического ожидания
.
Доказательство.Найдём математическое
ожидание величины.
На основании свойства м.о. имеем:
Отсюда по определению (16) получаем, что
есть
несмещённая оценка
Далее, согласно теореме Чебышева для
любого
имеет место равенство
(19)
Согласно условиям теоремы, равенство (19) можно переписать в следующем виде:
(20)
или, именно выполняется равенство (18)
Тем
самым, согласно определению получаем,
что
есть
состоятельная оценка
В статистике оценку математического
ожидания принято обозначать:
или
.
На практике во всех случаях в качестве оценки математического ожидания используется среднее арифметическое, если она неизвестно.
Теперь покажем, что при нормальном
распределении именно оценка
будет эффективной.
Теорема 19.3. Пусть с.в.
выборка
из генеральной совокупности и
,
её выборочная дисперсия. Тогда справедливо
равенство
(21)
.
Доказательство. Покажем, что имеет место равенство (по поводу обозначений выборочных параметров см. равенства (7)-(11) в пункте 18.6.). На основании свойства м.о. и определения.
,
вычислим
величину
,
имеем
(22)
=
Далее, используем известное равенство
(23)
,
где во втором слагаемом суммирование
ведётся по
,
а количество слагаемых равняется числу
.
Согласно (22) и (23) после стандартных
упрощений получим
.
.
Отсюда, согласно условиям теоремы получим
=.
Утверждение доказано. Из равенства
(21) следует, что
,
т.е.выборочная дисперсия является
смещённой оценкой
дисперсии
.Поэтому выборочную дисперсию,
поправляют, путём умножения на число
.
Тогда получается формула
.
см. 18.6, равенство (13). Имеет
место следствие.
Следствие.В условиях теорем 19.2 и
19.3.справедливо равенство
Действительно,
(24)
Отсюда согласно определению получаем,
что
является
несмещённой оценкой величины
Задание. Докажитесостоятельностьоценки.
Следует отметить, что при больших
значениях
разница между
и
очень мала и они практически равны,
поэтому выборочную оценку
применяют
при оценки дисперсии при малых (небольших)
выборках, обычно при
Ниже сформулируем без доказательства два утверждения о состоятельности некоторых оценок.
Утверждения. 1. Относительная частотапоявления события
в
независимых испытаниях являетсянесмещённой состоятельной
и эффективной оценкой неизвестной
вероятности
случайного
события
.
Это утверждение является непосредственным следствием ЗБЧ Бернулли.
2. Эмпирическая функция выборкиявляется
несмещённой состоятельной оценкой
функции распределения
случайной
величины
.
Пример 9. Пусть
проводится повторное независимое
испытаниераз (например, подбрасывание монеты) по
схеме Бернулли. Вероятность наступления
событие
(например, выпадения герба
при каждом подбрасывание) равна
.
В ходе опыта было обнаружено, что событие
(выпадение герба) наступило
раз при
испытаниях. Показать несмещённость и
состоятельность оценки
вероятности
наступления событие
(выпадение герба) в каждом опыте.
Решение. Число «успехов»имеет распределение Бернулли. Тогда
для построения точечной оценки рассмотрим
случайную величину
,
являющейся суммой индикаторов испытаний.
Тогда математическое ожидание и дисперсия
этого распределения (см. теорему Бернулли)
имеют вид
при этом
.
Следовательно,
,
т.е.
есть несмещённая оценка. Далее проверим
эту оценку на состоятельность:
На основании свойства м.о. и теоремы
Чебышева, согласно которой среднее
арифметическое системы случайных
величин сходится по вероятности к
среднему арифметическому их математических
ожиданий, т.е.
В следующем пункте рассмотрим наиболее распространённые методы получения точечных оценок параметров распределения.