Основные понятия теории оценок

Будем рассматривать следующую задачу:

Пусть имеется СВ для которой плотность распределения известна с точностью до . Например: - распределено по нормальному закону: , .

Требуется оценить параметр . Для решения этой задачи с помощью независимых опытов получим значения СВ . С помощью математических методов находят оценку неизвестного параметра. Совокупность опытных данных: называется выборкой. - значение величины в i-ом опыте где и - объём выборки.

Тогда оценка неизвестного параметра есть функция опытных данных: .

Задача теории оценок указания вида функции .

Определение: Если математическое ожидание оценок равно истинному значению параметра, то оценок называется несмещённой, т.е. .

Величина равна плотности распределения вероятности выборки X. (условие несмещённости)

. Примем условное обозначение: .

Определение: Если соотношение (1) не выполняется, то оценка называется смещённой, а величина называется смещением.

Определение: Если имеет место условие: , то называется асимптотически смещённым. В качестве меры точности оценки берётся её вариация, т.е. среднее значение квадрата разности между оценкой и неизменным значением параметра: или последнее равенство переписывается в виде: .

Рассмотрим свойства вариации:

1. .

2. Если оценка не смещённая, то вариация оценки равна её дисперсии: .

Неравенство Чепмена – Роббинса.

Пусть - несмещённая оценка параметра , следовательно используя определение несмещённости можем записать: . Положим: и запишем равенство (2): .

Из условия нормировки плотностей можно записать: и . Оба условия нормировки умножим справа и слева на и получим равенство:

и .

Вычтем из (1) – (*): .

Вычтем из (2) – (**): .

Из (4) вычтем (3): . Левую часть последнего равенства домножим и разделим на одно и тоже выражение и разделим на одно и тоже выражение: .

Справедливо неравенство Шварца: . , где . .

Данная формула справедлива для любого .

называется неравенство Чепмена - Роббина.

Неравенство информации.

Т.к. имеет место: , то неравенство Чепмена-Роббинса можно переписать в виде:

, где .

Последнее неравенство называется неравенство информации, а величина называется количество информации по Фишеру, т.е. количество информации выборки о неизвестном параметре .

Т.к. , то величину ,

.

Т.к имеет место условие нормировки , то , получаем:

.

Т.к. значение СВ получено независимыми опытами, то:

- количество информации полученной в опыте.

Определение: - будем называть эффективностью оценки.

Если , то оценка называется эффективной, если , такая оценка называется асимптотически эффективной.

Достаточные статистики.

Основная идея достаточных статистик заключается в следующем:

Пусть имеется выборка: . Объём экспериментальных данных может быть очень велик. Встаёт вопрос, нельзя ли эту экспериментальную информацию представить в более компактном виде, т.е. найти числа , которых было меньше, чем исходных данных, но которые добавляли бы столько же информации о , сколько и исходная выборка. Эти числа называются достаточными статистиками.

Всё что может дать о параметре , заключается в условной плотности вероятности . Аналогично, вся та информация, которую могут дать о _{заключается в условной плотности вероятности} .

Согласно равенству информации о _{по выборке} и по достаточной статистике можно записать: .

Выразим по формуле Байеса из : , .

- критерий факторизации.

Т. о. плотность вероятности выборки представляется в виде 2-х множителей, первый из которых зависит только от выборки , а второй зависит только от достаточных статистик и параметра .

П ример: Пусть СВ имеет нормальное распределение:

Т.е. ,

т. о. .

Метод наименьших квадратов(МНК). Оценка параметров линейной модели.

Суть МНК заключается в следующем: , где . Заменяя значения , где - ошибка измерений.

Предположим что - независимые нормально распределённые случайные велечины.

Плотность

, при .

Данная задача равносильна: .

Метод наименьших квадратов заключается в том, что оценка неизвестных параметров ищется из условия минимизации суммы квадратов ошибок измерения.

Рассмотрим линейный случай метода наименьших квадратов:

Пусть есть - вектор неизвестных параметров.

. (1)

Ошибки необязательно нормальные: . Ошибки - некоррелированы , где .

Перепишем зависимость (1) в матричной форме: .

, тогда имеем , в связи с этим:

1. .

2. , где - единичная матрица n*n.

.

Наценку параметра будем находить из условия:

. , (*).

Следовательно, полученная оценка является не смещённой. Найдём вариацию оценки :

, т.к.

. Подставляя последнее выражение в соотношение для вариации,

получим:

.

Сформулируем следующую теорему:

Теорема (Оптимальное свойство МНК-оценки): МНК оценка имеют наименьшую дисперсию в классе линейных несмещённых оценок.

МНК используется в задачах параметризации квадратов использованных в задачах оценки параметров между 2-я и более переменными.

Пример:

Пусть зависимость между и имеет вид:

, где , , - значение

Требуется оценить МНК параметры :

,

.

, .

; ,

Решая последнюю систему относительно и получим:

.

Обозначим: . Получим:

.