5.3 Дисперсия оценок параметров регрессии

Оценки параметров регрессии являются случайными величинами. Средняя статистическая связь между оценками параметров регрессии описывается элементами ковариационной матрицы

, (5.27)

где - дисперсия оценки параметра , - ковариация (средняя статистическая связь) между центрированными оценками параметров регрессии и ; .

Матрица симметрическая по определению. Ковариационную матрицу можно записать как

, (5.28)

где - вектор, решение системы нормальных уравнений (5.19).

Матрица в (5.28) определена через усреднение по ансамблю и нет возможности найти все множество значений . Но элементы матрицы зависят от шума. Найдем элементы матрицы как функцию дисперсии шума.

Теоретически связь между и с учетом случайностей определяется равенством

. (5.29)

Подставим значение в решение системы нормальных уравнений и получим

(5.30)

Подставим значение в матрицу :

.

Но , где I - единичная матрица размерности .

Учитывая это, получим

. (5.31)

Ввиду того, что дисперсия неизвестна, то вместо используем её оценку и получим

(5.32)

Обозначим через - элемент главной диагонали матрицы . Тогда оценка дисперсии оцениваемого параметра регрессии будет равна

. (5.33)

5.4 Коэффициент корреляции

Рассмотрим простую линейную модель регрессии . Помимо коэффициента детерминации на степень средней статистической связи между переменной x и функцией y указывает коэффициент корреляции, (коэффициент парной корреляции) [11],

.

Ввиду того, что измеренные значения и являются реализациями случайных величин, то и коэффициент корреляции является случайной величиной и её реализацией для конкретных выборок является величина

. (5.34)

5.5 Доверительный интервал

Оцениваемый параметр распределения в результате эксперимента примет случайное значение , зависящий от объема выборки . По всей видимости, можно указать некоторый интервал , в пределах которого находится истинное значение параметра .

Под доверительным интервалом понимают интервал , который с вероятностью накрывает истинное значение параметра . Границы интервала зависят от объема выборки и методов определения границ. На практике в качестве критерия определения границ доверительного интервала часто принимают величину

или (5.35)

- вероятность того, что абсолютное уклонение оценки от истинного значения параметра не превышает , должна быть равна . Вероятность называется доверительной вероятностью, а интервал - доверительным интервалом, (в этом случае , Рис.5.1).

Вероятность того, что ошибка не принадлежит доверительному интервалу равна

(5.36)

Величина называется уровнем значимости. Если плотность распределения - симметричная функция, то

. (5.37)

Если известно среднеквадратическое отклонение , то можно записать

(5.38)

Выражение (5.38) может быть записано как

, (5.39)

где .

Для наиболее распространенных распределений составлены таблицы, по которым при известной доверительной вероятности Р можно найти величину .

Пример. 5.1. Пусть величина распределена по нормальному закону (дисперсия - известна) и . Тогда по таблице 1.1 нормального закона [4] находим = 1.96.

Пример. 5.2. Пусть величина распределена по закону Стьюдента, число степеней свободы n = 10. По таблице 3.1а функции распределения Стьюдента [4] определим = 2.2281. То же самое значение можно найти по таблице 3.2 процентных точек распределения Стьюдента [4, стр.178]. В данном случае процент определяется как .