49. Линейная корреляция

КОРРЕЛЯЦИЯ ЛИНЕЙНАЯ - статистическая линейная связь (см.) непричинного характера между двумя количественными переменными (см.) х и у. Измеряется с помощью "коэффициента К.Л." Пирсона, который является результатом деления ковариации на стандартные отклонения обеих переменных:

,

где sxy - ковариация (см.) между переменными х и у;

sx, sy - стандартные отклонения (см.) для переменных х и у;

xi, yi - значения переменных х и у для объекта с номером i;

x, y - средние арифметические (см.) для переменных х и у.

Коэффициент Пирсона r может принимать значения из интервала [-1; +1]. Значение r = 0 означает отсутствие линейной связи между переменными х и у (но не исключает статистической связи нелинейной - см.). Положительные значения коэффициента (r > 0) свидетельствуют о прямой линейной связи; чем ближе его значение к +1, тем сильнее связь статистическая прямая (см.). Отрицательные значения коэффициента (r < 0) свидетельствуют об обратной линейной связи; чем ближе его значение к -1, тем сильнее обратная связь. Значения r = ±1 означают наличие полной линейной связи, прямой или обратной. В случае полной связи все точки с координатами (xi, yi) лежат на прямой y = a + bx.

"Коэффициент К.Л." Пирсона применяется также для измерения тесноты связи в модели регрессии линейной парной (см.).

50. Статистическая гипотеза

Статистическая гипотеза

Статистическая гипотеза, предположительное суждение о вероятностных закономерностях, которым подчиняется изучаемое явление. Как правило, С. г. определяет значения параметров закона распределения вероятностей или его вид. С. г. называется простой, если она определяет единственный закон распределения; в ином случае С. г. называется сложной и может быть представлена как некоторый класс простых С. г. Например, гипотеза о том, что распределение вероятностей является нормальным распределением с математическим ожиданием а = а0 и некоторой (неизвестной) дисперсией s2 будет сложной, составленной из простых гипотез а = а0, (а0 и — заданные числа).

51. Виды ошибок

Ошибки первого рода (англ. type I errors, б errors, false positives) и ошибки второго рода (англ. type II errors, в errors, false negatives) в математической статистике — это ключевые понятия задач проверки статистических гипотез. Тем не менее, данные понятия часто используются и в других областях, когда речь идёт о принятии «бинарного» решения (да/нет) на основе некоего критерия (теста, проверки, измерения), который с некоторой вероятностью может давать ложный результат.

Определения

Пусть дана выборка из неизвестного совместного распределения P_X, и поставлена бинарная задача проверки статистических гипотез:

H₀, H₁ где H0 — нулевая гипотеза, а H1 — альтернативная гипотеза. Предположим, что задан статистический критерий , сопоставляющий каждой реализации выборки X=xодну из имеющихся гипотез. Тогда возможны следующие четыре ситуации:

Распределение P^X выборки X соответствует гипотезе H0, и она точно определена статистическим критерием, то есть f(x)=H_o.

Распределение P^Xвыборки соответствует гипотезе H0, но она неверно отвергнута статистическим критерием, то есть f(x)=H₁.

Распределение P^Xвыборки Xсоответствует гипотезе H1, и она точно определена статистическим критерием, то есть f(x)=H₁.

Распределение P^xвыборки Xсоответствует гипотезе H1, но она неверно отвергнута статистическим критерием, то есть f(x)=H₀.

Во втором и четвертом случае говорят, что произошла статистическая ошибка, и её называют ошибкой первого и второго рода соответственно.

Вероятности ошибок (уровень значимости и мощность)

Вероятность ошибки первого рода при проверке статистических гипотез называют уровнем значимости и обычно обозначают греческой буквой б (отсюда название б-errors).

Вероятность ошибки второго рода не имеет какого-то особого общепринятого названия, на письме обозначается греческой буквой в (отсюда в-errors). Однако с этой величиной тесно связана другая, имеющая большое статистическое значение — мощность критерия. Она вычисляется по формуле (1 − в). Таким образом, чем выше мощность, тем меньше вероятность совершить ошибку второго рода.

Обе эти характеристики обычно вычисляются с помощью так называемой функции мощности критерия. В частности, вероятность ошибки первого рода есть функция мощности, вычисленная при нулевой гипотезе. Для критериев, основанных на выборке фиксированного объема, вероятность ошибки второго рода есть единица минус функция мощности, вычисленная в предположении, что распределение наблюдений соответствует альтернативной гипотезе. Для последовательных критериев это также верно, если критерий останавливается с вероятностью единица (при данном распределении из альтернативы).

В статистических тестах обычно приходится идти на компромисс между приемлемым уровнем ошибок первого и второго рода. Зачастую для принятия решения используется пороговое значение, которое может варьироваться с целью сделать тест более строгим или, наоборот, более мягким. Этим пороговым значением является уровень значимости, которым задаются при проверке статистических гипотез. Например, в случае металлодетектора повышение чувствительности прибора приведёт к увеличению риска ошибки первого рода (ложная тревога), а понижение чувствительности — к увеличению риска ошибки второго рода (пропуск запрещённого предмета).