Статистическая корреляция

Корреляционный анализ — метод обработки статистических данных, с помощью которого измеряется теснота связи между двумя или

более переменными. При этом переменные могут быть разного типа (разной размерности, разной природы).

Корреляция (корреляционная зависимость) — статистическая взаимосвязь двух или нескольких случайных величин.

При этом изменения значений одной или нескольких из этих величин сопутствуют систематическому изменению значений другой или других величин.

Математической мерой корреляции двух случайных величин служит

коэффициент корреляции.

Отрицательная корреляция — корреляция, при которой увеличение одной переменной связано с уменьшением другой. При этом коэффициент

корреляции будет отрицательным.

Положительная корреляция — это такая связь, при которой увеличение одной переменной связано с увеличением другой переменной. Возможна также ситуация отсутствия статистической взаимосвязи — например, для независимых случайных величин.

Ковариация

Ковариация (или корреляционный момент) является совместным центральным моментом второго порядка.

Ковариация определяется как математическое ожидание произведения отклонений случайных величин

где M — математическое ожидание.

Свойства ковариации:

Ковариация двух независимых случайных величин X и Y равна нулю., Абсолютная величина ковариации двух случайных величин X и Y не превышает среднего геометрического их дисперсий:

Ковариация имеет размерность, равную произведению размерности

случайных величин, то есть величина ковариации зависит от единиц измерения независимых величин. Данная особенность ковариации затрудняет её использование в целях корреляционного анализа

Коэффициент корреляции

Линейный коэффициент корреляции

Свойства коэффициента корреляции

Коэффициент детерминации

Линейная регрессия: +

Коэффициент детерминации ( - R-квадрат) — это доля дисперсии зависимой переменной, объясняемая рассматриваемой моделью зависимости (регрессии), то есть объясняющими переменными. Более точно — это единица минус доля необъяснённой дисперсии

(дисперсии случайной ошибки модели, или условной по факторам дисперсии зависимой переменной) в дисперсии зависимой переменной.

Его рассматривают как универсальную меру связи одной случайной величины от множества других.

Коэффициент детерминации

В частном случае линейной зависимости является квадратом так называемого множественного коэффициента корреляции между зависимой

переменной и объясняющими переменными.

В частности, для модели парной линейной регрессии коэффициент детерминации равен квадрату коэффициента корреляции между y и x.

Коэффициент детерминации принимает значения от 0 до 1. Чем ближе значение коэффициента к 1, тем сильнее зависимость. При оценке регрессионных моделей это

интерпретируется как соответствие модели данным. Для приемлемых моделей предполагается, что коэффициент детерминации должен быть хотя бы не меньше 50% (в этом случае коэффициент множественной корреляции превышает по модулю 70%).

Модели с коэффициентом детерминации выше 80% можно признать достаточно хорошими (коэффициент корреляции превышает 90%). Значение коэффициента детерминации 1 означает функциональную зависимость между переменными.

Взаимная информация

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой. Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

Свойства взаимной информации:

Мера различий: Метрики (расстояния)