Параметрические показатели корреляции
Рассмотрим двумерную случайную величину (X, Y). Если обе функции регрессии У на X и X на У линейны, то говорят, что X и Y связаны линейной корреляционной зависимостью. Очевидно, что графики линейных функций регрессии - прямые линии, причем можно доказать, что они совпадают с прямыми среднеквадратической регрессии. Имеет место следующая важная теорема.
Теорема. Если двумерная случайная величина (X, Y) распределена нормально, то X и Y связаны линейной корреляционной зависимостью.
Доказательство. Двумерная плотность вероятности:
Двумерная плотность вероятности
Плотность вероятности составляющей X:
Плотность вероятности составляющей X
Найдем функцию регрессии для чего сначала найдем условный закон распределения величины Y при Х=х:
Условный закон распределения величины Y
Полученное условное распределение нормально с математическим ожиданием (функцией регрессии У на X):
Математическое ожидани и дисперсия для условного распределения
Аналогично можно получить функцию регрессии X на Y:
Функция регрессии X на Y
Так как обе функции регрессии линейны, то корреляция между величинами X и Y линейная, что и требовалось доказать. Принимая во внимание вероятностный смысл параметров двумерного нормального распределения, заключаем, что уравнения прямых регрессии совпадают с уравнениями прямых среднеквадратической регрессии:
Уравнение прямых регрессий
Смотреть видео 15, добавленное в раздел "Параметрические показатели корреляции"
|
Ковариация
Ковариация (корреляционный момент, ковариационный момент) в теории вероятностей и математической статистике мера линейной зависимости двух случайных величин. Пусть X, Y - две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:
Ковариация величин X и Y
Предполагается, что все математические ожидания Е в правой части данного выражения определены.
Замечания к определению ковариации
Пусть X1, X2,...,Xn, Y1, Y2,...,Yn - выборки Xn и Yn случайных величин, определённых на одном и том же вероятностном пространстве. Тогда ковариацией между выборками Xn и Yn является:
Ковариация выборок
Свойства ковариации:
Свойства ковариации
Если ковариация положительна, то с ростом значений одной случайной величины, значения второй имеют тенденцию возрастать, а если знак отрицательный - то убывать. Однако только по абсолютному значению ковариации нельзя судить о том, насколько сильно величины взаимосвязаны, так как её масштаб зависит от их дисперсий. Масштаб можно отнормировать, поделив значение ковариации на произведение среднеквадратических отклонений (квадратных корней из дисперсий). При этом получается так называемый коэффициент корреляции Пирсона, который всегда находится в интервале от −1 до 1.
Среднеквадратическое отклонение ковариации
Случайные величины, имеющие нулевую ковариацию, называются некоррелированными. Независимые случайные величины всегда некоррелированы, но не наоборот. Обсудим достоинства и недостатки ковариации, как величины, характеризующей зависимость двух случайных величин.
Смотреть видео 16, добавленное в раздел "Ковариация"
1. Если ковариация отлична от нуля, то случайные величины зависимы. Чтобы судить о наличии зависимости согласно любому из определений независимости, требуется знать совместное распределение пары случайных величин. Но найти совместное распределение часто бывает сложнее, чем посчитать математическое ожидание произведения случайных величин. Если нам повезёт, и математическое ожидание произведения случайных величин не будет равняться произведению их математических ожиданий, мы скажем, что случайные величины зависимы, не находя их совместного распределения! Это очень хорошо.
Пример ковариации случайных величин при недостаточных данных
2. Величина ковариации не является «безразмерной»: если е - объем газа в сосуде, а n - давление этого газа, то ковариация измеряется в м3Па. Иначе говоря, при умножении этих величин на какое-нибудь число ковариация тоже умножается на это число. Но умножение на число не сказывается на «степени зависимости» величин (они от этого «более зависимыми» не становятся), так что большое значение ковариации не означает более сильной зависимости. Это очень плохо.
Нужно как-то нормировать ковариацию, получив из неё «безразмерную» величину, абсолютное значение которой: не менялось бы при умножении случайных величин на число и свидетельствовало бы о «силе зависимости» случайных величин.
Замечание: Говоря о «силе» зависимости между случайными величинами, мы имеем в виду следующее. Самая сильная зависимость - функциональная, а из функциональных - линейная зависимость, когда:
Функциональная линейная зависимость
Бывают гораздо более слабые зависимости. Так, если по последовательности независимых случайных величин построить величины:
Последовательность независимых случайных величин
то эти величины зависимы, но очень «слабо»: через единственное общее слагаемое Е25. Сильно ли зависимы число гербов в первых двадцати пяти подбрасываниях монеты и число гербов в испытаниях с двадцать пятого по девяностое? Итак, следующая величина есть всего лишь ковариация, нормированная нужным образом.
Теорема (неравенство Коши - Буняковского):
Неравенство Коши - Буняковского
Доказательство:
Доказательство теоремы Коши - Буняковского
Ковариационная матрица (или матрица ковариаций) в теории вероятностей - это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов. Ковариационная матрица случайного вектора - квадратная симметрическая матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы - ковариациями между компонентами.
Определения ковариационной матрицы
Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а ее след - скалярным выражением дисперсии многомерной случайной величины. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).
Свойства мартиц ковариации:
Свойства матриц ковариации
Смотреть видео 17, добавленное в раздел "Ковариация"