§17. Геометрическая интерпретация корреляции

Если случайная величина ξ имеет математическое ожидание, то ее можно центрировать. Случайная величина ξ₀= ξ – m_ξ называется центрированной, она имеет нулевое математическое ожидание.

Рассмотрим множество всех центрированных случайных величин ξ₀(), определенных на одном и том же пространстве элементарных событий и имеющих конечные дисперсии D_ξ­<∞. Можно убедиться, что это множество случайных величин линейное пространство с операциями сложения и умножения на число, понимаемыми в обычном смысле. Поэтому каждый элемент этого пространства будем называть вектором.

Скалярным произведением двух векторов ξ и η назовем число

(ξ,η)=M[ξη]=K_ξη. (1)

(Убедиться самостоятельно, что (1) удовлетворяет всем аксиомам скалярного произведения, см. §17 ч.1, гл.1).

Таким образом, скалярное произведение в данном евклидовом пространстве совпадает с корреляционным моментом K_ξη. Поскольку квадрат нормы (длины) вектора ξ в евклидовом пространстве определяется как то он совпадает с дисперсией, Таким образом, норма (длина) вектора ξ есть среднее квадратичное отклонение случайной величины ξ. Коэффициент корреляции случайных величин ξ и η дается формулой:

(2)

Формула (2) определяет косинус угла между вектором ξ и η, т.е. r_ξη=cos(ξ,^ η). Отсюда ясно, что некоррелированные величины ξ и η ортогональны. Если r_ξη= 1, то векторы коллинеарны, линейно зависимые, т.е. η=aξ, где a – некоторый коэффициент.

Запишем неравенство Коши-Буняковского:

(3)

Если (3) переписать иначе: или, то получим доказательство утверждения, что модуль коэффициента корреляции не превышает единицы.

§18. Понятие регрессии

Рассмотрим двумерную случайную величину (ξ,η). Пусть, например, ξ - рост человека, а η - его вес. Ясно, что между весом и ростом существует зависимость, но эта зависимость вероятностная, ее нельзя записать в виде функции. Однако зависимость усредненных величин можно записать в виде функции. Если плотность f(x,y) непрерывной случайной величины известна, то можно найти условные плотности f₁(x/y), f₂(y/x) и условные математические ожидания

(1)

(2)

В нашем примере М[x] -это средний вес людей, рост которых одинаковый, =x; а M[y] - это средний рост людей одинакового веса, =y.

Формулы (1) и (2) дают функциональную зависимость условных математических ожиданий одной случайной величины от возможных значений другой. Функция y=g(x) называется регрессией величины  на , а функция x=q(y) - регрессией величины  на . Графики функций g(x) и q(y) называются кривыми регрессии.

Аналогично можно найти и другие условные числовые характеристики, например, условную дисперсию

(3)

Условная дисперсия D[/x] определяет рассеяние случайной величины /x относительно регрессии g(x). Т.к. эта дисперсия является функцией возможных значений случайной величины  (D[/x]=(x)), т.е. величиной случайной, то ее усредняют, находят ее математическое ожидание. В результате усреднения получим:

(4)

Здесь f₁(x) - плотность распределения случайной величины . С учетом того, что f₁(x)f₂(y/x)=f(x,y), формула (4) принимает вид:

(5)

Как видно из (5),  - это безусловная дисперсия случайной величины  относительно своего центра распределения g(x). Известно, что дисперсия(рассеяние) относительно центра распределения минимальная. Отсюда вывод: если регрессию g(x) взять в качестве оценки зависимости  от  (≈g()), то это будет наилучшая оценка этой зависимости в смысле минимума средней квадратичной погрешности.

Если случайная величина (,) дискретная с конечным числом возможных значений, то условные математические ожидания вычисляются по формулам:

(6)

(7)

Пример 1. Найти условные математические ожидания M[ξ/y₁] и M[ξ/y₂] случайной дискретной величины (,) примера 1 §14.

Решение: условные законы распределения случайных величин ξ/y₁ и ξ/y₂ найдены в примере 1 §15. Используя эти законы, по формуле (7) найдем

M[ξ/y₁]=10,30+30,12+40,5+80,08=3,3,

M[ξ/y₂]=10,6+30,2+40,06+80,14=2,56.

Пример 2. Случайная величина (,) задана своей плотностью распределения

Найти регрессии  на  и  на .

Решение. Условные плотности f₂(y/x) и f₁(x/y) найдены в примере 2 §15. Используя их, по формулам (1) и (2) найдем

Итак, y=g(x)= -x/3 - это регрессия  на .

Аналогично

Таким образом, x=q(y)=2-3y/4 - регрессия  на .

Как видно, обе регрессии линейные (см. рис. 20). Можно доказать, что если закон распределения случайной величины (,) нормальный, то регрессии  на  и  на 

будут линейными, а прямые регрессии проходят через центр симметрии (m_ξ,m_η).

Пример 3. Найти регрессии, если случайная величина (,) задана своей плотностью распределения

Решение. Найдем сначала плотности распределения компонент ξ и η вектора (ξ,η):

Найдем теперь условные плотности распределения:

З

аметим, что данная и все найденные плотности распределения отличны от нуля только в первом квадранте.

С

огласно формулам (1) и (2) найдем:

Итак, y=g(x)=1+1/(1+x) и x=q(y)=1+1/(1+y) - регрессии соответственно  на  и  на . Кривые регрессии изображены на рисунке 21.