Приложение III. Вторая теорема о разложении дисперсии

В настоящем приложении рассматриваются два утверждения: первое из них сводится к тому, что для линейной однофакторной МНК-регрессии

a  bx (III.1)

выполняется равенство

 ^2², (III.2)

где ² — объясненная дисперсия:

²  , (III.3)

² — остаточная дисперсия:

²  (III.4)

Второе утверждение носит значительно более общий характер, но его доказательство опирается на разложимости дисперсии для линейной однофакторной регрессии.

1. Параметры a и b МНК-регрессии (III.1) удовлетворяют системе нормальных уравнений

(III.5)

(III.6)

которая имеет решение

a  – b; (III.7)

. (III.8)

В равенстве (III.3) подставим выражения (III.1) и (III.5) для и :

² 

или

(III.9)

Теперь преобразуем равенство (III.4), использовав выражение (III.7) для a:

Первое слагаемое здесь представляет собой дисперсию переменной y, множитель при b² в третьем слагаемом — дисперсию x. Во втором слагаемом выполним преобразование

Последний переход непосредственно следует из (III.8). Таким образом,

² 

или

²  (III.10)

Почленно суммируя (III.9) и (III.10), получаем доказываемое равенство (III.2).

2. Теперь перейдем к рассмотрению более общего утверждения. При этом схема доказательства подобна примененной в Приложении II; кроме того, будут использованы те же обозначения.

Пусть регрессионный класс функций  обладает тем свойством, что умножение любой функции этого класса на константу и сложение с константой не выводят преобразованную функцию из этого класса, то есть из   следует a b , где a и b — произвольные константы.

Пусть ₀ — МНК-регрессия переменной y в классе . Покажем, что в этом случае имеет место разложение (III.2), где

² ; ² 

Введем в рассмотрение переменную z  ₀(x) и рассмотрим регрессию a  bz. По отношению к искусственному фактору z это линейная регрессия, и для нее выполняется представление дисперсии в виде суммы объясненной и остаточной компонент в силу доказанного выше.

Но ₀ — МНК-регрессия y по x в классе , а функция a  b₀(x) принадлежит этому же классу. Поэтому a  0, b = 1, так что z  ₀(x), откуда следует справедливость равенства  ^2².

Из примеров регрессионных классов, приведенных в § 5, первые 4 примера относятся к классам функций, обладающих рассматриваемым здесь свойством, а класс из примера 5 этим свойством не обладает. Разложимость дисперсии имеет место также для многофакторных линейных регрессий.

Приложение IV. Доказательство ограниченности ковариации

В § 7 использовано неравенство (7.5):

.

Ниже приводится его доказательство. Как и в тексте § 7, здесь будут использованы обозначения для отклонений переменных от их средних значений d_x  x – d_y  y –

При произвольном вещественном выражение для каждого элемента совокупности неотрицательно. Следовательно, неотрицательно также его среднее арифметическое значение, которое мы будем рассматривать как функцию :

.

Раскроем вид этой функции:

Таким образом, — полином второй степени от :

Этот полином при всех значениях неотрицателен, следовательно, его дискриминант неположителен:

или

,

что и требовалось доказать.

Выясним, в каких случаях полученное неравенство может обращаться в равенство. Если x и y связаны линейной функциональной зависимостью, т.е. для всех элементов выполняется равенство

то при единственном значении , а именно при , все обращаются в нуль и полином также обращается в нуль. Если же квадратный трехчлен обращается в нуль при единственном значении аргумента, его дискриминант равен нулю:

Отсюда следует:

Если же x и y не связаны друг с другом линейной функциональной зависимостью, то ни при каком все не обращаются в нуль одновременно, и при всех положителен, а его дискриминант — отрицателен:

или

.

Таким образом, равенство выполняется тогда и только тогда, когда x и y связаны линейной функциональной зависимостью.

1 В литературе можно встретить и другие названия свойства разложимости дисперсии: теорема о сложении дисперсий, правило сложения дисперсий.

2 Доказательство этого свойства дано в Приложении I.

3 Иногда в литературе ² называют средней из внутригрупповых дисперсий.

1 Корреляционное отношение не является долей объясненного среднего квадратического отклонения в полном, так как не разлагается в сумму .

1 Здесь для регрессионного значения используется тот же символ , который раньше обозначал групповое среднее. В данном случае ни о какой группировке не идет речи, и обозначение будет в дальнейшем использовано для обоих типов регрессии.

1 В Приложении II рассматриваются условия совпадения средних фактических и регрессионных значений признака-результата.

1 Условия выполнения свойства разложимости дисперсии рассмотрены в Приложении III.

1 Последнее утверждение безусловно справедливо, если признак-фактор дискретный и группы строго однородны, т. е. в каждой группе фактор принимает единственное значение. Если же группировка носит интервальный характер, оно может нарушаться. В этом можно убедиться, рассмотрев крайние (практически нереальные) случаи. Если все наблюдения попадают в один интервал, то ² 0 и   0; если же каждый интервал содержит ровно одно наблюдение, то ² 0 и   1. Эмпирическая регрессия по непрерывному фактору дает удовлетворительное описание реальной зависимости, если число интервалов достаточно велико и в каждый интервал попадает достаточно большое число наблюдений.

1 При изучении связи под изменением признака понимается не изменение во времени, а переход от группы с одним значением признака к группе с другим значением этого признака.

1 Доказательство приведено в Приложении IV.

90