- •Содержание
- •Предисловие
- •§ 1. Функциональная и корреляционная зависимости
- •§ 2. Определение статистической взаимосвязи
- •§ 3. Эмпирическая регрессия
- •§ 4. Дисперсионное и корреляционное отношения
- •§ 5. Аналитическая регрессия. Метод наименьших квадратов
- •§ 6. Линейная регрессия
- •§ 7. Ковариация и коэффициент корреляции
- •§ 8. Линейное уравнение регрессии в стандартных масштабах
- •§ 9. Некоторые нелинейные функции регрессии
- •§ 10. Множественная корреляция и регрессия
- •§ 11. Замена переменных в уравнениях регрессии
- •Приложения Приложение I. Теорема о разложении дисперсии
- •Приложение II. Теорема о среднем значении регрессии
- •Приложение III. Вторая теорема о разложении дисперсии
- •Приложение IV. Доказательство ограниченности ковариации
Приложение III. Вторая теорема о разложении дисперсии
В настоящем приложении рассматриваются два утверждения: первое из них сводится к тому, что для линейной однофакторной МНК-регрессии
a bx (III.1)
выполняется равенство
22, (III.2)
где 2 — объясненная дисперсия:
2 , (III.3)
2 — остаточная дисперсия:
2 (III.4)
Второе утверждение носит значительно более общий характер, но его доказательство опирается на разложимости дисперсии для линейной однофакторной регрессии.
1. Параметры a и b МНК-регрессии (III.1) удовлетворяют системе нормальных уравнений
(III.5)
(III.6)
которая имеет решение
a – b; (III.7)
. (III.8)
В равенстве (III.3) подставим выражения (III.1) и (III.5) для и :
2
или
(III.9)
Теперь преобразуем равенство (III.4), использовав выражение (III.7) для a:
Первое слагаемое здесь представляет собой дисперсию переменной y, множитель при b2 в третьем слагаемом — дисперсию x. Во втором слагаемом выполним преобразование
Последний переход непосредственно следует из (III.8). Таким образом,
2
или
2 (III.10)
Почленно суммируя (III.9) и (III.10), получаем доказываемое равенство (III.2).
2. Теперь перейдем к рассмотрению более общего утверждения. При этом схема доказательства подобна примененной в Приложении II; кроме того, будут использованы те же обозначения.
Пусть регрессионный класс функций обладает тем свойством, что умножение любой функции этого класса на константу и сложение с константой не выводят преобразованную функцию из этого класса, то есть из следует a b , где a и b — произвольные константы.
Пусть 0 — МНК-регрессия переменной y в классе . Покажем, что в этом случае имеет место разложение (III.2), где
2 ; 2
Введем в рассмотрение переменную z 0(x) и рассмотрим регрессию a bz. По отношению к искусственному фактору z это линейная регрессия, и для нее выполняется представление дисперсии в виде суммы объясненной и остаточной компонент в силу доказанного выше.
Но 0 — МНК-регрессия y по x в классе , а функция a b0(x) принадлежит этому же классу. Поэтому a 0, b = 1, так что z 0(x), откуда следует справедливость равенства 22.
Из примеров регрессионных классов, приведенных в § 5, первые 4 примера относятся к классам функций, обладающих рассматриваемым здесь свойством, а класс из примера 5 этим свойством не обладает. Разложимость дисперсии имеет место также для многофакторных линейных регрессий.
Приложение IV. Доказательство ограниченности ковариации
В § 7 использовано неравенство (7.5):
.
Ниже приводится его доказательство. Как и в тексте § 7, здесь будут использованы обозначения для отклонений переменных от их средних значений dx x – dy y –
При произвольном вещественном выражение для каждого элемента совокупности неотрицательно. Следовательно, неотрицательно также его среднее арифметическое значение, которое мы будем рассматривать как функцию :
.
Раскроем вид этой функции:
Таким образом, — полином второй степени от :
Этот полином при всех значениях неотрицателен, следовательно, его дискриминант неположителен:
или
,
что и требовалось доказать.
Выясним, в каких случаях полученное неравенство может обращаться в равенство. Если x и y связаны линейной функциональной зависимостью, т.е. для всех элементов выполняется равенство
то при единственном значении , а именно при , все обращаются в нуль и полином также обращается в нуль. Если же квадратный трехчлен обращается в нуль при единственном значении аргумента, его дискриминант равен нулю:
Отсюда следует:
Если же x и y не связаны друг с другом линейной функциональной зависимостью, то ни при каком все не обращаются в нуль одновременно, и при всех положителен, а его дискриминант — отрицателен:
или
.
Таким образом, равенство выполняется тогда и только тогда, когда x и y связаны линейной функциональной зависимостью.
1 В литературе можно встретить и другие названия свойства разложимости дисперсии: теорема о сложении дисперсий, правило сложения дисперсий.
2 Доказательство этого свойства дано в Приложении I.
3 Иногда в литературе 2 называют средней из внутригрупповых дисперсий.
1 Корреляционное отношение не является долей объясненного среднего квадратического отклонения в полном, так как не разлагается в сумму .
1 Здесь для регрессионного значения используется тот же символ , который раньше обозначал групповое среднее. В данном случае ни о какой группировке не идет речи, и обозначение будет в дальнейшем использовано для обоих типов регрессии.
1 В Приложении II рассматриваются условия совпадения средних фактических и регрессионных значений признака-результата.
1 Условия выполнения свойства разложимости дисперсии рассмотрены в Приложении III.
1 Последнее утверждение безусловно справедливо, если признак-фактор дискретный и группы строго однородны, т. е. в каждой группе фактор принимает единственное значение. Если же группировка носит интервальный характер, оно может нарушаться. В этом можно убедиться, рассмотрев крайние (практически нереальные) случаи. Если все наблюдения попадают в один интервал, то 2 0 и 0; если же каждый интервал содержит ровно одно наблюдение, то 2 0 и 1. Эмпирическая регрессия по непрерывному фактору дает удовлетворительное описание реальной зависимости, если число интервалов достаточно велико и в каждый интервал попадает достаточно большое число наблюдений.
1 При изучении связи под изменением признака понимается не изменение во времени, а переход от группы с одним значением признака к группе с другим значением этого признака.
1 Доказательство приведено в Приложении IV.