2.3 Анализ

Подготовка

В принципе, данные можно поначалу записывать и в привычном “Экселе”. Самое главное — помнить о том, как обычно организованы данные для исследования:

Панельные Каждая колонка — отдельная переменная, например: пол, возраст, образование. Каждая строка — отдельный объект (человек, страна, фирма: Аня, Петя, Вася).

Временные ряды Каждая колонка — отдельная дата. В строках — переменные. Показываем, как они изменялись с течением времени (к примеру, цена акций).

Теперь таблицу без особых проблем можно вставить в Stata. Одна проблема — она не поддерживает запятую для отделения десятичной части. Решается вопрос так:

destring (список переменных), replace dpcomma

Если вы вводили все категориальные переменные (вроде пола, образование и прочего, что имеет несколько категорий) словами (лучше, кстати, использовать английский), то их обязательно нужно переделать в численные таким образом:

encode (список переменных)

Мы не будем рассматривать здесь, как работать в “Стате” и как там все организовано — для этого есть туториалы и книги, указанные выше. Будем считать, что вы уже там освоились и понимаете, что строки выше — это команды.

9

Регрессионный анализ

В этом разделе мы рассмотрим самые основы регрессионного анализа в Stata — базовые навыки, которые помогут подготовить самое простейшее исследование с помощью метода контроля переменных. Используем данные по автомобилям, встроенные в Stata:

sysuse auto.dta

Некоторые полезные команды:

С помощью команды regress (регрессия) посмотрим, как цена автомобиля зависит от объема багажника, места производства (иномарка/отечественная), веса, длины и максимальной скорости.

regress price trunk foreign weight length mpg

Получим вот такую таблицу:

10

описывает вариацию данных Лучше всего, если он близок к единице. Coef. показывает коэффициент, стоящий при переменной в регрессионном уравнении. Самая важная для нас часть — P>|t| Если она меньше принятого нами уровня значимости (обычно 0.05), то переменная не оказывает никакого воздействия на наш Y (то есть цену). В данном случае мы видим, что цена зависит от места производства (выше если иномарка), веса и длины автомобиля. Коэффициент, кстати, уже показывает воздействие при фиксированных остальных переменных.

После построения регрессии можно вывести в отдельную переменную предсказанные по уравнению значения:

11

Трансформация переменных

Чтобы регрессионное уравнение имело смысл, желательно, чтобы переменные были нормально распределены. Посмотрим, что у нас происходит с ценой автомобиля:

kdensity price, normal

Получим вот такой вот график, где отображено частотное распределение цены и соответствующее нормальное распределение:

На нормальное не очень похоже. Или можно построить вот такой тестовый график:

12

qnorm price

Price 0 5,000 10,000 15,000

Inverse Normal

Если бы распределение было нормальным, точки располагались бы вдоль линии. Желательно преобразовать эту переменную в другую — логарифмировать ее или возвести в степень. Выбрать лучший способ поможет следующая команда:

цену в квадрате. Проверим графически: gladder price

Price

Histograms by transformation

13

Kernel density estimate

Normal density

kernel = epanechnikov, bandwidth = 8.236e-09

Снова прогоняем регрессию, заменив price нa price2:

ременная. Для более тщательного контроля стоит проверить на нормальность все переменные.

Диагностика регрессии

Хорошая множественная линейная регрессия должна удовлетворять следующим требованиям:

Линейность Зависимость между Y и X должна быть линейной.

Нормальность Ошибки (остатки) должны быть нормально, одинаково и независимо распределенны.

14

Гомоскедастичность Или однородность дисперсии: дисперсия ошибок должна быть постоянной.

Независимость Ошибки одного наблюдения не должны коррелировать с ошибками другого.

Ошибки в переменных Все иксы должны быть измерены без ошибок.

Спецификация модели Модель должна быть правильной — включать все значимые переменные и не включать незначимые. Впрочем, если по вашей теории незначимая переменная там должна быть, пусть она там будет.

Бонус Желательно, если в данных не будет непонятных выбросов (далеких точек, которые портят всю картину) и отсутствует мультиколлинеарность (когда один X зависит от другого).

Итак, начнем с нормальности остатков. Генерируем их в переменную r и проверяем уже привычной командой:

predict r, resid kdensity r, normal

Kernel density estimate

Normal density

kernel = epanechnikov, bandwidth = 5.185e-09

Выглядит неплохо, но не идеально. Проверяем еще одной командой:

pnorm r

15

Аналогично. Наконец, воспользуемся тестом Шапиро-Уилка:

swilk r

Поскольку величина Prob>z весьма велика (0.81124), то распределение можно назвать нормальным. Хороший знак для нашей регрессии.

Теперь проверяем остатки на гомоскедастичность:

rvfplot, yline(0)

Остатки разбросаны вокруг линии совершенно случайно, так что вряд ли здесь есть гетероскедастичность. На всякий случай прогоняем формальный тест:

estat imtest

Поскольку величина велика, можно смело заключить, что с регрессией все в порядке.

Тепеь проверяем на мультиколлинеарность. Команда очень короткая (сокращение от variance inflation factor):

vif

ПравилоMeanVariableforeignlwtrunkVIFthhtmpg очень115VIF23.8506114044простое:0.0461/VIF32669092287379816706если VIF больше 10, значит где-то тут

мультиколлинеарность. Действительно, если приглядеться, то можно понять, что длина и ширина автомобиля действительно связаны — а раз длина у нас незначимая переменная, то ее можно без особых проблем выкинуть из регрессии.

Займемся линейностью (lowess — это процедура “локальнолинейного сглаживания”):

twoway (scatter price weight) (lfit price weight) (lowess price weight)

lowess price weight

Из графика видно, что на самом деле зависимость не такая уж и линейная. Впрочем, если заменить price на новый price2, то все выглядит несколько лучше. Однако эта методика подходит, когда в нашей регрессии только один Х. Если регрессия множественная, нужно воспользоваться следующим методом:

acprplot weight, lowess

17