
- •6. Регрессионный анализ
- •6.1. Классическая линейная модель регрессионного анализа
- •Существует ли линейная регрессионная зависимость?
- •Коэффициенты детерминации и множественной корреляции
- •Оценка влияния независимой переменной
- •Стандартизация переменных. Бета коэффициенты
- •Надежность и значимость коэффициента регрессии
- •Значимость включения переменной в регрессию
- •Пошаговая процедура построения модели
- •Переменные, порождаемые регрессионным уравнением
- •Взвешенная регрессия
- •Команда построения линейной модели регрессии
- •Пример построения модели
- •Можно ли в регрессии использовать неколичественные переменные?
- •Взаимодействие переменных
- •6.2. Логистическая регрессия
- •Отношение шансов и логит
- •Решение уравнения с использованием логита.
- •Неколичественные данные
- •Взаимодействие переменных
- •Пример логистической регрессии и статистики
- •Качество подгонки логистической регрессии
- •Вероятность правильного предсказания
- •Коэффициенты регрессии
- •О статистике Вальда
- •Сохранение переменных
Качество подгонки логистической регрессии
Далее в выдаче появляется описательная информация о качестве подгонки модели:
-2 Log Likelihood 3289.971
Goodness of Fit 2830.214
Cox & Snell - R^2 .072
Nagelkerke - R^2 .102
которые означают:
-2 Log Likelihood - удвоенный логарифм функция правдоподобия со знаком минус;
Goodness of Fit - характеристика отличия наблюдаемых частот от ожидаемых;
Cox & Snell - R^2 и Nagelkerke - R^2 - псевдо коэффициенты детерминации, полученные на основе отношения функций правдоподобия моделей лишь с константой и со всеми коэффициентами.
Эти коэффициенты стоит использовать при сравнении очень похожих моделей на аналогичных данных, что практически нереально, поэтому мы не будем на них останавливаться.
Вероятность правильного предсказания
На
основе модели логистической регрессии
можно строить предсказание произойдет
или не произойдет событие{Y=1}.
Правило предсказания, по умолчанию
заложенное в процедуру LOGISTIC
REGRESSION устроено
по следующему принципу:
если
>0.5
считаем, что событие произойдет;
0.5,
считаем, что событие непроизойдет.
Это правило оптимально с точки зрения
минимизации числа ошибок, но очень грубо
с точки зрения исследования связи.
Зачастую оказывается, чтовероятность
событияP{Y=1}
мала (значительно меньше 0.5) или велика
(значительно больше 0.5), поэтому
оказывается, что все имеющиеся в данных
сочетания X
предсказывают событие или все предсказывают
противоположное событие.
Поэтому здесь необходима
другая классификация, которая демонстрирует
связь между зависимой и независимыми
переменными. С этой целью стоит отнести
к предсказываемому классу ,
для которых {Y=1}
ожидается c большей вероятностью, чем
в среднем, а остальные - к противоположному
классу. В нашем случае доля употреблявших
алкоголь равна 69% и мы к классу предсказанных
значений отнесли значения X,
для которых
>0.69.Поэтому в процедуре указан
параметр /CRITERIA CUT(.69). Связь между этими
классификациями представлена таблица
сопряженности (рмсунок
6.3). Но лучше в этой
таблице вычислить процентные соотношения
пользуясь EXCEL или калькулятором.
Таблица 6.6. Связь наблюдения и предсказания в логистической регрессии
Наблюдается |
Предсказано |
| |
Не пьет |
Пьет |
Всего | |
Не пьет |
43.8% |
21.5% |
31.3% |
Пьет |
56.2% |
78.5% |
68.7% |
Коэффициенты регрессии
Основная
информация содержится в таблице
коэффициентов регрессии (рисунок
6.4). Преждевсего,
следует обратить внимание на значимость
коэффициентов. Наблюдаемая значимость
вычисляется на основе статистики Вальда.
Эта статистика связана с методом
максимального правдоподобия и может
быть использована при оценках разнообразных
параметров.
Универсальность статистики Вальда позволяет оценить значимость не только отдельных переменных, но и в целом значимость категориальных переменных, несмотря на то, что они дезагрегированы на индексные переменные. Статистика Вальда имеет распределение хи-квадрат. Число степеней свободы, равно единице, если проверяется гипотеза о равенстве нулю коэффициента при обычной или индексной переменной и, для категориальной переменной, равно числу значений без единицы (числу соответствующих индексных переменных). Квадратный корень из статистики Вальда приближенно равен отношению величины коэффициента к его стандартной ошибке - так же выражается t-статистика в обычной линейной модели регрессии.
Внашей таблице коэффициентов почти все
переменные значимы на уровне значимости
5%. Закрыв глаза на возможное взаимодействие
между независимыми переменными
(коллинеарность), можно считать, что
вероятность употребления алкоголя
повышена при высокой зарплате, а также,
у руководителей различного ранга. Из-за
незначимости статистики Вальда нет,
правда, полной уверенности относительно
повышенной вероятности для начальников,
имеющих более 10 подчиненных. Курение и
принадлежность к мужскому полу также
повышают эту вероятность, однако,
взаимодействие "мужчина-зарплата"
имеет обратное действие.
В этой же таблице присутствует аналог коэффициента корреляции (R), также построенный на основе статистики Вальда. Для обычных и индексных переменных положительные значения коэффициента свидетельствуют о положительной связи переменной с вероятностью события, отрицательные - об отрицательной связи.
Кроме того, мы выдали таблицу экспонент коэффициентов eB и их доверительные границы (см. рисунок 6.5). Эта таблица выдана подкомандой /PRINT=CI(95) в команде задания логистической регрессии.
Согласно модели и полученным значениям коэффициентов, при фиксированных прочих переменных, принадлежность к мужскому полу увеличивает отношение шансов "пития" и "не пития" в 2.4 раза (точнее в 1.84-3.15 раза), курения - в 1.9 раза (1.54 - 2.35), а прибавка к зарплате 100 рублей - на 4.4% (2.8%-6%), правда такая прибавка мужчине одновременно уменьшает это отношение на 3.8% (5.7%-1.9%). Быть мелким начальником - значит увеличить отношение шансов в 1.43 (1.06 - 1.9) раза, чем в среднем, а средним начальником - в 1.7 (1.07-2.67) раза.