Многомерный статистический анализ. Ч.1. Методическое пособие

Для проверки гипотезы о влиянии должности на начальную зарплату введем в уравнение регрессии две dummy-переменные «охранник» и «менеджер» вместо исходной переменной «должность», референтное значение указано в скобках (табл.  1.10). Прежде всего отметим, что введение «должности» существенно повысило качество регрессионной модели: ее объясняющая способность достигла 70% (R2 = 0,7).

Таблица  1.10

Коэффициенты уравнения множественной регрессии с набором dummy-переменных «должность»

Примечание. Зависимая переменная: «начальная зарплата».

Анализ нестандартизированных коэффициентов регрессии показывает, что должность менеджера позволяет получить значительно более высокую начальную зарплату, чем должность служащего (на 12 134 условные единицы больше). В то же время разность средней начальной зарплаты охранника и служащего хоть и кажется довольно значительной (–999 условных единиц), не является статистически значимой (p = 0,335).

31

Анализ стандартизированных коэффициентов регрессии позволяет заключить, что наибольшее влияние на начальную зарплату оказывает должность менеджера (b = 0,6). В силу того, что должность существенно зависит от уровня образования, стандартизированный и нестандартизированный коэффициенты регрессии при «образовании» с введением в уравнение «должности» значительно уменьшились.

Множественная регрессия с зависимыми категориальными переменными. Наиболее простым случаем в этом классе регрессионных моделей является множественная линейная модель с дихотомической зависимой переменной, фиксирующей наступление или ненаступление некоторого события. В этом случае предсказанное значение y(l) для респондента с номером l интерпретируется как вероятность того, что событие, закодированное значением 1, для данного респондента произойдет.

Предсказанные в рамках данной модели значения зависи-

мой переменной y(l) в большинстве укладываются в интервал

[0; +1], однако некоторые значения могут выходить за преде-

нияy(l) < 0 перекодируются вy(l) = 0. Соответственно, в первом

случае прогнозируется вероятность наступления события, равная 100%, во втором – вероятность, равная 0%.

Пример  1.3. Поступление на дневную бюджетную форму образования после окончания среднего учебного заведения.

Зависимая переменная – получение высшего образования (дихотомическая). Независимые переменные: тип среднего образования (номинальная), тип поселения (порядковая), пол (номинальная), успеваемость – средний балл по аттестату (количественная), образование отца (порядковая), образование матери (порядковая).

Переменная «пол» дихотомизирована: 1 – женский, 0 – мужской. Остальные номинальные и порядковые переменные подвергнуты dummy-кодированию. Таким образом, в уравнении 13 независимых переменных, в том числе 1 дихотомическая, 1 количественная и 11 фиктивных.

32

Уравнение множественной регрессии представлено в табл.  1.11, объясняющая способность модели R2 = 0,318. Референтные значения dummy-переменных указаны в скобках курсивом.

Таблица  1.11

Коэффициенты уравнения множественной линейной регрессии с дихотомической зависимой переменной

Примечание. Зависимая переменная: «поступление на бюджет».

Предскажем вероятность продолжения образования для респондента мужского пола, со средним баллом по аттестату 8,5, закончившего техникум в городе, не являющемся столицей, отец которого имеет высшее образование, мать – среднее специальное (табл.  1.12). При вычислении предсказанного значения зависимой переменной (вероятности продолжения образования)

33

для респондента с соответствующими характеристиками используются значения коэффициентов регрессии и значения независимых переменных, в том числе dummy-переменных. В данном случае предсказанное значение зависимой переменной y = 0,58 (вероятность продолжения образования 58%) получено как алгебраическая сумма значений в последнем столбце табл.  1.12.

Таблица  1.12

Вычисление предсказанного значения зависимой переменной при использовании независимых dummy-переменных

В более сложных случаях, когда число градаций зависимой переменной превышает два, применяется логистическая регрессия, базирующаяся на dummy-кодировании зависимой переменной. Для порядковых зависимых переменных применяется порядковая логистическая регрессия.

34

Последовательный отбор независимых переменных. Если выбранные для регрессионной модели независимые переменные тесно коррелируют друг с другом, их одновременное включение в модель нецелесообразно, так как приводит к эффектам мультиколлинеарности. Существуют два подхода к решению этой проблемы. Первый подход – традиционный (теоретический) – заключается в том, чтобы из каждой группы коррелирующих между собой предикторов выбрать один, наиболее важный с точки зрения рассматриваемых теоретических гипотез. Второй подход – «технологический» – состоит в том, чтобы, используя быстродействие компьютеров, отобрать и включить в модель наиболее информативные независимые переменные. Эту функцию, реализованную во многих современных программных средствах, рекомендуется использовать только на начальном («разведочном») этапе построения модели или в тех редких случаях, когда потенциальные предикторы взаимозаменяемы с точки зрения проверяемых гипотез.

Критерием отбора переменных для включения в модель могут служить абсолютная величина частного коэффициента корреляции и увеличение квадрата коэффициента множественной корреляции R2. Включение новых переменных в модель прекращается, когда увеличение R2 перестает быть статистически значимым. Кроме увеличения R2, показателем улучшения качества модели может служить также уменьшение стандартной ошибки предсказанного значения зависимой переменной.

Заметим, что при использовании категориальных независимых переменных в модель должны включаться дихотомические индикаторы, представляющие все категории, чтобы можно было отобрать наиболее информативные из них. Поэтому при последовательном отборе независимых переменных применяется не dummy-, а индикаторное кодирование, при котором количество дихотомических переменных-индикаторов совпадает с количеством категорий (табл.  1.13).

Отметим также, что последовательный отбор независимых переменных может осуществляться для всех видов логистической регрессии, которые мы рассмотрим ниже. Единственное отличие состоит в том, что независимые категориальные переменные включаются в логистические модели полностью и под-

35

вергаются dummy-кодированию непосредственно в процессе построения модели.

Таблица  1.13

Схема индикаторного кодирования переменной «должность»

Пример  1.2 (продолжение)

В список независимых переменных включены должность, представленная тремя дихотомическими индикаторами (менеджер, охранник, служащий), пол и принадлежность к национальным меньшинствам (дихотомические переменные), образование и возраст (в годах), предшествующий стаж работы (в месяцах). Последовательный отбор наиболее информативных переменных позволил получить 4 «вложенные» модели. Последовательность включения переменных в модель представлена в табл.  1.14. Полученные результаты позволяют заключить, что основными факторами, влияющими на величину начальной зарплаты, являются должность менеджера, пол, образование и стаж работы.

36

Окончание табл.  1.14

Примечание. Зависимая переменная: «начальная зарплата».

В табл.  1.15 представлены независимые переменные, не включенные в модель на каждом из этапов.

37

Изменение квадрата множественной корреляции и стандартной ошибки предсказанных значений зависимой переменной для моделей из табл.  1.14 представлено в табл.  1.16.

Самостоятельная работа

Проинтерпретируйте уравнение регрессии (табл.  1.10) и значение R2 = 0,318.

1.3.  Логистическая регрессия

Логистическая регрессия предназначена для изучения причинных связей между категориальными переменными. Для построения уравнений логистической регрессии используется метод максимального правдоподобия. Зависимая переменная может быть только категориальной. Независимые переменные могут быть двух видов – категориальные и количественные («метрические»). Категориальные независимые переменные в уравнении логистической регрессии по традиции называют факторами, количественные – ковариатами. В современном статистическом программном обеспечении процедура dummy- кодирования категориальных переменных (зависимой и независимых) в логистической регрессии, как правило, осуществляется автоматически, в отличие от «классической» множественной линейной регрессии, где ее в большинстве случаев приходится осуществлять вручную.

Модели логистической регрессии различаются по виду зависимой переменной: бинарная (зависимая переменная с двумя градациями), мультиноминальная (зависимая переменная

38

номинальная с числом градаций больше двух), порядковая (зависимая переменная порядковая).

Бинарная логистическая регрессия предполагает использование дихотомизированной зависимой переменной. Однако в отличие от множественной линейной регрессии с дихотомической зависимой переменной, рассмотренной в разделе  1.2, линейное уравнение используется здесь для оценки не собственно вероятности наступления события, а для оценки логарифма отношения вероятности наступления события к вероятности его ненаступления – логита. Данный подход происходит от логлинейного анализа многомерных таблиц сопряженности, расширенного за счет возможности использовать количественные ковариаты.

Обозначим вероятность события, закодированного значением 1, буквой p. Вероятность ненаступления события будет равна 1 – p. Отношение этих двух вероятностей p / (1 – p) представляет собой отношение шансов наступления и ненаступления события.

Например, если p = 0,5, то p / (1 – p) = 0,5 / (1 – 0,5) = 0,5 /

/0,5 = 1, т.е. шансы равны. Если p = 0,25, то p / (1 – p) = 0,25 /

/1 – 0,25) = 0,25 / 0,75 = 1/3, т.е. наступление события в 3 раза менее вероятно, чем его ненаступление.

Натуральный логарифм отношения шансов ln[p / (1 – p)] (логит) оценивается с помощью линейного уравнения:

где xi (i = 1, 2, …, k) – независимые переменные, представляющие собой dummy-переменные, полученные из категориальных факторов, и (или) количественные ковариаты.

Коэффициенты Bi интерпретируются аналогично коэффициентам множественной линейной регрессии, однако здесь они показывают, насколько в среднем изменится логит при изменении независимой переменной.

Этот способ представления результатов не очень удобен для интерпретации, поэтому формулу (1.13) принято представлять в преобразованном виде:

39

Интерпретации, как правило, подлежат значения eBi, каждое из которых показывает, как изменится отношение шансов p / (1 – p) при увеличении значения независимой переменной x на единицу. Если Bi > 0, то eBi > 1, и отношение вероятностей возрастет в eBi раз. Если Bi < 0, то eBi < 1, и отношение вероятностей соответственно уменьшится. Если Bi = 0, то eBi = 1, т.е. независимая переменная xi на отношение вероятностей не влияет.

Еслинеобходимопредсказатьнеотношениешансовp /(1–p), а собственно вероятность наступления события p, уравнение логистической регрессии может быть представлено в следующем виде:

Уравнение бинарной логистической регрессии в современном программном обеспечении принято представлять в виде таблицы.

Качество бинарной логистической модели оценивается двумя способами – с помощью мер соответствия модели исходным данным и по классификационной таблице. Аналогами квадрата коэффициента множественной корреляции (R2) для бинарной логистической модели являются псевдо-R2 Кокса и Шелла и псевдо-R2 Нагелькерке. Последовательно добавляя

вмодель независимые переменные, можно оценить их полезность по увеличению данных мер связи, разработанных специально для логистической регрессии.

Классификационная таблица используется не только в логлинейной регрессии, но и во многих моделях, в частности

вмодели дискриминантного анализа. Она показывает процент правильной классификации в каждой из категорий зависимой переменной, а также по выборке в целом.

Мультиноминальная и порядковая логистическая регрессия. Если категориальная зависимая переменная имеет более

40