- •Введение
- •Тема 1. Общие аспекты применения математических методов в социологическом анализе
- •1.1.Статистические закономерности в анализе социологической информации: принципы моделирования реальности
- •Специфика математико-статистических методов применительно к социологической информации
- •Задачи математики применительно к социологической информации
- •1. 4. Сложности использования математических методов в социологии
- •Проблемы соотношения выборки и генеральной совокупности.
- •Отсутствие строгих обоснований возможности применения конкретных методов математической статистики.
- •Использование шкал низких типов.
- •Необходимость соотнесения модели метода с содержанием социологической задачи.
- •Тема 2. Общая характеристика процедуры анализа данных
- •2.1. Социологические данные
- •2. 2. Общие принципы анализа данных
- •Тема 3. Анализ одномерных распределений
- •Необходимость анализа одномерных распределений в социологии
- •3. 2. Меры средней тенденции
- •3.3. Дисперсия
- •Мера качественной вариации
- •3. 5. Энтропийный коэффициент разброса
- •Тема 4. Типы шкал и методы анализа информации
- •1. Номинальная шкала
- •4. 2. Ранговая шкала
- •4. 3. Интервальная шкала
- •Тема 5. Анализ двухмерных распределений
- •Общая характеристика двухмерных распределений
- •5.2. Показатели связи в двухмерных распределениях
- •Тема 6. Анализ связей между номинальными признаками
- •6.1. Общая характеристика подходов к анализу номинальных данных
- •6. 2. Анализ связей типа «признак-признак»
- •6.2.2. Коэффициенты связи, основанные на моделях прогноза
- •6.2.3. Коэффициенты связи, основанные на понятии энтропии.
- •6.2.4. Коэффициенты связи для четырехклеточных таблиц сопряженности.
- •6.2.5. Многомерные отношения преобладаний.
- •1. Если 1 дихотомический признак.
- •2. Если 2 дихотомических признака.
- •3. Если 3 дихотомических признака.
- •6.3. Анализ связей типа «альтернатива-альтернатива»
- •Анализ связей типа «группа альтернатив - группа альтернатив»
- •6.4.1. Анализ фрагментов таблиц сопряженности
- •6.4.2. Методы поиска сочетаний значений независимых признаков (предикторов).
- •Анализ связей типа «признак - группа признаков»
- •6.5.1. Номинальный регрессионный анализ (нра)
- •6.5.2. Логит- и пробит- модели
6.2.3. Коэффициенты связи, основанные на понятии энтропии.
В основе этих коэффициентов также лежит сравнение безусловного распределения с условными с точки зрения изучения изменения степени неопределенности рассматриваемых распределений.
По аналогии с энтропией распределения одного признака определяется энтропия двухмерного распределения:
или
Точно так же можно определить энтропию любого многомерного распределения.
Необходимо дать определение еще одного важного понятия — т. н. условной энтропии:
Противоположным понятию энтропии является понятие информации. Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности, т.е. степенью уменьшения энтропии. Ниже речь пойдет об информации, содержащейся в одном признаке (случайной величине) относительно другого признака.
Если Н(Y) = 0, то исход заранее известен. Большее или меньшее значение Н(Y) означает большую или меньшую проблематичность результата. Измерение признака Х, предшествующее нашему опыту по измерению Y, может уменьшить количество возможных исходов опыта и тем самым снизить степень его неопределенности. Для того, чтобы результат измерения Х мог сказаться на измерении Y, необходимо, чтобы упомянутый результат не был известен заранее. Значит, измерение Х можно рассматривать как некий вспомогательный опыт, также имеющий несколько возможных исходов. Тот факт, что измерение Х уменьшает степень неопределенности Y, находит свое отражение в том, что условная энтропия опыта, состоящего в измерении Y, при условии измерения Х оказывается меньше (точнее, не больше) первоначальной энтропии того же опыта. При этом, если измерение Y не зависит от измерения Х, то сведения об Х не уменьшают энтропию Y, т. е. Н (Y/Х) = Н (Y). Если же результат измерения Х полностью определяет последующее измерение Y, то энтропия Y уменьшается до нуля:
Н(Y/Х) = 0.
Таким образом, разность I(X,Y) = Н(Y) - Н(Y/Х) указывает, насколько осуществление опыта по измерению Х уменьшает неопределенность Y, т. е. сколько нового мы узнаем об Y, произведя измерение Х. Эту разность называют количеством информации относительно Y, содержащейся в Х (термин Шеннона).
Приведенные рассуждения о смысле понятия информации очевидным образом отвечают описанной выше логике сравнения безусловного и условных распределений Y. В основе всех информационных мер связи лежит та разность, которая стоит в правой части последнего равенства. Но именно эта разность и говорит о различии упомянутых распределений. Н (Y/Х) это обычное среднее взвешенное значение условных энтропий — каждому значению признака Х отвечает своя условная энтропия Y:
,
причем каждое слагаемое берется с весом, равным вероятности появления соответствующего условного распределения, т.е. вероятности Рi.. Существует ряд мер связи, основанных на понятии энтропии. Например, это I (X, Y) (ненаправленная мера); ее можно интерпретировать как относительное приращение информации об X, возникающее за счет знания Y60. Относительность возникает в результате соотнесения такого приращения с первоначальной неопределенностью распределения X. Известны и направленные меры связи:
.
Коэффициенты C называют асимметричными коэффициентами неопределенности, коэффициентами нормированной информации61. CX/Y = 0, если и только если переменные X и Y независимы; CX/Y =1, только если X однозначно определяется значением Y (т. е. если полная связь). Аналогичен и коэффициент CY/X.
Соответствующий симметризованный коэффициент нормированной информации вводится следующим образом62:
.
Часто используется также коэффициент Райского:
.
Он заключен в интервале от 0 до 1; в 0 коэффициент обращается только когда признаки статистически независимы; в 1 — когда признаки полностью детерминируют друг друга.
Информационные меры связи похожи на обычный коэффициент корреляции. Но они имеют одно преимущество: если коэффициент корреляции равен 0, из этого не следует статистическая независимость рассматриваемых признаков, если информационные меры связи равны 0 — из этого следует статистическая независимость рассматриваемых признаков.