- •Содержание
- •Введение
- •Раздел 1 Введение в регрессионный анализ и планирование эксперимента Тема 1 Основы регрессионного анализа
- •1.1 Понятие корреляционного и регрессионного анализа
- •1.2. Определение параметров линейного однофакторного уравнения регрессии
- •1.3. Оценка величины погрешности линейного однофакторного уравнения
- •1.4. Проблема автокорреляции остатков. Критерий Дарбина-Уотсона
- •Тема 2 Использование линейного регрессионного анализа
- •2.1 Построение уравнения степенной регрессии
- •2.2. Двухфакторные и многофакторные уравнения регрессии
- •2.3. Применения уравнения регрессии. Эконометрика
- •2.4. Примеры линеаризации уравнения регрессии
- •Контрольные вопросы к темам 1,2:
- •Тема 3 Основные понятия и определения планирования эксперимента
- •3.1. Основные понятия и определения планирования эксперимента
- •Разложение функции отклика в степенной ряд, кодирование факторов
- •Тема 4 Преобразования при обработке результатов эксперимента
- •4.1 Матричные преобразования при обработке результатов эксперимента
- •Ортогональное планирование эксперимента
- •Контрольные вопросы к темам 3,4:
- •Раздел 2 Статистическое исследование зависимостей Тема 5 Типовые задачи практики статистического исследования зависимостей
- •5.1 Схема взаимодействия переменных при статистическом исследовании зависимостей
- •5.2 Конечные прикладные цели статистического исследования зависимостей
- •5.3 Типовые задачи практики статистического исследования зависимостей
- •5.4 Основные типы зависимостей между количественными переменными
- •Тема 6 Корреляционный анализ
- •6.1 Корреляционный анализ
- •6.2 Оценка степени тесноты связи переменных
- •6.3 Особенности корреляционного анализа для количественных переменных
- •6.4 Особенности корреляционного анализа для неколичественных характеристик
- •Тема 7 Регрессионный анализ
- •7.1 Примеры использования регрессионного анализа
- •7.2 Классическое определение регрессии
- •7.3 Оптимизационный подход в регрессионном анализе
- •7.4 Рекомендации по выбору вида регрессии
- •Тема 8 Линейный регрессионный анализ
- •8.1 Простая линейная регрессия
- •8.2 Доверительные интервалы и проверка гипотез
- •8.3 Множественная линейная регрессия
- •Тема 9 Нелинейная, непараметрическая и пошаговая регрессия
- •9.1 Итерационные методы поиска оценок наименьших квадратов для параметров регрессии
- •9.2 Поиск начального приближения для итерационных процедур
- •9.3 Непараметрический подход в регрессионном анализе
- •9.4 Пошаговая регрессия
- •Раздел 4 Статистическое исследование зависимостей Тема 9 Математический инструментарий статистического исследования зависимостей
- •9.1 Схема взаимодействия переменных при статистическом исследовании зависимостей
- •9.2 Конечные прикладные цели статистического исследования зависимостей
- •9.3 Математический инструментарий статистического исследования зависимостей
- •9.4 Краткая характеристика математического инструментария
- •Тема 10 Типовые задачи практики
- •10.1 Типовые задачи практики статистического исследования зависимостей
- •10.2 Основные типы зависимостей между количественными переменными
- •10.3 Этапы статистического исследования зависимостей
- •10.4 Анализ точности полученных уравнений связи
- •Тема 11 Корреляционный анализ
- •11.1 Корреляционный анализ
- •11.2 Оценка степени тесноты связи переменных
- •11.3 Особенности корреляционного анализа для количественных переменных
- •11.4 Особенности корреляционного анализа для неколичественных характеристик
- •Тема 12 Регрессионный анализ
- •12.1 Примеры использования регрессионного анализа
- •12.2 Классическое определение регрессии
- •12.3 Оптимизационный подход в регрессионном анализе
- •12.4 Рекомендации по выбору вида регрессии
- •Тема 13 Линейный регрессионный анализ
- •13.1 Простая линейная регрессия
- •13.2 Доверительные интервалы и проверка гипотез
- •13.3 Множественная линейная регрессия
- •Тема 14 Нелинейная, непараметрическая и пошаговая регрессия
- •14.1 Итерационные методы поиска оценок наименьших квадратов для параметров регрессии
- •14.2 Поиск начального приближения для итерационных процедур
- •14.3 Непараметрический подход в регрессионном анализе
- •14.4 Пошаговая регрессия
- •14.5 Кластерная регрессия или классификация с учетом внешней цели
- •Литература
- •246019, Г. Гомель, ул. Советская, 104.
11.4 Особенности корреляционного анализа для неколичественных характеристик
СИЗ между порядковыми переменными сводится к статистическому анализу различных упорядочений (ранжировок) множества объектов. Он осуществляется с помощью методов ранговой корреляции. Процесс упорядочения осуществляется либо экспертами, либо формализовано (переходом от количественных значений к вариационному ряду). Исходные данные представлены таблицей рангов статистически обследованных объектов размера . При формировании матрицы возможны случаи неразличимости двух и более объектов, т.е. «объединенные» ранги.
К основным задачам теории и практики в этом случае относятся:
анализ структуры исследуемой совокупности упорядочения (например, точки равномерно разбросаны по области значений, т.е. нет статистической связи; наличие сгустка-ядра при произвольном разбросе других точек говорит о наличии согласованности в переменных; существование нескольких ядер говорит о статистической зависимости переменных внутри них);
анализ интегральной согласованности переменных и условная ранжировка по критерию степени тесноты связи каждой со всеми остальными (разные эксперты упорядочили объекты, их необходимо упорядочить по компетентности);
построение единого упорядочения объектов по имеющейся совокупности упорядочений.
В качестве основных характеристик парной статистической связи между упорядочениями используются ранговые коэффициенты корреляции Спирмэна и Кендалла . Значения этих коэффициентов меняются в диапазоне от -1 до +1. Причем =-1, если ряды прямо противоположно упорядочены, =+1, если по упорядочению ряды совпадают, =0, если в упорядочении рядов отсутствует связь.
Пусть - порядковое место (ранг) объекта по степени проявления -го свойства (переменной). Тогда степень тесноты между ранжировками (при отсутствии объединенных рангов) и с помощью коэффициента Спирмэна определяется по формуле 11.3. При наличии объединенных рангов формула усложняется.
(11.3)
Коэффициент Кендалла (при отсутствии объединенных рангов) вычисляется по формуле:
(11.4)
где - минимальное число обменов соседних элементов последовательности , необходимое для приведения ее к упорядочению . Величина симметрична относительно аргументов. При подсчете полезным оказывается факт тождественного совпадения величин и , где число инверсий - это число расположенных в неодинаковом порядке пар элементов последовательностей и , являющееся мерой нарушения порядка объектов в одной последовательности относительно другой.
где если а иначе .
Анализируемые ранжировки видоизменяются к представлению:
Ранговые коэффициенты корреляции Спирмэна и Кендалла связаны так как они являются линейными функциями от числа инверсий, имеющихся в сравнении последовательностей и . При подсчете коэффициента корреляции Спирмэна инверсиям отдаленных (по величине) друг от друга элементов приписываются большие веса. Между масштабами шкал, в которых измеряют корреляцию коэффициенты и нет простого соотношения. Однако при N>10 и при условии, что абсолютные значения этих коэффициентов не слишком близки к 1, их связывает приближенное соотношение
1.5
Отметим некоторые преимущества коэффициента корреляции Кендалла по сравнению с коэффициентом корреляции Спирмэна : лучше изучены его статистические свойства (выборочное распределение), возможность его использования при определении частной (очищенной) корреляции рангов, отсутствие потребности полного пересчета при добавлении новых объектов.
С целью измерения статистической связи между несколькими переменными (при отсутствии объединенных рангов) Кендаллом был предложен коэффициент конкордации (или согласованности)
где m - число анализируемых порядковых переменных (сравниваемых упорядочений); N - число объектов (объем выборки); k1,..., km - номера отобранных для анализа порядковых переменных (из исходной совокупности) m<p.
Заметим, что . В отличии от парных связей противоположные понятия согласованности и несогласованности утрачивают прежнюю симметричность относительно нуля.
Используя коэффициент конкордации, можно решить, например, задачу анализа структуры имеющейся совокупности упорядочений путем разбиения имеющегося набора порядковых переменных x(0),..., x(p) на группы высоко коррелированных переменных. При статистическом анализе совокупности экспертных мнений (ранжировок) существенным оказывается вопрос упорядочения самих переменных (интерпретируемых в качестве экспертов) по степени их коррелированности со всеми остальными переменными. Для ответа на этот вопрос можно предложить следующий алгоритм.
Пусть - коэффициент конкордации, подсчитанный по всем рассматриваемым переменным x(0),..., x(p) за исключением переменных . Варьируя состав группы исключенных переменных, мы получим различных значений . Последовательно вычислим значения всех этих коэффициентов для k=0,1,2,...,k0 и упорядочим их (при каждом фиксированном k) в соответствии с убыванием их значений. Получим:
;
. . .
Эти упорядочения (на каждом этаже) и дают нам одновременно ранжировки самих переменных (по одной, по паре и т.д.) по степени их согласованности с остальными переменными: очевидно, ту переменную, выбрасывание которой приводит к максимальному значению меры согласованности по остальным переменным, естественно объявить наименее связанной (согласующейся) с остальными переменными.