Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Методы и модели решения задачи классификации данных. Основные этапы. Учебное пособие

.pdf

Скачиваний:

Добавлен:

07.09.2026

Размер:

1 Мб

Скачать

☆

<<< < Предыдущая 1 23 / 93 4 5 6 7 8 9 > Следующая >>>

позволяет оценить корректность применения вероятностного подхода

для решения конкретной задачи классификации.

Проверка на соответствие выборочных данных модели нормального закона распределения проводится с помощью ряда специальных критериев согласия (для проверки принадлежности только нормальному закону) или с помощью непараметрических критериев (универсальных, применимых для разных законов распределения). К специальным критериям относятся

, например, критерий проверки на симметричность, критерий проверки на эксцесс, Шапиро – Уилка, Эппса – Палли; к непараметрическим критериям: Колмогорова – Смирнова, Андерсона – Дарлинга, Крамера – фон Мизеса и т. д. [8, 12, 13].

Критерий согласия проверяет основную гипотезу

о соответ-

ствии выборочных данных модели нормального закона распределения при заданном уровне значимости (вероятность ошибки первого рода – вероятность отвергнуть основную гипотезу при условии, что она верна). В случае простой гипотезы известны параметры нормального закона распределения (

 – математическое ожидание,  – СКО), в случае слож-

ной гипотезы – параметры закона неизвестны и оцениваются по выборке (



– среднее,



– оценка СКО):

: ( ) ( , , )

HFxFx, (7)

ˆˆ

где нормальный закон распределения задается функцией

(

)



xedx



(, , ) .





∫



(8)

Поскольку неизвестно, из какого распределения извлечены выбо-

рочные данные, проверка выполняется в условиях сложной гипотезы.

Критерии согласия различаются между собой принятой мерой разницы выборочного и теоретического (нормального) законов распределения, которая положена в основу критерия и называется критической статистикой.

Рассмотрим более подробно некоторые базовые критерии согласия.

Критерий согласия Шапиро –

 Уилка [5, 6, 12, 13]. Он основан на оп-

тимальной линейной комбинации порядковых статистик (рангов) наблюдений для получения оценки параметров нормального распределения.

Эта комбинация рассчитывается таким образом, чтобы минимизировать

среднеквадратичное отклонение между теоретическими и наблюдаемыми значениями упорядоченных в порядке возрастания выборочных данных (порядковых статистик).

Полученные оценки параметров используются для вычисления критической статистики критерия Шапиро – Уилка, которая представляет собой отношение оптимальной линейной несмещенной оценки дисперсии к ее обычной оценке методом максимального

правдоподобия:



, (9)

где

⎛⎞ ⎜⎟

∑

⎜⎟



⎝⎠



– коэффициенты, зависящие от размера выборки (их значения

()

ay y

ni ni i

 





∑



могут быть найдены в статистических таблицах для W-теста, где предварительно рассчитаны соответствующие значения для различных раз-

меров выборки [5, 6, 12]); значения выборки x;

– упорядоченные в порядке возрастания

– среднее значение выборки; n – объем вы-

борки; k = n / 2, если n – четное и k = (n – 1) / 2, если n – нечетное.

Предельные значения критической статистики W(a) (процентные точки распределения) приведены в таблицах для W-теста [5, 6, 12]. Критерий левосторонний: если расчетное значение критической статистики W превышает табличное значение

(),WWa

то гипотеза о нор-

мальном распределении выборочных данных не отвергается при заданном уровне значимости.

Критерий согласия Андерсона – Дарлинга [12, 13]. Суть критерия за- ключается в измерении расхождения между эмпирической и теоретической функцией распределения данных.

Критическая статистика критерия рассчитывается по формуле

An i Fy Fy

    

(2 1) ln ( ) ln 1 ( )

∑



ˆˆ

⎡⎤

 

⎣⎦

ini



(1)

, (10)

где ˆ()

y – эмпирическая функция распределения, вычисленная для

i-го упорядоченного значения.

Квантили распределения критической статистики

в [12]. В случае справедливости гипотезы тической статистики

не превышает верхний квантиль распределе-

ния критической статистики критерия:

расчетное значение кри-

A

приведены

Критерий согласия Крамера – фон Мизеса [12, 13]. Суть критерия заключается в суммировании квадратов разностей между эмпирической и теоретической функцией распределения данных. Чем меньше сумма квадратов разностей, тем ближе эмпирическая функция распределения к теоретической функции распределения и тем больше вероятность того, что данные соответствуют предполагаемому распределению. Критическая статистика критерия Крамера – фон

Мизеса вычисляется по формуле

⎛⎞

12121

WFyFy

   

12 2 2

nn n

⎛⎞⎛ ⎞

ˆˆ

⎜⎟

∑

() ( )

⎜⎟⎜ ⎟

⎜⎟

⎝⎠⎝ ⎠



⎝⎠

Квантили распределения критической статистики в [12]. В случае справедливости гипотезы

тической статистики

не превышает верхний квантиль распределе-

ния критической статистики критерия:





расчетное значение кри-

WW

. (11)

приведены

Как показывают исследования [13], мощность критериев, специально построенных для проверки отклонения от нормального закона распределения (например, Шапиро – Уилка), на объемах выборок n ≤ 50 выше мощности непараметрических критериев согласия типа Крамера – фон Мизеса и типа Андерсона – Дарлинга при проверке сложных гипотез. Мощность критерия Андерсона – Дарлинга сравнительно выше мощности критерия Крамера –

1.4.3. АНАЛИЗ ВЗАИМОСВЯЗЕЙ ПРИЗНАКОВ

 фон Мизеса.

Этап анализа взаимосвязей признаков сводится к определению предикторов, которые имеют статистически значимое влияние на прогнозируемый результат (целевую переменную «Класс»). Анализ значимости взаимосвязей признаков позволяет:

 идентифицировать наиболее важные признаки, которые суще-

ственно влияют на целевую переменную;

 удалить неинформативные признаки, что позволяет сократить

размерность данных, улучшить обобщающую способность модели и уменьшить риск переобучения;

 осуществить оптимизацию времени и ресурсов: исключение не-

значимых признаков из модели может значительно сократить вычислительные затраты при обучении и применении модели, что особенно важно в случае обработки больших данных;

 решить проблему мультиколлинеарности: мультиколлинеарность

возникает, когда признаки тесно связаны друг с другом; идентификация и удаление избыточных или сильно коррелированных признаков помогают избежать проблемы мультиколлинеарности и улучшают стабильность и точность модели;

 повысить интерпретируемость модели за счет выделения призна-

ков, которые оказывают наибольшее влияние на классификацию.

Таким образом, анализ значимости исходных признаков играет важную роль в процессе решения задачи классификации, позволяя выбрать наиболее информативные предикторы, оптимизировать вычислительные ресурсы, решить проблему мультиколлинеарности и улучшить интерпретируемость модели.

Выбор методов для исследования взаимосвязей

признаков, входящих в состав исходной БД, зависит от типа шкалы измерений признака. На количественной шкале применяются методы корреляционного анализа данных; на порядковой шкале – методы рангового корреляционного анализа данных; на классификационной шкале – методы анализа таблиц сопряженности; в случае разнотипных признаков проводится дисперсионный анализ данных. Возможен переход от количественной шкалы измерения значений признака к порядковой или классификационной шкале; от порядковой шкалы – к классификационной шкале. Таким образом, реализуется понижение шкалы измерения, но обратный переход невозможен. Чем выше шкала измерения, тем больше информации в ней заложено, понижение шкалы всегда связно с потерей информации о признаке.

В следующих разделах кратко

рассмотрены базовые методы иссле-

дования взаимосвязей для каждого типа шкал.

1.4.3.1. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ ВЗАИМОСВЯЗЕЙ

КОЛИЧЕСТВЕННЫХ ПРИЗНАКОВ

Корреляционный анализ данных представляет собой раздел математической статистики, который разрабатывает методы исследования статистических взаимосвязей между значениями признаков, измеренных на изучаемых объектах. Также под корреляционным анализом данных понимают сам процесс исследования статистических взаимосвязей между значениями признаков исходной БД на основе совокупности специальных методов и критериев.

К основным задачам корреляционного

анализа данных относят сле-

дующие [7, 8]:

 установить факт наличия (отсутствия) взаимосвязи между иссле-

дуемыми признаками;

 измерить степень тесноты связи;

 оценить статистическую значимость связи.

Для визуальной оценки взаимосвязи количественных признаков строятся диаграммы рассеяния, анализ которых позволяет сделать предварительный вывод о наличии, направлении и типе (линейная, нелинейная) связи между исследуемыми признаками.

Парные линейные взаимосвязи между количественными признаками X и Y оцениваются на основе коэффициента корреляции Пирсона, который рассчитывается по

формуле

xxyy





∑





∑∑



xyy



, (12)

где

– i-е значение признаков X и Y соответственно; x и y –

средние значения признаков.

Коэффициент корреляции Пирсона используется только в случае нормального распределения исходных признаков, и его рекомендуется

30.n 

применять при объеме выборочных данных

Свойства коэффициента корреляции Пирсона:

 измеряет только линейную взаимосвязь;

 диапазон изменения:

r 

; при

нальная линейная взаимосвязь между признаками; при

r 

– прямая функцио-

r 

– об-

ратная функциональная линейная взаимосвязь между признаками; при

 симметричность:

– отсутствие взаимосвязи между признаками;

rr

XY YX

, т. е. коэффициент Пирсона не позво-

r 

ляет определить результирующий и факторный признак (X зависит от Y или Y зависит от X).

Проверка основной гипотезы

о статистической незначимости

коэффициента корреляции Пирсона реализуется на основе критической статистики:

расч





, (13)



которая в условиях справедливости гипотезы

подчиняется распре-

делению Стьюдента с (n – 2) степенями свободы. Если выполняется неравенство

где

– квантиль распределения Стьюдента уровня

⎛⎞





⎜⎟ ⎝⎠

расч



⎛⎞



⎜⎟ ⎝⎠

, (14)



, то гипо-



теза о статистической незначимости взаимосвязи между признаками не отвергается при уровне значимости

.

Частный коэффициент корреляции – измеритель степени тесноты статистической связи между признаками X и Y при условии, что значения остальных признаков зафиксированы на некотором постоянном уровне, т. е. связь «очищена» от влияния других признаков.

Формула для вычисления частного коэффициента корреляции:

, ,

RRR

где

XY XX YY

элементов

rrr

– алгебраические дополнения соответственно для

, ,

XY XX YY

 , (15)

()



в определителе корреляционной матрицы.

XYY

Пусть построена корреляционная матрица для признаков X, Y и Z:

⎛⎞ ⎜⎟

Rr r



⎜⎟ ⎜⎟ ⎝⎠

YXZ

YX YZ

ZX ZY

. (16)

Частный коэффициент корреляции между признаками X и Y при исключении влияния Z будет рассчитываться по формуле

rrr



XY Z

()

YX YZ ZX





 

YZ ZX

. (17)

Для расчета частных коэффициентов корреляции между двумя признаками при исключении влияния более чем одного признака можно также воспользоваться рекуррентными соотношениями, которые приведены в [7, 8].

Частный коэффициент корреляции используется в случае нормального распределения исходных признаков и обладает следующими свойствами:

 измеряет очищенную линейную связь;

 диапазон изменения:

 симметричность:

11;

 

() ()

XY YX



()





;

 распределен так же, как и коэффициент корреляции Пирсона,

между теми же признаками, но объем выборки при проверке гипотезы о статистической незначимости коэффициента необходимо уменьшить на k, где k – количество «мешающих» признаков.

1.4.3.2. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ ВЗАИМОСВЯЗЕЙ ПОРЯДКОВЫХ ПРИЗНАКОВ

В случае если значения признаков измерены в порядковой шкале или распределение исходных количественных данных не подчиняется нормальному закону, выполняется расчет непараметрических ранговых коэффициентов корреляции. Для оценки парных взаимосвязей используются ранговые коэффициенты корреляции Спирмена и Кендалла. Перед расчетом коэффициентов выполняется ранжирование значений

исходных признаков X и Y в порядке возрастания и переход к

по следующим правилам:

 наименьшему значению признака присваивается ранг 1;

 ранг равен месту значения признака в вариационном ряду (упоря-

доченном в порядке возрастания значений); если в выборке присутствуют одинаковые значения признаков, им присваивают один и тот же ранг, равный среднему значению занимаемых ими мест;

 наибольшее значение признака имеет ранг не выше количества

наблюдений в выборке.

Формула для расчета коэффициента ранговой корреляции Спирмена имеет следующий вид:

∑



где



– разность рангов для каждой i-й пары

(1)



, (18)

– из n наблю-

дений.

Если в вариационных рядах

встречаются члены ряда с оди-

наковыми ранговыми числами, то в формулу (18) необходимо внести поправки

и yT на одинаковые ранги:

Ttt



ykk

(1)( )

nn T T

где l – число групп в вариационном ряду с одинаковыми рангами;

∑





∑



 

, (19)

, (20)

–

число членов в каждой из k-групп.

Проверка основной гипотезы

о статистической незначимости

коэффициента ранговой корреляции Спирмена выполняется с помощью расчета критической статистики:



расч С



, (21)



которая в условиях справедливости гипотезы

подчиняется распре-

делению Стьюдента с (n – 2) степенями свободы. Если выполняется неравенство

расч



, (22)

⎛⎞





⎜⎟

⎝⎠

то гипотеза о статистически незначимой взаимосвязи между признаками не отвергается при уровне значимости .

Коэффициент ранговой корреляции Кендалла определяется по формуле

4( , )



где

(, )

XY

– минимальное число обменов соседних элементов ран-



жированной последовательности , к упорядочению

.rY

Если исследуемые ранжировки

, (23)

(1)



необходимое для приведения ее

имеют одинаковые ранги,

то в расчетах используется скорректированный коэффициент ранговой корреляции Кендалла:

2( )





⎛⎞⎛⎞



⎜⎟⎜⎟ ⎜⎟⎜⎟

(1) (1)

nn nn

⎝⎠⎝⎠



(1)



, (24)



где поправочные величины определяются соотношением

Utt



xy k k

∑



()

(25)

Проверка основной гипотезы

о статистической незначимости

коэффициента ранговой корреляции Кендалла выполняется на основе расчета критической статистики:

Гипотеза

расч



Dnn

не отвергается при заданном уровне значимости ,

2(2 5)



9( 1)



. (26)

если выполняется неравенство

где

– квантиль стандартного нормального распределения уровня

⎛⎞



⎜⎟

⎝⎠

расч



⎛⎞

⎜⎟ ⎝⎠

, (27)



1 – а / 2.

Свойства ранговых коэффициентов корреляции Спирмена и Кендалла:

допускается любой тип распределения исходных признаков;



диапазон изменения: [–1; 1];



симметричность;

1, 5rr



СК

единицы; всегда справедливо соотношение

, при значениях коэффициентов, достаточно далеких от

rr , за исключением

СК

случая полной функциональной взаимосвязи признаков и равенства обоих коэффициентов единице.

Разработаны также множественные коэффициенты корреляции для оценки взаимосвязи между совокупностью признаков (более двух). В настоящем учебном пособии эти коэффициенты не приводятся, описание и основные расчетные формулы можно найти в [7, 8, 12, 16].

<<< < Предыдущая 1 23 / 93 4 5 6 7 8 9 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]