эконометрика для очно-заочного 4 курс 2024-2025 год / ЛабРаб_Эконометрика_ 2023

Примечание: Москва и Московская область исключены из рассмотрения как аномальные

Рис. 1.14. Гистограмма численности населения регионов ЦФО за 2014 г., с числом «карманов», определенных по формуле Стерджеса

21

Рис. 2.1. Результаты расчета описательных статистик по данным о длительности авиарейсов

Иллюстративный набор данных состоит из 414 наблюдений. Однородными их считать нельзя – коэффициент вариации составляет более 44%. Значения медианы и выборочного среднего отличаются друг от друга, а значения коэффициентов асимметрии и эксцесса отличаются от нуля. Значит, похоже, что эмпирическое распределение отклоняется от нормального.

Рассмотрим подробнее интерпретацию характеристик асимметрии As и эксцесса Е. Их основной смысл заключается в оценке разницы между эмпирическим распределением и нормальным распределением, что проиллюстрировано на рисунках 2.2 и 2.3. В нашем случае Е > 0,то есть распределение вытянуто вверх, и As > 0, то есть смещение в правую сторону.

Остановимся на порядке расчета коэффициентов асимметрии и эксцесса. Это, соответственно, третий и четвертый центральные моменты распределения, тогда как второй центральный момент – это дисперсия, а начальный – математическое ожидание. Из формулы четвертого центрального момента часто

Рис. 2.2. Иллюстрация левосторонней (As < 0) и правосторонней (As > 0) асимметрии относительно кривой плотности нормального распределения

Рис. 2.3. Иллюстрация плосковершинности (Е < 0) и вытянутости (Е > 0) относительно кривой плотности нормального распределения

24

Рис. 2.5. Гистограмма длительностей авиарейсов по иллюстративному примеру

Рис. 2.6. Этап расчета функции плотности нормального распределения

Теперь добавим полученных ряд данных «F(X)» на график. Для этого нужно в главном меню зайти в раздел «Работа с диаграммами» → «Конструктор диаграмм» → «Выбрать данные», и далее «Добавить» ряд со значениями функции. Затем необходимо выбрать: «Работа с диаграммами» → «Конструктор диаграмм» → «Изменить тип диаграммы» и в открывшемся окне задать настройки, указанные на рисунке 2.7.

Итоговый результат – на рисунке 2.8.

По графику можно видеть, что предположения о вытянутости эмпирического распределения вверх и о его сдвиге вправо, сделанные на основе анализа описательных статистик, подтверждаются. Также на графике можно видеть аномально высокие значения в крайне правом интервале.

Тем не менее, на основе такого анализа нельзя сделать окончательный вывод о соответствии исследуемой величины нормальному закону распределения. Чтобы решить, является ли распределение нормальным, нам необходимо провести проверку статистических гипотез.

Тестирование данных на нормальность является достаточно частым этапом первичного анализа данных, так как большое количество статистических методов использует тот факт, что данные распределены нормально.

26

Рис. 2.8. Визуализация эмпирического распределения

27

Следовательно, данные не соответствуют нормальному закону распределения.

Проверим предположение, что в данном случае близость к нормальному распределению зависит от выбросов, замеченных на гистограмме. Аномальные значения (выбросы) – это единичные значения, сильно отличающиеся от основной выборки. Обрабатывать выбросы необходимо, так как они влияют на выводы, получаемые на основе анализа выборки. Простейшие способы основаны на межквартильном расстоянии — например, всё, что не попадает в определенный диапазон, считается аномальным.

Известно, что при распределении, близком к нормальному, в интервал «трех сигм» 3σ попадает 99,8% процентов всей выборки, а остальные можно считать аномальными.

Обычно для определения выбросов используется «двухсигменный» 2σ интервал: в него попадает 95% процентов от всей выборки (Рисунок 2.9). Суть метода состоит в том, что любые значения ряда, отличающиеся от среднего больше, чем на два стандартных отклонения, являются потенциальными аномалиями.

Тогда алгоритм состоит в следующих шагах:

1)рассчитаем среднее и стандартное отклонение,

2)рассчитаем интервал сравнения: ̅ 2 ∙ ; ̅ 2 ∙ ;

3)проверим, входит ли каждое наблюдение в этот интервал; если не входит, его можно считать аномальным:

4)сформируем новую выборку, убрав из исходной обнаруженные аномальные значения.

Применим этот алгоритм и пометим каждое наблюдение «1», если оно окажется аномальным, и «0» в обратном случае. Интервал равен [19,96; 326,74]. Иллюстрация расчетов приведена на рисунке 2.10. В результате получаем, что 20 наблюдений из 414 являются аномальными значениями.

29

Рис. 2.9. Иллюстрация интервалов на функции плотности нормального распределения

Рис. 2.10. Этап определения аномальных значений

Сформируем новую выборку, исключив из исходной аномальные значения1, и проверим ее на нормальность. Результаты расчета описательных статистик и гистограмма представлены на рисунке 2.11.

Визуально понятно, что сейчас гистограмма более точно соответствует кривой плотности нормального распределения. Видно, что авиакомпания осуществляет только малую часть рейсов на ближние или дальние дистанции, большая часть в среднем составляет от 2 до 5 часов.

Коэффициент вариации снизился до 36%, а значения коэффициентов асимметрии и эксцесса стали значительно ближе к 0.

Повторяем все предыдущие вычисления, но с поправкой на новую выборку. Проверяем условия (2.4а):

1 Для этого можно включить «Фильтр» на заголовках столбцов и выбрать только строки, в которых

содержится «0» в столбце «Аномалии?» и далее скопировать полученную выборку на новый лист.

30