3.2. Эксцесс

Приведенные выше статистики описывают три свойства или особенности выборок: центральную тенденцию, изменчивость и симметрию.

Четвертое свойство завершает набор особенностей распределений, представляющих интерес при анализе данных. Иногда важно получить представление о том, являются ли полигон частот или гистограмма островершинными или плоскими.

Эксцесс — греческое слово, обозначающее свойство «остроконечности» кривой. (Карл Пирсон формализовал понятие «эксцесс» в статистике и предложил метод его оценки.)

Н а рисунке изображены 3 кривые, отличающиеся по «остроконечности», или эксцессу. Первая (А) является совсем острой: подобная кривая называется островершинной. Вторая (Б) — сравнительно плоская: такие кривые называются плосковершинными. «Островершинность», или степень эксцесса, третьей кривой (В) представляет собой норму, по отношению к которой измеряется эксцесс других кривых. Третья кривая на рисунке – кривая нормального распределения, изученного ранее в курсе теории вероятностей. Принято говорить, что она является средневершинной.

Однако сначала необходимо подчеркнуть, что понятие «эксцесс» применимо лишь к унимодальным распределениям и относится к крутизне кривой в окрестности единственной моды. (Если распределение имеет две моды, то принято говорить об эксцессе кривой в окрестности каждой моды.)

Обычная мера эксцесса (Ex) определяется следующей формулой:

Тема 2. Критерии согласия

Для практического применения методов теории вероятностей и математической статистики чрезвычайно важным является знание закона распределения вероятностей изучаемой величины. Это знание позволяет также решать многие практические задачи, связанные с прогнозированием.

Попытка применить методы анализа результатов наблюдений, разработанные для конкретных законов распределения вероятностей, в условиях, когда реальное распределение отличается от гипотетического, является самой распространенной на практике ошибкой, приводящей к неверным выводам.

Именно поэтому любая обработка результатов наблюдений должна неизменно начинаться с ответа на главный вопрос: каково распределение вероятностей обрабатываемого ряда случайных величин? На практике эта проблема обычно формулируется следующим образом: выдвигается гипотеза – «наблюдаемое распределение описывается некоторым конкретным законом (нормальным, показательным и т.п.)». Задача первичного исследования – принять ил отклонить выдвинутую гипотезу.

В классификации статистических критериев проверки гипотез о законе распределения принята определенная терминология. Такие критерии подразделяются на 2 класса:

• Общие критерии согласия – применимы к самой общей формулировке гипотезы, как гипотезы о согласии наблюдаемых результатов с любым априори предполагаемым распределением вероятностей;

• Специальные критерии согласия – предполагают специальные нулевые гипотезы, формулирующие согласие с определенной формой распределения вероятностей – нормальной, экспоненциальной и т.д.

Причем, при формулировке специальных требований общие критерии могут быть трансформированы в специальные критерии.

В экспериментальных исследованиях закон распределения часто заранее неизвестен. Следовательно, возникает задача определить его на основе экспериментальных данных. Эта задача решается в два этапа:

• На первом этапе делают предположение о виде неизвестного закона, то есть о виде теоретической функции распределения (из теории вероятностей известно, что функция распределения вероятностей полностью описывает случайную величину). Это предположение делается на основе эмпирической функции распределения , на основе гистограммы или из некоторых теоретических соображений.

• На втором этапе выдвигают и проверяют гипотезу , при конкурирующей гипотезе , где - функция распределения вероятностей изучаемой случайной величины (оценкой этой функции является эмпирическая функция распределения ), - гипотетическая (предполагаемая) функция распределения вероятностей.

Все известные общие критерии можно разбить на три основные группы:

• критерии, основанные на изучении разности между теоретической плотностью распределения и эмпирической гистограммой;

• критерии, основанные на расстоянии между эмпирической и теоретической функцией распределения вероятностей;

• корреляционно-регрессионные критерии, основанные на изучении корреляционных и регрессионных связей между эмпирическими и теоретическими порядковыми статистиками.

К первой группе относится - критерий Пирсона, ко второй - -критерий Колмогорова (во многих пособиях его называют критерием Колмогорова – Смирнова).

Критерий согласия гибок, легко используется, но имеет элемент произвола в выборе границ группирования экспериментальных данных. Критерий Колмогорова свободен от этих недостатков, имеет хорошую мощность по сравнению с другими, но для выборок среднего объема часто непригоден.

Кроме того, следует избегать ошибки, совершаемой большинством исследователей. Общие критерии согласия предполагают знание теоретического закона распределения с точностью до параметров. В реальных ситуациях это бывает редко. Тогда исследователь разрешает проблему простейшим способом – проводит оценку параметров по самой выборке. Этого делать нельзя, так как достоверность полученных таким образом статистических выводов может быть сильно искажена. Проблему можно решить с помощью модификаций критериев или введения специальных поправок. Например, при проверке нормальности распределения с помощью критерия Колмогорова в случае сложной гипотезы (когда параметры распределения оцениваются по выборке), вводится поправка Лиллиефорса.

Нормальный закон распределения вероятностей получил наибольшее распространение в практических задачах обработки экспериментальных данных. Многие задачи математической статистики исходят из предположения о нормальности распределения вероятностей изучаемых величин. Широкое распространение этого распределения вызвало необходимость разработки специальных критериев согласия эмпирических распределений с нормальным.

К группе специальных критериев относятся критерий асимметрии и эксцесса и критерий Шапиро-Уилка.

Критерий асимметрии и эксцесса.

Если распределение является нормальным, то коэффициенты асимметрии и эксцесса равны нулю. В действительности такое равенство почти не наблюдается.

Выборочные коэффициенты асимметрии и эксцесса являются случайными величинами, которые сопровождаются ошибками.

Гипотезы выдвигаются следующим образом:

Для проверки гипотез по выборке вычисляются показатели асимметрии и эксцесса. Они являются случайными величинами, которые сопровождаются ошибками репрезентативности.

; .

В качестве критерия нормальности распределения служат t_As и t_Ex , являющиеся отношениями выборочных коэффициентов As и Ех к их ошибкам репрезентативности, которые определяют обычно по следующим приближенным формулам:

;    .

В качестве грубой оценки используется следующее: если оба показателя менее 3, гипотеза о нормальном распределении не отвергается. Если хотя бы один из показателей больше или равен 3, гипотеза отвергается, принимается конкурирующая.

Для более точной оценки по таблице критических точек распределения Стьюдента находятся критические значения, с которыми сравниваются t_As и t_Ex. Если данные показатели не превышают критические значения, то нет оснований отвергать нулевую гипотезу. В этом случае распределение изучаемой величины согласуется с нормальным законом. Если один из показателей превышает критическое значение, то нулевая гипотеза отвергается, распределение изучаемой величины не согласуется с нормальным законом.

Критерий Шапиро – Уилка.

Критерий Шапиро – Уилка основан на отношении оптимальной линейной несмещенной оценки дисперсии к ее обычной оценке. Статистика критерия имеет вид:

где , .

Коэффициенты берутся в таблице. Критические значения также находятся в таблице, завися от уровня значимости и объема выборки.

Если , то нулевая гипотеза нормальности распределения отклоняется при уровне значимости .

Изучение мощности критерия Шапиро – Уилка показало, что это один из наиболее эффективных критериев для проверки нормальности распределения случайных величин.