Дифференциальная функция нормального закона fn рассчитывается по центрам интервалов (х) функцией fn = НОРМРАСП(х;Хср;Sx;0), интегральная функция Fn рассчитывается по правым границам интервалов (Хпр) той же функцией Fn = НОРМРАСП(Хпp;Хср;Sx;1) – разница только в значении последнего параметра функции. Ссылки на Хср и Sx должны быть абсолютными, чтобы они не изменялись при копировании формул.
Знание интегральной функции теоретического распределения позволяет рассчитать ожидаемые частоты mn = F∙n, где F – разность текущего и предыдущего значений интегральной функции Fn (ссылка на n должна быть абсолютной). Для того чтобы сумма ожидаемых частот точно равнялась общему количеству наблюдений mn = n, крайние дополнительные интервалы № 0 и 13 условно расширяем; ожидаемую частоту в начальном интервале № 0 вычисляем по формуле (F0 – 0)·n 1,7, а в последнем (дополнительном) интервале № 13 –
по формуле (1 – F12)·n 0,0.
В недавнем прошлом, когда все расчеты выполнялись вручную, была необходимость вычислять ожидаемые частоты по значениям дифференциальной функции (поскольку таблицы интегральных функций некоторых законов распределения были только в специальных справочниках). В учебных целях в последней колонке вышеприведенной таблицы найдены ожидаемые частоты по приближенной формуле mnf fn∙h∙n. На удивление, получилось неплохое соответствие с расчетами по интегральной функции.
Критерий согласия Пирсона
Проверяем нормальность распределения по критерию Пирсона 2 , сравнивая два ряда частот: наблюдаемых (m) и ожидаемых по теоретическому закону (mn). Последовательность расчетов показана на рис. Л4.2.
Малонасыщенные интер-
|
№ |
m |
mn |
Хи2 |
Скоррект. |
валы надо укрупнить так, чтобы |
|
0 – 2 |
9 |
9,8 |
0,06 |
0,07 |
|
в каждый укрупненный интер- |
|
3 |
10 |
8,8 |
0,17 |
0,20 |
|
вал |
попало |
не |
менее |
5-ти |
|
4 |
15 |
11,8 |
0,85 |
1,00 |
|
|
|
|
|
|
|
|
5 |
14 |
13,2 |
0,05 |
0,06 |
наблюдений (m, mn |
5). |
|
|
6 |
10 |
12,2 |
0,39 |
0,47 |
|
Пришлось укрупнить (объе- |
|
7 |
9 |
9,3 |
0,01 |
0,01 |
динить) |
крайние |
интервалы |
|
8 – 13 |
9 |
10,9 |
0,34 |
0,39 |
(0, 1, 2) и (8, 9, 10, 11, 12, 13). |
|
Суммы |
76 |
76,0 |
1,87 |
2,20 |
В |
столбце |
Хи2 |
подсчитаны |
|
Рис. Л4.2. Расчеты по критерию Пирсона |
стандартные |
члены формулы |
|
|
|
|
|
|
|
|
|
|
|
|
Пирсона |
(m – mn)2 / mn, а |
в со- |
седнем столбце (Скоррект) – с поправкой Хи2 / (1 – mn / n). Стандартное значение статистики Пирсона оказалось равно 2 =1,87; скорректированное значение – немного больше: 2 =2,20. Число укрупненных интервалов (число сравниваемых пар частот) равно 7; для двухпараметрического нормального закона вычисляем ЧСС = 7 – 3 = 4. Функцией ХИ2ОБР (Вероятность; ЧСС) находим критические значения: ХИ2ОБР (0,99;4) = 0,30; ХИ2ОБР (0,95;4) = 0,71; ХИ2ОБР
(0,05;4) = 9,49; ХИ2ОБР (0,01;4) = 13,28.
Оба вычисленных значения 2 попали в область принятия нулевой гипотезы 0,71 < 2 < 9,49. Гипотеза о нормальности распределения не может быть отвергнута.
Критерий согласия Колмогорова – Смирнова
Находим максимальную разницу (по абсолютной величине) между кумулятой (F) и интегральной функцией теоретического закона (Fn). Наибольшее расхождение оказалось для интервала № 5: d = |0,632 – 0,574| = 0,058. Вычисляем статистику Колмогорова – Смирнова KS = d·КОРЕНЬ(n) = 0,51, которую сравниваем с критическими значениями KS0,05 = 1,36 и KS0,01 = 1,63. Так как вычисленное значение KS оказалось меньше KS0,05 , принимается нуль-гипотеза об отсутствии значимых различий между рядами частот. Как уже неоднократно указывалось, простой критерий Колмогорова – Смирнова слишком «либеральный»; его выводы заслуживают внимания, когда критерий отвергает нульгипотезу.
Равномерный закон распределения
Параметрами равномерного закона распределения являются границы единственной ступеньки a и b; высота ступеньки равна fp = 1 / (b – a); характеристики закона выражаются через параметры:
M(x) = (a + b) / 2, Dx = (b - a)2 / 12.
Для определения наилучших значений параметров теоретического закона приравниваем его характеристики к соответствующим эмпирическим оценкам
Хср = 1,216 и Sx = 0,455.
Получаем систему уравнений для определения параметров:
a = Xcp – Sx·КОРЕНЬ(3) = 0,428;
b = Xcp + Sx·КОРЕНЬ(3) = 2,004.
Высота единственной ступеньки равна fp = 1 / (b – a) = 0,634.
222
|
|
x |
|
fp |
Fp |
Графики функций распределения равно- |
|
s0 = |
0,1 |
|
0 |
0 |
мерного закона состоят из последователь- |
|
a = |
0,428 |
|
0 |
0 |
ных отрезков прямых. На |
рис. Л4.3 со- |
|
a = |
0,428 |
fp = |
0,634 |
0 |
ставлена таблица координат начала и кон- |
|
b = |
2,004 |
fp = |
0,634 |
1 |
|
ца каждого отрезка, после чего строятся |
|
b= |
2,004 |
|
0 |
1 |
|
|
графики распределения. |
Оба графика |
|
sk = |
2,9 |
|
0 |
1 |
|
|
имеют один тип («точечный», то есть ку- |
|
Рис. Л4.3. Равномерный закон |
|
|
|
|
|
|
|
|
|
сочно-линейный). |
|
Графики функций распределения
Построим на одной диаграмме графики всех дифференциальных функций, а на другой – всех интегральных функций (рис. Л4.4).
Если все сделано без ошибок, графики интегральных функций должны переплетаться (при ошибках получаются явные сдвиги между графиками разных распределений – эмпирического, нормального, равномерного).
На диаграмме дифференциальных функций вместо гистограммы построен полигон – ломаная, которая соединяет середины ступенек гистограммы (именно для полного построения полигона при группировке данных были добавлены крайние пустые интервалы № 0 и 13).
Рис. Л4.4. Стандартные графики функций распределения
Полигон эквивалентным образом представляет гистограмму, его площадь равна единице. График полигона имеет тот же тип, что и остальные графики, поэтому при построении диаграммы с графиками дифференциальных функций никаких затруднений не возникает.
Однако традиционно пытаются совместить на одной диаграмме графики разных типов, что в принципе сделать можно и не одним способом. На рис. Л4.5 приведены два нестандартных графика дифференциальных функций распределения, построенных разными способами, которые будут описаны в следующей лабораторной работе.
Рис. Л4.5. Нестандартные комбинированные графики
Интервальная оценка математического ожидания
При заданном уровне доверия Р = 1 – границы доверительного интервала, который с вероятностью Р накрывает неизвестное генеральное среднее (матема-
|
тическое ожидание), вычисляются по формуле Хср |
НСР, где НСР – наименьшая |
|
существенная разность, которая равна НСР = t1–P·Sx / КОРЕНЬ(n); |
табличное зна- |
|
чение |
статистики |
Стьюдента |
t1-P |
вычисляется |
|
функцией |
|
t1-P = СТЬЮДРАСПОБР(1 – P; n – 1). |
|
|
|
|
|
|
|
|
|
|
На. рис. Л4.6 изображен блок рас- |
|
Доверительные границы на М(х) |
|
|
|
четов доверительных границ на неиз- |
|
Хср–НСР |
< M(x) < |
Хср+НСР |
|
|
|
вестное математическое ожидание, где |
|
|
P =0,95 |
|
|
|
|
для принятого уровня доверия Р = 0,95 |
|
|
t1-P =1,99 |
|
|
|
|
( = 0,05) |
получен |
95-процентный |
|
|
НСР =0,103 |
|
|
|
|
|
|
|
|
|
|
1,113 < M(x) < 1,319 |
|
интервал 1,113 < M(x) < 1,319 с относи- |
|
Погрешность =8,49 % |
|
тельной |
погрешностью |
НСР / Хср = |
|
|
|
|
|
= 0,085 = 8,5 % . |
Если задать меньший |
|
Рис. Л4.6. Расчет интервальной |
уровень |
доверия (гарантию) Р = 0,9, |
|
оценки центра совокупости |
|
доверительная |
погрешность |
снизится |
|
|
|
|
|
до 7,1 % . Если задать больший уровень доверия Р = 0,99, доверительная погрешность увеличится до 11,3 % .
Определение потребного объема выборки
Когда заданы и уровень доверия (Р), и предельная относительная погрешность (q), требуется определить объем выборки (n), при котором результаты будут получены с заданной точностью и надежностью. Потребный объем выборки зависит от коэффициента вариации совокупности. Предполагаем, что он близок к выборочному коэффициенту вариации Vx = 0,37 или немного больше. Объем выборки n находим как решение неравенства n > (t1–P·Vx / q)2 , где табличное значение статистики Стьюдента также зависит от n. Поэтому данное неравенство решаем последовательными приближениями (итерациями).
|
|
|
|
|
На рис. Л4.7 изображен блок |
|
Потребный объем выборки |
|
расчетов потребного объема вы- |
|
P = |
95 % |
q = |
5 % |
|
борки, где для заданного уровня |
|
Vx = |
40 % |
t1–Р = |
1,97 |
|
доверия Р = 0,95 (95 %), предель- |
|
t1–Р = СТЬЮДРАСПОБР(1–Р; n–1) |
ной погрешности q = 0,05 |
|
Задаем: |
n = |
250 |
|
(5 %) и коэффициента вариации |
|
|
|
2 |
248,3 |
Vx = 0,40 (40 %), вычислен потреб- |
|
Получаем: n>(t1–Р * Vx / q) = |
|
|
Рис. Л4.7. Блок расчета потребного |
ный объем выборки n = 250. |
|
|
|
|
объема выборки |
|
Если снизить уровень дове- |
рия до Р=0,9 (90 %), потребный объем выборки снизится до n = 175.
Интервальная оценка на генеральную дисперсию
Интервальная оценка Пирсона на генеральную дисперсию 2 выведена в предположении нормальности распределения Х:
Здесь SSX = n∙Dx = n∙(Sx)2 ;
P – уровень доверия;
=(1 – P) / 2;
=ХИ2ОБР( ; n – 1);
= ХИ2ОБР(1 – ; n – 1).
|
Доверительные границы на дисперсию |
На рис. Л4.8 изображен |
|
P =95 % |
SSX =15,7411 |
|
блок |
расчетов |
интервальных |
|
=(1–P)/2=2,5 % |
1 – |
=97,5 % |
|
границ на дисперсию совокуп- |
|
SSX / 2 < |
2 |
< SSX / 2 |
– |
ности, |
где для Р = 0,95 (95 %) |
|
|
2 |
=100,839 |
|
получены границы: |
|
|
2 |
=52,942 |
|
0,395 < |
< 0,545. |
|
|
– |
|
|
0,1561 < |
2 |
< 0,2973 |
|
Для меньшего уровня |
|
0,3951 < |
2 |
< 0,5453 |
|
Р = 0,90 (90 |
%) получены гра- |
|
Рис. Л4.8. Блок расчета интервальной |
|
ницы: 0,404 < |
< 0,530. |
|
оценки дисперсии |
|
|
|
|
|
|
|
Нормальная вероятностная кривая
Для графической проверки соответствия предполагаемого теоретического закона и подбора подходящего функционального преобразования случайной величины с целью приблизить ее распределение к теоретическому предлагается построить следующий график (этот график называется нормальной вероятностной кривой, если проверяется согласие распределения с нормальным законом).
Рассматриваются ординаты кумуляты (эмпирической интегральной функции), и по этим значениям находят квантили предполагаемого теоретического распределения (то есть по теоретической интегральной функции находят значения аргумента, для которых теоретическая интегральная функция равна соответствующим значениям кумуляты).
Для нормального закона в Excel имеется две функции: НОРМСТОБР(Вероятность) и НОРМОБР(Вероятность; Среднее; Станд_Откл).
С помощью одной из этих функций (например, НОРМСТОБР) для всех значений кумуляты, кроме крайних значений 0 и 1, вычисляются значения t = НОРМСТОБР(F) и строится график (Хпр – t). В случае соответствия распределений все точки нормальной вероятностной кривой должны группироваться вокруг прямой t = (Хпр – Хср) / Sx.
На рис. Л4.9а по данным рассматриваемого примера построен график нормальной вероятностной кривой, откуда видно, что точки (Хпр, t) систематически уклоняются от указанной прямой, что говорит о несоответствии наблюдаемого распределения нормальному закону.
На сравнительных графиках полигона (гистограммы) и кривой нормального закона (см. рис. Л4.4 и Л4.5) также визуально видны явные различия между этими распределениями.
Однако критерий согласия Пирсона не выявил расхождений между наблюдаемыми и теоретическими частотами значимыми, поэтому был сделан вывод о допустимости использования в дальнейшем нормального закона как аппроксимации действительного распределения.
а) б)
Рис. Л4.9. Нормальная вероятностная кривая для х и lnx
Вид кривой, вокруг которой группируются точки (Хпр, t), подсказывает возможное функциональное преобразование случайной величины.
В данном примере эта кривая похожа на график логарифма, поэтому все значения Хпр были прологарифмированы и построен новый график (см. рис. Л4.9б) в полулогарифмическом масштабе (lnХпр, t). После этого преобразования точки нормальной вероятностной кривой стали тесно группироваться вокруг некоторой прямой, что свидетельствует в пользу предположения о логнормальном законе распределения.
Лабораторная работа 5 Нестандартная графика
Определение квартилей и выявление выбросов
|
|
|
|
|
|
|
|
|
|
|
На графике кумуляты пока- |
|
|
|
зан графический способ опреде- |
|
|
|
ления квартилей (рис. Л5.1): на |
|
|
|
оси |
ординат |
задаем |
значения |
|
|
|
F = 0,25; 0,5; 0,75 и на оси абсцисс |
|
|
|
находим соответствующие значе- |
|
|
|
ния квартилей X0,75 (нижняя квар- |
|
|
|
тиль), Х0,5 = Ме (средняя квартиль, |
|
|
|
или медиана), Х0,25 (верхняя квар- |
|
|
|
тиль). Квартили делят весь размах |
|
|
|
варьирования на четыре равнона- |
|
Рис. Л5.1. Графический способ |
сыщенных |
интервала по |
25 % |
|
|
определения квартилей |
наблюдений в каждом. |
|
|
|
|
|
|
|
|
|
По |
определению |
квантиль |
Х |
является |
решением уравнения |
F(Х ) = 1 – . Для данного примера нижняя квартиль находится сразу, так как |
для |
Хпр = 0,9 |
значение |
кумуляты оказалось точно |
равно F = 0,25; отсюда |
X0,75 = 0,9. Для вычисления остальных квартилей потребуется линейное интер- |
полирование. |
Пусть |
F1 – ближайшее |
меньшее, а F2 – ближайшее большее |
заданного значения |
F = 1 – |
; Х1 и Х2 |
– правые границы интервалов, соответ- |
ствующие |
F1 |
и F2 . |
Для заданного |
F вычисляем |
квантиль Х1–F = X1 + (X2 – |
X1) / (F2 – –F1)·(F – F1). Так, для вычисления медианы из таблицы значений кумуляты (см. рис. Л3.4) выписываем: при Х1 = 1,1 значение F1 = 0,447 < 0,5, a для
следующего Х2 = 1,3 F2 = 0,632 > |
0,5. |
|
Отсюда Х0,5 = 1,1 + (1,3 |
– 1,1) / (0,632 |
– 0,447)·(0,5 – 0,447) = 1,157 – это и |
есть медиана. |
По этой |
же |
формуле |
вычисляем верхнюю квартиль: |
Х0,25 = 1,3 + (1,5 |
– 1,3) / (0,763 |
– 0,632)·(0,75 |
– 0,632) = 1,480. |
Полезно создать блок линейного интерполирования (рис. Л5.2) и продублировать его 3 раза для вычисления нижней, средней и верхней квартилей.
F1 = |
0,250 |
X1 = |
0,9 |
|
F1 = |
0,447 |
X1 = |
1,1 |
|
F1 = |
0,632 |
X1 = |
1,3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F2 = |
0,250 |
X2 = |
0,9 |
|
F2 = |
0,632 |
X2 = |
1,3 |
|
F2 = |
0,763 |
X2 = |
1,5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F= |
0,25 |
X= |
0,900 |
|
F= |
0,50 |
X= |
1,157 |
|
F= |
0,75 |
X= |
1,480 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. Л5.2. Вычисление квартилей |
|
|
В Excel имеется функция КВАРТИЛЬ(Массив; Часть), которая для данно- |
го |
примера дает близкие |
значения |
квартилей: |
Х0,75 = 0,908; Х0,5 = 1,13; |
Х0,25 = 1,50. |
|
|
|
|
|
|
Вычисляем |
межквартильный размах = Х0,25 – Х0,75 = 1,48 – 0,90 = 0,58. |
Все |
данные, |
выходящие |
за |
пределы |
интервала |
(Х0,75 – 1,5· ; |
Х0,25 + 1,5· ) = (0,90 – 0,87; 1,48 + 0,87) = (0,03; 2,35), считаются выбросами. Так как Xmin = 0,39 > 0,03, выбросов влево нет. Но Xmax = 2,55 > 2,35 можно считать выбросом вправо. Функцией НАИБОЛЬШИЙ (Массив; K) находим остальные выбросы вправо:
НАИБОЛЬШИЙ(Х; 2) = 2,5 > 2,35; НАИБОЛЬШИЙ(Х; 3) = 2,45 > 2,35;
Итак, три наибольших значения похожи на выбросы вправо. Если их удалить, все автоматически пересчитывается и распределение приближается к нормальному. Интересно, что правило «3-х сигм» не обнаружило ни одного выброса. По всей видимости, выбросы сдвинули положение
|
Рис. Л5.3. Гистограмма после удаления трех |
но НАИБОЛЬШИЙ(Х; 4) = 2,2 – уже меньше 2,35 (рис. Л5.3). |
среднего Хср. |
выбросов |
|
Построение блочной диаграммы Тьюкки
Английский статистик Джон Тьюкки предложил вместо гистограмм строить диаграммы «ящик и усы» (рис. Л5.4).
Границами «ящика» являются нижняя и верхняя квартили, они ограничивают диапазон «лучшей половины» наблюдений.
Рис. Л5.4. Блочная диаграмма Тьюкки
«Усы» простираются до Хmin и до Xmax , но не более полутора межквартильного размаха от границ «ящика». Данные, которые выходят за пределы «усов», отмечаются отдельными точками как выбросы. Крестиком обозначено
Хср.
Эту диаграмму можно построить следующим образом. Определяем квартили, предельную длину «усов» вправо и влево, с помощью функций НАИБОЛЬШИЙ и НАИМЕНЬШИЙ находим все выбросы. Далее составляем таблицу последовательности узлов блочной диаграммы так, чтобы ее можно было нарисовать отрезками прямых (для наглядности на рис. Л5.5 немного изменены абсциссы некоторых точек):
Рис. Л5.5. Способ построения блочной диаграммы Тьюкки
Первый способ построения комбинированных диаграмм
В Excel удобно совмещать в одной диаграмме графики одного типа, например кусочно-линейные (Точечные). При этом столбчатый график гистограммы следует заменить на эквивалентный кусочно-линейный график полигона. Однако иногда, по традиции, желают в одной диаграмме совместить графики разных типов – привычную гистограмму с наложенными на нее графиками теоретических законов распределения. Сделать это возможно, хотя работа нестандартная и требует определенных трудозатрат. Ниже на рис. Л5.6 приведена диаграмма с графиками дифференциальных функций распределения и полигоном вместо гистограммы. Мы желаем преобразовать полигон в гистограмму,
230