Обработка эксперим данных Роганов

Существуют различные подходы к построению универсальных семейств распределений. Рассмотрим два наиболее типичных. Первый подход является дальнейшим развитием метода моментов, а второй основан на замене исходной выборки другой, распределение которой является стандартным.

Аппроксимация на основе семейства распределений К. Пирсона

В рамках первого подхода одно из универсальных семейств распределений предложил К. Пирсон. Моменты распределения случайной величины, даже если все они существуют, не характеризуют полностью этого распределения, но они определяют его однозначно при некоторых условиях, которые выполняются почти для всех используемых на практике распределений. Иначе говоря, при решении задач обработки ЭД знание моментов эквивалентно знанию функции распределения и совпадение значений первых r моментов двух распределений говорит о приблизительной одинаковости распределений. Не зная точно вид функции распределения, но, найдя r первых моментов, можно подобрать другое распределение с теми же первыми моментами. Практически такая аппроксимация оказывается хорошей при совпадении первых трех – четырех моментов.

Анализ характерных черт функций плотности унимодальных распределений показывает, что эти распределения начинаются с нуля, поднимаются до максимума, а затем уменьшаются снова до нуля. Это означает, что для описания подобных функций плотности распределений f(x) необходимо выбрать такие уравнения, для которых df(x)/dx=0 при следующих условиях: f(x)=0, тогда по крайней мере на одном краю распределения будет соприкосновение с осью абсцисс высшего порядка; x=a, где величина a соответствует моде распределения. Этим условиям для центрированной переменной x удовлетворяет дифференциальное уравнение df / dx = (x-a)f /(b0 + b1x + b2x2), решение которого приводит к семейству распределений Пирсона. Действительно, в этом уравнении df(x)/dx равно нулю, если f(x)=0 или x=a. Семейство распределений Пирсона включает не только унимодальные, но и распределения, имеющие U-образную форму (две моды).

131

Уравнение содержит четыре неизвестных параметра. Их вычисление основано на методе моментов – четыре выборочных момента приравниваются к соответствующим моментам теоретического распределения, являющимся функциями от неизвестных параметров. Решая полученную систему уравнений относительно неизвестных параметров, получают искомые оценки параметров в виде функций выборочных моментов

A =10μ2μ4 −18μ23 −12μ32

Выражения для плотности f(x) выводятся путем интегрирования дифференциального уравнения. Интегрирование позволяет получить 11 типов функций плотности распределения, три из которых являются основными, а остальные – их частными случаями, в том числе и такие общеизвестные, как нормальное, экспоненциальное, гамма-распределение. Распределение f(x) сосредоточено:

на конечном интервале, если корни уравнения B0 + B1x + B2x2 = 0 представляют собой действительные числа различных знаков;

на положительной полупрямой, если корни – действительные числа одного знака и a>0, или на отрицательной полупрямой при a<0;

на всей оси абсцисс, если уравнение не имеет действительных корней. Принимая моду за начало отсчета исходной центрированной

величины, т.е., полагая t = х – a, исходное уравнение представим в виде

dtd (ln f (t))= t(B0 + B1t + B2t2 ).

Первый основной тип распределения получается в случае, когда корни уравнения B0 + B1t + B2t2 = 0 являются действительными числами с различными знаками. Обозначим корни уравнения через –c1 и c2 соответственно, где величины c1 и c2 – положительные числа. Тогда по известной теореме

B0 + B1t + B2t2 = B2(t +c1)(t - c2).

132

Исходное уравнение преобразуем к виду

Обозначим γ= c1/(B2(c1+ c2)) и η= c2/(B2(c1+ c2)). Тогда можно записать

d(ln f1 (t))= d[ln(t +c1 )γ +ln(c2 −t)η ].

Решение дифференциального уравнения с точностью до некоторого коэффициента k1 можно представить в виде f1(t) = k1(c1 + t)γ(c2 - t)η. Размах данного распределения сосредоточен на интервале (–c1, c2). Проведем замену переменной t = (c1+ c2)y -c1 , учитывая, что dt = (c1+c2)dy, включим постоянный сомножитель (c1+c2)γ+η+1 в состав коэффициента k1. В итоге получим f1(y)=k1yγ (1–y)η , где y изменяется в пределах от 0 до 1. Интегрируя

соответствует бета-функции B(γ+1, η+1), которая определяется через гамма-

функцию B(γ+1, η+1) = Г(γ+1)Г(η+1)/Г(γ+η+2). Итак, k1= 1/B(γ+1, η+1).

где 0≤y≤1.

Переменная у определяется через исходный (не центрированный и несмещенный) аргумент x в соответствии с ранее введенными подстановками: y = (c1 + x - μ1 - a)/(c1 + c2).

Функция плотности распределения первого типа соответствует бетараспределению, рис. 8.5. Функция распределения

При наличии действительных корней одного знака получается распределение Пирсона шестого типа. Пусть корни –c1 и –c2 меньше нуля, т. е. B2, c1 и c2 положительны (с1<с2), тогда можно записать

133

где –с1< t < ∞ . Обозначим α=-c1/(B2(c1-c2) и β=c2/(B2(c1-c2). После преобразований получим d(ln f6 (t))= d[ln[(c1 +t)α (c2 +t)β ]] или f6(t)=k6(c1+t)α (c2 +

t)β .

Здесь, как и для распределения первого типа, t = x – μ 1 – a. Используем подстановку (c1-c2)/(c2+t) , тогда dt = -(c2 - c1)z-2dz.

Рис. 8. 5. Распределение Пирсона первого типа (бета-распределение)

Функция плотности распределения шестого типа примет вид f6(t)=k6(1– z)α z – (α +β +2). Нормировочный коэффициент k6 определяется аналогично ранее рассмотренному варианту. Нормирующее условие имеет

134

Для положительных корней уравнения B0 + B1t + B2t2 = 0 диапазон изменения аргумента –∞ < t <c1, а выражения для плотности и функции распределения получаются такие же, только при выводе используется другая подстановка z=(c2 – c1)/(c2 – t). Таким образом, шестой тип распределения является разновидностью первого типа.

Функции распределения (8.5) и (8.7) представляют собой неполные бета-функции Ву(p, q). Когда оба показателя степени в формулах (8.4) и (8.6) больше нуля, плотность имеет единственную моду и обращается в нуль на краях интервала. Если один из показателей отрицателен, то значение плотности на одном краю интервала стремится к бесконечности и распределение имеет L– или J–образную форму. При двух отрицательных показателях распределения принимают U–образную форму, значения функций плотности стремятся к бесконечности на обоих краях. В указанных случаях применение численного интегрирования для вычисления значений функций распределения невозможно.

Вычисления значений функций распределения первого и шестого типов целесообразно осуществлять разложением интеграла (неполной бета-

сходится абсолютно и равномерно при |w|<1. Для ускорения сходимости ряда неполную бета-функцию вычисляют по различным формулам в зависимости от значения предела интегрирования

В формуле (8.9) для распределения первого типа p = γ + 1 и q = η + 1, а

для распределения шестого типа p = – α – β – 1, q = α + 1.

Если корни уравнения B0 + B1t + B2t2 = 0 комплексные числа, то получается распределение Пирсона четвертого типа с диапазоном изменения переменной по всей оси абсцисс и единственной модой. Путем

135

тождественных преобразований и вводя соответствующие обозначения, исходное дифференциальное уравнение представим в виде

Следовательно, функция плотности четвертого типа

f4 (t)= R{(t +ϕ)2 +δ 2}1/(2B2 ) ×exp{−ϕ /(B2δ )arctg((t +ϕ)/δ )} (8.10)

Коэффициент R находится из нормирующего условия (интеграл от плотности распределения в пределах изменения переменной равен единице). Для вычисления коэффициента приходится проводить численное интегрирование, так как первообразная функция через элементарные функции не представима. Чтобы перейти к конечным пределам при

−π / 2

Последовательность подгонки описания эмпирических данных распределениями Пирсона включает следующие этапы:

вычисление значения оценок первых четырех моментов эмпирического распределения путем обработки ЭД;

136

вычисление параметров В0, В1, В2, а семейства распределений, переход от исходной переменной x к центрированной и смещенной переменной t;

анализ корней квадратного уравнения B0, B1, B2, и определение типа распределения. При этом реальная область значений случайной величины играет второстепенную роль. Например, четвертое распределение Пирсона может служить хорошей аппроксимацией распределения ограниченной случайной величины или наоборот первое распределение – для случайной величины с бесконечными пределами изменения;

вычисление параметров выбранного типа распределения; проверку гипотезы о возможности применения выбранного

распределения для описания ЭД.

Распределения Пирсона вполне удовлетворительно обобщают результаты наблюдений. Но эти оценки не являются наилучшими, так как имеют неминимальные дисперсии, а, следовательно, не являются наилучшими оценками параметров генеральной совокупности.

Области в плоскости квадрата коэффициента асимметрии b12 и коэффициента эксцесса b2, соответствующие различным распределениям семейства Пирсона, показаны на рис. 8.6. Из рисунка видно, что распределения Пирсона охватывают широкую область возможных видов распределений и включают в себя как частные случаи нормальное, экспоненциальное, гамма и другие типовые распределения. Нормальное и экспоненциальное распределения не имеют параметров формы, поэтому на рисунке отображаются точками, гамма-распределение имеет только один параметр формы и ему соответствует линия. Иначе говоря, типовые распределения обладают скромными возможностями по аппроксимации ЭД.

137

распределения Пирсона первого типа. Расчет оценки частоты Fi=n × Fi, вероятности Fi попадания случайной величины в интервал xi – xi–1, взвешенного квадрата отклонения (n i – Fi)2/Fi проводится аналогично примеру 8.1. Значение критерия составляет χ 2 =1,757.

По сравнению с критическим значением хи-квадрат, равным 7,815, аппроксимация с помощью распределения Пирсона дает вполне допустимый результат, хотя в данном случае и уступает по "точности" аппроксимации с помощью ряда Грама – Шарлье (χ 2 = 0,872). Повысить точность аппроксимации можно, если проанализировать плотность аппроксимирующего распределения. Полученная функция плотности имеет небольшой коэффициент эксцесса, поэтому наблюдаются относительно большие отклонения функции распределения от ЭД. Такая ситуация является следствием значительной погрешности в оценке четвертого момента из-за ограниченного объема выборки. Следовательно, для повышения качества аппроксимации необходимо увеличить значение четвертого момента. Увеличим значение четвертого момента до 2,2 (ошибки в 20 – 25% при оценке четвертого момента по выборке малого объема вполне реальны) и пересчитаем все параметры. В результате получится значение χ 2 =0,864, что практически одинаково с аппроксимацией рядом Грама – Шарлье.

Потенциально аппроксимация по Пирсону является более универсальной по сравнению с рядами Грама – Шарлье. Семейство Пирсона охватывают широкий класс законов распределений, а не только близкие к нормальному, как это имеет место при применении рядов.

Аппроксимация на основе семейства распределений Джонсона

Этот универсальный вид аппроксимации основан на таком преобразовании g(x) исходной случайной величины Х (заданной в некотором интервале), которое позволит рассматривать результат преобразования как стандартизованную случайную величину, распределенную по нормальному закону. Данное преобразование допустимо при следующих условиях: функция плотности распределения случайной величины Х является унимодальной; функция g(x) является монотонной на заданном интервале;

139

область значений функции g(x) лежит в диапазоне от –∞ до ∞ . Указанным условиям отвечает система функций, предложенная Джонсоном. Достоинство данного подхода состоит в том, что значения эмпирической функции распределения случайной величины Х вычисляются как значения функции нормального распределения. Преобразование Джонсона в общем случае имеет вид

где γ ,η ,ε ,λ – параметры распределения; u – центрированная и нормированная случайная величина, распределенная по нормальному закону;

τ – некоторая функция; х – случайная величина с произвольной унимодальной плотностью распределения.

В качестве τ предложено использовать три вида функций:

Эта функция соответствует логарифмически нормальному распределению и называется семейством распределений SL Джонсона. Логарифмически нормальное распределение не обладает общностью исходного семейства, так как оно фактически зависит от трех, а не от

записать в виде γ – η lnλ, и величину γ –ηln λ следует рассматривать как единый параметр.

Аналогично можно найти плотность распределения для второго и третьего семейств распределений Джонсона:

140