2.2.3. Интервальная оценка параметров и определение интервалов распределения случайных величин

Интервальная оценка параметра распределения случайной величины определяется тем, что с вероятностью 

abs(P – P_м) ≤,

где P – точное (истинное) значение параметра;

P_м – оценка параметра по выборке;

 – точность (ошибка) оценивания параметра Р.

Наиболее часто принимают  от 0.8 до 0.99.

Доверительный интервал параметра [P_м–, P_м+] – это интервал, в который попадает значение параметра с вероятностью . Например, на этой основе находится требуемый размер выборки случайной величины, который обеспечивает оценку математического ожидания при точности  с вероятностью . Вид связи определяется законом распределения случайной величины.

Вероятность попадания случайной величины в заданный интервал [Х₁, Х₂] определяется приращением интегральной функции распределения на рассматриваемом интервале F(Х₂)–F(Х₁). Исходя из этого, при известной функции распределения можно найти ожидаемое гарантированное минимальное Х_гн (x≥ Х_гн) или максимальное значение Х_гв (x≤ Х_гв) случайной величины с заданной вероятностью  (рисунок 2.15). Первое из них является тем значением, больше которого случайная величина будет с вероятностью , а второе – что случайная величина с вероятностью  меньше этого значения. Гарантированное минимальное значение Х_гн с вероятностью  обеспечивается при F(x)= 1- и максимальное Х_гв при F(x)=. Таким образом, значения Х_гн и Х_гв находятся по выражениям:

Х_гн = F^-1 (1-);

Х_гв = F^-1 ().

Пример. Случайная величина имеет экспоненциальное распределение с функцией .

Требуется найти значения Х_гн и Х_гв, для которых случайная величина х с вероятностью =0.95 соответственно больше Х_гн и меньше Х_гв.

Исходя из того, что F^-1 (α) = -1/ ln(1- α) (см.вывод ранее) и α = 1- = 0.05 получаем

Х_гн = -1/ ln(1- α) = -1/0.01 ln(1-0.05)=-100 (-.0513)=5.13.

Для Х_гв α =  = 0.95 аналогично имеем

Х_гв = -1/ ln(1- α) = -1/0.01 ln(1-0.95)=-100 (-2.996)=299.6.

Для нормального закона распределения значения Х_гн и Х_гв могут быть рассчитаны по формулам

Х_гн = х_м + s U_1- = х_м - s U_ ;

Х_гв = x_м + s U_ ,

где x_м – математическое ожидание случайной величины; s – среднеквадратическое отклонение случайной величины; U_ – односторонняя квантиль нормального закона распределения при вероятности .

1.0

F(x)

0.80

0.60



0.40

0.20

1-

x_гн x_гв x

Рисунок 2.15 – Графическая интрепретация определения Х_гн и Х_гв

2.2.4. Исследование статистических зависимостей между случайными величинами

При решении многих задач, в том числе и оптимизационных, возникает необходимость в нахождении модели связи зависимой переменной от различных факторов (например, расход топлива автомобилем от его полной массы, скорости движения, суммарного дорожного сопротивления, температуры воздуха и других факторов). Такие зависимости называются уравнениями множественной регрессии (функциями отклика). Они описывают статистические зависимости между параметрами систем и процессов и могут быть использованы для обоснования нормативов, отыскания оптимальных решений и прогнозирования развития явлений.

Чтобы математические модели связи отражали объективные закономерности исследуемых процессов и явлений, они должны учитывать их физическую сущность, а также влияние внешних и внутренних факторов. Для этого планируются и проводятся эксперименты и обрабатывается полученная информация.

В общем виде уравнение регрессии имеет вид

y_т = f(x₁,x₂,...,x_n),

где y_т – зависимый параметр;

x₁,x₂,...,x_n – факторы (аргументы), представляющие собой учитываемые (управляемые) переменные, значения которых фиксируются в ходе эксперимента;

n – число учитываемых факторов.

Уравнение регрессии может иметь аддитивный (*) или мультипликативный (**) вид

; (*)

. (**)

В качестве функций f(x) наиболее часто применяются следующие:

y = a x + b ;

y = a / x + b;

y = x / (a x + b);

y = 1 / (a x + b);

y = a x² + b x + c;

y = a x^c + b;

y = a ln(x) + b;

y = a ln(x) + b x +c;

y = b a^x ;

y = b x ^a;

y = b a^(1/x);

y = 1 / (a exp (-x) + b);

y = exp (a x + b).

При множественной регрессии широко применяются аддитивная линейная

или мультипликативная степенная модель

.

Компьютерная программа нахождения парных зависимостей между случайными величинами приведена в приложении 3.

Эксперимент может быть активным и пассивным. При пассивном эксперименте фиксируют складывающиеся при протекании реальных процессов значения факторов и зависимой переменной. Активный эксперимент проводится по заранее составленному плану.

При активном эксперименте факторы фиксируются на определенных уровнях (при определенных значениях). Совокупность уровней факторов называют факторным пространством или решеткой планирования. Записанные значения (уровни) факторов в таблицу называют матрицей планирования. Каждой точке факторного пространства соответствует экспериментальное значение зависимой переменной.

Активный эксперимент может быть полнофакторным и дробнофакторным. При полнофакторном эксперименте рассматриваются все возможные сочетания различных уровней факторов. Число точек (m) решетки планирования полнофакторного эксперимента составляет

m = k ⁿ ,

где к – число уровней, на которых зафиксирован каждый фактор; n – число факторов.

Например, при k=3 и n=2 получаем m=9 с планом испытаний по нижеследующей схеме

( -1 , 0 и +1 - соответственно нижний, средний и верхний уровни значений факторов):

-1,+1	0,+1	+1,+1
-1,0	0,0	+1,0
-1,-1	0,-1	+1,-1

При k=3 и n=3 получаем нижеприведенный план эксперимента ( - , 0 и + соответственно нижний, средний и верхний уровни значений факторов):

Факторы	1	+	+	+	+	+	+	+	+	+	-	-	-	-	-	-	-	-	-	0	0	0	0	0	0	0	0	0
	2	0	0	0	-	-	-	+	+	+	0	0	0	-	-	-	+	+	+	0	0	0	-	-	-	+	+	+
	3	-	0	+	-	0	+	-	0	+	-	0	+	-	0	+	-	0	+	-	0	+	-	0	+	-	0	+

Дробнофакторный эксперимент предусматривает проведение опытов в определенных точках, назначенных по специальным алгоритмам. В этом случае число опытов меньше чем при полнофакторном эксперименте. Примером дробнофакторного эксперимента является "латинский" квадрат, у которого по строкам и столбцам значения уровней факторов не повторяются. Для k=3 и n=3 в этом случае план эксперимента следующий:

+ - 0

0 + -

- 0 +

При проведении пассивного эксперимента необходимо также фиксировать такие наборы значений факторов, которые как можно более полно охватывают исследуемое факторное пространство.

Для определения уравнения регрессии число опытов m должно быть не менее числа оцениваемых его параметров.

Нахождение параметров уравнения регрессии (функции отклика) производится по методу наименьших квадратов:

,

где m – число зафиксированных значений зависимой переменной;

y_эi – экспериментальные значения зависимой переменной при i-м опыте;

y_тi – теоретические (выравненные) значения зависимой переменной при i-м опыте;

– j-й параметр уравнения регрессии.

Взяв, частные производные по искомым параметрам и приравняв их нулю, получаем систему из n уравнений по числу неизвестных. Решение полученной системы дает значения параметров уравнения регрессии.

Например, для зависимости y=ax+b получаем:

.

Берем частные производные по искомым параметрам a и b:

;

.

После упрощений получаем систему:

из которой выражаются неизвестные параметры a и b:

;

.

Изучение статистических зависимостей основывается на корреляционно-регрессионном анализе. Корреляционный анализ позволяет ответить на вопрос о существовании зависимости между случайными величинами, а также оценить степень тесноты статистической зависимости. Инструментом регрессионного анализа является уравнение регрессии. Исходными данными для проведения корреляционно-регрессионного анализа является статистическая информация, содержащая значения факторов и зависимого от них параметра.

Одной из возможных схем проведения корреляционно-регрессионного анализа является следующая:

1) проводится взаимный парный корреляционный анализ между всеми возможными сочетаниями факторов и при существенности связи между факторами пары один из дублирующих друг друга факторов (зависимый фактор) исключается из дальнейших расчетов;

2) принимается вид уравнения регрессии (модели связи);

3) рассчитываются параметры уравнения регрессии;

4) проверяется значимость отдельных факторов в модели и адекватность уравнения регрессии экспериментальным данным в целом. Если нет малозначимых факторов и уравнение регрессии согласуется с экспериментальными данными – исследование закончено, а иначе на п.5;

5) при наличии малозначимых факторов они исключаются из расчетов и переход на п. 3 и при неадекватности уравнения регрессии экспериментальным данным переход на п. 2 для принятия нового вида уравнения регрессии.

Если связь оказалась несущественной для различных видов уравнения регрессии, то необходимо считать, что зависимая переменная не зависит от учитываемых факторов.

Полученное уравнение регрессии является моделью связи между факторным пространством и зависимой переменной (параметром).

Статистикой, характеризующей тесноту связи между факторами и зависимой переменной, является коэффициент множественной корреляции.

Коэффициент множественной корреляции показывает, какая часть дисперсии зависимой переменной объясняется полученным уравнением регрессии

,

где – объясненная сумма квадратов отклонений от оценки математического ожидания;

– полная сумма квадратов отклонений от оценки математического ожидания;

y_м – оценка математического ожидания случайной величины.

Разность между полной и объясненной суммой квадратов является остаточной (необъясненной) суммой отклонений от оценки математического ожидания

.

Тогда через значение коэффициента множественной корреляции рассчитывается по формуле

.

Значения R может быть в пределах от 0 до 1.0. При R = 0 связь между факторами и зависимой переменной отсутствует, а R = 1.0 указывает на функциональную зависимость.

Значимость факторов оценивается по критерию Стьюдента.

Статистика критерия Стьюдента t_j рассчитывается по формуле

t_j = abs(a_j / s_aj),

где b_j – значение j-го параметра (коэффициента) в уравнении регрессии;

s _bj – среднеквадратическое отклонение параметра b_j .

Если расчетное значение статистики критерия Стьюдента t_j для выборочного параметра (коэффициента) при рассматриваемом факторе больше табличного значения критерия t_{т γ,k}, то считается, что нет оснований считать данный фактор малозначимым. Табличное значение t_тγ,k определяется заданной доверительной вероятностью γ и числом степеней свободы k. Число степеней свободы определяется по выражению

k = m - n - 1,

где m – число эмпирических точек, в которых определен зависимый параметр; n – число факторов, входящих в уравнение регрессии.

Доверительный уровень значимости рекомендуется принимать равным 0.01–0.1 (чем меньше γ, тем выше требования к значимости фактора).

Для проверки существенности коэффициента множественной корреляции и таким образом оценивания согласованности уравнения регрессии с экспериментальными данными используется статистика критерия Фишера

или

,

где и – соответственно объясненная и остаточная дисперсия для зависимого параметра.

Чтобы не было оснований отвергнуть гипотезу, что экспериментальные данные согласуются с полученным уравнением регрессии, рассчитанная статистика критерия Фишера должна быть больше табличного значения (F > F_т). Табличное значение F_т определяется в зависимости от уровня значимости γ и числа степеней свободы k₁ и k₂ :

k₁ = n ;

k₂= m - n- 1 .

Уровень значимости (вероятность) рекомендуется принимать 0.01 – 0.05 (чем меньше, тем жестче требования к адекватности модели).

Если F<F_т, то считается, что уравнение регрессии не согласуется с экспериментальными данными.

Статистику критерия Фишера можно использовать для оценки значимости отдельных факторов. Фактор следует считать малозначимым в том случае, если его исключение из модели не вызывает существенного снижения статистики критерия Фишера. При этом исключение малозначимого фактора может обеспечить увеличение статистики F . Например, если при m=7 и n=3 имели =2.1, а =0.7, а при исключении одного из факторов (n=2) получили =1.8 и =1.0, то

=3.0 при n=3;

=3,6 при n=2.

Увеличение статистики F в приведенном примере указывает на малозначимость исключаемого из модели фактора.

Мерой согласованности уравнения регрессии с экспериментальными данными может служить также коэффициент средней линейной ошибки аппроксимации E

.

Компьютерная программа проведения множественного корреляционно-регресионного анализа приведена в приложении 4.