Планирование эксперимента для применения регрессионного анализа Некоторые общие положения регрессионного анализа

Регрессионный анализ (РА) – метод математической статистики, позволяющий выявить приближенную количественную зависимость (f) свойства объектаyот значений факторовx_j, оказывающих влияние на это свойство. Эта приближенная зависимость, выраженная в виде конкретной математической функции, называется уравнением регрессии:

ŷ = f(x₁ , x₂, …, x_j ,…x_k).

Проводить РА можно только для количественных значений y и x_j.

При РА решают две основные задачи:

1. ищут с помощью метода приближения уравнение регрессии, наиболее точно описывающее истинную зависимость y = (x_j)по результатам измерения свойств объекта при различных значениях факторов:

y= (x₁,x₂, ...,x_j, ...x_k) +=f (x₁,x₂, ...,x_j, ...x_k) ++,

где  – случайные ошибки эксперимента, – ошибки, связанные с несовпадением уравнения регрессии с истинной зависимостью;

2) оценивают суммарные ошибки (+).

Порядок проведения регрессионного анализа (его тип) зависит от плана эксперимента. Различают классический регрессионный анализ (КРА) и регрессионный анализ при математическом планировании эксперимента (РАМПЭ).

Составление планов эксперимента для проведения

Регрессионного анализа

Составление планов эксперимента для проведения

Классического регрессионного анализа

Общим требованием к планированию любого эксперимента для проведения КРА является выполнение условия m_j> 2. Другие рекомендации аналогичны планированию эксперимента для проведения дисперсионного анализа.

После планирования и завершения эксперимента проведение КРА результатов эксперимента проводят в следующей последовательности.

1. Выбираютсемейство математических функций, в котором предполагается найти уравнение регрессии (семейство прямых, парабол, гипербол и др.).

2. Выбираютметод приближения.

3. Для выбранного семейства функций методом приближения рассчитывают параметры функции (коэффициенты уравнения регрессии).

4. Проверяют рассчитанные коэффициенты уравнения регрессии на значимость (равенство нулю).

5. Корректируют вид исходной функции, исключая из нее незначимые коэффициенты и другие составляющие.

6. Рассчитывают параметры скорректированной функции (скоррек­тированные коэффициенты уравнения регрессии) и возвращаются к выполнению пп. 4, 5. Затем п. 6 выполняют до тех пор, пока в уравнении регрессии останутся только значимые коэффициенты (значения коэффициентов могут изменяться после каждого пересчета).

7. Оценивают суммарные ошибки (+), проверяют адекватность уравнения регрессии с помощью закона распределения Фишера или рассчитывают вероятность описания зависимостифункциейf.

8. Выбираютдругое семейство математических функций и (или) метод приближения и с ними последовательно выполняют пп. 3-7.

9. Из группы найденных уравнений регрессии в ряду разных семейств функций выбираютокончательное уравнение регрессии по следующим соображениям:

а) вид данного уравнения регрессии совпадает с теоретическими законами поведения объекта;

б) данное уравнение регрессии описывает поведение объекта с наибольшей вероятностью;

в) при одной вероятности для данного уравнения регрессии наблюдается наибольшее значение соотношения факторной и остаточной дисперсий (F-соотношения).

При выборе семейства функций (пп. 1 и 8), если нет сведений или теоретических предположений о типе зависимости , обычно действуют по принципу "от простого к сложному". При этом начинают с семейства прямых ("линейная регрессия") или трансцендентных функций, которые легко преобразуются в линейную форму ("трансцендентная регрессия").

При неадекватности найденного линейного уравнения регрессии или неудовлетворенности его точностью можно переходить к семейству полиномов с постепенным увеличением их степени (полиномы второго, третьего и др. порядков) до тех пор, пока не начнет уменьшаться F-соотношение.

Наиболее часто при выполнении РА в качестве метода приближения используют метод наименьших квадратов (МНК). Однако применение МНК является корректным при выполнении следующих требований:

а) единичные результаты измерения свойств yдолжны быть независимыми случайными величинами;

б) выборочные дисперсии всех опытов в эксперименте должны быть однородными (одинаковыми).

При невыполнении этих условий используют другие методы приближения (непараметрические методы регрессии).

Алгоритмы всех необходимых при КРА расчетов (пп. 3, 4, 6, 7) зависят от выбранного семейства функций, метода приближения, наличия повторных опытов, количества исследуемых факторов [3, 4, 11, 12]. Многие из этих алгоритмов реализованы в статистических программных продуктах, математических пакетах (MathCADи др.), электронных таблицах (Excelи др.).

Следует отметить, что выполнение п. 9 носит субъективный характер и для него пока еще нет общепризнанных рекомендаций.

Пример.Воспользуемся для примера данными эксперимента, приведенными в табл. 6.

По полю корреляции (см. рис. 4) можно предположить линейный характер зависимости y от х, поэтому начнем проведение КРА с выбора семейства прямых и представления искомого уравнения регрессии в виде

ŷ = а + bx.

Так как в этом эксперименте не проводились повторные опыты, то невозможно оценить однородность дисперсий при различных уровнях фактора х и установить закон распределения y. Поэтому делаем допущение о нормальном законе распределения y и равенстве дисперсий (одинаковой случайной ошибке при любом значении х). Тогда в качестве метода приближения можно взять МНК.

Используя метод МНК и учитывая отсутствие повторных опытов, выполним расчеты коэффициентов уравнения регрессии а и b [4]:

;

;

b = 1,3 (% мас. /мин); a = y - bx = 42,5 – 1,3115 ;

а = – 107 (% мас.).

Так как дисперсия воспроизводимости эксперимента неизвестна и ее невозможно определить (из-за отсутствия повторных опытов), то проверку коэффициентов а и b на значимость не проводим. Делаем допущение, что эти коэффициенты "значимы", т.е. не равны нулю.

Найденное линейное уравнение регрессии имеет следующий вид:

ŷ = – 107 + 1,3х.

Для оценки ошибки, допускаемой при описании истинной зависимости  с помощью найденного уравнения регрессии при отсутствии повторных опытов и дисперсии воспроизводимости, составим F-соотношение (F_p) между суммой квадратов относительно y (SS_y) и остаточной дисперсией () в соответствии со следующими формулами:

; ; SS_x = SS_y – SS_ост. ;

; ,

где N – общее число опытов; L – число значимых коэффициентов в скорректированном уравнении регрессии (L = 2).

Выполним необходимые расчеты:

SS_y = 875 (мас. %)²;

;

SS_ост. = 30 % мас.; SS_x = SS_y – SS_ост. = 875–30 = 845 % мас.;

% мас.;

;

;

,

где R² – коэффициент детерминации, R – выборочный коэффициент корреляции Пирсона (выборочный коэффициент парной линейной корреляции r_yx.

Найденное линейное уравнение регрессии (ŷ = – 107 + 1,3х) с вероятностью, большей 0,95, адекватно описывает реальную зависимость выхода нитробензола от времени его синтеза, так как значение соотношения F_p больше табличного значения квантиля распределения Фишера при  = 0,05 и степенях свободы f₁ = N–1 и f₂ = N–L (F_т = 19,2 [4,6]). Точность описания (коэффициент детерминации R²) реальной зависимости найденным линейным уравнением регрессии составляет 98 %.

Подобные расчеты были выполнены на ПЭВМ с помощью программы Excel не только для семейства прямых, но и некоторых других функций (табл. 13).

Таблица 13

Итоги классического регрессионного анализа

Функция	Коэффициент					F- соот- но-ше- ние	Адек- ват-­ ность ŷ()
	Обоз­наче­ние	Значение	Стандартная ошибка, S	t-статистика	
y = a + bx	a b	- 107 1,3	20,013 0,173	- 5,347 7,506	0,033 0,017	56,33	0,017
y = e(a+bx)	a b	- 0,3741 0,03519	0,9969 0,0086	-0,375 4,078	0,744 0,055	16,63	0,055
1/y = a + bx	a b	0,14867 -0,00105	0,0423 0,0004	3,5128 -2,867	0,072 0,103	8,22	0,103

Данные табл. 13 показывают, что оба коэффициента уравнения регрессии (а = – 107и b = 1,3) с вероятностью Р > 0,96 являются "значимыми" (т.е. не равными нулю), так как уровень их значимости равен _а = = 0,033 и _b = 0,017,соответственно.

Таким образом выход пентозанов зависит от времени гидролиза березовых опилок и эту зависимость с наибольшей вероятностью (Р 0,983) можно описать линейным уравнением вида

ŷ = – 107+ 1,3х.

Более подробно с проведением КРА для практических целей можно ознакомиться в [3, 4, 12].