
- •Часть I Регрессионный анализ
- •1. Планирование экспериментов по выявлению механизмов явлений.
- •2. Постановка задачи регрессионного анализа.
- •Введем понятие ковариации случайной величины.
- •3. Эксперимент. План эксперимента.
- •4.Оптимизация методики обработки экспериментальной информации. Оценка параметров поверхности отклика.
- •5. Выбор критерия качества оптимальной обработки результатов наблюдений.
- •6. Свойства мнк-оценок.
- •7. Оценка дисперсии результатов наблюдения.
- •8. Проверка гипотез.
- •Проверка гипотезы об адекватности поверхности отклика.
4.Оптимизация методики обработки экспериментальной информации. Оценка параметров поверхности отклика.
Цель эксперимента
по выявлению механизма явлений-
определение неизвестных параметров:
регрессионной модели.
где -контролируемые переменные (факторы);
у- выходная ( измеряемая ) величина;
-неизвестные
параметры.
Поверхность отклика называется также функцией регрессии (регрессионной функцией).
Задача определения
неизвестных параметров
по результатам эксперимента называется
регрессионным анализом.
Так как измеренные
величины случайны, то с их помощью нельзя
определить истинное значение параметров
.
Поэтому вычисляются оценки
для параметров
,
которые в общем случаи также являются
случайными величинами. Желательно,
конечно, чтобы оценки
как можно меньше
отличались от истинных значений
.
Задача нахождения наилучшего значения
вектора
рассматривается как оптимизационная
задача, которая оптимизирует косвенный
показатель точности определения
параметров математической модели.
Рассмотрим случай
линейной регрессии, т.е. линейной
зависимости мат. ожидания величины
от параметров
,
т.е.
здесь
‑ вектор-строка неизвестных параметров
регрессионной модели;
‑ заданные
функции контролируемых переменных.
(Это может быть например
и т.д.).
Пусть при проведении
эксперимента было сделано
- опытов и образован вектор наблюдений:
Обозначим
Z-матрица линейной модели наблюдения,
m факторов N измерений.
Тогда результаты эксперимента можно записать:
5. Выбор критерия качества оптимальной обработки результатов наблюдений.
Пусть в процессе
проведения эксперимента измерения
проведены в точках
факторного пространства и точке
соответствует измеренное значение
величины yi.
Каждое измеренное значение
есть случайная величина с дисперсией
.
Задачей регрессионного анализа является
нахождение таких оценок неизвестных
коэффициентов
,
которые лучше описывали бы выходную
величину
и удовлетворяли бы выбранному критерию
оптимизации, который является показателями
качества .
Наиболее распространенным является следующий показатель качества:
-
коэффициент, который учитывает
неравноточность измерений.
-
сумма взвешенных квадратичных отклонений.
Она характеризует суммарное отклонение
измеренных в разных точках пространства
значений
от вычисленных значений выходной
величины.
Вторая степень каждой из скобок исключает возможность взаимной компенсации положительных и отрицательных отклонений.
Чем точнее
проведено измерение, (т.е.
чем меньше), тем точнее следует приближать
с помощью регрессионной модели к
истинному значению. Погрешность измерения
должна быть соизмерима с погрешностью
приближения.
Чем больше значение
т.е. чем менее точные измерения, тем
меньше должна быть точность приближения
с помощью регрессионной модели.
Необходимо найти
такие оценки коэффициентов модели
,
которые доставят
функции
.
Найдём выражение
для
Дифференцируя по элементам вектора и приравнивая производные к нулю:
получим:
Матрица - информационная матрица Фишера, она зависит только от точек факторного пространства.
Решение этого уравнения и есть значение искомых оценок коэффициента регрессионной модели .
.
Оценки
получены методом наименьших квадратов.
Поэтому оценки часто называют МНК -
оценкой.
Элемент матрицы М - msr, находящийся на пересечении s-ой строки и r-го столбца:
Элемент вектора
определяется:
Замечания:
1. Матрица М является симметричной матрицей и поэтому можно ограничится вычислениями только элементов msr, лежащих на главной диагонали и над ней. Докажем симметричность матрицы М.
Матрица симметрична, если МТ=М
MT=(ZTWZ)T=(WZ)T(ZT)T=ZTWTZ=ZTWZ=M
2. Вводя, в случае необходимости, новые факторы xj, линейную регрессионную модель всегда можно представить в виде:
()
Например, пусть исходная регрессионная модель имеет вид:
Здесь ui
–факторы, ψi-параметры
исходной модели. Мы не можем представить
эту модель в форме (),
т.к. нет члена
.
Полагая х1=1 θ1=ψ0
х2=u1 θ2=ψ1
х3=u12 θ3=ψ2
х4=u3 θ4=ψ3
х5=sin u2 θ5=ψ4
получаем регрессионную модель:
3. Различные факторы xj могут принимать сильно отличающиеся друг от друга значения (на несколько порядков). Это затрудняет вычислительную процедуру определения МНК-оценок коэффициентов регрессионной модели. Поэтому предварительно перед вычислением целесообразно путем замены переменных «нормировать» исходные экспериментальные данные.
Пусть исходный фактор qj изменяется в пределах:
Тогда, вводя новую переменную:
Получим, что переменная изменяется в пределах:
Покажем это на минимальной точке:
Относительно таких «нормированных» переменных и следует составлять регрессионную модель. После определения МНК-оценок коэффициентов регрессионной модели нужно вернуться к исходной переменной.
Показатель точности определения параметров поверхности отклика – функцию S(θ) можно записать в более компактной векторно-матричной форме:
где
‑ весовые
коэффициенты.
Если подставить
в это выражение вместо
найденные значения МНК-оценок
,
то получаем минимальное значение
показателя качества:
В случае равноточных измерений получаем:
где
-остаточная
сумма.
Она характеризует суммарную точность приближения экспериментальных данных с помощью принятой нами математической модели.
Выражение для R02 будет использоваться при проверке гипотез о параметрах поверхности отклика.