- •4.4. Общие требования, предъявляемые к оценкам
- •4.5. Методы оценивания параметров
- •4.6. Регрессионный анализ
- •4.7. Проверка адекватности модели
- •4.7.1. Критерий Фишера
- •4.7.2. Определение дисперсий неточности модели и ошибки эксперимента
- •4.7.3. Определение дисперсии воспроизводимости эксперимента
- •4.7.4. Проверка однородности дисперсий
- •4.8. Проверка значимости коэффициентов модели
- •4.9. Стратегическое планирование эксперимента
- •4.9.1. Требования к выходной величине
Планирование эксперимента
________________________________________________________________________________
В реальных условиях, из-за наличия помехи , экспериментатор измеряет величину y вместо истинного значения выходной величины . Следовательно, опираясь на результаты измерения, нельзя получить абсолютно точных значений . Вместо истинных параметров приходится использовать случайные величины. Обозначим эти величины b и назовем их оценками . Тогда, оцениваемое уравнение для модели будет иметь вид:
Y=Y(x,b) (4.12)
4.4. Общие требования, предъявляемые к оценкам
Чтобы правильно и точно оценить параметры модели, оценки должны быть: несмещенными, состоятельными, эффективными и достаточными.
Оценки b являются несмещенными , если их математические ожидания равны истинным значениям параметров:
M[b]=.
Это значит, что в процессе вычисления параметров модели не должны возникать статистические ошибки.
Оценка называется состоятельной, если при увеличении числа наблюдений n до бесконечности она сходится по вероятности к истинному параметру:
Достаточное условие для этого
Оценки будут эффективными, если они позволяют получить максимальную информацию из наблюдений. Часто бывает , что из исследуемого параметра можно найти несколько состоятельных оценок. Чтобы выбрать одну из них сравнивают дисперсии всех оценок и по минимуму дисперсии получают оценку, которая и будет эффективной
,
где D[b] - дисперсия оценки b, - дисперсия любых других несмещенных оценокb.
Пример. Дано n наблюдений случайной величины X. Возникает вопрос, какую величину принять за оценку математического ожидания: среднее выборки или медиану. Известно, что величина X распределена по нормальному закону с дисперсиями: и,
где - среднее выборки;- медиана;n - объём выборки; - дисперсия генеральной совокупностиX. Так как , то оценка средней выборки будет эффективной.
Критерии несмещенности и эффективности следует рассматривать одновременно. Может оказаться, что смещенная оценка с меньшей дисперсией будет более предпочтительной, чем несмещенная оценка с большей дисперсией.
4.5. Методы оценивания параметров
Существует несколько различных методов оценивания параметров:
максимального правдоподобия;
моментов;
оценивание по Байесу;
наименьших квадратов.
Метод максимального правдоподобия базируется на использовании априорной информации, полученной из эксперимента. Получают выборку значений случайной величины X(x1,x2,...,xn). Рассматривают оцениваемые параметры как случайные величины с некоторым законом распределения вероятности. Затем это распределение перестраивается таким образом, чтобы получить апостериорное распределение вероятности, плотность которого несет информацию о возможных значениях на основе экспериментальных данных X. Этот метод приводит к эффективным и состоятельным оценкам, однако оценки могут быть смещенными.
Метод моментов является одним из наиболее старых методов. При его использовании вычисляются первые n моментов случайной величины, которые затем приравниваются выборочным моментам. После этого находят n значений оцениваемых параметров .
Оценивание по Байесу как и метод максимального правдоподобия основывается на использовании априорной информации. Определяется плотность распределения вероятностей x, и на основе апостериорной информации принимается решение.
Метод наименьших квадратов (МНК) является самым распространенным методом при оценивании параметров модели. Поэтому рассмотрим его более подробно на примере линейной модели с одной независимой величиной.
Уравнение модели с одной независимой величиной имеет вид:
(4.13)
Оценкой уравнения (4.13) будет:
(4.14)
Уравнение (4.13) на плоскости представляет теоретическую линию регрессии, а (4.14) эмпирическую линию регрессии (рис.4.2). Коэффициенты b0 и b1 являются оценками истинных коэффициентов 0 и 1.
На рис.4.7 обозначены точки (yij,xi) - одно измерение; - выборочное среднее наблюдение приxi; - предсказанное значение выходной величины yi при xi; - истинное значение выходной величиныi при xi. Для несмещенных оценок , т.е.i есть математическое ожидание при.
По результатам опыта вычисляются коэффициенты b0 и b1 . Если бы все экспериментальные точки оказались на теоретической линии регрессии, то или
, i=1,2,...n (4.15)
и тогда коэффициенты 0 и 1 могли быть определены решением системы уравнений (4.15).
Однако, в реальных условиях левая часть (4.15) отличается от нуля на величину i
(4.16)
Рис.4.7.
а – теоретическая линия регрессии; б –эмпирическая линия регрессии.
Величина i называется невязкой. Она может быть вызвана ошибкой эксперимента или неправильным выбором линейной модели. Поэтому возникает задача найти такие коэффициенты уравнения регрессии, при которых невязка будет минимальной. Лучшей оценкой является выражение . Это выражение приводит к методу наименьших квадратов:
(4.17)
где - число повторных измерений величиныy при данном значении xi.
Минимум функции Ф достигается при одновременном равенстве нулю частных производных этой функции по всем искомым коэффициентам:
(4.18)
После замены 0 и 1 их оценками b0 и b1 получаем систему нормальных уравнений:
или
(4.19)
Решая систему нормальных уравнений относительно b0 и b1 получаем:
(4.20)
(4.21)