Геометрическая интерпретация критерия качества мнк

В 1946 г предложил академик Котельников. Будем считать, что все измерения равноточны, тогда

1. ,

2. введем матрицу

3. Тогда мы можем записать ;

Алгоритм рассуждений:

1. и из (3)

2. и лежат в – Nмерная гиперплоскость

3. Вектор может быть получена из обратного преобразования (3.1), но для этого нам необходимо знать , который зашумлён и не лежит в плоскости L

4. Оценка может быть получена из (3.2), но надо знать

5. определяется МНК путем проектированием z или на гиперплоскость L

6. 

Алгоритмы линейного оценивания мнг

1. Общий вид алгоритма

;

;

;

;

– матрица Грамма

W – весовая матрица, служит для того, чтобы мы справедливо учли точность измерения z. Если все измерения равноточные, то можно считать, что они выполняются одинаково. [NxN]

А.1. Равноточные измерения (единичная матрица)

- простой МНК

- корреляционная матрица ошибок оценок измерения

– обобщенный МНК

Ф - матрица, которая характеризует связь измеряемых параметров с уточняемыми. [Nxn]

2. Точность мнк оценок

Точность оценок- понятие характеризует степень близости получаемых оценок к истинным значениям определяемых параметров, при соблюдении исходных допущений относительно условий опыта.

Пусть выполняется следующее допущения:

неизвестно

Введём некоторую матрицу

Тогда берём математическое ожидание от оценки

Таким образом оценка при наличии систематической ошибки в измерения обязательно будет смешенной, но при она не смещена.

Предположим, что , найдем корреляционную матрицу .

По определению

Пусть

Если

Таким образом, если известна точность используемых измерительных средств, тогда разброс оценок может быть приведен заранее, в противном случае если дисперсии измерений известны с точностью до постоянного множителя, то это не сказывается на результатах оценивая, но влияет на разброс оценок и для определения разброса после получения опытных данных предварительно решается задача, решения этого эталонного коэффициента.

3. Статистические свойства мнк оценок.

1. Несмещенность оценок – в линейной задачи МНК оценки несмещены, если отсутствуют систематические составляющие ошибок измерений.

2. Эффективность оценок - согласно теореме Гаусса-Маркова несмещенные МНК оценки обладают минимальной дисперсией, то есть являются эффективными в классе всех линейных несмещенных оценок. Другими словами, в принципе можно отыскать оценки лучшие чем МНК оценки (при соблюдении исходных допущений относительно условий опыта), но в классе нелинейных задач оценивания.

3. Закон распределения МНК оценок – так как оценки представляют собой случайные величины наиболее полные сведения о них заключены в вероятностном законе распределения, при произвольном распределение ошибок измерений о законе распределения оценок вообще говоря однозначно судить невозможно однако так как мы рассматриваем линейную задачу оценивания - известная неслучайная матрица. В теории вероятностей доказано, что если распределен по нормальному закону, то его линейное преобразование (в данном случае с помощью матрицы D) дает нормально распределенный вектор оценок . Для других законов таких заключений не получено. Однако известно, в соответствии с центральной предельной теоремой Ляпунова при большом числе измерений, распределение оценки является асимптотически нормальным. Т.о. во многих практических ситуациях знание математического ожидания и ковариационной матрицы оказывается достаточным для полной характеристики распределения оценок.

Примеры оценивания по МНК( линейные случаи)

ПРИМЕР 1: простейшая задача регрессионного анализа

G: ,

P: ;

Z:

Q: – известно

Критерий оценивания

График 1

rbrbt ;t [fhfrnthbcnbrb cjjndtncnde.n 'nj jwtyrb? Lkz 'njuj hfxbnftv

ПРИМЕР 2: Классическая задача линейного регрессионного анализа

График 2

G: ,

S:

Будем считать, что

Z:

Q: – известно

…

…

Видно, что МНК оценка обладает неравно точностью и оценки коррелированы.

МНК в нелинейных задачах оценивания

1. Постановка задачи:

Дано:

1. математическая модель динамической системы G: , - неизвестен

2. математическая модель измерительной системы

   1. план измерений P:

   2. уравнение измерений на заданном спектре измерений S:

спектр - момент времени, когда производят измерения

3. условия опыта

1. выборка результатов измерений Z:

2. априорная информация A: нет

3. критерий качества

Требуется найти