5.1.7.Проверка качества прогнозов (сравнение моделей прогнозирования)

Качество результатов прогнозирования оценивается, как правило, двумя дополняющими друг друга характеристиками: точность прогнозов и адекватность модели. Каждая из этих характеристик, в свою очередь, имеет несколько критериев.

5.1.7.1.Точность прогнозов может характеризоваться с помощью следующих критериев:

• Остаточной дисперсии:

; (5.35)

• Среднеквадратической ошибки аппроксимации:

; (5.36)

• Относительной ошибки аппроксимации:

; (5.37)

• Коэффициент детерминации R² (чем ближе к 1, тем более точная модель);

• Средняя ошибка аппроксимации (чем ближе к 0, тем точнее модель).

5.1.7.2.Адекватность модели может характеризоваться независимостью последовательных остатков - критерий Дарбина-Уотсона:

(5.37)

где - остатки.

Для рядов с тесной взаимосвязью между последовательными уровнями значение D близко к нулю. Это свидетельствует о том, что закономерная составляющая не полностью отражена в модели и частично закономерность присуща ряду остатков (имеется положительная автокорреляция), т.е. модель неадекватна исходному процессу. Если последовательные остатки независимы, то D близко к 2. Это свидетельствует о хорошем качестве модели. При отрицательной автокорреляции D близко к 4.

Чтобы определить степень близости к пороговым значениям (0, 2, 4) пользуются таблицей критических значений D, часть которой для однофакторных моделей приведена в табл. 5.4.

Табл.5.4

N	d1	d2
15 20 30 50 100	1.08 1.20 1.35 1.50 1.65	1.36 1.41 1.49 1.59 1.69

Расчетное значение D сравнивается с критическим. При сравнении величины D с величинами d₁ и d₂ возможны следующие варианты:

• D<d₁, то гипотеза о независимости остатков отвергается (т.е. в ряду остатков есть положительная автокорреляция);

• 2>D>d₂, то гипотеза о независимости остатков отклонений принимается;

• d₁<D<d₂, то значения критерия лежит в области неопределенности и для проверки адекватности нужен дополнительный критерий.

Рассмотренные варианты относятся к случаю, когда в остатках предполагается наличие положительной автокорреляции, т.е. когда D<2. Когда в ряду остатков предполагается наличие отрицательной автокорреляции, т.е. D превышает 2, то для проверки отрицательной автокорреляции с критическими значениями d₁ и d₂ сравнивается не сам коэффициент D, а 4-D.

Качество модели может быть оцениваться также близостью оценки математического ожидания остатков к 0.

Коэффициент детерминациив матричной форме имеет вид:

, (5.38)

где Y - вектор наблюдаемых значений,

Y^* - вектор расчетных значений,

- среднее значение.

5.1.7.3.Проверка случайности ряда остатков.

При правильном выборе тренда отклонения от него будут носить случайный характер. Наиболее простой способ проверки этой гипотезы является определение коэффициента корреляции между отклонениями от тренда е_t и фактором времени t и проверка его значимости. Однако эта связь может быть нелинейной. В таком случае для проверки этой гипотезы целесообразно использовать непараметрические критерии - ранговые критерии корреляции (Спирмена, Кендэла), критерий серий или критерий "восходящих" и "нисходящих" серий. Алгоритм использования критерия серий описан в п. 5.4.4. (в данном случае число серий и самая длинная серия определяются в остатках) Если выполняется приведенная там система неравенств, то модель признается адекватной по критерию случайности.

При использовании критерия "восходящих" и "нисходящих" серий подсчитывается последовательность:

для t = 2, 3,…,n. (5.39)

Аналогично, определяется количество серий N и самая длинная серия L_max. Если выполняется система неравенств:

L_max < L_kp(n);

, (5.40)

то модель признается адекватной по критерию случайности. Если хотя бы одно из неравенств нарушено, то модель признается не адекватной по данному критерию.

Значение L_kp(n) зависит от длины временного ряда:

Табл.5.5.

Длина ряда	n<=26	26<n<=153	153<n<=170
Значение Lkp(n)	5	6	7