3.6.3. Гипотеза о статистической значимости всего уравнения регрессии в целом

Используется критерий Фишера- Снедекора F и проверяется нуль-гипотеза:

(3.22)

Q_R – сумма квадратов отклонений расчетных значений от среднего , обусловленная вариацией факторов; Q_e - сумма квадратов отклонений расчетных значений от фактически наблюдаемых, обусловленная влиянием случайных возмущений E_i (включая влияние неучтенных в модели факторов).

Выводы:

1. Если гипотеза Н₀ выполнена, то уравнение регрессии в целом статистически незначимо и можно сразу делать вывод о неадекватности модели.

2. Если нуль-гипотеза Н₀ не выполнена, т.е. F>F_таб, то уравнение регрессии в целом значимо и можно переходить к проверке других гипотез.

3.6.4. Оценка качества уравнения регрессии

Для комплексной оценки качества уравнения регрессии используется коэффициент детерминации R²

Коэффициент детерминации R² как мера качества уравнения регрессии характеризует долю вариации зависимой переменной, обусловленную регрессией (влиянием факторов), в общей вариацией результативной переменной Y_i ; чем ближе коэффициент детерминации R² к единице, тем лучше уравнение регрессии аппроксимирует экспериментальные данные, тем ближе эмпирические точки располагаются к линии регрессии, тем больше прогностическая сила модели.

Замечание: Коэффициент множественной детерминации, определяется по результатам линейного корреляционного анализа, не следует смешивать с рассматриваемым коэффициентом детерминации R², справедливого и для моделей, нелинейных по регрессорам (в этом случае его следует называть «индексом множественной детерминации»). Другими словами,

R²¹[R_j.₁₂…_m]².

Это разные коэффициенты: первый из них связан с регрессионным анализом, т.е. привязан к конкретной параметрической модели , а второй связан корреляционным анализом линейно-связанных случайных величин, т.е. с корреляционной матрицей K. Сходство только в термине «детерминация», а расчетные формулы – разные:

(3.23)

(3.24)

Последняя формула справедлива только для линейных корреляционных связей.

Приемы улучшения качества модели:

1). Сделать предварительное сглаживание временного ряда (одномерного или многомерного) по методу простой скользящей средней или экспоненциального сглаживания. Данный прием применяют только при наличии упорядочения наблюдений во времени, т.е. для использования данных пространственного типа он не применяется.

2). Использовать нормирование всех переменных и зависимых и независимых:

(3.25)

3). Выявить и выбросить из процедуры метода наименьших квадратов аномальные точки.

Выводы:

1. Приемлемость получаемого значения R² определяется целями моделирования: если допустимы грубые (прикидочные) оценки, то можно принять R² ~ 0,8, для более точных оценок R² > 0,9.

2. Если база данных (БД) сильно зашумлена (или даже сознательно искажена, что имеет место в задачах налогового и финансового контроля), то может оказаться, что никакие «ухищрения» (о них речь позже) не позволяют получить R²>0,9. Что делать тогда?

Рекомендации:

Повысить информативность базы данных за счет различных алгоритмов предпроцессорной обработки (сглаживание, если база данных упорядочена по времени; кластеризации данных; компрессия данных (факторный анализ); расширения бахзы данных как парирование ее зашумленности; накнец – переход к другим моделям:

• нейросетевым [2,3,12,14]

• нечетким [14,15];

• фрактальным [4,6,9].