2.3.3. Критерий Чоу

Одним из нетрадиционных методов линеаризации нелинейных регрессионных моделей является разбиение всего множества наблюдений на несколько частей, каждую из которых можно аппроксимировать линейной зависимостью. Может оказаться так, что линейные регрессии для подвыборок окажутся более эффективными, чем общая нелинейная модель регрессии. Проверка такого утверждения осуществляется с помощью теста или критерия Чоу.

Пусть общая выборка имеет объем n. Через S обозначим сумму квадратов отклонений для общей нелинейной регрессии. Разобьем общую выборку на две подвыборки объемами n₁ и n₂ соответственно (n₁ + n₂ = n) и построим для каждой из подвыборок частные линейные уравнения регрессии. Через S₁ и S₂ обозначим суммы квадратов отклонений для каждой из подвыборок.

Для определения значимости частных регрессионных моделей используется критерий Фишера. В этом случае выдвигается основная гипотеза о том, что качество общей регрессионной модели лучше качества частных регрессионных моделей, или подвыборок. Альтернативная гипотеза утверждает, что регрессионный анализ отдельных самостоятельных частей выборки дает результат лучше, чем регрессионный анализ выборки в целом. Наблюдаемое значение F-критерия определяется по формуле

где S - S₁ - S₂ - величина, характеризующая улучшение качества модели регрессии после разделения ее на подвыборки; m - количество факторных переменных; п - объем общей выборочной совокупности.

Критическое значение F-критерия определяется по таблице распределения Фишера в зависимости от уровня значимости α и двух степеней свободы: k₁ = m + 1 и k₂ = п - 2т - 2. Если наблюдаемое значение F-критерия больше критического (F > F_табл), то основная гипотеза отклоняется, и качество частных регрессионных моделей превосходит качество общей модели регрессии. Если наблюдаемое значение F- критерия меньше критического (F < F_табл), то основная гипотеза принимается, и аппроксимировать отдельные подвыборки линейной зависимостью не имеет смысла.

2.3.4. Метод наименьших квадратов для нелинейных регрессионных моделей

Метод наименьших квадратов можно применять к нелинейным регрессионным моделям только в том случае, если возможна их линеаризация, т.е. они нелинейны по факторным переменным или нелинейны по параметрам, но внутренне линейны.

Рассмотрим применение МНК для определения неизвестных параметров уравнения параболической зависимости следующего вида:

y_i = β₀ + β₁x_i + β₂x²_i + ε_i

Данный полином второго порядка (или второй степени) является нелинейным по факторным переменным x_i . Для нахождения неизвестных параметров уравнения регрессии β₀ , β₁ , β₂ необходимо минимизировать с помощью МНК функцию Q:

n n

Q = Σ (y_i - y_{x i} )²= Σ (y_i - β₀ - β₁x_i - β₂x²_i )² → min

i=1 i=1

Процесс минимизации функции сводится к вычислению частных производных этой функции по каждому из оцениваемых параметров. Составим систему уравнений для данной функции Q, не пользуясь при этом методом замен:

дQ = -2 Σ (y_i - β₀ - β₁x_i - β₂x²_i ) = 0

дβ₀

дQ = -2 Σ (y_i - β₀ - β₁x_i - β₂x²_i ) x_i = 0

дβ₁

дQ = -2 Σ (y_i - β₀ - β₁x_i - β₂x²_i ) x²_i = 0

дβ₂

После элементарных преобразований данной системы уравнений получим

nβ₀ + β₁ Σ x_i + β₂ Σ x²_i = Σ y_i

β₀ Σ x_i + β₁ Σ x²_i + β₂ Σ x³_i = Σ x_i y_i

β₀ Σ x²_i + β₁ Σ x³_i + β₂ Σ x⁴_i = Σ x²_i y_i

Данная система является системой нормальных уравнений относительно параметров β₀, β₁ , β₂ для параболической зависимости y_i = β₀ + β₁x_i + β₂x²_i + ε_i . Эта система является квадратной, т.е. количество уравнений равняется количеству неизвестных переменных. Коэффициенты β₀ , β₁ , β₂ можно найти с помощью метода Гаусса, если свести систему нормальных уравнений к линейному виду с помощью метода замен.

В общем случае полинома п-й степени

y_i = β₀ + β₁x_i + β₂x²_i + … +β_nxⁿ_i + ε_i .

Для нахождения неизвестных коэффициентов уравнения регрессии с помощью МНК необходимо минимизировать функцию Q следующего вида:

n n

Q = Σ (y_i - y_{x i} )²= Σ (y_i - β₀ - β₁x_i - β₂x²_i - … - β_nxⁿ_i)² → min

i=1 i=1

Тогда систему нормальных уравнений можно записать таким образом:

Σ y_i =β₀ n + β₁ Σ x_i + β₂ Σ x²_i + … + β_n Σ xⁿ_i

Σ y_i x_i = β₀ Σ x_i + β₁ Σ x²_i + β₂ Σ x³_i + … + β_n Σ xⁿ⁺¹_i

………………………………………………………………

Σ y_i x^n-1_i = β₀ Σ x^n-1_i + β₁ Σ xⁿ_i + β₂ Σ xⁿ⁺¹_i + … + β_n Σ x^2n-1_i

Σ y_i xⁿ_i = β₀ Σ xⁿ_i + β₁ Σ xⁿ⁺¹_i + β₂ Σ xⁿ⁺²_i + … + β_n Σ x²ⁿ_i

Решением данной системы будут являться оценки коэффициентов регрессионной зависимости, выраженной полиномом п-го порядка.

Метод Гаусса применяется в большинстве случаев для решения систем линейных уравнений, когда число неизвестных параметров не совпадает с количеством уравнений. Однако его используют и для решения квадратных систем линейных уравнений.

Основная идея решения системы линейных уравнений методом Гаусса заключается в том, что исходную систему из т линейных уравнений с п неизвестными переменными необходимо преобразовать к треугольному виду. Для этого в одном из уравнений системы оставляют все неизвестные переменные. В другом сокращают одну из неизвестных переменных для того, чтобы их число стало (п - 1). В следующем уравнении убирают две неизвестные переменные, чтобы их число уже было (п - 2). В конце данного процесса система примет треугольный вид: первое уравнение содержит все, а последнее - только (п - т) неизвестных, которые называются базисными. Остальные переменные называются свободными. Дальнейшее решение сводится к выражению свободных неизвестных переменных через базисные и получению общего решения системы линейных уравнений. Для осуществления базисного решения системы линейных уравнений свободные переменные приравнивают к нулю.