2.3.1. Линейная регрессия

Важный случай регрессии первого порядка называетсяпарной линейной регрессией. Этот вид зависимости часто встречается в практических расчетах.

Так, если об изучаемом явлении нет никаких косвенных сведений, кроме наблюдений, проводимых в настоящий момент, то предварительный характер зависимости можно выяснить, нанося данные в виде точек на координатной плоскости, причем удобнее всего это сделать, предполагая зависимость линейной.

Наконец, во всех сложных случаях, когда регрессия заведомо будет нелинейной, изучение линейной регрессии можно использовать как первый этап исследования, с тем, чтобы в дальнейшем внести в нее необходимые поправки.

Пользуясь принципом наименьших квадратов, легко составить нормальные уравнения линейной регрессии:

.

После простых преобразований приводим систему к виду (m – объем выборки)

.

Число  называется коэффициентом регрессии; его легко найти с помощью определителей:

.

Число  называется свободным членом регрессии. Его тоже нетрудно найти с помощью определителей, но проще выразить его из первого уравнения через найденное уже 

.

Полученные формулы полностью определяют линейную регрессию по заданной выборке. Это равенство можно переписать в виде:

,

откуда

.

Таким образом, средняя точка совместного распределения изучаемых величин всегда лежит на линии регрессии. Отсюда вытекает, что для определения линии регрессии достаточно знать лишь ее угловой коэффициент.

Перейдем к оценке силы найденной связи. Тот факт, что исследуемая зависимость предполагается линейной, позволяет использовать для оценки силы связи выборочный коэффициент корреляции r. Можно показать, что r и  связаны между собой

, откуда

или в развернутом виде

.

Если коэффициент корреляции был вычислен ранее, то можно использовать обратную замену  на r.

Мы получим уравнение регрессии в виде

или, заменяя  на , в виде

.

2.3.2. Нелинейная парная регрессия

Основным способом отыскания уравнения нелинейной регрессии (как и линейной) служит принцип наименьших квадратов. Это значит, что уравнение ищется в заданном классе функций и выборочные числовые данные используются лишь для определения неизвестных коэффициентов из системы нормальных уравнений. При этом различаются 2 случая: тип уравнения фиксируется сразу, так что принцип наименьших квадратов используется лишь один раз, или же уравнение регрессии в дальнейшем подвергается уточнениям, для чего принцип наименьших квадратов последовательно используется несколько раз.

Уравнение регрессии может быть известно заранее из соображений аналогии, из теоретических рассуждений или из сравнения эмпирических данных с известными формулами. Разумеется, никакая уверенность в типе регрессии не освобождает от регрессионного и корреляционного анализа найденного уравнения.

Известно, что любая непрерывная функция может быть со сколь угодно высокой точностью заменена многочленом, при этом повышение точности достигается за счет повышения степени многочлена. Поэтому на практике любую регрессию можно считать в виде многочлена, находя его степень путем последовательных подсчетов.

Но степень может оказаться очень высокой и в уравнении будет много неопределенных коэффициентов. А каждый коэффициент накладывает лишнюю связь на выборку и это увеличивает дисперсию.

Иногда используют регрессию показательного, логарифмического, дробно–степенного, тригонометрического и т.д. типов. Количество коэффициентов при этом сокращается, но подбор вида уравнения гораздо сложнее (нет соответствующего алгоритма).

При подборе формул можно руководствоваться следующими соображениями:

1) В тех случаях, когда с возрастанием одной величины замечается пропорциональное возрастание или убывание другой величины, прежде всего берется уравнение прямой

.

2) Если с возрастанием одной величины наблюдается резкое возрастание другой, то может быть применимо уравнение показательной кривой

.

3) Если, наоборот, с возрастанием одной величины имеется замедленное возрастание другой, то может быть пригодна логарифмическая кривая

.

4) В случае периодического изменения одной величины с возрастанием другой могут быть применимы различные тригонометрические функции.

5) Для дугообразных кривых, имеющих один изгиб и схематически изображенных на рисунке, сравнительно хорошее совпадение может дать парабола 2–го порядка:

.

6) Для кривых S–образной формы, имеющих двойной изгиб, может подойти уравнение параболы 3–го порядка

.

Вычисление трансцендентной регрессии упрощается, если провести замену переменных, превращающую регрессию в линейную. Например, зависимость показательного типа

превращается в линейную путем логарифмирования

.

При использовании кривых, подобранных механически, нужно быть осторожным, во всяком случае нельзя их применять за пределами крайних значений данных, на основе которых вычислены эти уравнения.