Регрессионный анализ
Регрессия – зависимость среднего значения какой-либо величины Y от другой величины X. Понятие регрессии в некотором смысле обобщает понятие функциональной зависимости y = f(x). Только в случае регрессии одному и тому же значению x в различных случаях соответствуют различные значения у.
Регрессионный анализ заключается в определении аналитического выражения связи, в которой изменение одной величины (называемой зависимой или результативным признаком) обусловлено влиянием одной или нескольких независимых величин (факторов).
По форме зависимости различают:
-
линейную регрессию, которая выражается уравнением прямой:
-
нелинейную (параболическую):
-
Исследование линейной регрессии:
Определим
коэффициенты линейной функции
методом наименьших квадратов. Для этого
составим сумму
Для того чтобы эта сумма была минимальной, необходимо, чтобы ее частные производные по параметрам A и B были равны нулю
Раскрыв скобки, мы получим
Выразим a и b
Одним из важнейших методов определения зависимости между X и Y является метод наименьших квадратов. Видя общее расположение точек, можно предположить, что эта зависимость линейная. Количество прямых, проходящих через заданную совокупность точек, бесконечно. Выберем оптимальную из них. Для этого суммарное отклонение между теоретическими и экспериментальными точками должно быть минимальным. Это отклонение мы найдем с помощью функции
Метод
нахождения минимального отклонения и
есть метод
наименьших квадратов.
Это суммарное
отклонение зависит от коэффициентов а
и b функции
Y,
поэтому эти коэффициенты должны быть
минимальными, то есть производная
функции
в этих точках равны нулю:
Найдя частные производные и приравняв их нулю, получим следующую систему уравнений
Решив эту систему, мы найдем наилучший набор этих параметров. Эта теоретическая кривая с параметрами, которые определяются методом наименьших квадратов, и будет искомой линией – линией линейной регрессии.
-
Исследование параболической регрессии:
В этом случае уравнение регрессии Y на X имеет вид:
,
где a, b и c – неизвестные параметры.
Найдем такие a, b, c, при которых парабола наименее уклоняется от точек (Xi,Yi). Сделаем это методом наименьших квадратов. Для того чтобы сумма квадратов отклонений
была наименьшей, необходимо, чтобы выполнялись три условия (по числу неизвестных коэффициентов)
После преобразований уравнения примут следующий вид:
Подставив соответствующие значения в полученные формулы, и решив систему уравнений, мы получим искомую функцию параболической регрессии
Эти формулы используются для линейной и параболической регрессий, затем сравнивают полученные результаты и находят наименьшие среди полученных результатов. Та регрессия, у которой будут наименьшие оценки, более точно отражает распределение точек на диаграмме рассеивания.
Исходные данные и их обработка
Нам дана выборка (объема n=100) зависимости числа (Y) от числа (X).
|
X |
Y |
X |
Y |
X |
Y |
X |
Y |
X |
Y |
|
4,2700 |
10,1000 |
9,5100 |
19,4000 |
1,3600 |
3,3800 |
6,0500 |
14,1000 |
6,8200 |
15,2000 |
|
3,2100 |
6,0800 |
1,4600 |
4,6200 |
9,9200 |
21,3000 |
5,5300 |
11,5000 |
7,1000 |
16,8000 |
|
3,4400 |
7,9200 |
1,5600 |
3,0800 |
4,5300 |
10,4000 |
8,9200 |
19,5000 |
2,3100 |
4,1700 |
|
4,7400 |
10,0000 |
4,2900 |
8,2400 |
7,4300 |
15,4000 |
6,2000 |
13,2000 |
6,9400 |
15,2000 |
|
5,5800 |
11,7000 |
5,2500 |
13,6000 |
5,0300 |
11,4000 |
9,1300 |
19,8000 |
1,8800 |
3,4500 |
|
7,4700 |
17,5000 |
2,7300 |
5,4600 |
1,9900 |
4,7900 |
5,2600 |
14,0000 |
1,0800 |
1,1800 |
|
3,2100 |
2,4200 |
2,2000 |
4,4600 |
8,2500 |
17,6000 |
4,4700 |
10,5000 |
5,4300 |
1,4500 |
|
7,2300 |
16,0000 |
6,7600 |
14,2000 |
9,9200 |
21,3000 |
9,8100 |
18,1000 |
5,4200 |
11,2000 |
|
6,0400 |
12,6000 |
8,4500 |
17,6000 |
1,1700 |
2,7900 |
4,1300 |
9,5500 |
1,0600 |
3,0500 |
|
7,4600 |
15,7000 |
6,7600 |
13,9000 |
3,4100 |
6,1000 |
9,9300 |
21,8000 |
6,8700 |
16,9000 |
|
2,6000 |
6,0100 |
2,8100 |
6,4600 |
7,9500 |
17,8000 |
1,5800 |
2,8900 |
2,5800 |
1,8700 |
|
3,1000 |
7,4000 |
7,9200 |
16,9000 |
6,2900 |
13,1000 |
8,8200 |
19,2000 |
1,2100 |
1,6200 |
|
7,9700 |
16,8000 |
7,5100 |
16,9000 |
7,3600 |
14,2000 |
3,3900 |
8,9800 |
6,6500 |
12,4000 |
|
3,9200 |
1,3600 |
6,2800 |
13,7000 |
4,0200 |
8,3300 |
6,5900 |
2,5400 |
9,7400 |
4,0500 |
|
8,8400 |
3,6800 |
3,1400 |
5,7100 |
1,7800 |
3,0700 |
1,2000 |
2,1100 |
7,8000 |
17,1000 |
|
9,6000 |
22,2000 |
0,5900 |
2,9000 |
9,1500 |
19,2000 |
5,7400 |
11,1000 |
9,8800 |
20,8000 |
|
8,1300 |
18,3000 |
7,4800 |
1,1700 |
2,8100 |
5,6400 |
1,5100 |
3,6100 |
6,7400 |
16,6000 |
|
4,5400 |
10,3000 |
6,4400 |
15,1000 |
4,5400 |
10,7000 |
5,5300 |
11,7000 |
1,3400 |
2,7300 |
|
6,4400 |
14,8000 |
1,3200 |
2,4100 |
7,6900 |
17,6000 |
8,2800 |
2,2600 |
7,5500 |
15,9000 |
|
9,2100 |
18,0000 |
6,7200 |
16,0000 |
8,0700 |
1,9900 |
3,6000 |
7,2800 |
1,4100 |
3,5200 |