10.Уравнение линейной множественной регрессии. Мнк - оценки параметров уравнения регрессии. Простая линейная регрессия.

Уравнение линейной множественной регрессии

y=₁x¹+₂x²+...+_mx^m+                                   

- вектор независимых переменных,

 

 

 

i =1,..., m, m  p-1

- вектор неизвестных параметров.

- вектор, играющий роль случайной помехи.

11. (*)- векторное равенство.

12. y_k=₁x_k1+₂x_k2+...+_mx_km+_k,            k =1,..., n

13.  - случайная компонента, комплексно характеризующая наличие случайных ошибок, неучтенных признаков и т.д.

14. Введем в рассмотрение матрицу X:

15. Тогда уравнение линейной множественной регрессии можно записать в матричном виде:

16. y=X+                 

17. Постулаты регрессионного анализа.

18. В уравнении регрессии фигурирует матрица X, вектор неизвестных параметров  и вектор случайной помехи  Поэтому предположения регрессионного анализа касаются этих трех элементов.

19. 1.       На  нет ограничений,  R^m.

20. 2.       Вектор - случайный, отсюда y- случайный.

21. 3.       Математическое ожидание всех компонент вектора  равно 0, M(_k)=0, k=1,...,N.

22. 4.       Ковариация cov(_k,_j)= , k=1,...,N, j=1,...,N,

23. Замечание:

24.  У различных объектов для различных наблюдений случайные помехи некоррелируемы, а дисперсия конечна и одинакова для всех наблюдений,  т.е. условия проведения наблюдений одинаковы для всех объектов.

25. 5.       Матрица X - не случайна, т.е. значения независимых признаков известны точно.

26. 6.       Ранг матрицы X равен m, т.е. матрица Х имеет m линейных зависимых признаков матрицы X.

27. Мнк оценки параметров уравнения регрессии.

28. Суть МНК состоит в следующем: неизвестные параметры выбираются из условия минимума суммы квадратов отклонений фактических значений от расчетных. Сумму квадратов отклонений фактических значений обозначают Q().

29. 

30. 

31.  

32.  

33. Свойства мнк оценки вектора 

34.  

35. 1.       Оценка МНК линейная по y.

36. 2.       Оценка МНК несмещенная.

37. Определение: Оценка b параметра  называется несмещенной, если М(b)=

38. Доказательство:

39. Надо доказать, что  , где y=x

40. М(у)=М(х+)=М(х)+МхТак как хконстанта

41.  

42.  

43.  

44. 3.       МНК-оценка единственная, если справедлив постулат № 6 (доказать самостоятельно)

45. 4.       В классе линейных по у несмещенных  оценок МНК-оценка обладает минимальной дисперсией, т.е. оценка  эффективная.

46. Уравнение регрессии со свободным членом.

47. В силу 3-го постулата регрессионного анализа, считается, что эффект неучтенных признаков в среднем равен 0. Это предположение на практике мало правдоподобно. Чаще эффект неучтенных факторов не 0 и вместо постулата 3 вводят постулат 3: M()=_m+1=const, где _m+1  R.

48. Тогда уравнение регрессии будет иметь вид:

49. y=₁x_k1+...+_mx_km+_m+1+ ,  где  ,    k=1,...,N

50. Тогда 

51. Мы оказались в условиях предыдущей системы постулатов, поэтому далее будем считать, что уравнение регрессии имеет вид:

52. y=₁x_k1+...+_mx_km+_m+1x_k,m+1 + , где    

53.  

54.  

55.  

56. т.е. мы ввели фиктивный признак-вектор из единиц. Расширяем матрицу, чтобы остаться в системе постулатов, тогда

57. , а X(N (m+1))

58.  

11. Перспективы развития методов прикладной статистики