Тема 9. Введение в регрессионный анализ.

1. Теоретическая и практическая задачи регрессионного анализа.

Основная задача регрессионного анализа заключается в исследовании зависимости между случайной величиной и совокупностью случайных величин.

Теоретическая задача регрессионного анализа.

В процессе анализа одним из методов строится некоторая случайная величина , зависящая только от, которая сравнивается с исходной величиной.

Условие «зависящая только от » означает, что случайная величинане является самостоятельной, а является детерминированной функцией от случайных величин:

.

Пусть на некотором множестве элементарных событий вектор случайных величинпринимает одно и тоже значение:

: ,

тогда на множестве случайная величинаможет принимать только одно постоянное значение, а случайная величинаможет принимать совершенно произвольные значения. Если диапазон значенийокажется широким, то каким бы образом ни выбиралась постоянная«расхождение» между величинойи величинойокажется значительным. Напротив, если диапазон значенийокажется узким, то, подобрав подходящее значение, можно сделать «расхождение» междуинезначительным.

Если между величиной и величинамиимеется «сильная вероятностная зависимость», тогда на множествах, где векторпринимает постоянные значения, величинаизменяется незначительно (по заданным значениямможно с хорошим приближением указать значение), тогда, выбирая подходящим образом постоянные значения для величинына этих множествах, можно сделать «суммарное расхождение» междуималым.

Если между величиной и величинамиимеется лишь «слабая вероятностная зависимость», тогда на множествах, где векторпринимает постоянные значения, величинаизменяется значительно (по заданным значениямневозможно предугадать значение), тогда каким бы образом ни выбирались значения для«суммарное расхождение» междуинельзя сделать малым.

Пусть «суммарное расхождение» между величинами иизмеряется среднеквадратичным отклонением:

,

и требуется найти такую величину , которая доставляет минимальное значение. Известно, что такой величиной является условное математическое ожидание.

Определение 9.1.

Регрессией случайной величины по,…,называется условное математическое ожидание .

Условное математическое ожидание является случайной величиной особого вида, для построения которой требуется совместное вероятностное распределение . В общем случае, нахождение условного математического ожидания может представлять сложную задачу, тем не менее, в некоторых частных простых случаях можно получить явное выражение для условного математического ожидания. Например, еслии векторимеет нормальное распределение, тогда:

.

Практическая задача регрессионного анализа.

На практике совестное вероятностное распределение редко бывает известно, тем не менее, в некоторых случаях можно вполне обоснованно предположить, что условное математическое ожидание является функцией определенного вида:

,

где – некоторый неизвестный числовой вектор.

Пусть случайная величина , тогда:

,

.

В качестве исходных данных для задачи построения регрессии выступает наблюдение , в котором каждая случайная величинаполучена при условии, что, …,:

,

… ,

где – векторная случайная величина,– числовые значения (,),– векторная случайная величина. Введем обозначениедля матрицы числовых значений:.

Задача построения регрессии заключается в нахождении оценки неизвестного вектора параметров на основе наблюдения, например, в нахождении такого вектора параметров, при котором среднеквадратичное отклонение:

.

принимает наименьшее возможное значение:

.

Вектор в общем случае зависит от наблюдения, поэтому, вообще говоря, является некоторой векторной случайной величиной.