Контрольные задания

1. Дайте определения понятий «регрессия» и «регрессионный анализ».

2. Покажите связь между понятием среднего и наилучшим приближением в среднеквадратическом смысле.

3. Запишите уравнение МНК для линейного случая в матричной форме.

4. Найдите коэффициенты уравнения регрессии y = ax + b методом МНК по следующей выборке измерений входной и выходной величин: (0, 0), (1, 1), (2, 1).

5. Используя первые три ортогональных полинома Лежандра, определите коэффициенты уравнения регрессии методом МНК по следующей выборке измерений входной и выходной величин: (–1; 0), (–0,5; 3), (0; 4,5), (0,5; 5,5), (1; 6).

6. Докажите лемму об обращении матриц.

7. Проделайте три итерации рекуррентным алгоритмом МНК, используя исходные данные из задания 4 и начальные значения параметров: a₀ = 0, b₀ = 1.

8. Примените линейную аппроксимацию МНК для определения коэффициента нелинейного уравнения модели y = a^x по следующей выборке: (0, 1), (1, 2), (2, 4). Начальное значение x₀ = 1.

9. В открытых источниках найдите информацию о динамике численности населения в России за последние 20 лет. Постройте полиномиальную модель четвертого порядка методом МНК, используя пакет MATLAB. На основании построенной модели предскажите численность населения через 10 лет.

Глава 2 Непараметрические регрессионные модели

В данной главе предлагаются сведения о непараметрических моделях статических объектов. Вводятся понятия ядерной функции и параметра размытости. На основании непараметрической оценки плотности вероятности строится оценка парной и множественной регрессии для статического случая. Дается представление о свойствах и особенностях реализации непараметрических моделей регрессионного типа, предлагается способ оптимизации моделей по параметрам размытости.

2.1. Непараметрическая оценка плотности распределения вероятностей Розенблатта–Парзена

Функцией распределения вещественной случайной величины T называется вероятность того, что эта величина принимает меньшее значение, чем аргумент функции:

.

(2.1)

Функция распределения возрастает на всей области определения и принимает значения от 0 до 1 (рис. 2.1).

Рис. 2.1. Функция распределения вероятности

Плотностью распределения случайной величины называется первая производная от функции распределения (рис. 2.2):

.

(2.2)

Плотность распределения удовлетворяет следующему свойству:

.

(2.3)

Пусть задана выборка случайной величины T: . Если использовать эту выборку, то можно получить следующий вариант оценки функции распределения:

, .

(2.4)

Рис. 2.2. Плотность распределения вероятности

Предположим, что выборочные данные будут равновероятными. Тогда оценка функции распределения может быть представлена как оценка функции распределения дискретной случайной величины (рис. 2.3):

. . . . . . . .

(2.5)

Рис. 2.3. Оценка функции распределения

дискретной случайной величины (S = 4)

Единичной ступенчатой функцией Хевисайда (рис. 2.4) назовем функцию

(2.6)

Дельта-функцией Дирака (см. рис. 2.4) называется первая производная от функции Хевисайда:

.

(2.7)

Дельта-функция удовлетворяет следующим свойствам:

, ,

где ; – произвольная функция, принимающая конечные значения.

Применяя операцию дифференцирования к дискретной функции распределения, получим следующую оценку плотности распределения (рис. 2.5):

.

(2.8)

Рис. 2.4. Функции Дирака и Хевисайда	Рис. 2.5. Несостоятельная оценка плотности распределения

Приведенная выше оценка плотности распределения является несмещенной, но в то же время несостоятельной (см. приложение). Для того чтобы сгенерировать состоятельную оценку и обеспечить ее практическую применимость, необходима ее модификация. Модификация заключается в размытии входящих в оценку дельта-функций (рис. 2.6). В результате модификации получаем ядерную, или колоколообразную функцию :

,

(2.9)

где – параметр, определяющий степень размытости ядерной функции, т. е. гладкость оценки. Параметр удовлетворяет следующим условиям:

, , .

О

Рис. 2.6. Трансформация ядерной функ- ции в зависимости от параметра

т ядерной функции потребуем выполнения тех же самых соотношений, что и для дельта-функции:

,

.

В качестве ядерных могут быть использованы следующие функции:

– экспоненциальная функция (функция Гаусса):

;

– параболическая функция:

– прямоугольная функция:

Окончательно получим непараметрическую оценку плотности распределения:

.

(2.10)

Первым подобную оценку ввел М. Розенблатт в 1957 г., а Е. Парзен в 1962 г. ее уточнил. Эта оценка положила начало непараметрической теории, которая применяется для решения задач, связанных с обработкой статистических данных, идентификации, управления и распознавания образов. Оценка плотности – асимптотически несмещенная и сходится в среднеквадратическом (см. приложение).

Пусть дана многомерная случайная величина T, т. е. задан вектор размерности k: , тогда оценкой плотности будет следующая статистика:

Параметры могут быть различными для разных компонентов многомерной случайной величины. Пусть – вектор размерности k:

.

Тогда оценка плотности примет вид

.

(2.11)

Оценка плотности вероятности входит в выражения для вычисления всевозможных характеристик случайных величин. Рассмотрим ее применение в задачах регрессионного анализа.