2.Нелинейная регрессия

Нелинейная регрессия — частный случай регрессионного анализа, в котором рассматриваемая регрессионная модель есть функция, зависящая от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной.

Постановка задачи

Задана выборка из пар . Задана регрессионная модель , которая зависит от параметров  и свободной переменной  . Требуется найти такие значения параметров, которые доставляли бы минимум сумме квадратов регрессионных остатков

где остатки  для .

Для нахождения минимума функции  , приравняем к нулю её первые частные производные параметрам  :

Так как функция  в общем случае не имеет единственного минимума^[1], то предлагается назначить начальное значение вектора параметров  и приближаться к оптимальному вектору по шагам:

Здесь  - номер итерации,  - вектор шага.

На каждом шаге итерации линеаризуем модель с помощью приближения рядом Тейлора относительно параметров 

Здесь элемент матрицы Якоби   - функция параметра  ; значение свободной переменной фиксировано. В терминах линеаризованной модели

и регрессионные остатки определены как

Подставляя последнее выражение в выражение (*), получаем

Преобразуя, получаем систему из  линейных уравнений, которые называются нормальным уравнением

Запишем нормальное уравнение в матричном обозначении как

В том случае, когда критерий оптимальности регрессионой модели задан как взвешенная сумма квадратов остатков

нормальное уравнение будет иметь вид

Для нахождения оптимальных параметров нелинейных регрессионных моделей используются метод сопряжённых градиентов, метод Ньютона-Гаусса или алгоритм Левенберга-Марквардта.

3.Винеровский и Пуассоновский процессы.

Винеровский процесс в теории случайных процессов — это математическая модель броуновского движения или случайного блуждания с непрерывным временем.

Определение

Случайный процесс называется винеровским процессом, если

1. W₀ = 0 почти всюду.

2. {W_t} — процесс с независимыми приращениями.

3. , для любых , где N(0,σ²(t − s)) обозначает нормальное распределение со средним 0 и дисперсией σ²(t − s). Величина σ² является постоянной для данного процесса.

Физический смысл

Винеровский процесс описывает броуновское движение частицы, совершающей беспорядочные перемещения под влиянием ударов молекул жидкости. Константа σ² при этом зависит от массы частицы и вязкости жидкости.

Непрерывность траекторий

Существуют винеровские процессы такие, что почти все их траектории непрерывны. Часто непрерывность траекторий включается в определение винеровского процесса.

Свойства винеровского процесса

• {W_t} — гауссовский процесс.

• {W_t} — марковский процесс.

• Очевидно, . В частности:

,

D[W_t] = t.

• cov(W_s,W_t) = min(s,t).

• Винеровский процесс автомоделен. Если {W_t} — винеровский процесс, и c > 0, то

также является винеровским процессом.

• Корреляционная функция для производной винеровского процесса является дельта-функцией.

• Траектории винеровского процесса нигде не дифференцируемы почти наверное. Производная (в обобщенном смысле) винеровского процесса - нормальный белый шум.

• Для любого заданного отрезка траектории винеровского процесса — функции неограниченной вариации на этом отрезке почти наверное

•