8. Доверительный интервал — это интервал, построенный с помощью случайной выборки из распределения с неизвестным параметром, такой, что он содержит данный параметр с заданной вероятностью. Пусть   - выборка из некоторого распределения с плотностью  , зависящей от параметра  , который может изменяться в интервале  . Пусть   - некоторая статистика и   - функция распределения случайной величины  , когда выборка   имеет распределение с плотностью  . Предположим, что   есть убывающая функция от параметра  . Обозначим   квантиль распределения  , тогда   есть возрастающая функция от  . Зафиксируем близкое к нулю положительное число   (например, 0,05 или 0,01). Пусть  . При каждом   неравенства

(1)

выполняются с вероятностью  , близкой к единице. Перепишем неравенства (1) в другом виде:

(2)

Обозначим  ,   и запишем (2) в следующем виде:

Интервал   называется доверительным интервалом для параметра  , а вероятность   - доверительной вероятностью.

9. Вид множественной линейной модели регрессионного анализа:

Y = b₀ + b₁x_i1 + ... + b_jx_ij + ... + b_kx_ik + e_i

где e_i - случайные ошибки наблюдения, независимые между собой, имеют нулевую среднюю и дисперсию s.

Назначение множественной регрессии: анализ связи между несколькими независимыми переменными и зависимой переменной.

Экономический смысл параметров множественной регрессии  Коэффициент множественной регрессии b_j показывает, на какую величину в среднем изменится результативный признак Y, если переменную X_j увеличить на единицу измерения, т. е. является нормативным коэффициентом.

Общее назначение множественной регрессии (этот термин был впервые использован в работе Пирсона - Pearson, 1908) состоит в анализе связи между несколькими независимыми переменными (называемыми также регрессорами или предикторами) и зависимой переменной. Например, агент по продаже недвижимости мог бы вносить в каждый элемент реестра размер дома (в квадратных футах), число спален, средний доход населения в этом районе в соответствии с данными переписи и субъективную оценку привлекательности дома. Как только эта информация собрана для различных домов, было бы интересно посмотреть, связаны ли и каким образом эти характеристики дома с ценой, по которой он был продан. Например, могло бы оказаться, что число спальных комнат является лучшим предсказывающим фактором (предиктором) для цены продажи дома в некотором специфическом районе, чем "привлекательность" дома (субъективная оценка). Могли бы также обнаружиться и "выбросы", т.е. дома, которые могли бы быть проданы дороже, учитывая их расположение и характеристики. Специалисты по кадрам обычно используют процедуры множественной регрессии для определения вознаграждения адекватного выполненной работе. Можно определить некоторое количество факторов или параметров, таких, как "размер ответственности" (Resp) или "число подчиненных" (No_Super), которые, как ожидается, оказывают влияние на стоимость работы. Кадровый аналитик затем проводит исследование размеров окладов (Salary) среди сравнимых компаний на рынке, записывая размер жалования и соответствующие характеристики (т.е. значения параметров) по различным позициям. Эта информация может быть использована при анализе с помощью множественной регрессии для построения регрессионного уравнения в следующем виде:

Salary = .5*Resp + .8*No_Super

Как только эта так называемая линия регрессии определена, аналитик оказывается в состоянии построить график ожидаемой (предсказанной) оплаты труда и реальных обязательств компании по выплате жалования. Таким образом, аналитик может определить, какие позиции недооценены (лежат ниже линии регрессии), какие оплачиваются слишком высоко (лежат выше линии регрессии), а какие оплачены адекватно.

17. Нелинейные регрессионные модели — модели вида

которые не могут быть представлены в виде скалярного произведения

где   — параметры регрессионной модели,   — свободная переменная из пространства  ,   — зависимая переменная,   — случайная величина и   — функция из некоторого заданного множества.

Значения параметров в случае нелинейной регрессии находят с помощью одного из методов градиентного спуска, например алгоритма Левенберга-Марквардта.

Линеаризация — (от лат. linearis — линейный), один из методов приближённого представления замкнутых нелинейных систем, при котором исследование нелинейной системы заменяется анализом линейной системы, в некотором смысле эквивалентной исходной. Методы линеаризации имеют ограниченный характер, т. е. эквивалентность исходной нелинейной системы и её линейного приближения сохраняется лишь для ограниченных пространственных или временных масштабов системы, либо для определенных процессов, причем, если система переходит с одного режима работы на другой, то следует изменить и её линеаризированную модель. Применяя линеаризацию, можно выяснить многие качественные и особенно количественные свойства нелинейной системы.

15. Мультиколлинеарность (multicollinearity) – положение, при котором две или более независимых переменных, входящих в уравнение регрессии, являются сильно коррелированными. При этом коэффициенты регрессии становятся неустойчивыми к малым изменениям в данных.

X₁ = λX₂

X^TX

Одним из способов обнаружения мультиколлинеарности является вычисление коэффициентов парной корреляции между факторами. Считается, что если коэффициент корреляции превышает 0,8 (эмпирическое правило), то мультиколлинеарность присутствует.

10. Метод наименьших квадратов. На диаграмме рассеяния имеется независимая переменная или переменная X и зависимая переменная Y. Эти переменные могут, например, представлять коэффициент IQ (уровень интеллекта, оцененный с помощью теста) и достижения в учебе (средний балл успеваемости - grade point average; GPA) соответственно. Каждая точка на диаграмме представляет данные одного студента, т.е. его соответствующие показатели IQ и GPA. Целью процедур линейной регрессии является подгонка прямой линии по точкам. А именно, программа строит линию регрессии так, чтобы минимизировать квадраты отклонений этой линии от наблюдаемых точек. Поэтому на эту общую процедуру иногда ссылаются как на оценивание по методу наименьших квадратов.