57. Использование регрессионных моделей для оценки значимости связей между переменными.

Основы построения регрессионных моделей

Метод наименьших квадратов -- один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина прямой или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятности; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Регрессионные модели

Параметры – регрессионные коэффициенты бета говорят о «силе влияния» предиктора Х на У.

Подгонка модели – метод наименьших квадратов, минимизация суммы квадратов ошибок.

Индекс соответствия - r^2 обратно пропорционален величине суммы квадратов ошибок.

Анализ R^2 позволяет оценить значимость некоторой модели М.

Анализ статистической значимости различия между R^21 и R^22 позволяет сравнивать модели М1 и М2.

58. Виды пропущенных данных. Статистическая обработка пропущенных данных.

Мы будем полагать, что отсутствие значения какого-либо признака у некоторого объекта (столбца матрицы данных) связано с причинами технического характера, например с неисправностью измерительного прибора или грубой ошибкой при подготовке данных, в результате которой истинное значение признака стало неизвестным и т. д., но не с состоянием самого объекта. В зависимости от решаемой проблемы исследователю может потребоваться либо оценить некоторые параметры при наличии пропущенных значений, либо оценить сами пропущенные значения, либо то и другое вместе. Две последние задачи требуют больше исходных допущений, чем задача оценки параметров. Методы их решения основаны на использовании некоторой избыточной информации, которая возникает вследствие связи между признаками.

Простой подход к обработке пропущенных данных состоит в выделении максимально возможного фрагмента исходной матрицы данных, в котором все строки и столбцы будут комплектными. Когда выборка содержит достаточное число комплектных объектов и задача заполнения пропусков не является целью обработки, этот подход следует признать наиболее целесообразным. Однако в условиях выборок малых и средних объемов и высокой стоимости измерений естественно попытаться использовать всю имеющуюся информацию.

Метод главных компонент, Заполнение «пропусков» и оценивание параметров с помощью метода максимального правдоподобия, Непараметрический подход к оценке пропусков в матрице данных.