terver_23-60

1.Корреляционная матрица симметрична относительно главной диагонали. Это следует из свойства 2 коэффициента корреляции.

2.По главной диагонали корреляционной матрицы стоят 1. Это следует из свойства 3 коэффициента корреляции.

3.Корреляционная матрица является неотрицательно определенной. (Kx; ) ≥ 0

4.Корреляционная матрица является положительно определенной (Kx; ) > 0 Исходная система случайных величин не имеет линейно зависимых элементов.

6.4Прочие оценки коэффициента корреляции

Перечислим некоторые ранговые оценки коэффициента корреляции.

1.Коэффициент корреляции Спирмена.

Возьмем двумерную выборку (x1; y1); (x2; y2); : : : ; (xn; yn). Тогда

Для проверки значимости коэффициента Спирмена применяется следующее

2.Коэффициент корреляции Кэндела.

Для его поиска записываем двумерную выборку в 2 столбца. Затем упорядочиваем всю выборку по X (1ый столбец). Анализируем Y (2ой столбец). Для каждого элемента Y ставим столько +, сколько следующих за ним элементов больше его самого и столько -, сколько следующих за ним элементов меньше его.

Для каждого элемента из количества «+» вычитаем количество «-». Получаем

∑n

2Ri

2(2n + 5)

9n(n − 1)

тилем стандартного нормального распределения при заданной надежности.

На эти оценочные коэффициенты распространяются те же свойства, что и на основную оценку корреляцию.

31

7Регрессионный анализ

7.1Постановка задачи

Основная задача регрессионного анализа в целом совпадает с задачей корреляционного анализа - выяснение зависимости между случайными величинами. Но если в корреляционном анализе мы выявляли зависимость в количественном виде (с помощью коэффициентов), то в регрессионном анализе мы выявляем функциональную зависимость. Если у нас есть, для примера, 2 случайные величины X и Y, то мы должны найти такую функцию f, что Y ≈ f(X). В общем случае определя-

ют функциональную зависимость от нескольких случайных величин: задают вектор

−→ →−

X = (X1; X2; : : : ; Xk), где каждая Xi представлена в виде выборки, и тогда Y = f(X ) - функция регрессии. В реальности сложно, а как правило и невозможно, найти такую функцию f, чтобы соблюдалось точное равенство. Поэтому задача ставится следующим образом: найти такую Y = f(X1; X2; : : : ; Xk), чтобы разница Y и Y , называемая ∆→−X была наименьшей.

−→

Введем термины: вектор X будем называть регрессорами (исходные признаки,

−→

исходные факторы). Y называем предикатором, а f(X ) называем функцией регрессии. ∆−→X называется ошибкой регрессии. Введем понятие дисперсии ошибки D[∆] - по сути это суммарное отклонение регрессии Y (Y ) от самого Y. Чем меньше регрессия ошибки тем лучше. Функция f(x) для которой дисперсия ошибки минимальна называется оптимальной в среднеквадратическом смысле или среднеквадратической регрессией. В статистике случайные величины X и Y представляются своими выборками x1; x2; : : : ; xn и y1; y2; : : : ; ym.

7.2Способы построения регрессии. Метод наименьших квадратов

Выше мы сказали, что разница Y и Y должна быть наименьшей, однако мы не уточнили как эту разницу находить. В статистике функции Y и Y представлены выборками из n элементов. То есть по сути это n-мерные вектора. Для нахождения разницы между этими векторами есть несколько способов:

полученная по этому способу будет среднеквадратической.

Рассмотрим применение метода наименьших квадратов для построения одномерной

32

Функция f в данном случае зависит от двух параметров: a и b. Чтобы найти минимум функции J по f, нужно найти ее минимум по a и b.

∑ ∑

Рассмотрим второе равенство: yi − a xi − nb = 0. Поделив обе части равенства

Таким образом мы нашли регрессию y по x:

√√

Аналогичным образом по методу наименьших квадратов можно найти регрессию x по y (g(y) = a2x + b2):

√√

Сравним между собой полученные регрессии x на y и y на x:

1.Обе прямые совпадают (то есть совпадают соответствующие коэффициенты) только когда rxy = 1

2.Обе прямые пересекаются в точке (x; y).

3.Отличаются они потому, что в первом случае выбираем регрессию так, чтобы суммарное расстояние по y было минимально, а во втором случае минимально суммарное расстояние по x.

33

7.3Нелинейная регрессия

Выше мы нашли коэффициенты для регрессии функции, заданной линейно (f(x)=ax+b). Есть несколько подходов нахождения оптимальной нелинейной регрессии заданного вида методом наименьших квадратов.

1.Применять тот же метод наименьших квадратов к исходной функции. Однако решать систему скорее всего придется уже численными методами. Пример

ше можно находить частные производные по a и b, однако решить систему в прямом виде уже не удастся.

2. Упрощать задачу и сводить ее к линейной. Для этого проводятся замены для

x или f(x) в формуле f(x). Для того же примера: ln f(x) = ln aebx = ln a + bx.

∑n

В таком случае оптимизируемая функция будет иметь вид J (a; b) = (ln yi −

i=1

ln a − bxi)2. В этом случае система будет решаться очевидно решаться аналогично как и в случае линейной регрессии (роль a выполняет b, роль b - ln a). Получается можно использовать замену a = b, b = ln a и находить коэффициенты линейной регрессии. То есть на практике необходимо вместо выборки y взять выборку ln y, найти коэффициенты линейной регрессии a и b . Тогда показательная регрессия будет иметь вид f(x) = aebx = eb ea x = eb +a x

Заметим, что результаты применения обоих методов получатся вообще говоря разные. На практике проще применять 2ой метод нахождения линейной регрессии. Рассмотрим способ приведения к линейной регрессии для некоторых прочих видов функций f(x).

1.Степенная регрессия f(x) = axb.

Прологарифмировав левую часть получим ln f(x) = ln a+ b ln x. заменив ln x на x мы придем к линейной регрессии: ln f(x) = ln a + bx . Опять заменив a = b,

b = ln a получием классическую линейную регрессию: ln f(x) = b +a x Таким образом, на практике необходимо вместо выборки y взять выборку ln y, вместо выборки x взять выборку ln x, найти коэффициенты линейной регрессии a и b . Тогда степенная регрессия будет иметь вид f(x) = axb = eb xa

2.Логарифмическая регрессия f(x) = ln(ax + b).

Тогда ef(x) = ax + b. Отсюда уже ищется линейная регрессия с теми же самыми коэффициентами. Другими словами при поиске логарифмической регрессии, мы должны взять экспоненту от всех значений выборки y, найти линейную регрессию (коэффициенты a и b). Тогда искомая регрессия будет f(x) = ln(ax+ b).

34

7.4Множественная регрессия

До этого мы применяли метод наименьших квадратов для поиска регрессии случайной величины Y от одной случайной величины X. Однако зачастую стоит задача поиска функциональной зависимости одной случайной величины y от нескольких случайных величин X1; X2; : : : ; Xk. Такая задача называется задачей множественной регрессии. Линейная множественная регрессия, например, выглядит следующим образом: f(X1; X2; : : : ; Xk) = a1X1 + a2X2 + · · ·+ akXk + b. Принципиальных различий в нахождении такой регрессии нет, в частности применяется все тот же метод наимень-

fi=1

писи коэффициентов, перепишем формулу линейной регрессии в следующей форме: f(X1; X2; : : : ; Xk) = a1(X1−X1)+a2(X2−X2)+· · ·+ak(Xk−Xk)+b. Коэффициенты вы-

- вектор корреляций Y с каждой случайной величиной системы (X1; X2; : : : ; Xk):

−−→

rY X = (rY X1 ; rY X2 ; : : : ; rY Xk ).

7.5Анализ регрессионной модели

Введем понятие коэффициентов детерминации и множественной корреляции.

Коэффициент детерминации находится по следующей формуле:

Коэффициент множественной корреляции - это квадратный корень из ко-

√ −→ −−→

эффициента детерминации RY X = ( ; rY X ). По сути это многомерный аналог коэффициента корреляции. Он является первым и основным параметром для линейной регрессионной модели. Свойства коэффициента множественной корреляции:

1.0 ≤ RY X ≤ 1

2.D[∆] = Y2 (1 − RY2 X ). То есть дисперсия ошибки может быть выражена через коэффициент множественной корреляции.

и проверить правильность вычислений, найдя ее по формуле через коэффициент множественной корреляции: D[∆] = Y2 (1 − RY2 X ).

Далее рассмотрим, как можно анализировать значимость и точность модели регрессии.

35

1.Значимость регрессии. В этом пункте проверяется гипотеза H0 : bi = 0, для всех i = 1; k. Проверка значимости модели регрессии осуществляется при помощи критерия Фишера. Модель регрессии считается незначимой, если =

регрессии необходимо найти , сравнить ее с квантилем распределения Фишера при заданной надежности. Если больше квантиля, то модель считается значимой.

2.Значимость компонентов регрессии. В этом пункте проверяется гипотеза H0 : bi = 0, для конкретного i = 1; k. То есть проверяется гипотеза, что значимость i-го компонента Xi в формуле регрессии незначительна. Для проверки

KX−1. Xi считается незначимым, если i t =2(n−k −1), то есть i должно быть распределено по распределению Стьюдента с n-k-1 степенью свободы. То есть для проверки значимости компонента регрессии необходимо найти i, сравнить ее с квантилем распределения Стьюдента при заданной надежности. Если i больше квантиля, то компонент считается значимым.

3. Точность регрессии. Оценка точности проводится в предположении того, что выборка Y имеет нормальное распределение. Для оценки точности проверяет-

ся, что ∆ N(0; ∆). Это означает, что P (|∆| < t ) = 2Φ(t ) = . Тогда

∆

= P (|∆| < t ∆) = P (|∆| < t Y2 (1 − RY2 X )). На практике случайную величину ошибки можно заменить ее средним значением. То есть необходимо найти

модуль среднего ошибок и сравнить его с величиной t Y2 (1 − RY2 X ). Если модуль среднего ошибок будет меньше, то можно сделать вывод о достаточной точности регрессии.

Также при анализе регрессии можно строить график зависимости выборочных значений случайной величины Y от значений регрессии. При оптимальной регрессии график должен стремиться к Y=X. Можно также строить гистограмму остатков (ошибок). Проанализировав ее можно вычислить выбросы - точки, в которых ошибка существенно превышает среднее значение ошибки.

36

8Статистическое моделирование

8.1Постановка задачи

Понятие статистического моделирования трактуется по-разному. В одном варианте сущность статистического моделирования состоит в том, чтобы реализовать некую вероятностную модель при помощи методов статистики. Например, построить нормально распределенную случайную величину. Иногда в понятие статистического моделирования включают решение некоторых математических задач при помощи аппарата статистики. Статистическое моделирование часто отождествляют с моделированием типа Монте-Карло. Оно заключается в следующем: подбирается некоторая случайная величина, такая что некоторая ее вероятностная характеристика совпадает с случайной величиной, случайным событием или математическим выражением, которое нам надо найти. Берется достаточно большое число реализаций этой случайной величины, на основании которых статистическими методами ищется оценка требуемой вероятностной характеристики, которая может приниматься приблизительно равной требуемому значению. Иными словами мы находим некоторую оценку случайной величины и принимаем требуемое для вычисления число равному этой оценке. Метод получил свое название от столицы княжества Монако, которое славится обилием казино. А рулетка известна, как один из простейших генераторов случайных чисел.

8.2Генерация случайных чисел

"Каждый, кто использует методы генерации случайных чисел, безусловно грешитФон Нейман. Все, наверное, понимают, что реальные случайные числа программно получить невозможно, можно лишь усложнить степень их непредсказуемости. На практике генерируют так называемые псевдослучайные числа. Для чего это нужно:

1.Моделирование.

2.Тестовые данные для тестирования каких-либо алгоритмов.

3.Принятие решений

Простейшие способы получения случайных чисел можно вывести из бросания монетки, кубика, вытягивания карт. Немножко современной истории:

1927 г. - Леонард Генри Калеб Типпетт впервые публикует таблицы случайных чисел, полученные из данных о переписи населения.

1939 г. - Кэндел впервые применил механический генератор случайных чисел и получил таблицу из 100 тысяч случайных чисел.

1946 г. - фон Нейман предложил программный алгоритм получения псевдослучайных чисел: берется большое число, возводится в квадрат. Затем берется его середина (без трех первых и трех последних символов) и снова возводится в квадрат.

37

Повторяя процесс достаточное количество раз, можно считать следующую "середину"псевдослучайным числом. Первый блин вышел комом: этот метод почти всегда зацикливался.

1949 г. - официальное рождение "метода Монте-Карло опубликована статья Метрополиса и Улама с таким названием.

1951 г. - Алан Тьюринг разработал вероятностную машину, развивающую его классическую машину, но с дополнительным аппаратным источником случайных бит. Дональд Кнут посвятил всю третью главу второго тома своего монументального издания "Искусство программирования"изучению случайных чисел, в том числе и их генерации.

Разновидности генераторов случайных чисел:

1.Физические - сгенерированные числа являются результатом какого-либо физического прибора Достоинства:

•Истинная случайность чисел

•Не требуется процессорного времени на генерацию

Недостатки:

•Нестабильность - работу аппарата надо периодически проверять.

2.Программные - сгенерированные числа являются результатом какого-либо программного алгоритма Достоинства:

•Не требуется дополнительного оборудования

•Возможны повторные вычисления с такими же исходными данными

•Требуется однократная проверка датчика после его разработки

Недостатки:

•Зацикливание

•Вырожденность - сходимость к какому-либо значению

Основные программные генераторы

Это линейная конгруэнтная последовательность. a - множитель, c - приращение, m - модуль, X0 - начальное значение. В результате работы этого генератора получаются числа от 0 до m-1.

Необходимо выполнения некоторых условий, что избежать зацикленности и вы-

рожденности генератора: X0 может быть произвольным, a mod 8 = 5, m длины

√

требуемой последовательности, m=100 < a < m − m, двоичная запись числа a не должна иметь шаблонов.

Xn+1 = (aXn mod (m + 1) + c) mod m

Xn+1 = (dXn2 + aXn + c) mod m

38

8.3Моделирование случайных величин

8.3.1Моделирование равномерно распределенного распределения на [0,1]

Самая первая задача, которая встает при моделировании любой случайной величины - генерация непрерывной равномерно распределенной случайной величины на [0,1]. Это можно сделать при помощи генерации случайных чисел при помощи любого программного или физического генератора. Только после генерации последовательности таких случайных чисел, необходимо поделить их на верхний предел генерации - 1. То есть для 11 необходимо поделить все X на m-1. Полученные в результате числа можно считать выборкой наблюдений за случайной величиной, распределенной равномерно на [0,1]. Количество сгенерированных чисел будет размером выборки или количеством наблюдений над равномерно распределенной случайной величиной.

8.3.2Метод обратной функции

Метод обратной функции используется для генерации распределений непрерывной случайной величины с заданной функцией распределения. Метод строится на следующем факте: Если дана непрерывная случайная величина с функцией распределения F (x). Тогда случайная величина = F ( ) имеет равномерное распределение на [0,1]. Отсюда следует, что если возьмем случайную величину [0; 1], то = F −1( ) имеет функцию распределения F (x).

8.3.3Моделирование равномерного распределения на [a,b]

Если случайная величина [0; 1], то случайная величина = (b − a) + a [a; b]. Действительно

если x < a

если a < x < b

если x > b

Тогда видно, что F −1(y) = (b − a)y + a, причем y [0; 1]

Следствие. Если у нас есть выборка (x1; x2; : : : ; xn) равномерно распределенной на [0,1] случайной величины, то элементы выборки (y1; y2; : : : ; yn) случайной величины, равномерно распределенной на [a,b] получаются по следующей формуле yi = (b − a)xi + a

8.3.4Моделирование показательного распределения с параметром

39

Следствие. Если у нас есть выборка (x1; x2; : : : ; xn) равномерно распределенной на [0,1] случайной величины, то элементы выборки y1; y2; : : : ; yn случайной величины, показательно распределенной с параметром получаются по следующей формуле

yi = −ln(1 − xi)

8.3.5Моделирование нормального распределения с параметрами (a; )

Если случайная величина [0; 1], то случайная величина = Φ−1( )+a N(a; ). Действительно F (x) = Φ(x − a) Тогда видно, что F −1(y) = Φ−1(y) + a, причем y [0; 1]

Следствие. Если у нас есть выборка (x1; x2; : : : ; xn) равномерно распределенной на [0,1] случайной величины, то элементы выборки y1; y2; : : : ; yn случайной величины, нормально распределенной с параметрами (a; ) получаются по следующей формуле yi = Φ−1(xi) + a

8.3.6Моделирование дискретной случайной величины

случайной величины опять используем сгенерированные значения равномерно распределенной случайной величины на [0,1] - (y1; y2; : : : ; yn). Элементы выборки в пределах от 0 до 1, следовательно ничто не мешает принимать их за вероятности.

Если yj < P1, то значение случайной величины принимаем за X1.

Если P1 < yj < P1 + P2, то значение случайной величины принимаем за X2. Далее аналогично:

Если P1 + P2 + · · · + Pk < yj < P1 + P2 + · · · + Pk + Pk+1, то значение случайной величины принимаем за Xk+1

Получается, что мы из каждого сгенерированного значения равномерно распределенной случайной величины на [0,1] по этому правилу мы получаем одно значение дискретной случайной величины с заданным законом распределения.

8.4Некоторые применения метода Монте-Карло для решения математических задач

8.4.1Поиск экстремумов функции по методу Монте-Карло

Рассмотрим одномерный случай поиска максимума функции. Поиск минимума осуществляется полностью аналогично. Имеется функция f(x). Требуется найти такой x , что f(x ) = max f(x) на некотором интервале [a,b]. Алгоритм поиска максимума функции очень прост: генерируются значения равномерного распределение на

40