дов

R

Замечание. Легко видеть, что введенный нами интеграл Лебега – это и интеграл dP,

который в теории вероятностей чаще всего обозначается E , но в ряде учебников обозначается также M . Используемые термины среднее значение случайной величины или математическое ожидание .

Очень полезное замечание. Из свойства 4 следует, что равномерная сходимость случайных величин влечет сходимость средних (то есть, интегралов). Это позволяет во многих случаях сводить доказательства разного рода утверждений для среднего значения случайных величин к случаю, когда эта случайная величина является дискретной. В этом случае среднее значение оказывается конечной линейной комбинацией (или бесконечной линейной комбинацией, то есть суммой ряда) индикаторов событий. Поэтому для доказательства теоремы для случайных величин общего вида часто бывает достаточно доказать эту теорему для индикаторов, а потом перейти к линейным комбинациям индикаторов и их пределам. Впрочем, ниже мы имеем пример ситуации, когда равномерная сходимость такому переходу не помогает.

3. Формула замены переменной (! 2 заменяется на x 2 R).

Для дискретного типа распределения формула для среднего уже имеется. Теперь я хочу доказать формулу для среднего в случае непрерывного типа распределения:

Z

E = xp (x)dx;

R

которую мы уже использовали. Но мне будет удобнее доказать более общую формулу:

Z

Eg( 1; :::; n) = g(x1; :::; xn)p 1;:::; n (x1; :::; xn)dx1:::dxn; (1)

Rn

где функцию g можем считать измеримой, хотя для приложений достаточно считать кусочно непрерывной, но при этом мы предполагаем, что наш n-мерный интеграл сходится абсолютно (в противном случае среднее не существует).

Дело в том, что функцию g мы также можем представить как равномерный предел дискретных функций

Но тогда g(n)( 1; :::; n) сходится равномерно к g(n)( 1; :::; n). Поэтому достаточно проверить формулу (1) для g(n)( 1; :::; n), а потом перейти к пределу. Имеем по определению среднего для дискретных случайных величин:

Z

=g(n)(x1; :::; xn)p 1;:::; n (x1; :::; xn)dx1:::dxn:

Rn

В чем смысл доказанного утверждения. В анализе он называется совпадением интегралов Римана и Лебега для функций, интегрируемых по Риману. Доказательство чрезвычайно прозрачно. Мы приближаем функцию ступенчатой, пользуемся совпадением интегралов Римана и Лебега для ступенчатых функций, а потом переходим к пределу, устремляя ступенчатую функцию к интегрируемой по Риману. Польза от утверждения для теории вероятностей бесспорна

61

– мы умеем вычислять интеграл Римана, пользуясь техникой первообразных, и применяем эту технику для вычисления среднего значения.

Точно так же доказывается и более общая формула для не обязательно непрерывного случая:

Z

Eg( 1; :::; n) = g(x1; :::; xn)dP 1;:::; n (x1; :::; xn): (2)

Rn

Но для вычислений она используется редко.

Замечание. Из формулы замены переменной следует тривиальное (?) утверждение: если P = P , то Eg( ) = Eg( ) для любой измеримой функции g, для которой существует одна из частей равенства.

R

Замечание. Интеграл Лебега f(x)dm(x), где m мера Лебега, это по-существу интеграл

R

ydf m(y), то есть интеграл от тождественной функции по мере f m образу меры m относительно отображения f. В теории интегрирования одним из важнейших приемов является замена переменной, которая позволяет упрощать вид интегрируемой функции. Как мы видим, в теории интеграла Лебега мы до предела упрощаем интегрируемую функцию, зато всю сложность переводим в меру.

Приведем нужные объяснения: обычный интеграл Римана является пределом интеграль-

мера Лебега, то есть длина соответствующего интервала. Интегральная сумма Лебега име-

XX

if m([yi 1; yi)) = f( i)m([f 1(yi 1(; f 1(yi));

i=1 i=1

где f( i) = i, а в правой части сумма Римана.

В интеграле Лебега больший произвол интегральных сумм, разбиение области интегрирования не обязательно состоит из интервалов. Поэтому это более общее понятие. Однако вычисление интеграла Лебега производится лишь в том случае, когда его можно записать в виде интеграла Римана. Впрочем, имеется случай, когда интеграл Римана не нужен, это случай кусочно постоянной функции f 2 fy1; :::; yng или f 2 fy1; :::; yn; :::g, в этом случае образ меры m лежит на fy1; :::; yng или fy1; :::; yn; :::g, причем f m(fyig) = m(f 1(fyig). Используя фигурные скобки, мы обращаем внимание на то, что yi здесь не число, а одноточечное множество, прообраз этого множества тоже множество. В этой ситуации вместо интеграла Римана

тическое ожидание

Z

E = M = dP:

но в этой ситуации мера P не мера Лебега, а вероятность, и задана не на отрезках, а на событиях, однако переход к образу вероятности P распределению P случайной величины позволяет в случае, когда распределение P имеет плотность p , сводить среднее к интегралу Римана, а когда распределение лежит на конечном или счетном множестве, к конечной сумме или сумме ряда.

Итак, вероятность (и интеграл по ней) это некая абстракция, а распределение случайной величины мы можем использовать для конкретных вычислений.

4. Представление среднего произведения независимых случайных величин.

Теорема. Пусть , – независимые случайные величины, E и E существуют. Тогда существует и E и

62

кровь каждого человека (в этом случае для n человек проводится n анализов), а можно разбить всех новобранцев на группы по k человек. В каждой группе часть отобранной крови сливается, и если в группе нет людей с данным фактором, то это обстоятельство обнаруживается в результате одного анализа. Если же такие люди в группе имеются, то проводится 1 + k анализов. Как нужно разбивать на группы, чтобы минимизировать математическое ожидание общего числа анализов? Решение заключается в нахождении минимума последовательности

Ответ: k = 4.

6. Пример из теории игр. Теорема фон Неймана о минимаксе.

Пример. Играют два игрока, у каждого из которых имеется r возможных стратегий игры. Если 1-й игрок использует i-ю стратегию, а 2-й игрок использует против этой стратегию свою j- ю стратегию, то выигрыш 1-го игрока составит xij (это число может быть как положительным, так и отрицательным). Оба игрока знают матрицу [xij]. Как должен играть 1-й игрок, чтобы получить максимальный выигрыш при любой стратегии противника? Заметим, что пока в условиях нет никаких вероятностей и все детерминировано.

Как видно из матрицы, при выборе любой стратегии при правильной игре противника выигрыш 1-го игрока не больше 2. Но давайте сделаем выбор стратегии случайным: каждую из стратегий мы выбираем с вероятностью 1=3, и противник не знает, какую стратегию на каждом шаге мы выбрали. Тогда выигрыш 1-го игрока становится случайной величиной: при выборе 2-м игроком его 1-й стратегии математическое ожидание выигрыша 1-го игрока равно

игр такая стратегия называется смешанной) даже при первом попавшемся подборе вероятностей оказывается более выгодной. Наименьший результат будет равен 7=3. Еще лучше будет результат 1 игрока, если он выберет 1-ю стратегию с вероятностью p1 = 1=3, 2-ю стратегию с вероятностью p2 = 4=15, 3-ю стратегию с вероятностью p3 = 2=5. Однако, 2-й игрок также может выбрать смешанную стратегию, состоящую из вероятности q1 1-й стратегии, q2 2-й

было бы максимально, а задача игрока выбрать такую смешанную стратегию f jg, чтобы

7. Дисперсия.

64

Дисперсией случайной величины называется

D = E( E )2:

Для дисперсии имеется и вторая формула

D = E 2 (E )2:

Проверка очевидна:

E( E )2 = E 2 2E( E ) + E(E )2 = E 2 2E E + E E:

Из определения следует: дисперсия мера отклонения случайной величины от своего среднего.

8. Свойства дисперсии (предполагается, что дисперсия существует).

1.D 0:

2.D( + Const) = D .

3.D(a) = a2D .

4.Если и – независимые случайные величины, то

D( + ) = D + D:

Проверка очевидна.

E([ E ] + [ E ])2 =

E( E )2 + E( E )2 + 2E([ E ][ E ]):

Но

E([ E ][ E ]) = E[ E ]E[ E ] = 0 0:

Разумеется, не всегда дисперсия суммы равна сумме дисперсий, например,

D( + ) = D(2 ) = 4D 6= D + D:

Упражнения. 1. Если P = P , то E = E , D = D . Обратное неверно придумайте пример.

2.Если 1,..., n независимые одинаково распределенные случайные величины со средним

идисперсией, то

1 + ::: + n

D p = D 1 = ::: = D n: n

Будут ли верны эти равенства, если случайные величины 1,..., n попарно независимы, т. е.i, j независимы для любых пар i 6= j?

9. Моменты.

n-м моментом случайной величины называется

n( ) = E n:

Замена случайной величиной E( ) делает среднее значение равным нулю и называется центрированием случайной величины.

n-м центральным моментом случайной величины называется

n( ) = E[ E ]n:

Среднее значение – это первый момент. Дисперсия второй центральный момент. Очевидно, что n-й момент при умножении случайной величины на a умножается на an, кроме

65

того, n-й центральный момент не меняется при прибавлении к случайной величине константы.

10. Другие характеристики.

Медиана распределения P это такое число d, что

P(1; d] 12; P[d; 1) 12:

Медиан у распределения может быть несколько.

В математической статистике постоянно используется квантиль случайной величины: квантиль порядка случайной величины это любое такое число K , что

Pf < K ; Pf K :

Впрочем, используются также таблицы чисел K1 .

Модой дискретного распределения называется точка, вероятность которого наибольшая. Модой непрерывного распределения называется точка, в которой плотность наибольшая. Если у распределения мода единственна, оно называется унимодальным.

11. Среднее и дисперсия конкретных распределений.

Вычисление среднего и дисперсии можно проводить как непосредственно, в виде суммы или интеграла, так и с использованием свойств среднего и дисперсии, в частности, для среднего суммы случайных величин и для дисперсии суммы независимых случайных величин

Распределение Бернулли с параметром p.

Z

E = xdP (x) = 1 P f = 1g + 0 P f = 0g = p:

D = E 2 (E )2 = p p2:

Биномиальное распределение с символом B(n; p).

Аналогичные выкладки позволяют подсчитать и второй момент. Однако наш ответ слишком прост, нельзя ли его получить проще. Вспомним, что биномиальное распределение это распределение числа гербов в n испытаниях. Эту случайную величину мы можем представить как сумму:

= 1 + ::: + n;

где i число гербов в i испытании имеет среднее p и дисперсию p(1 p). Используем свойства среднего и дисперсии (для независимых слагаемых), получаем, E = np, D = np(1 p).

Упражнение. Найдите моду биномиального распределения. Укажите алгоритм нахождения для любого p.

Распределение Пуассона с параметром .

XX

k=1

66

XX

12. Характеристики нормального распределения.

Проще всего все подсчеты сделать для стандартного нормального распределения N(0; 1), общий случай свести к нему.

1

Z

E = p1 xe x2=2dx = 0

2

1

как интеграл от нечетной функции. Второй момент интегрируем по частям.

11

Мода и медиана равны 0. Подсчитаем высшие моменты. Для n = 2k + 1

1

Z

E 2k+1 = p1 x2k+1e x2=2dx = 0:

2

1

Для n = 2k интегрируем по частям:

2k 2( ) = ::: = (2k 1)!!:

В случае = + m (т. е. в случае N(m; )) имеем:

67

E = m, D = 2, 2k( ) = (2k 1)!! 2k.

Упражнение. Разложите по биному Ньютона n = ( + m)n. Сложив средние отдельных слагаемых, выведите формулу для n( ).

13. Среднее и дисперсия распределения 2n.

Для вычислений надо использовать не функцию плотности распределения 2n, а определение этого распределения 2n: 2n = 12 + ::: + n2, где i независимые случайные величины со стандартным нормальным распределением. Поэтому

E 2n = E 12 + ::: + E n2 = n 1:

D 2n = D 12 + ::: + D n2 = n E 14 E 12 2 = n(3 1) = 2n:

14. Случай распределения Коши.

Для распределение Коши мы имеем следующий интеграл для вычисления среднего:

1

Z

1

x (1 + x2)dx:

1

Если бы интеграл сходился, то он был бы равен нулю, но он не сходится, среднее не существует.

15. Смешанные моменты

Для n случайных величин 1,..., n обычно выписывают вектор средних и матрицу вторых центральных моментов (если существуют) [ i;j], где

i;j = E[ i E( i)][ j E( j)]

Матрица [ i;j] неотрицательно определена. Действительно, для всех вещественных xi

"#2

XX

Упражнения. a) Используя неравенство Коши Буняковского для средних значений докажите, что из существования дисперсий и следует и существование у них центрального смешанного момента.

b) Обобщите свойство аддитивности для дисперсии независимых случайных величин: покажите, что из независимости случайных векторов ( 1; 1), ( 2; 2) и существования вторых смешанных моментов следует равенство

E [( 1 + 2 E( 1 + 2)) ( 1 + 2 E( 1 + 2))] = E [( 1 E 1) ( 1 E 1)]+E [( 2 E 2) ( 2 E 2)] :

Можно ли доказать равенство

E [( 1 + 2 E( 1 + 2)) ( 1 + 2 E( 1 + 2))] = E [( 1 E 1) ( 2 E 2)]+E [( 2 E 2) ( 1 E 1)]?

16.Коэффициент корреляции двух случайных величин и . Если случайные величины

и независимы, то смешанный центральный момент

(; ) = E[ E ][ E ]

равен 0. Но (; ) не может характеризовать степень зависимости случайных величин, так как сам зависит от внешних факторов (например, единиц измерения, изменение которых может во много раз изменить этот коэффициент). Этого недостатка лишен коэффициент корреляции:

68

Свойства коэффициента корреляции

1. (a + b; c + d) = sgn (ac) (; ) для всех вещественных a, b, c, d. 2. j (; )j 1.

3. Если и независимы, то (; ) = 0, j (; )j = 1 тогда и только тогда, когда и линейно зависимы, т.е. a + b + c = 0 для некоторых вещественных a, b, c.

Чтобы удобнее было доказать 1, мы введем операцию

! = E p

D( )

центрирования и нормирования случайной величины . Легко проверяется, что

(; ) = E ; (a + b) = sgn a :

Это влечет 1. Свойство 2 следует из неравенства Коши Буняковского

p

jE j Ej j2Ej j2:

Первую часть 3 мы уже отметили. Чтобы доказать вторую часть, нужно вспомнить когда в неравенстве Коши – Буняковского достигается равенство. Тогда и только тогда, когда ипропорциональны. В наших терминах это означает = C , это влечет утверждение в 3. Обратно, из введенного соотношения между и следует sgn a = sgn b .

Равенство нулю коэффициента корреляции (; ) не влечет независимость и .

Пример. = f1; 2; 3; 4g с классической вероятностью, (1) = 1, (2) = 1, (3) = (4) = 0,(1) = (2) = 0, (3) = 1, (4) = 1. Тогда средние и равны 0, = 0 тождественно. Разумеется, случайные величины и зависимы.

Предложение. Если и имеют совместное нормальное распределение, (; ) = 0, тои независимы.

Мы будем считать для простоты и центрированными, тогда их совместная функция плотности имеет вид

p ; (x; y) = j2Aje 12 (a11x2+2a12xy+a22y2):

Чтобы доказать независимость, нам нужно показать, что a12 6= 0. Это можно сделать и непосредственно – вычислением (; ) = 0, а также анализом интеграла, который мы сейчас продемонстрируем. Числитель в имеет вид

Z Z xy j2Aje 12 (a11x2+2a12xy+a22y2)dxdy:

Сравним этот интеграл с равным нулю интегралом

Z Z xy j2Aje 12 (a11x2+a22y2)dxdy:

Допустим, что a12 > 0. Разобьем оба интеграла на две области fxy > 0g и fxy < 0g. Непосредственно проверяется, что на каждой из областей верхний интеграл строго меньше нижнего. Поэтому оба интеграла не могут быть одновременно равны 0. Случай a12 < 0 рассматривается аналогично.

Пример. Пусть P ; имеет плотность, равную 1= на круге f(x; y) : x2+y2 1g и 0 вне круга. Докажите, что (; ) = 0, тем не менее, случайные величины и зависимы. (Указание. Для доказательства зависимости придумайте такие числовые множества A и B, что

Pf 2 Ag = P (A) 6= 0; Pf 2 Bg = P (B) 6= 0;

P(f 2 Agf 2 Bg) = P ; (A B) = 0.)

69

Как связаны числа a и b?

Упражнение 14. Случайные величины и независимы, D( ) = 1,

E( ) = D( ) = E( ) = D( ) = 1:

Найти E( ), D( ).

Упражнение 15. Случайные величины и имеют совместное нормальное распределение, D( + ) = D( ) + D( ). Доказать, что и независимы.

Вопрос. Придумайте пример двух случайных величин с разными распределениеми и одинаковыми средним и дисперсией.

Вопрос. В каком классе распределений среднее и дисперсия совпадают у всех распределений из класса?

§8. Задача регрессии

1. Функция регрессия.

Мы будем рассматривать задачу приближения одной случайной величины функцией f( 1; 2; :::; n) других случайных величин 1, 2,..., n. А именно, мы будем минимизировать число E( f( 1; 2; :::; n))2 (см. объяснение задачи также в лекции о сходимости).

Сначала рассмотрим простейший случай, когда одно и является константой. В этом случае решение очень просто. Если = c, то функция f определена лишь на множестве, состоящем из одной точки fcg. Оказывается, что минимум E( f(c))2 достигается при f(c) = E . Действительно, предположим f(c) = d 6= E . Тогда

E( d)2 = E( E + E d)2 = E( E )2 + E(E d)2 + E( E )(E d):

Заметим, что E d является константой, поэтому

E( E )(E d) = (E d)E( E ) = 0:

Последнее равенство основано на том, что E(E ) = E . Это верно лишь при интегрировании по вероятностной мере,

Z

Ec = c = cP( ) = c:

Далее мы рассмотрим общую ситуацию дискретной случайной величины :

X

= anIf =ang:

n

Минимизируемую величину E( f( ))2 нагляднее записать в виде интеграла

Z

E( f( ))2 = ( f( ))2dP =

!!2

Z

XX

70