Лекции по теории вероятностей / lect13

Лекция 13. Характеристические функции.

Мы изучали такие характеристики случайных величин как функция распределения, плотность распределения, числовые характеристики. При исследовании распределения произвольных случайных величин полезным инструментом являются характеристические функции случайных величин.

Для определения характеристической функции нам потребуется ввести понятие комплексно√çíàчных случайных величин.

Введем i = −1 - мнимую единицу. Любое число в комплексной плоскости

√

w = u + iv. Модулем комплексного числа называется |w| = u2 + v2. Для любого действительного числа t справедлива формула Эйлера eit = cos t+i sin t, |eit| = 1.

Комплекснозначной случайной величиной мы будем называть Z = X + iY, где (X, Y ) - случайный вектор. По определению положим

EZ = EX + iEY.

Для математического ожидания от комплекснозначных случайных величин про-

веряются легко все основные свойства математического ожидания. Определение. Функция ϕ(t) = EeitX = E cos tX + iE sin tX называется ха-

рактеристической функцией случайной величины X.

Из определения характеристической функции следует, что вычислять ее надо по формулам:

(

ϕ(t) = Pk eitak p(X = ak), если X дискретна

R−∞∞ eitufX (u)du, если X абсолютно непрерывна.

Примеры вычисления характеристической функции. Пример 0. Åñëè p(X = c) = 1, òî ϕc(t) = eict.

Пример 1. Пусть случайная величина X имеет распределение Бернулли. Тогда

ϕ(t) = eit0p(X = 0) + eit1p(X = 1) = 1 − p + peit.

Пример 2. Пусть X имеет биномиальное распределение с параметрами n, p.

n

X

=Cnk(peit)k(1 − p)n−k = (1 − p + peit)n.

k=0

Пример 3. Пусть случайная величина X имеет распределение Пуассона с параметром λ.

1

Этот результат сразу получается после замены переменных под знаком интеграла z = (α − it)u и определения гамма-функции

Z ∞

(λ) = zλ−1e−zdz.

0

Свойства характеристической функции.

1. Характеристическая функция определена при любом t и |ϕX (t)| ≤ 1.

|ϕX (t)| = |EeitX | ≤ E|eitX | ≤ E1 = 1.

2.ϕX (0) = 1.

3.Åñëè Y = aX + b, òî ϕY (t) = eitbϕX (at).

Действительно, ϕY (t) = Eeit(aX+b) = etbEei(ta)X = eitbϕX (at).

4. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых.

Пусть X, Y - независимые случайные величины, тогда рассмотрим характеристическую функцию суммы X + Y.

ϕX+Y (t) = Eeit(X+Y ) = EeitX eitY = EeitX EeitY = ϕX (t)ϕY (t).

5. По характеристической функции случайной величины X îäíî-

значно восстанавливается функция распределения этой случайной величины.

Формулу, позволяющую по характеристической функции восстанавливать функцию распределения, мы здесь приведить не будем.

Если случайная величина абсолютно непрерывна, то по ее характеристиче- ской функции можно вычислить и плотность распределения случайной величи- ны.

В частности, если модуль характеристической функции φX (t) случайной величины X интегрируем по всей числовой прямой,

Z ∞

|φX (t)|dt < ∞,

−∞

то у этой случайной величины существует плотность распределения, которая вы- числяется по формуле

fX (u) = 1 Z ∞ e−ituϕX (t)dt.

2π −∞

2

6. Пусть существует момент порядка k случайной величины X, то есть E|X|k < ∞. Тогда характеристическая функция этой случайной величины ϕX (t) непрерывно диффиренцируема k раз и значение ее k-ой производной в нуле равно

Cуществование и непрерывность k-ой производной, равно как и законность внесения производной под знак математического ожидания мы доказывать не будем.

7.Если существует и конечна (φ2Xk(0)) - производная в нуле характеристиче- ской функции четной степени, то EX2k < ∞. (Без доказательства)

8.Если у случайной величины существуют моменты k-го порядка (то есть у характеристической функции существуют производные порядка k), тогда характеристическая функция случайной величины X разлагается в окрестности точки t = 0 в ряд Тейлора

Еще несколько примеров вычисления характеристических функций. функций.

Пример. Пусть случайная величина X имеет стандартное нормальное распределение N(0, 1).

Возьмем производную по t от функции ϕX (t). Так как функция равна интегралу, сходящемуся равномерно по t, то производная от этой характеристической функции равна интегралу от производной по t подынтегральной функции:

При выводе предпоследнего равенства мы использовали формулу интегрирования по частям.

Итак, мы получили, что характеристическая функция стандартного нормального закона является решением дифференциального уравнения

ϕ0X (t) = −tϕX (t),

ïðè ýòîì ϕX (0) = 1. Решением этого дифференциального уравнения является функция ϕX (t) = e−t2/2.

3

Пример. Пусть X имеет нормальное распределение N(a, σ2). Чтобы вычислить характеристическую функцию случайной величины X, рассмотрим случайную величину Y = (X − a)/σ. Эта случайная величина имеет стандартное нормальное распределение. Поэтому ϕY (t) = e−t2/2. Случайная величина X - линейная функция от Y, а именно X = σY + a. По свойству характеристической функции

ϕX (t) = eitaϕY (σt) = eita−σ22t2 .

С помощью характеристических функций мы докажем следующее очень полезное утверждение.

Теорема. Линейная комбинация суммы независимых нормально распределенных случайных величин имеет нормальное распределение.

Доказательство.Нам нужно доказать только, что сумма двух независимых случайных величин, имеющих нормальное распределение, также нормально распределена. Пусть X и Y имеют нормальное распределение с параметрами aX , σX è aY , σY соответственно. Характеристическая функция нормально распределенной случайной величины имеет вид

Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций. Поэтому

А это характеристическая функция нормального распределения с параметрами aX + aY , σX2 + σY2 .

Задача. Доказать, что сумма двух независимых случайных величин, имеющих биномиальное распределение B(n, p), B(m, p) имеет биномиальное распре-

деление B(n + m, p).

Задача. Доказать, что сумма двух независимых случайных величин, распределенных по закону Пуассона с параметрами λ, µ соответственно, распределена

по закону Пуассона с параметром λ + µ.

Задача. Доказать, что сумма двух независимых случайных величин, имеющих гамма-распределение ( (λ1, α), (λ2, α)), имеет гамма-распределение (λ1 +

λ2, α).

Следующее основное свойство характеристических функций потребуется нам для доказательства предельных теорем.

Теорема о непрерывном соответствии. Случайные величины X1, X2, ...

слабо сходятся к случайной величине X тогда и только тогда, когда для любого t

последовательность характеристических функций ϕXn (t) сходится к характеристической функции ϕX (t).

Эта теорема приводится без доказательства.

Перейдем теперь к доказательству предельных теорем с помощью характеристических функций. Докажем сначала закон больших чисел в форме Хинчина.

4

Закон больших чисел в форме Хинчина. Пусть X1, X2, ... последовательность независимых одинаково распределенных случайных величин с конеч- ным первым моментом EXj = a. Тогда

Как было показано, сходимость по вероятности к константе эквивалентна слабой сходимости к этой константе последовательности случайных величин.

По теореме о непрерывном соответствии слабая сходимость последовательности случайных величин к константе имеет место тогда и только тогда, когда последовательность соответствующих характеристических функций сходится к характеристической функции этой константы. А именно, если мы докажем, что

ϕSn/n(t) → ϕa(t) = eita,

в любой точке t, то будет доказана и сходимость по вероятности к константе a

p

последовательности Sn/n (Sn/n → a). Обозначим через

ϕ(t) = EeitXj

- характеристическую функцию случайных величин Xj. У случайной величины Xj существует первый момент, а это значит, характеристическая функция ϕ(t) непрерывно дифференцируема и в окрестности нуля характеристическую функцию можно разложить в ряд Тейлора.

ϕ(t) = ϕ(0) + ϕ0(0)t + o(t) = 1 + ita + o(t).

Найдем характеристическую функцию случайной величины Sn/n. Пользуясь свойствами характеристических функций получаем

ϕSn/n(t) = ϕSn (t/n) = (ϕ(t/n))n.

Отсюда

При n → ∞, пользуясь замечательным пределом (1 + nx )n → ex, получим

ϕSn/n(t) → eita.

Доказательство закончено.

Центральная предельная теорема Леви. Пусть X1, X2, ... последова-

тельность независимых одинаково распределенных случайных величин с математическим ожиданием EXj = a и конечной ненулевой дисперсией DXj = σ2.

Тогда для любого u (−∞, ∞)

5

Доказательство. Введем стандартизованные случайные величины

Yj = Xj − a.

σ

Случайные величины Yj имеют нулевое математическое ожидание и единичную

Пусть ϕ(t) - характеристическая функция случайных величин Yj. Характеристи-

√

ческая функция случайной величины Zn/ n равна

n t t

ϕZn/√n(t) = ϕZn ( √n) = ϕ( √n) .

Характеристическую функцию ϕ(t) случайной величины Yj можно разложить в ряд Тейлора в окрестности нуля

√

Подставим это разложение, взятое в точке t/ n, в выражение для характери-

стической функции ϕZn/√n(t) и устремим n к бесконечности. При этом еще раз воспользуемся замечательным пределом.

при n → ∞. В пределе получили характеристическую функцию стандартного нормального закона.

По теореме о непрерывном сооòветствии можно сделать вывод о том, что при

√

n → ∞ последовательность Zn/ n слабо сходится к стандартному нормальному

распределению

Итак доказана слабая сходимость стандартизованных сумм последовательности независимых одинаково распределенных случайных величин к стандартному нормальному закону. Это означает, что доказана центральная предельная теорема.

Задача. Используя теорему о непрерывном соответствии, доказать, что если Xλ случайная величина, имеющая распределение Пуассона, то стандартизованная случайная величина

Xλ − λ

√

λ

слабо сходится к стандартному нормальному закону при λ → ∞.

6