 
        
        книги из ГПНТБ / Лавренченко, А. С. Лекции по математической статистике и теории случайных процессов учебное пособие
.pdf 
МИНИСТЕРСТВО ВЫСШЕГО И СРЕДНЕГО СПЕЦИАЛЬНОГО ОБРАЗОВАНИЯ СССР
МОСКОВСКИЙ ОРДЕНА ЛЕНИНА АВИАЦИОННЫЙ ИНСТИТУТ имени СЕРГО ОРДЖОНИКИДЗЕ
А. С. ЛАВРЕНЧЕНКО
ЛЕКЦИИ ПО МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ
И ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Под редакцией докт. физ.-мат. наук, проф. В. К. Саульева
Утверждено на заседании редсовега
как учебное пособие 3 октября 1973 г.
МОСКВА — 1974
| 519. 2(075) | 
 | 
| Л 135™ , | Г | 
| fo e , гауФС;4(ЧНа.;Я | 
 | 
| нйучмо-тохмичэская | 
 | 
| библиотека СССР | 
 | 
| ЭКИЕМПЛИР | 
 | 
| ЧИТАЛЬНОГО ЗАЛА | 
 | 
Кажется, что чем меньше могут быть постигнуты и пределах научного знания, случайное и неопределенное, тем более удивительной представляется теория, которой они все же подчиняются.
Гюйшенс
(© Московский авиационный институт, 1974 г.
Зав. редакцией М. И, Кузнецова
ОТ РЕДАКТОРА
Пьер Симон де Лаплас (1749— 1827 гг.) в своей основополагаю щей работе по теории вероятностей «Theorie analytique des probabilites» («Аналитическая теория вероятностей»), опублико ванной в 1812 г., писал: .«Замечательно, что наука, которая начала с рассмотрения азартных игр, обещает стать наиболее важным объектом человеческого знания .. . Ведь большей частью важней шие жизненные вопросы являются на самом деле лишь задачами из теории вероятностей».
Эти слова оказались пророческими. Действительно, в последние годы наблюдается все усиливающаяся тенденция к математизации наук. С другой стороны, в самой математике все большую и большую роль играет именно теория вероятностей и ее приложения. Его величество случай теснит, причем с каждым годом все настой чивее, детерминистские подходы, так что в полушутливом, полу серьезном высказывании известного американского математика Джоржа Дуба «математика представляет собой часть теории вероятностей» — большая доля правды.
Предлагаемая книга является естественным продолжением другой книги автора «Конспект лекций и задачи по теории вероят ностей», выпущенной издательством МАИ в 1970 г.
В обеих этих книгах изложен необходимый и на первых порах достаточный теоретический материал, являющийся фундаментом для многочисленных применений теории вероятностей и математи ческой статистики.
Данная работа выгодно отличается от многих других подобных ей сжатостью и доходчивостью изложения, отточенностью языка, удачным отбором материала.
Несмотря на ее небольшой объем, автор сумел включить и неко торые нетрадиционные разделы, как, например, оценку спектраль ной плотности и характеристический функционал. Поэтому данная книга наряду с первой будет полезна каждому, кто в своей работе в той или иной степени использует вероятностно-статистические методы.
3
ПРЕДИСЛОВИЕ
Настоящее учебное пособие адресовано студентам вузов, в спе циальности которых используются соответствующие вероятностные методы.
Книга составлена из 17 лекций. Первые пять из них посвящены математической статистике, следующие десять — непрерывным случайным процессам, а две заключительные — конечным цепям Маркова. В начале каждой лекции даны экзаменационные вопросы.
Пособие написано на основе лекций, которые автор читал в тече ние последних трех лет студентам МАИ. При подготовке этих лекций использована приведенная в конце книги литература, а также лекции по теории случайных процессов проф. А. М. Яглома, прочитанные им в 1965/1966 учебном году студентам инженер ного потока механико-математического факультета МГУ.
В приложении даны таблицы значений функции Лапласа и квантилей основных распределений, используемых в математичес кой статистике.
Л е к ц и я 1 ТОЧЕЧНЫЕ СТАТИСТИЧЕСКИЕ ОЦЕНКИ
Выборочная функция распределения и гистограмма. Выборочные среднее и дисперсия. Несмещенность, состоятель
ность и эффективность оценки.
Оценка параметров распределения методом наибольшего правдоподобия и методом моментов.
Выборочная функция распределения и гистограмма
Математическая статистика есть наука о методах получения и обработки результатов измерений для установления закономер ностей в массовых случайных явлениях. Ее теоретическим фунда ментом является теория вероятностей.
| Совокупность результатов п измерений | 
 | ||
| 
 | 
 | *1, *2, • • ' > хп | (*) | 
| случайной | величины X в математической | статистике называется | |
| выборкой. При этом сама величина X называется генеральной сово | |||
| купностью, | а ее среднее | тх и дисперсия Dx | зл.2— генеральными. | 
| Выборку (I) можно | рассматривать двояко: либо апостериорно | ||
(после опыта), либо априорно (до опыта). В первом случае выбор ка (I) есть последовательность п конкретных чисел, во втором случае — последовательность п случайных величин, имеющих одно и то же распределение, совпадающее с распределением самой величины X.
Основная задача математической статистики ставится так: по выборке (I), максимально используя содержащуюся в ней инфор мацию, требуется сделать то или иное научно обоснованное заклю чение о самой генеральной совокупности X.
Для надежности этого заключения выборка (I) должна доста точно полно представлять величину X, т. е. быть репрезентативной (представительной).
Выборка (I) будет репрезентативной, если ее объем п доста точно велик, а ее значения независимы, т. е. получены при незави симых измерениях величины X в одних и тех же условиях.
5
В дальнейшем значения выборки (1) будем считать независи мыми. Если эти значения расположим не в порядке измерений (нижний индекс), а в порядке их возрастания (верхний индекс)
| л:*1) | „v<2 > | .. -< | 
 | |
| то получим так называемый вариационный ряд | 
 | |||
| *(|)» | х(2>,. . . , | лг<п>, | (2) | |
| члены которого зависят от объема выборки п. | 
 | |||
| Априорные величины х{б (/ = | 1,..., | п) называются порядковыми | ||
| статистиками. Примером порядковой | статистики при | п— 2 ш — 1 | ||
| является выборочная медиана | 
 | 
 | 
 | |
гпе — ximK
При п = 2 m
__ х<т ) + л:<т + 1)
Пусть .г — некоторая точка оси Ох, а л* — число выборочных значений из (2), попавших левее точки .г. Тогда частота
F(x) = ^ ~
п
называется выборочной функцией распределения и является оцен кой (приближенным значением) функции распределения
| 
 | 
 | 
 | 
 | F(x) | Р(Х < х). | 
 | 
 | 
 | 
 | ||||
| 
 | При | большом объеме | выборки | 
 | п (порядка | сотен) | точками | ||||||
| * i,. . ■, | “ач 1 | разделим интервал | (х(1>, | дг«">) наблюдений значе | |||||||||
| ний величины X | на | разряды (а,, | а ,),. . . , (ak, a.k + \) и для | каждого | |||||||||
| /-го | разряда (аЛ | я/ + |) вычислим | частоту | попадания | величины X | ||||||||
| в этот разряд | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | ||
| 
 | 
 | 
 | 
 | 
 | Р | 
 | nii | j | 
 | 
 | 
 | 
 | |
| 
 | 
 | 
 | 
 | 
 | ~i — | П | 
 | 
 | 
 | 
 | 
 | ||
| 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | |
| где | mi — число попаданий | X в /-й разряд | (i.= 1,..., k). | 
 | |||||||||
| 
 | В результате | получим | так | называемый статистический ряд | |||||||||
| 
 | 
 | («1. а») | (а2) Ч) | 
 | 
 | 
 | 
 | К . «* + 0 | 
 | 
 | |||
| 
 | 
 | Л | 
 | р , | 
 | 
 | 
 | 
 | 
 | Pk | 
 | 
 | 
 | 
| который | графически | изобразим | так: на оси Ох отложим | разряды | |||||||||
| ( | ®/ + i ) | и на каждом из них как на основании | построим прямо | ||||||||||
| угольник площади Р j(i — 1,..., | k). | 
 | 
 | 
 | 
 | 
 | 
 | ||||||
| 
 | Полученная при этом ступенчатая линия / (х) называется | ||||||||||||
| гистограммой (рис. | 1) и является | оценкой | плотности | вероятности | |||||||||
| f ( x) =F' ( x) . | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | ||
6
| Ё силу закона больших чисел | (теоремы | Бернулли) При п-*ас>. | |
| н неограниченном измельчении | разрядов | случайные | функции | 
| F(x) и } (х) сходятся по вероятности к функциям Г(х) | и f (х) | ||
| в каждой точке х. | 
 | 
 | 
 | 
| Для выборки (1) | выборочные начальный vr и центральный | |
| моменты порядка г | ( г = 1 , 2 ,...) | определяются так: | 
| 
 | ~ | 1 л | 
v , = — 2 * г ;
п7=1
—'б)'-
п , 1
Основными из них являются выборочное среднее
| - | 1 | я | 
 | 
| jc = v, = | — | У х , | 
 | 
| и выборочная дисперсия | п т~\ | 
 | |
| 
 | 
 | 
 | |
| si ~ ^ t — — | \ . ( x l — x)K | (3) | |
| п | 
 | 
 | 
 | 
Априорно величины л- = х (хь . . х п) и s2— s2(*i,. . хп) случай ные. Они являются оценками генерального среднего тх и генераль ной дисперсии совокупности X.
Чтобы эти оценки были «хорошими», они должны удовлетворять требованиям несмещенности, состоятельности и эффективности.
Оценка 0 = 0 (хь ..., х „) величины 0 называется несмещен ной, если ее математическое ожидание при любом и равно 0, т. е.
М [О] = 0.
Несмещенная оценка является точной «в среднем», т. е. несме щенность оценки гарантирует отсутствие систематической ошибки.
7
Оценка х несмещенная, так как
| М Й = | М f — У X, | = — v | М \х,\ = — | пМ [X] = тх. | ||
| 
 | п Г“1 | J | п f l | п | 
 | 
 | 
| Преобразуем оценку | (3): | 
 | 
 | 
 | ||
| s2 = — V I ( * / — т х ) — (л' — т .х)I2 = — Е | 
 | ( * / — т х)* — | ||||
| п | , =1 | 
 | 
 | п. ,„1 | 
 | |
(4)
так как значения выборки (1) независимы, то
| М \(х, - - т Л)*\ = М\(Х - | тх)%\ = | Dx\ | |||||
| £ | 1 1 | 3 | 1 | П | 7 l)2| = | D W | |
| Г 1 | " | 
 | 1 | -L nD[X\ = | |||
| — 2 * / | = | -Т 2 D 1*/] = | |||||
| п | Г-1 | J | п- I- 1 | n- | 
 | ||
| Из (4), (5) и | (6) | следует, | что | 
 | 
 | ||
(5)
=
. (6)
II
| М [s2| = | nDr | D^_ | Dx, | 
| 
 | 
 | п | 
 | 
| т. е. оценка s2 не является | несмещенной. | несущественна, так как | |
| При большом п эта | несмещенность | ||
и _ _ I
----------- >. 1 прц ц —>оо. При малом же п можно «исправить» s2, умно-
иц
| жив ее на | --------- . | При этом | получим | несмещенную | выборочную | |||||||
| дисперсию | п - | 1 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
| 
 | 
 | 
 | 
 | 
 | 
 | и | 
 | 
 | 
 | 
 | 
 | |
| 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | |
| 
 | 
 | 
 | 
 | 
 | 
 | 
 | V | (*г | 
 | 
 | 
 | 
 | 
| Оценка | в =- 0(.v, ..., л'л) | величины | 0 | называется | состоятель | |||||||
| ной, если | при | п —гоо она сходится | по | вероятности | к 0, т. | е. при | ||||||
| любом е > 0 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | |
| 
 | 
 | limP (| 0 ( * u - . * „ ) | — в | > е) = 0 . | 
 | 
 | 
 | 
 | |||||
| Состоятельность | оценки | гарантирует | при п | оо | сколь | угодно | ||||||
| большую точность | оценки | с | вероятностью, сколь | угодно близкой | ||||||||
| к единице. | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | _ | 
 | 
В силу закона больших чисел (теоремы Чебышева) х есть со стоятельная оценка.
Выборочная несмещенная оценка состоятельна, если ее диспер
| сия стремится | к нулю при объеме выборки п —>-оо. | 
| Но оценка | s2U b ..., хп) несмещенная, и при достаточно боль | 
шом п можно считать x — mx, s2 = s2 и
- 8
| £ [ ? ( * „ . . . , | 
 | 1 | 
 | л | 
 | л | 
 | ||
| xn)} = D | 
 | 2 | 
 | 
 | 
 | ||||
| 
 | 
 | 
 | 
 | п - | 
 | 1 f= | 
 | 
 | 
 | 
| 1 | 
 | л о | 1 | 1 | / | И | 
 | 
 | 
 | 
| Г» | 
 | 
 | (« | 
 | 0 I V l + 2 2 ^ , ; , ) = | ||||
| ( л - 1 ) 8 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | 
 | |
| 
 | 
 | (л — I)2 | D*a + | 
 | 2 | Л ;,;,. | 
 | (7) | |
| 
 | 
 | ' (л - | 1)* П | 
 | 
 | 
 | |||
| Так как х( = | хг. — лг^ | и | Xj = Xj — тх при | i ф j | независимы, то | ||||
| К »г; , == 0 и (7) | дает | 
 | 
 | 
 | 
 | 
 | 
 | 
 | |
| 
 | 
 | 11ш D |s2 (*,,. . ., | х„)| = О, | 
 | 
 | 
 | |||
| 
 | 
 | /г-*-о© | 
 | 
 | 
 | 
 | 
 | 
 | |
| т. е. оценка!;2, а следовательно, и оценка s2 состоятельны. | |||||||||
| Несмещенная | оценка В — 0 (x’i, ..., | хп) величины 0 называет | |||||||
| ся эффективной, | если | ее | дисперсия | 
 | минимальна | по | сравнению | ||
| с дисперсиями других несмещенных оценок величины 0 | при любом, | ||||||||
| но одном и том же л, т. | е. | 
 | 
 | 
 | 
 | 
 | 
 | ||
| 
 | 
 | D|Hj | М |(0 — 0)-'| = min. | 
 | 
 | ||||
| Эффективность | оценки | гарантирует минимум средней квадра | |||||||
тической ошибки М | (0 — 0 ) 21.
В отличие от несмещенности и состоятельности выборочной
| оценки, ее эффективность зависит | от | 
 | вида закона распределения | ||
| генеральной совокупности X. | 
 | 
 | 
 | 
 | |
| Можно доказать, | что дисперсия эффективной оценки | 0(Х |,..., | |||
| хп) параметра 0 плотности вероятности /(л-, 0) величины X выра | |||||
| жается формулой | 
 | 
 | 
 | 1 | 
 | 
| D [«(*„ . . . . | *„)| = | 
 | 
 | (8) | |
| 
 | |п/ ( м й ) f(x, &)dx | ||||
| 
 | л I ~ | 
 | 
 | ||
| 
 | <70 | 
 | 
 | 
 | |
| Если X нормальна, т. е. | 
 | 
 | 
 | 
 | |
| 
 | 1 | 
 | 
 | 2V | (9) | 
| 
 | 
 | 
 | 
 | 
 | |
| то согласно (8) | D \ e ( x u . . . , | дся)1 | = - x- . | (10) | |
| 
 | |||||
n
Но в силу (6)
(П)
л
Из (9), (10) и (11) следует, что для нормальной X выборочное
среднее х есть оценка эффективная.
Генеральное среднее гпх имеет много других оценок, например выборочную медиану те и полусумму крайних значений х(1>и
9
