Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

книги из ГПНТБ / Лавренченко, А. С. Лекции по математической статистике и теории случайных процессов учебное пособие

.pdf

Скачиваний:

Добавлен:

19.10.2023

Размер:

4.94 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 1213 / 1513 14 15 > Следующая >>>

пых своих	состояний	(1).	Но в	отдельные моменты	времени
ti <С*2 <С • ■■он переходит из одного				состояния в другое. При этом
вероятность	перехода	рп	в «будущее» состояние r4(s,+ 1)		зависит
только от «настоящего» состояния А/				, но не зависит от «прошлых»
состояний.
Вероятности перехода p(J (г, /'•= 1,..., п) образуют так называе
мую матрицу перехода
		( Рп Pli • • ■		Pln\
	Р ~\\рч \\ = \ РпРм ■■■Pin				( 3 )
					( 3 )
		\»я1 РпЪ• • •		РппУ

Это квадратная матрица, все элементы которой неотрицательны, а сумма элементов каждой ее строки равна 1. Такая матрица назы вается стохастической.

Для характеристики цепи Маркова нужно еще знать ее началь

ное состояние Л<°\ которое обычно задается с вероятностью								.
Начальные вероятности			р Т { 1 ~		1, - •	п) образуют начальный
вектор
	/л<М /Л 0), /Л0)......... р П ,							(4)
все компоненты которого		неотрицательны					и их сумма равна	I.
Такой вектор называется стохастическим.
Умножив вектор	(4) на матрицу				(3), получим
								(5)
где вектор	/М> =	(,V \		РЧ\ . . . .		р£>)		(6)
с компонентами			„(0) п		I
р'!' ~ р '? Р п +			„(0) п		I	f	Р{п PnU
р'!' ~ р '? Р п +			Р 2	Р21	"Г • • •	f	Р{п PnU
р Р	р '?Рн т		р (2	Ргг + • • ■Т Р^П Рп2'
=	P^Pin -Г Р^ Pin -1- • • ■						РпПРпп

согласно формуле полной вероятности характеризует состояние цепи Агаркова после первого опыта.

Умножив вектор (6) на матрицу (3), в силу (5) получим

р( 2>= /?<°>Р2,

где вектор

Р'* = (Р1?, p f , ■•■,/ £)

характеризует состояние цепи Маркова после второго опыта.

Продолжая так далее, получим
	pW =	р(щри>	(7)
где вектор	р « _ Ы * ’,	РГ .........	pt>)

1 2 0

характеризует состояние цепи Маркова после	k-то опыта,	т. е. за
k шагов.	и матрица перехода
Отсюда следует, что начальный вектор (4)	и матрица перехода
(3) полностью характеризуют цепь Маркова.
Пусть p \f — вероятность перехода из состояния Лг в		состоя
ние Aj за k шагов. Тогда матрица перехода за k шагов

	Р\\ Рп	• • •	Ры\
	pW Р22	■■■	р\п ' I
	„()„()	• ■•	„(*) /
	Рп1 Рп2	• ■•	Рпп I
в силу (7)	равна k-й степени матрицы перехода			(3), т. е.
	/>(*) = Рк.
Отсюда получаем так называемое уравнение Маркова
	р ш =,рсг)Р(к-П'			(8)
где 0 < г <	k.
Пример.	Имеем две урны. В первой из них 1			белый и 2 черных,

а во второй — 1 черный и 2 белых шара. Начиная с первой урны, извлекаем наугад последовательно шар за шаром, причем всякий раз, если извлеченный шар белый, то следующее извлечение про изводим из первой урны, если же он черный, то из второй. Каждый извлеченный' шар сейчас же возвращаем в урну, из которой он извлечен.

Найдем распределение вероятностей появлений белого и черно го шаров после второго извлечения.

Пусть события А\ и Л2 — извлечение белого и черного шара. Так как извлечение начинаем из первой урны, то начальный вектор

Для цени Маркова этого примера имеем матрицу перехода

_2 3

откуда	2_	5_	_4
	3	9	9
	J_	4_ _5
3	3	9	9

121

и в силу (7) получим

5_	_4
9	9	_13_ _И
4_ _5		27 27
9	9

Регулярные и эргодические цепи Маркова

Цепь Маркова называется регулярной, если какая-либо степень ее матрицы перехода не содержит нулевых элементов. Например, матрица перехода

/_L -L JL\

2 4 4

Р== 1 О О

—О —

\ 2 2 /

определяет регулярную цепь, так как Р2 уже не содержит нулевых элементов.

Если цепь Маркова регулярна, то при некотором переходе можно попасть в любое состояние этой цепи, независимо от ее начального состояния.

Т е о р е м а 1. Если Р есть матрица перехода регулярной цепи,

то:

1)матрица Рк при 6 —>-оо сходится к некоторой матрице Т, т. е. при k-^oo каждый элемент матрицы Рк стремится к соответствую щему элементу матрицы 7;

2)строки матрицы Т образуют одинаковый стохастический вектор t(t u .., 1„);

3)все компоненты вектора t. положительны.

Доказательство. Из (8) при £ > 1 имеем

;=1 1< к п г- i кг<п

Это неравенство верно при каждом i ( i = 1,...,			п), в частности
и при том, при котором
поэтому	кг< п
поэтому			(9)
min ///*> min/?/ n.			(9)
1 <i<n		K i< n
Аналогично найдем	^	(*—i)
I k)	^	(*—i)
max Pii	< m a x py .
1<Kn		l<Kn

122

Итак, в каждом /-м ( / = 1 , . . . , п) столбце матрицы Ж*> мини мальный элемент не уменьшается, а максимальный элемент не уве личивается при возрастании k. Отсюда в силу ограниченности этих элементов получаем

	lim	min /?)/1— t ,-;
	ft->-°° 1<7<Л
	lim max p\f			— i ,.
		1 < /< я
Далее из (8) при 0 < r < & имеем
	( f t )	v	n
	Рч	— 2j	Piq Pql >
поэтому		q - t
поэтому	J*')	_ v Г„Сг)		„(r)l (*-r)
(ft1)	J*')	_ v Г„Сг)		„(r)l (*-r)
Рч	Рч	— ZjYPiq		Piq \Pq\
		<7=1

Обозначим положительные разности

( 10)

( Ш

Piq

через au \

а отрицательные — через — р(/ \

Тогда в силу

I гI

V п ,г>

—

1 P iq

2 j

P iq

получим

<7-1

;

’

откуда

<7-1

С<73

Так как по условию

(?)

<9*

ТО

Р(Ч >

0 (/,</=

1,...,

п),

( 12)

(<7)

< 2 / С = ь

т. е.

<7-1

(13)

О <

Пусть

// ^

max hn.

(14)

1«, i«i

Из (13

) и (14)

в силу

конечности числа состояний цепи имеем

0 <

h <

(15)

При любых i , l ( i , t — 1.......п)

из (11)

следует

I Рч

' „(<7)„<*

й ?’7 > « " ', 1<

laU Pql

(<7)

<<7>

< | max

(<7)

РТ ' ' Ш Г \ <

max|

1 « 7 < П

1 < ? < п

(<7)

(ft—г ) I

< h

р \)

r) — min

r) | =

h max |p \ k~ r' —

р \)

1 « 7 < л

1<9<Л

■

1<7.

Кп

123

откуда	max \| р\р — p,^ \| < h max \| p\f r) — p\f~n \
					l<i, Kn
Применив это неравенство						раз,	где	означает	целую
часть числа	— , найдем
	г
I	он	Ри
max Iрц •		Ри			1< t,K n 1			и
1 </, Кп					1< t,K n 1			и
откуда		max							( 16)
		max							( 16)
		1«/, К п
так как при любом k			I Jk)		(AJI		,
			I Jk)		(AJI		,
k			\Р‘1	— Рч		1<1-
k		при	оо, поэтому из				(16)	и (15) имеем
Но	■ОО	при	оо, поэтому из				(16)	и (15) имеем
		lim	max		\|	— /»/** \| == О,
		k-*оо	1</, /<л
откуда в силу (10) получаем						I-	ш
		tj — tj			ij	I-	ш
		tj — tj			ij	Пт	рч ,
что и доказывает		1-е и 2-е утверждения теоремы.
Справедливость 3-го утверждения теоремы следует из									(12) и
(9). Теорема доказана.
Вектор t	называется неподвижным для матрицы Р, если
					IP =	t.

Т е о р е м а 2. Если Р есть матрица перехода регулярной цепи,

аТ и / определены как в теореме 1, то:

1)для любого стохастического вектора р имеем

Пт рРк = /;

2)	вектор t есть	единственный стохастический неподвижны
вектор матрицы Р.
Доказательство. Так как сумма компонент стохастического век
тора р равна единице, то рТ =			t. Но по теореме 1 при £-»- оо вектор
		pPk-+ рТ — t,
т. е.	1-е утверждение теоремы доказано.
При k -*• оо имеем
	P k -+Т	и	/#+» = / » * Р - Г ,
поэтому			тр _ т

124

Каждая строка этого матричного равенства дает IP — t, т. е. t есть неподвижный вектор матрицы Р. Докажем его единственность.

Пусть т — любой неподвижный вектор матрицы Р. В силу 1-го утверждения теоремы

тРк -> i

при 6->оо. С другой стороны,

ТРк = X.

Следовательно, %= t. Теорема доказана.

Замечательное свойство регулярных цепей иметь единственный стохастический неподвижный вектор с положительными компонен тами характерно и для более широкого класса цепей Маркова.

Цепь Маркова называется эргодической, если из каждого ее состояния за несколько шагов можно попасть в любое другое ее состояние.

Регулярная цепь всегда эргодическая. Но эргодическая цепь не всегда регулярна. Например, цепь Маркова с матрицей пере

хода				0	1
			Р =	0	1			(17)
			Р =	1	О			(17)
				1	О
не регулярна,	так как все		степени		матрицы		(17)	содержат нули
pir _	1	О	р2 г —1		0	1	r =	1, 2.......
	О	1			1	о
но эта цепь эргодическая.
Т е о р е м а	3. Если Р есть матрица перехода эргодической цепи,
то:

1) существует единственный стохастический неподвижный век тор t матрицы Р\

2)все компоненты вектора / положительны;

3)для средней доли времени Ат”г) нахождения эргодической цепи в состоянии Aj за k шагов, независимо от начального состоя ния, имеем

lim Я(\|Лт(,А)— // \| > е )	= 0
k-*0O
при любом е > 0.	чисел для эргодических
Эта теорема выражает закон больших	чисел для эргодических
цепей. Примем ее без доказательства.

Л е к ц и я 17. ЦЕПИ МАРКОВА С ПОГЛОЩЕНИЕМ

Теорема о достижении поглощающего состояния.

Три основные задачи для цепей Маркова с поглощением.

Теорема о достижении поглощающего состояния

Состояние цепи Маркова называется поглощающим, если из него невозможно перейти ни в какое другое состояние.

Цепь Маркова называется цепью с поглощением, если: 1) она имеет хотя бы одно поглощающее состояние;

2) из каждого непоглощающего состояния возможен переход в поглощающее состояние за конечное число шагов.

Пример 1. Рассмотрим случайное блуждание частицы по прямой.

Пусть частица может находиться			лишь в точках 1, 2, 3, 4, 5 оси х
(рис. 20).	S	3	/,	S
1
-----•-------------	-----------------	---------------------------------		•-----
		Рис.	20.

Пусть за каждую единицу времени частица из занимаемой ею точки переходит в соседнюю точку налево или направо с одина

ковой вероятностью, равной — . Попадая в крайние точки 1 или 5,

частица «прилипает» к ним.		в	точках		У,..., 5 есть состояния
Пусть	нахождения частицы	в	точках		У,..., 5 есть состояния
А и ..., As цепи Маркова. Тогда		для этой			цепи получим матрицу
перехода	( 1 0		0	0	0	\
	1	0	J_	0	0
	2	_1_	2	1
	0	_1_	0	1
	0	2	0	2		(1)
	0	0	1	0	_1_
	Vо		2		2
	Vо	0	0 0		1	/

126

где состояния Л,, А5— поглощающие, а состояния А2, Л3, А4— непоглощающие. Из каждого непоглощающего состояния возможен переход в одно из поглощающих состояний за конечное число шагов, поэтому эта цепь Маркова есть цепь с поглощением.

Т е о р е м а . Для цепи Маркова с поглощением вероятность того, что через k шагов процесс закончится в одном из поглощающих состояний, с возрастанием k стремится к 1.

Доказательство. По определению цепи Маркова с поглощением из каждого непоглощающего состояния At возможен переход в по глощающее состояние за конечное число шагов.

Пусть kt — минимальное число шагов, необходимых для пере хода из Л(- в какое-либо поглощающее состояние, a pt— вероятность того, что процесс не перейдет из At в какое-либо поглощающее

состояние за kt шагов. Тогда

Пусть k — наибольшее из всех kh а р — наибольшее из всех pt. Тогда вероятность того, что процесс не перейдет в поглощающее состояние за k шагов, будет не больше р\ вероятность того, что он не перейдет в поглощающее состояние за 2k шагов — не больше р2 и т. д. Так как р 1, то при k-^oo эти вероятности р, р2, ... стре мятся к нулю, а следовательно, вероятности противоположных событий при &—>-оо стремятся к 1. Теорема доказана.

Три основные задачи для цепей Маркова с поглощением

Для цепей Маркова с поглощением рассмотрим три основные задачи:

1. Сколько раз в среднем проходит процесс через каждое непо глощающее состояние?

2. Сколько шагов в среднем требуется для перехода процесса в какое-либо поглощающее состояние?

3. Какова вероятность того, что процесс закончится переходом в данное поглощающее состояние?

Решения этих задач зависят от того, из какого состояния начи нается процесс.

Решим первую задачу.

Пусть процесс начинается из непоглощающего состояния At. Сколько раз в среднем он пройдет через непоглощающее состоя ние Aj> Обозначим это число через ql}. Из состояния At процесс за один шаг перейдет в состояние At с вероятностью ри. Если Л, — поглощающее состояние, то процесс уже не перейдет в состоя ние Aj. Если же At — непоглощающее состояние, то в дальнейшем процесс пройдет через состояние Лу. в среднем ql} раз. Следова тельно, q tj равно сумме величин ри q l } по всем непоглощающим

состояниям А[. Но если i = /, то надо учесть также исходное состоя

ние	т. е. к указанной сумме прибавить 1. Итак, для непоглощаю
щих состояний Л, и Aj имеем
	Яу — P n 4 i j - \ -------\-P i . n - m q n - m , / ( + 1, если i = j ) ,	(2)

127

где т — число поглощающих состояний, а суммирование произво дится по всем ее непоглощающим состояниям.

Систему уравнений (2) запишем в матричном виде. Для этого образуем матрицу А порядка (п — т ) Х ( н — т) из матрицы пере хода Р вычеркиванием всех строк и столбцов, содержащих погло щающие состояния. Так как элементы q tJ матрицы Q определены

лишь для непоглощающих состояний At и Aj,				то Q имеет тот же
порядок,	что и А. Сумма (2) есть произведение i-й строки матрицы
А на /-й столбец матрицы Q, т. е. она равна элементу матрицы Л<2,
стоящему	в г'-й		строке и /-м столбце. Если г =	/, то к сумме (2)
прибавляется		1,	т. е. к Лф надо прибавить единичную матрицу Е.
Итак, из		(2)	имеем
			<2 = Л(? + £,
0ТКУла			Q = ( E — А)-'.	(3)

Матрица Q называется фундаментальной матрицей цепи Мар кова с поглощением. Ее элементы дают ответ первой задачи.

Решим вторую задачу.

Каждое прохождение процесса через какое-либо непоглощаю щее состояние составляет один шаг, поэтому среднее число шагов процесса до поглощения равно среднему числу прохождений про цесса через все непоглощающие состояния, т. е. если процесс начался из состояния At , то среднее число его шагов до поглоще ния равно сумме всех элементов г-й строки матрицы Q.

Запишем это в матричном виде.

Пусть qt — среднее число шагов для перехода из непоглощаю щего состояния At в какое-либо поглощающее состояние. Пусть q есть вектор-столбец, г-я компонента которого равна qt . Тогда

q =	Qc,	(4)
где с есть вектор-столбец, все компоненты которого равны 1.
Компоненты вектора q дают ответ второй задачи.
Решим третью задачу.	a At — поглощающее	состояния
Пусть At — непоглощающее,

цепи Маркова. Какова вероятность rit того, что процесс, начавшийся

из состояния А;, закончится в состоянии Лг?					равна рп.
Вероятность перехода за			один	шаг из А. в А,
Если же процесс за первый шаг перейдет в состояние А}					с вероят
ностью pij,	то он либо так и останется в этом состоянии				(если со
стояние Aj	— поглощающее),		либо перейдет затем в состояние Л,
с вероятностью rJl		(если состояние Л;. — непоглощающее). Отсюда
следует
	ги ~	Ри "Ь Р п Гц + • • • +		pi, п - m i'll-m .l >	(5)

где суммирование производится по всем непоглощающим состоя ниям.

128

Систему уравнений (5) запишем в матричном в<иде. Для этого

образуем матрицу В порядка				(п — т ) \ т				из матрицы перехода Р
вычеркиванием всех строк, содержащих							поглощающие состояния,
и всех столбцов, содержащих непоглощающне состояния.
Так как элементы гп			матрицы R определены лишь для непогло
щающих состояний Л,-			и поглощающих				состояний Л,,			то R имеет
тот же порядок,		что и В.	Из (5) имеем
			r ==b +		a r ,
откуда		R = ( E — A) - 'B =					QB.				(6)
Элементы матрицы R дают ответ третьей задачи.											перехода
Пример 2. Для цепи Маркова примера								1 с матрицей			перехода
( 1 ) имеем
		Л 2 Л	А
		1	0				(		-
Л	'	0	0				(	1	-	°	)
		2							2 1	°	)
л = л 3		1	1	Е -	-Л =				- 1
л = л 3		0	2	Е -	-Л =			2	1	2
		2	2					2		2
л		1	0					0
л	\	0	0				^	0	2 1	1	/
	\	2	/				^		2 1	1	/
откуда в силу	(3)							А
						л ,		А	Л4
				л .	(	А		■	- 2И
						2		■	- 2И
	Q = ( E - A ) ~ '			Л		1		2	1
				л 4		1
				л 4	V	2			2 У
					V	2			2 У

т. е. если «блуждание» начинается, например, из состояния Л:!, то

до конца процесса	частица в среднем					побывает		в	состоянии Л 2
1 раз, в состоянии Л3 — 2 раза, в состоянии Л., — ]								раз.
Далее, согласно	(4)	Л2 Лз Л4
		Л2 Лз Л4
	А (	А	1	1	\	( Л	Лц	(	А
		2		2				(	А
		2		2
q = Qc = А,		1	2	1		1	= Л3		4
	А<	1	1	2	)
	А<		1	3		v Л		У 3 )
	\	2		3		v Л		У 3 )

т. е. среднее число шагов частицы до ее поглощения равно 3, если она исходит из состояния Л2; 4, если она исходит из состояния Л3;

9 ibis

129

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 1213 / 1513 14 15 > Следующая >>>

Соседние файлы в папке книги из ГПНТБ