5. Решение задачи 2. Алгоритм Витерби

Итак, необходимо выбрать последовательность состояний Q= {q₁,q₂,…q_τ}, которая с наибольшей вероятностью порождает указанную последовательность.

Вводятся переменные:

δ_t(i) = max P(q_t=S_i|q₁q₂…q_t-1,o₁o₂…o_t,λ) то есть максимальную вероятность того, что призаданных наблюдениях до момента t последовательность состояний завершится в момент времени t в состоянии S_i, а также введем переменную ψ_t(i) для хранения аргументов, максимизирующих δ_t(i). Итак, алгоритм Витерби.

1 шаг. Для всех i от 1 до N

δ₁(i)=π_ib_i(o₁)

ψ₁(i)=0

2 шаг. Для всех j от 1 до N и t от 2 до T

δt(j)=	max	|δt-1(i)aij|bj(ot)
	i=1..N

ψt(j)=	arg max	|δt-1(i)aij|
	i=1..N

3 шаг.

Получаем наибольшую вероятность наблюдения последовательности o₁o₂…o_T, которая достигается при прохождении некой оптимальной последовательности состояний Q^* = {q^*₁, q^*₂,…q^*_T}, для которой к настоящему моменту известно только последнее состояние:

P*=	max	|δT(i)|
	i=1..N

q*T,=	arg max	|δT(i)|
	i=1..N

4 шаг.

Восстанавливаем оптимальную последовательность состояний (обратный проход):

Для все t от T-1 до 1 ( шаг =-1)

q^*_t = ψ_t+1(q^*_t+1)

6. Решение задачи 3. Алгоритм Баума-Уэлча.

Необходимо подобрать параметры скрытой модели Маркова так, чтобы максимизировать вероятность данной последовательности наблюдений.

Вводятся переменные

ξ_t(i,j) = P(q_t=S_i,q_t+1=S_j|O,λ),

которые показывают вероятность того, что при заданной последовательности наблюдений O система в моменты времени t и t+1 будет находиться соответственно в состояниях S_i и S_j. Используя прямую и обратную переменные запишем:

	αt(i)aijbj(ot+1)βt+1(j)		αt(i)aijbj(ot+1)βt+1(j)
ξt(i,j)=	____________________	=	________________________
	P(O|λ)		∑ ∑ αt(i)aijbj(ot+1)βt+1(j) N N

Введем переменные вероятности того, что при заданной последовательности наблюдений O система в момент времени t будет находиться в состоянии S_i:

	N
γt(i)=	∑	ξt(i,j)
	j=1

При этом мы можем вычислить ожидаемое число переходов из состояния S_i: равно

T-1
∑	γt(i)
t=1

а ожидаемое число переходов из состояния S_i в состояние S_j:

T-1
∑	ξt(i,j)
t=1

Исходя из этого можно получить формулы для переоценки параметров модели Маркова:

π^*_i=γ_t(i)

	T-1 ∑ ξt(i,j) t=1
a*ij=	_________________
	T-1 ∑ γt(i) t=1

	T-1 ∑ γt(j) t=1,ot=k
b*ij(k)=	_________________
	T-1 ∑ γt(j) t=1

Выражение

T-1
∑	γt(j)
t=1,ot=k

в формуле для b^*_ij (k) означает что суммируются только те γ_t(j) , для которых значение состояния равно k, то есть O_t = k.

После переоценки параметры модели либо выясняется, что она уже была оптимальной до переоценки либо обязательно улучшаются ее параметры (то есть правдоподобность модели после переоценки выше, чем до переоценки во всех случаях, когда модель можно оптимизировать).