книги из ГПНТБ / Растригин Л.А. Автоматная теория случайного поиска

4

Л= ^

[Qi(/)

(IS(j))+Qt(5-j)S(5-j)]A0(j).

*-1

(2.1.57)

Q(!)=Qi(j)(I-S(j))+Qi(5-j)S(5-i)

(2.1.58)

9i 0") = 9 f j ( l - S j ) +q{,(v+i-j)Sv+i-h

(2.1.59)

описывающей

функционирование

алгоритма

самообуче­

ния

(2.1.45) в случайной

среде

(2.1.10). В этой

матрице

Qii

(1 \ / = 1 . . - . , 4 )

— элементы

матрицы Qif,

SJ (/==

= 1,...,4)

—

вероятность

штрафа

действия

ДХ^'' авто­

мата, определяемая формулой (2.1.10).

|9и ( 1

- S i )

+quSi

912(1

- s 2

)

+913S3

921(1

— S\)

+924^4

922(1

— S2) +923S3

'981 (1

- S i )

+934S4

932 (1

- s 2 )

+933S3

941 (1

~ s l )

+944S4

942(1

- s 2 )

+943S3

91з (1

- S 3 )

+912S2

9 H ( 1

- s 4 )

+9llSl

923 (1 — S3) +922S2

924 ( 1

- s 4 )

+ 9 2 1 S 1

(2.1.60)

9зз(1 - S 3 )

+ 9 3 2 S 2

934(1 -Si)

+ 9 3 l S i

943 (1 — S 3 ) -f-<742s 2

944(1

- s 4 )

+<74iSi

О P(j)

о

о

о

О О

P(j)

о

о

Ml)

} 2h + l

2ft + I

(/ = 3,4);

(2.1.61)

а - АХ'"

их-АХ'")

АХ=АХ,!)

(АХ~АХ'3>)

С-J

(С-1)

с-О

(с=1)

11%

^171*2

АХАХ"'

(АХ=АХ'г>)

АХ-АХа>

(АХ=ДХГ")

с-О

(с-1)

с*0

(с-1)

Рис. 2.1.6. Переходы автомата для т>2п

(п=<2).

(2.1.62)

В матрицах Ac{j) (с = 0,

1;

/ = 1,...,4)

нулями обозна­

чены

матрицы

порядка

(2k

+1) X (2k +1),

элементы

ко­

торых

равны

нулю; P(j)

( / = 1 , 2, 3, 4)

—

матрицы

по­

рядка

(2k +1) X (2k +1) следующего вида:

О 0

1 о ••• О

О

Р ( 2 ) = Р ( 4 )

0 0

••• 1

(2.1.64)

О 0

О

О 0

0 0

••• 0 1

О 0

0 0

••• 0 1

диагональные матрицы (2.1.65) порядка

(2k+\)X

X(2k + l), элементы которых вычисляются по

формуле

(2.1.59).

156

Qu(j)

ftu-ixaft+iH-i (/)

О

О—

О

О

9(u-I)(2h+l)+2 0')

0

0

О

О ••• ^(„_1)(2fe+l)+2h+l•(/)

(2.1.65)

Затем, используя блоки

Qu(j),

матрицу

Q(j) перепи­

сываем в виде

Q,(y)

О

О -

О

О

Q2(j)

О -

О

(2.1.66)

<3(/) =

О

О

О-«32 ft+i(j)

Рп

0

0

-

0

0

0

0

Р2з

0

0

-

0

0

0

0

РЪ2 0

^34

0

-

О

0

0

0

0

0

0

0 -

^2k,2h+\

"2fc,2ft-l

U

О

0

0

0

0 -

0

P2h+l,2k

P2k+l,2h+l

157

Pii =

Qi(l)P(l)+Ql(2)P(2);

Pu,u-1 =

Qu(l)P(\)+Qu(2)P(2)

(u =

2,...,2k+l);

(2.1.68)

Pu,u+1 — Qu

(u=l,...,2k);

*2fc+l,2ft+l =

Q2h+1(3)P(3)+Q2h+l(4)P(4).

(2.1.69) — (2.1.72). Элементы

этих

матриц

q(u-\)(2h+\)+i{})

(i=l,...,2k;

/ = 1,...,4) определяются

по формуле

(2.1.59). Следовательно, матрицы Pu,u-i

имеют

вид

(2.1.73) и (2.1.74). Матрицы

Ри, и+1 И P2k+l, 2fc+l МОЖНО

<5u<i)P(i)

=

+i)+i(l)

о

О

о

:+i)+ 2 (l)

о

о

о

О

^(м—l)(2ft+l)+3 ( 1 )

о

о

о

о

(2.1.69)

QU(3)P(3)

=

<7(u-i)(2fc+o+i (3)

О

о

-

О

О

<7(u-l)(2ft+l)+2(3)

О

о

-

О

О

О

^(и_1)( й+1)+з(3)

О

-

О

О

2

О

0

0 ••• <7(U_i)(2M-i)+2fe+i(3)

0 ||

(2.1.70)

flfi(l)

ft (2)

0

0

0 -

0

0

0

q2{\)

0 q2(2)

0

0 •••

О

О

О

О

&(1)

0

q3(2)

0 - 0

О

О

0

0

0

0

0 -q2k(l)

0

<?2,(2)

О

О

0

0

0 -

0

q2h+i(\)

cJ2k+i{2)

(2.1.74)

найти из матриц Ри,и-\

и Рц путем

замены

в

последних

элемента

q(u-l){2h+l)+i

(1) элементом

q ( l i - m k + l ) + i

(3) и эле­

мента q(n-\)(2h+i)+i

(2)

— элементом

9 ( u _ I ) ( 2 M - I) - H (4) (£ =

— 1

2ЛЕ-Ы).

муле

(2.1.3) п е р е х о д н а я

ф у н к ц и я

Чг =

Ч / ( \ ¥ № - ь

AQN-U

AXn-I)

не

з а в и с и т

от в ы х о д а

автомата,

т. е. когда

V = V ( W w _ b A Q V - i )

(2.1.75)

и 4r (WJ V _i,

AQ'JV - I )

— д е т е р м и н и р о в а н н а я

ф у н к ­

ц и я .

Такой алгоритм самообучения наиболее удобно за­

дать при помощи формулы

Wjv - j - 8

sign A Q ' J V - I I , если

| W J V |

s£d"yn;

если

\WN\>dyn,

| W j v |

(2.1.76)

где I

— л-мерный вектор

с координатами

— 1 , 0 или + 1 ,

соответствующий

некоторому

фиксированному

1 =

направлению

шага;

( t i , . . . , in).

(2.1.77)

В формуле

(2.1.76)

последующие

значения

вектора

памяти W зависят не от сделанного шага, а от получен­

ного приращения AQ'JV - I оптимизируемой функции. Да­

лее будет показана

работоспособность

алгоритма при ре­

sign AQ'A -_i = ± 1,

(2.1.78)

т. е. при AQ'<0

W.v-j + ei*0 ',

если iW . vl^rfj'n;

\V2v_i-6K1 »,

если

| W w | < r f y n ;

(2.1.80)

W A - = ^ ^ ,

если

\VJN\>dfn.

Здесь

и I * 1 ' — n-мерные векторы, координаты

которых

равны

± 1 , т. е. они направлены вдоль биссектрис

прост­

Пусть

КО =(;,(<»,,..,;„«»);

(2.1.81)

Ю) =

(i,0) . . .

inm).

(2.1.82)

Рассмотрим

случай, когда

КО = id) = ( S

g n

а»,, ... , sgn а>„).

(2.1.83)

Функция

sgn

определена выше (2.1.47). По

фор­

муле

(2.1.79)

получаем

переходы

автомата

при

нештрафе

(с = 0), а по формуле (2.1.80)

— переходы при

штрафе

( с = 1 ) . Эти переходы

представлены на рис, 2.1.7.