книги из ГПНТБ / Растригин Л.А. Автоматная теория случайного поиска

ГЛАВА II

174

Изучение динамики такого самообучения возможно и целесообразно с привлечением теории марковских цепей, которые хорошо описывают процессы подобного рода. В процессе обучения вектор памяти W переходит из од­ ного состояния в другое в соответствии с алгоритмом обучения (2.2.4) и ограничениями (2.2.5). Пусть общее число возможных состояний этого вектора конечно и равно т. Пусть также вероятность перехода из 1-го со­ стояния в /-е определяется числом рц. Тогда изменение вектора W в процессе самообучения

- > W J Y _ , - > W ^ W J W ^ ,

как это будет показано далее, образует простую цепь Маркова. Будет также показано, что в линейном поле эта цепь будет однородной. (В нелинейном случае пере­ ходные вероятности зависят от положения системы, т. е. от времени, что вносит неоднородность.)

Таким образом, матрица тХт переходных вероятнос­ тей pij определяет процесс самообучения, и задача за­ ключается в определении этих вероятностей с последую­ щим привлечением общей теории марковских цепей.

1. Случай n = 2; 6^2d. Исследуем сначала простейшую схему обучения в двумерном пространстве. В этом слу­ чае вектор W = ( ш ь w2) может находиться в одном из

Рис. 2.2.1. Пространства {W} и {X} для п—2.

ГЛАВА II

176

P(AK^yWi) для других состояний вектора W. Получен­ ные значения показаны в табл. 2.2.1.

Теперь обратимся к алгоритму самообучения. Пусть для определенности градиентное направление располо­ жено между направлениями ДХО и ДХ<2> плоскости пара­ метров (см. рис. 2.2.1,6). Тогда

Переходим к автоматному представлению этого алго­ ритма самообучения, т. е. рассмотрим вектор W как со­ стояние автомата, а ДХ — как его выход. Тогда таблица 2.2.1 представляет матрицу вероятностей выходов авто­ мата Qij. Случайная среда, с которой взаимодействует автомат, задается модифицированной формулой (2.1.10) предыдущего параграфа:

(2.2.11)

где приращения функции AQO') определяются формулой (2.2.9).

При таком определении вероятности штрафа действия

ПОИСК С САМООБУЧЕНИЕМ

177

автомата учитывается то, что происходит поиск макси­ мума Q(X). Предположим, что функция Q(X) является линейной, т. е. приращения AQ<->> ( / = 1 , 2, 3, 4) не меня­ ются в процессе поиска. В этом параграфе будем исхо­ дить из предположения, что на функцию Q(X) не накла­ дывается помеха (а = 0). Тогда по формуле (2.2.11) с учетом формул (2.2.10) имеем:

•Функционирование автомата в стационарной случайной среде (2.2.12) описывается цепью Маркова с матрицей переходных вероятностей (2.1.60). Подставляя в эту матрицу значения из таблицы 2.2.1 и значения из формулы (2.2.12), получаем матрицу переходных вероят­ ностей для вектора W:

12 — 2014

ПОИСК С САМООБУЧЕНИЕМ

179

лределение вектора памяти W не зависит от его началь­

Изложенный прием определения предельных вероят­ ностей р\, р2 требует вычисления корней характеристи­ ческого уравнения и миноров матрицы переходных веро­ ятностей Л (Wj/Wj), что весьма сложно для матриц боль­ ших размерностей. Эти же предельные вероятности можно получить стандартным образом, решая систему

где M[AQ/V^i] — среднее приращение функции качества при W = W , ; суммирование ведется по всем состояниям i. Среднее приращение M[AQ/W,] вычисляется по формуле

где P(AX'i'/Wi) определяется таблицей 2.2.1, AQb'J — формулой (2.2.9). Суммирование ведется по всем воз­ можным направлениям движения оптимизируемой сис­ темы в плоскости параметров. Из формул (2.2.9) и (2.2.10) и таблицы 2.2.1 следует, что

12*

ГЛАВА II

180

где ai и аг — направляющие косинусы градиентного век­ тора; ai 2 + a 2 2 = l - Видно, что при больших ./V MN[AQ] мало зависит от начальных вероятностей р^°К В пре­ дельном случае (Л7 -^оо) получаем

совпадает с координатной осью хх. Минимальное значе­

ние M[AQ] принимает при a i - > - L , т. е. когда направлеУ2

ние градиента стремится к направлению АХ*1' или АХ( 2 ) . Тогда

в зависимости от различного направления градиента из­ меняется в пределах

Рассмотрим частный случай, когда d=\. Тогда из мат­ рицы (2.2.14), подставляя d=l, получаем следующую матрицу переходных вероятностей за N шагов для век­ тора W:

ГЛАВА II

182

(2.2.34)