книги из ГПНТБ / Растригин Л.А. Автоматная теория случайного поиска

ПОИСК С САМООБУЧЕНИЕМ

результат почти вдвое превышает приращение функции качества. Отметим, что такой случай маловероятен и поэтому результат (2.2.35) имеет узко локальный ха­ рактер.

Из этой матрицы видно, что состояния 1, 2, 3 являются поглощающими, а состояние 4 — несущественным. В пре­ деле при Л/->-оо получаем:

p1 = limpi(J V )=p1 <°)+p4 (0).

JV->oo

p2 = Hm Р2т = Рг{0)\

(2.2.37>

p3 = lim ръ ( J V ) = p 3 ( 0 )

N-*oc

j04 = Hm p 4 ( ] V ) =0.

JV->oo

Таким образом, установлено, что для d=\ цепь Мар­ кова также является неэргодической.

2. Случай я = 2; 6 = 4 - . Выше рассмотрен простейший

К

случай покоординатного обучения в процессе случайного поиска, когда имеется всего два уровня памяти для каж­ дой координаты. Обычно количество уровней памяти больше двух. В этом случае вектор может находиться в одном из (2&+1)2 состояний, где k — целое число. Эти состояния пронумерованы и показаны на рис. 2.2.4.

ГЛАВА II

Рис. 2.2,4. Плоскость обучения 16

Пусть вектор градиента функции качества оптимизи­ руемой системы удовлетворяет условию

(2.2.38)

где oci — направляющий косинус вектора градиента.

томата (переходы вектора W из одного состояния в другое) описывается цепью Маркова с блочной матри­ цей (2.1.67) из предыдущего параграфа. Блоки Pu,v этой матрицы равны матрицам (2.1.73) и (2.1.74), элементы которых определяются формулой (2.1.59). Так как на функцию Q(X) не накладывается помеха (о = 0), то имеют место равенства (2.2.12) и из формул (2.1.59) и (2.1.68) получаем, что в матрице А блоки Pu,u+i и P2k+i,2k+\ равны нулю, т. е.

ПОИСК С САМООБУЧЕНИЕМ

185-

Ри,и+\ = 0

(2.2.39)

(u=\,2,...,2k);

P2k+\,2k+l = 0.

Следовательно, матрица А принимает вид

(2.2.40)

В этой матрице нулями обозначены блоки, элементы

Элементы рц последней матрицы с учетом формулы (2.1.59) определяются из таблицы 2.2.2 условных вероят­ ностей выбора направлений движения оптимизируемой системы в плоскости параметров. Элементы таблицы вычислены по формулам (2.2.7). При помощи таблицы можно показать, что элементы матрицы (2.2.41) удов­ летворяют соотношениям

ГЛАВА И

190

примера на рис. 2.2.6 показано такое дискретное распре­ деление, рассчитанное по формулам (2.2.46) для случая

rf=l; k=\; 2; 4; 8; 16. Характерно относительное увели­ чение вероятности на концах ребра по сравнению с его серединой. Это, по-видимому, является результатом по­ координатного характера обучения, в процессе которого система движется вдоль диагоналей.

Далее определим среднее приращение функции каче­ ства при W = WJ:

4

M[AQ/W{ ]= ^ T / 5 ( A X U ) / W i ) A Q ( ^ = [P(AX(')/Wi ) -

где AQW определены формулой (2.2.10). По формулам, приведенным в таблице 2.2.2, получаем:

Поэтому

M[AQ/W,-]= 1 [ ( 2 & + 1 - t')6AQ<1 ) + (t - 1)6AQ( 2 ) ].

(2.2.50)

Усредняя это выражение по всем возможным значе­ ниям i, в предельном случае N-^-oo получаем

что совпадает с результатом, полученным для случая 6^2d (2.2.22). Это доказывает, что при статистической оптимизации с обучением в двумерном пространстве па­ раметров в случае линейной функции качества оптими­ зируемой системы скорость оптимизации при N-+oo не

ПОИСК С САМООБУЧЕНИЕМ

191

зависит от величины параметра б, т. е. предельные свой­ ства обучения не зависят от скорости обучения. Это можно доказать и для других размерностей простран­

ния пронумеруем по тому же принципу, по которому мы

Число возможных направлений движения оптимизи­ руемой системы в n-мерном пространстве параметров также равно 2™. Эти направления AX ( i ) пронумеруем в таком же порядке, как векторы Wj. Пусть функция ка­ чества оптимизируемой системы является линейной и пусть для простоты направляющие косинусы градиент­ ного вектора он (г'=1, ... ,п) удовлетворяют условиям

Тогда, проделав те же самые выкладки, что и для слу­ чая п = 2, получаем:

1

(2.2.54)

p 2 n - i + 1 = ••• = р 2 " = 0.

Эта формула дает возможность оценить среднее смеще­ ние к цели Af[AQ] для достаточно больших N в зависи­ мости от п, d и ai. Видно, что в пределе при n->oo M[AQ]-*-0, т. е. эффективность этого алгоритма обучения с ростом я уменьшается.

ГЛАВА II

192

§2.3. С В О Й С Т В А П О К О О Р Д И Н А Т Н О Г О

С А М О О Б У Ч Е Н И Я П Р И С Т А Т И С Т И Ч Е С К О Й

О П Т И М И З А Ц И И С П О М Е Х А М И

Пусть на функцию качества оптимизируе­ мой системы Q(xi,..., х„) накладывается помеха е(о), которая является нормально распределенной случайной величиной с математическим ожиданием, равным нулю, и дисперсией D = o2. Тогда оптимизация системы прово­ дится по следующей величине:

Алгоритм покоординатного самообучения можно пред­ ставить в виде

изменение величин Wi накладываем обычное ограниче­

раметров оптимизируемой системы и плоскость обучения имеют тот же вид, что и в предыдущем параграфе (см. рис. 2.2.1). Из формулы (2.3.1) следует, что для единич­ ного шага вдоль направления АХ<->> имеем приращение функции качества в виде

A Q ' ^ A Q ^ + eO^o) = (ДХО), grad Q) +е(У2а), (2.3.3)

где е(аУ2) — нормально распределенная случайная ве­ личина с математическим ожиданием, равным нулю, и дисперсией 2а2 .

Для линейной функции Q(X), вектор градиента кото­ рой равен