книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

aj (nJr \) = aj (ri) + K*[x— b(xk, п)]тdb <'Xk’ w) x

b(xk, n + l ) = b(xk, n) + K***[x — b(xk, n)]. (8-15)

Алгоритм был реализован на ЦВМ и представляет собой последовательность следующих этапов:

1) в память ЦВМ вводятся случайные или определен­ ные начальные значения координат центров классов и на­

3)на вход СР поступает образ х;

4)по данному х и состоянию многослойной СР в данный момент времени вычисляется значение хк,

5)выбираются векторы b (л:*) и db (xk)/dxk, соответст­ вующие данному хк\

6 ) с использованием результатов пп. 3, 5 вычисляются новые значения настраиваемых коэффициентов СР и цент­ ров классов;

250

7) при подаче на вход следующего образа повторяется алгоритм по пп. 4—6 ;

8 ) после нахождения локального экстремума алгоритм повторяется по пп. 1—7.

На рис. 8-39 представлены лиции равного значения плот­ ности распределения / (х), используемой при исследовании данного алгоритма. Оптимальные значения настраиваемых

Рис. 8 -39. Линии равных зна-

чений плотности распределе­ ния f (х).

1 — оптимальное положение разде­ ляю щ их гиперплоскостей; 2 — л и ­ нии равного значения плотности распределения входного сигнала для различных дисперсий распре­ делений, представляю щ их моды / (х).

ЛПЭ второго слоя с /Ср = 5 решениям должен реализо­ вать логическую функцию, представленную в табл. 8 -6 . Условием формирования правильного решения xk является формирование соответствующего промежуточного значе­ ния аналогового выходного сигнала g (п) = xk — 0,5. На основании этого может быть составлена система алгебраи-

Т а б л и ц а 8 - 6

251

ческих уравнений для определения оптимальных коэффи­ циентов ЛПЭ второго слоя:

Эксперименты на ЦВМ с рассматриваемой двухслойной СР проводились в соответствии со следующим планом:

1. Эксперимент с различными дисперсиями распределе­ ний, составляющих моды / ( х ) (рис. 8-39).

2. Коэффициенты ЛПЭ второго слоя оптимальны, зна­ чения центров классов оптимальны. Для коэффициентов ЛПЭ первого слоя задавались следующие различные ус­ ловия:

а) коэффициенты ЛПЭ первого слоя оптимальны;

слоя задавались с различными по величине и по знаку от­ клонениями от оптимальных.

3. Коэффициенты ЛПЭ второго слоя оптимальны; при неоптимальных начальных значениях центров классов про­ водились эксперименты, аналогичные пп. 2 а и 26.

4.Коэффициенты ЛПЭ первого слоя и значения центров классов оптимальны. Начальные значения коэффициентов ЛПЭ второго слоя не оптимальны.

5.Эксперименты, аналогичные п. 3, но с неоптималь­ ными начальными значениями центров классов.

6 . Коэффициенты ЛПЭ первого и второго слоя и значе­ ния центров классов не оптимальны.

7. Все перечисленные выше эксперименты проводились при различных, недетерминированных начальных условиях. Завершающим явился эксперимент со случайными началь­ ными условиями на коэффициенты ЛПЭ и центры классов.

Эксперимент п. 1а показал устойчивость двухслойной СР в глобальном экстремуме специальной средней функции риска. Для случая, когда начальные значения коэффициентов

252

ЛПЭ обоих слоев оптимальны, а центры классов не опти­ мальны, результаты эксперимента приведены на рис. 8-40. Для случая, когда начальные значения коэффициентов ЛПЭ первого слоя были не оптимальны, а начальные значения коэффициентов ЛПЭ второго слоя и значе­ ния центров классов опти­ мальны, результаты экспе­ римента ' приведены на рис. 8-41. Как видно из ре­ зультатов данного экспери­ мента, выбранное располо­ жение мод плотности рас-

Рис. 8-40. Динамика настройки по координатам центров клас­ сов.

Рис. 8-41. Результаты исследования двухслойной СР в режиме самообучения.

253

пределения входного сигнала делает гиперплоскости (/, II, III, IV) мало чувствительными к повороту. Здесь при срав­ нительно большом диапазоне угла поворота плоскостей величина функционала качества не изменяется (при усло­ вии неизменного порога а 1;). Этот факт, очевидный из фи­ зических соображений, подтверждается экспериментом. Приведенные рассуждения позволяют считать целесообраз-

Рис. 8-42. Результаты исследования двухслой­ ной СР в режиме самообучения.

2, 3, 4) и только в отдельных исключительных случаях исследовать также и динамику настройки коэффициентов наклона гиперплоскостей.

Для случая, когда начальные значения коэффициентов ЛПЭ второго слоя оптимальны, а начальные значения ко­ эффициентов ЛПЭ первого слоя и значения центров классов брались с одинаковыми по величине отклонениями в одну сторону (отклонения отрицательны), результаты экспери-

254

Рис. 8-43. Результаты исследования двухслойной СР в ре­ жиме самообучения.

/ —4 ™ конечные положения гиперплоскостей, реализуемых ЛПЭ1 — ЛПЭ4 первого слоя соответственно.

255

мента приведены на рис. 8-42. Динамика настройки поро­ гов приведена на рис. 8-43 (сплошная линия). В случае по­ ложительных отклонений динамика настройки также про­ иллюстрирована на рис. 8-43 (штрих-пунктирная линия). Для случая, когда начальные значения коэффициентов ЛПЭ второго слоя оптимальны, а начальные значения ко­ эффициентов ЛПЭ первого слоя и центров классов брались с различными по величине и знаку отклонениями от опти-

Рис. 8-44. Результаты исследования двухслойной СР

врежиме самообучения.

/— начальное положение гиперплоскостей; II — оптимальное положение гиперплоскостей; III — положение гиперплоскостей

после 3 000 итераций.

мальных, результаты эксперимента приведены на рис. 8-43 (пунктир) и 8-44.

Цель эксперимента п. 6 состояла в выяснении влияния дисперсии распределений, представляющих моды fx (х), на качество распознавания. Эксперименты этой группы проводились при одних и тех же начальных условиях (типа

256

между модами плотности распределения входного сигнала задача самообучения может быть решена для а„акс = 1,5 . Этот экспериментальный факт имеет ясное физическое обо-

Рис. 8-45. Результаты исследования двухслойной СР в ре­ жиме самообучения.

снование, так как при большом а 2 (сильно пересекающиеся классы) невозможно выделить группы локально сосредото­ ченных объектов и, следовательно, методы самообучения (на данном этапе своего развития), основанные на выделе­ нии таких групп, оказываются неработоспособными.

ООО 800 1200 WOO 2000 2000 2800 32003600 0000

Рис. 8-46. Результаты исследования двухслойной СР в режиме самообучения.

Рис. 8-47. Результаты исследования двухслойной СР в режиме самообучения.

/, I I , I I I , IV —номера соответствующих ЛПЭ первого слоя;

258

Для случая, когда начальные значения коэффициентов ЛПЭ первого слоя и начальные значения центров классов оптимальны, а начальные значения коэффициентов ЛПЭ второго слоя не оптимальны, динамика процесса настройки

руется рис. 8-47.

На рис. 8-48 представлены результаты работы двухслой­ ной СР в режиме самообучения с несколько другим видом типовой плотности fx (х).

8-11. О некоторых инженерных методах выбора параметров матриц в алгоритмах настройки многослойных СР по замкнутому циклу

При построении алгоритмов настройки СР по замкну­ тому циклу с оценкой только первой производной функ­ ционала оптимизации вряд ли мы будем иметь информацию для того, чтобы сделать матрицу К* недиагональной. В простейшем случае это единичная матрица, умноженная на постоянный или переменный во времени, как в методе стохастической аппроксимации, коэффициент. Правда уже сейчас, как показано выше в экспериментах, есть основа­ ния этот коэффициент делать различным для настройки коэффициентов различных слоев многослойной СР. Как указывалось в гл. 7, основная цель применения методов стохастической аппроксимации заключается в обеспечении