5.6.7. Алгоритм обучения сети встречного распространения

Шаг 1. Произвести единичную нормировку всех векторов X, У обучающего множества.

Шаг 2. Весовым коэффициентам сети , присвоить малые случайные значения и произвести единичную нормировку матриц W, V по столбцам.

Положить

Шаг 3. Подать на вход сети обучающий набор (X, У) и определить единственный нейрон-«победитель» в слое Кохонена (весовой вектор которого дает максимальное скалярное произведение с входным векто­ром). Выход этого нейрона установить равным 1, выходы всех остальных нейронов слоя Кохонена положить равными 0. Скорректировать веса выигравшего нейрона:

, где .

Ш а г 4. Подать выходной вектор слоя Кохонена на вход слоя Гроссберга. Скорректировать веса слоя Гроссберга, связанные с выигравшим нейроном слоя Кохонена: (здесь k – номер выигравшего нейрона).

Шаг 5. Уменьшить значения

Шаг 6. Повторять шаги 3—5 до тех пор, пока каждая входная пара из обучающего множества не будет порождать аналогичную выходную пару.

Замечание. Для улучшения обобщающих свойств сети встреч­ного распространения темп уменьшения значений и должен быть очень маленьким, а общее количество итераций достаточно большим (все образы обучающей выборки желательно предъявить сети несколько десятков или даже несколько сотен раз).

Упражнения

5.8. Написать программу, обучающую сеть Кохонена классифицировать типы цветков ириса (Iris Setosa — 0, Iris Versicolour — 1, Iris Virginika — 2) по 4 размерам их пестиков и тычинок. База данных, расположенная, например, на сервере www.basegroup.ru содержит по 50 примеров каждого класса (всего 150 примеров). Первые 100 примеров используйте для обучения, остальные — для тестирования.

5.9. Написать программу, обучающую сеть Кохонена давать прогноз стоимости недвижимости в разных районах города. С помощью газет («Камелот», «Из рук в руки») выбрать и произвести численное кодиро­вание 10 наиболее важных параметров, определяющих стоимость жилья (жилая площадь, размер кухни, престижность района и т.д.). Каждый нейрон Кохонена определяет класс квартир, близких по стоимости (например, 1-й класс — квартиры стоимостью 200—210 тыс. рублей, 2-й класс —210—220 тыс. рублей и т. д.). Базу данных, включающую не менее 100 обу­чающих примеров, сформировать самостоя­тельно на основе информации из газет.

Рис. 6.17. Данные для сжатия

5.10. Сеть встречного распространения может быть использована для сжатия данных перед их передачей, уменьшая тем самым число битов, которые должны быть переда­ны. Допустим, что требуется передать неко­торое черно-белое изображение. Оно может быть разбито на фрагменты , как показано на рис. 6.17. Каждый фрагмент разбит на пиксели. Рассмотрим векторное кодирование фрагмента: пусть каждый белый пиксель — это 1, каждый черный — 0. Если во фрагменте имеется N пикселей, то для его передачи потребуется N бит. Множество векторов фрагментов используется в качестве входа для обучения слоя Кохонена, когда выход лишь одного нейрона равен 1. Веса слоя Гроссберга обу­чаются выдавать бинарный код номера того нейрона Кохонена, выход которого равен 1. Например, если выходной сигнал нейрона 7 равен 1 (а все остальные равны 0), то слой Гроссберга будет обучаться выдавать 00. ..000111 (двоичный код числа 7). Это и будет являться более корот­кой битовой последовательностью передаваемых символов. На приемном конце идентичным образом обученная сеть встречного распространения принимает двоичный код и реализует обратную функцию, аппрокси­мирующую первоначальный фрагмент. Написать программу, обучающую сеть встречного распространения сжатию данных.