10. Алгоритм зворотнього розповсюдження помилки

Процес навчання за допомогою алгоритму зворотного розповсюдження помилки полягає в тому, що спочатку визначається помилка нейронної мережі. Потім при зворотньому розповсюдженні ця помилка використовується для корегування вагових коефіцієнтів і значень нейронів. Таким чином синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому.

Етапи алгоритму:

1. Прораховується мережа у прямому напрямку (при заданих Х), з відомою метою (значеннями Y).

2. Починаючи з виходів виконується зворотній рух через комірки вихідного та проміжного шарів, при цьому розраховується помилка для нейронів цих шарів.

Для вихідних нейронів: 0= (Yi-Ui)Ui(1-Ui), де Yi – бажане значення, Ui-реальне, отримане значення.

Для прихованих комірок: 0 = ( Wk* 0)Ui(1-Ui). де k-всі комірки, W-ваговий коефіцієнт.

3. Корекція Вагових коефіцієнтів:

-для з’єднань між прихованим шаром та виходом:

Wij*=Wij+p 0 Ui, р-коефіцієнт навчання (0;1).

- для з’єднань між прихованим шаром та входом.

Wij*=Wij+p і Ui,

Коррекция весов для входного слоя не производится.

4. Если обучающая выборка не закончилась, то шаги 1 – 3 повторяются.

5. Определяется величина ошибки Е. Если она не удовлетворительна, то шаги 1 – 4 повторяются.

Из описанного алгоритма видно, что процесс обучения НС включает два вложенных цикла обучения: внутренний цикл (шаги 1 – 3) повторяется соответственно количеству примеров из обучающей выборки, внешний (шаги 1 – 4) – до тех пор, пока не будет достигнуто удовлетворительное (с точки зрения ошибки) качество обучения.

После успешного обучения НС может быть протестирована на тестовой выборке. Если ошибка обучения на каждом примере из тестовой выборки удовлетворительна, то НС можно считать обученной и приступать к ее эксплуатации.

11. Побудова нейроконтроллерів для комп ігор, приклад

Нейроконтролер – Нейронна мережа, яка використовується при керуванні якимось об’єктом, якщо для комп’ютерних ігор, то для керування об’єктом комп’ютерної гри.

Архітектура – переможець отримує все – за змаганням – де на вході не 1 нейрон, а декілька, і кожен з них визначається певним діапазоном значень

В сети, созданной по принципу "победитель получает все", выходная с большей суммой весов является "победителем" группы и допускается к действию. В рассматриваемом приложении каждая ячейка представляет определяет поведение, которое доступно для персонажа в игре. В качестве примеров поведение можно назвать такие действия, как выстрелить из оружия, убежать, уклониться. Срабатывание ячейки в группе по принципу "победитель получает все" приводит к тому, что агент выполняет определенное действие. Когда агенту вновь позволяется оценить окружающую среду, процесс повторяется. Четыре входа обозначают "здоровье персонажа" (0 " плохое, 2 - хорошее), "имеет нож" (1, если персонаж имеет нож, 0 -противном случае), "имеет пистолет" (1, если персонаж имеет пистолет, 0 -противном случае) и "присутствует враг" (количество врагов в поле зрения). Выходы определяют поведение, которое выберет персонаж. Это высокоуровневые образы поведения, и предполагается, что подсистема поведения будет выбирать действие и следовать ему.

Выбранная здесь архитектура (три скрытые ячейки) была определена способом проб и ошибок. Три скрытые ячейки могут быть обучены для всех представленных примеров со 100% точностью Уменьшение количества ячеек до двух или одной приводит к созданию сети, которая не может правильно классифицировать все примеры.