6. Генетический алгоритм обучения нс вр и его свойства.

Цей алгоритм є алгоритмом глобальної оптимізації. У ньому використовуються наступні механізми:

1. схрещування батьківських пар (cross-over), генерація нащадків

2. мутація (дія випадкових впливів)

3. природний добір кращих (селекція)

Мета навчання – мінімізація середньоквадратичної помилки

Задається початкова популяція. Будь-яка особина представляється відповідними вагами з N особин . Обчислюємо індекс придатності (Fitness Index) і оцінюємо якість прогнозування , де С - константа.

Схрещування батьківських пар. При виборі батьків використовується імовірностний механізм. Позначимо - імовірність вибору i-го батька:

Потім здійснюється схрещування обраних пар. Можна застосовувати різні механізми схрещування. Наприклад: Для першого нащадка беруться непарні компоненти з вектора першого батька, а парні компоненти з вектора другого батька. Для другого нащадка навпаки – парні компоненти з вектора першого батька, а непарні компоненти з вектора другого батька. Це можна записати таким чином:

Береться батьківських пар і генеруються N нащадків.

Дія мутацій. ,де ,

Селекція. Можна використовувати різні механізми селекції.

1. Повна заміна старої популяції на нову.

2. Вибір N кращих із всіх існуючих особин за критерієм максимуму FI.

Недоліки методу:

Ряд параметрів визначається експериментально, наприклад:

N – розмір популяції

- показник загасання мутацій.

7. Метод сопряженных градиентов в обучении нс вр и его свойства.

Метод сполучених градієнтів (СГ) дає поліпшення швидкості збіжності в порівнянні з методом найшвидшого спуску. Однак, як і метод найшвидшого спуску, він є методом локальної оптимізації.

У нейроних мережах цільова функція (ц.ф.), яку необхідно мінімізувати – це середня помилка на всій множині навчальних зразків. Вона дорівнює

де - множина навчальних зразків.

Для тришарової мережі з N вхідними вузлами, включаючи граничний вузол, J схованими вузлами і M вихідними вузлами вектор ваг W містить NJ+MJ компонент. - бажаний вихід для навчального зразка t, а - реакція (вихідний сигнал мережі) на зразок t. Алгоритм сполучених напрямків більш загальний, ніж СГ

Сполучені напрямки. Назва походить від використання сполучених векторів. У векторному просторі вимірності множина векторів утворює множину сполучених напрямків щодо матриці A, якщо , для , де A - позитивно визначена матриця розміром . Вектори, що задовольняють умові, називають A-сполученими. Припустимо, що нам необхідно мінімізувати функцію , де b і W - D-мірні вектори, а матриця визначена вище. Отже, ми маємо квадратичну функцію. Припустимо, що ми шукаємо ітераційно оптимальний вектор , що мінімізує , і починаємо пошук з початкової точки . Вибираємо ненульовий вектор , який служить напрямком пошуку на наступній ітерації, при цьому не важливо, яким чином були обрані і . Задамо як наступний вектор: , де скаляр вибирається так, щоб мінімізувати . Оптимальний напрямок, у якому необхідно рухатися на наступній ітерації – це напрямок, у якому потрібен тільки один крок безпосередньо в точку оптимального рішення і воно повинне утворювати A-сполучену пару з вектором . Оптимальний напрямок – це тому умова, що є А-сполучений напрямок, еквівалентна твердженню, що повинна виконуватися умова . Звичайно, у цій точці ми не знаємо оптимального рішення , у противному випадку нам би не треба було ніякого алгоритму. Однак ця умова важлива з наступної причини. У D-мірному просторі є рівно незалежних векторів, що утворять A-сполучену пару з вектором . Таким чином, нам буде потрібно тільки скінченне число напрямків, щоб знайти оптимальне рішення. Алгоритм сполучених напрямків систематично конструює множину А-сполучених векторів. Через максимум D кроків алгоритм знайде оптимальний напрямок, і збіжність буде забезпечена. Помітимо, що в початковому рівнянні AW є множник, пропорційний градієнту функції E(W). Для таких проблем загального вигляду скінченна збіжність більш не гарантується. Необхідно усвідомлювати, що алгоритм СГ, подібно методу градієнтного спуску, забезпечує знаходження лише локально оптимальних рішень. Проте, метод дає значне прискорення збіжності в порівнянні з методом найшвидшого спуску.

Опис алгоритму. Крок0. Покласти . Ініціалізувати ваговий вектор і обчислити градієнт . Покласти вектор початкового напрямку . Крок1. Знайти скаляр , що мінімізує , для чого можна використовувати метод Фібоначчі чи золотого перетину. Крок2. Якщо , де - припустима точність досягнення мінімуму, то STOP. Інакше - обчислити новий напрямок: Крок3. Якщо , то новий вектор напрямку інакше покласти та обчислити новий вектор напрямку

Крок 4. Замінити на та на . Перехід на крок 1 наступної ітерації.