Лабораторна робота №2
Тема. Розв'язання задач розпізнавання образів багатовимірних об'єктів за допомогою нейронних мереж типу "багатошаровий персептрон" (MLP) з використанням різних навчальних алгоритмів і інструментальних засобів пакета Statistica Neural Networks.
Мета: закріпити теоретичний лекційний матеріал, освоїти методику побудови, навчання, оцінки і застосування нейронної мережі типу MLP з використанням різних повчальних алгоритмів при моделюванні і рішенні задач розпізнавання образів багатовимірних об'єктів з використанням інструментальних засобів пакета Statistica Neural Networks.
Завдання:
1. Підготувати початкові дані для навчання нейронної мережі.
2. Створити і навчити нейронну мережу для розв'язання задач класифікації об'єктів з використанням Intelligent Problem Solver програми Statistica Neural Networks.
3. Проаналізувати діаграму розсіяння навчальних даних.
4. Провести аналіз чутливості мережі.
5. Створити і навчити нейронну мережу, що реалізує булеву функцію.
Загальні положення
Задача розпізнавання (класифікації) образів полягає у віднесенні вхідного набору даних, який представляє розпізнаваний об'єкт, до одного з заздалегідь відомих класів.
Для навчання мережі типу багатошаровий персептрон можуть застосовуватися спеціальні алгоритми, порівняльна характеристика яких дана в табл. 3
Таблиця 3
Порівняльна характеристика алгоритмів навчання багатошарового персептрона
Назва |
Опис |
1 |
2 |
Back Propagation |
Достоїнства: працює стабільно; в порівнянні з іншими алгоритмами менш вимогливий до ресурсів комп'ютера; швидко досягає допустимого рівня помилки, значно відмінної від нуля. Недоліки: повільно сходиться до мінімуму помилки (тобто до рівня помилки, близької або рівної нулю) |
Quick Propagation |
Достоїнства: має меншу кількість управляючих параметрів, тому простіший у використанні. Недоліки: менш стабільний у порівнянні з Back Propagation; схильний до попадання в локальний мінімум; швидкість роботи не завжди більша, ніж у Back Propagation (все залежить від специфіки розв'язуваної задачі). Обновляє ваги і пороги один раз після закінчення кожної епохи |
Conjugate Gradients |
Достоїнства: працює значно результативніше і стабільніше, ніж Back Propagation; застосовний для мереж з великою кількістю вагів (декількома сотень і більше) і/або з декількома вихідними елементами; має меншу кількість управляючих параметрів, тому більш простій у використанні. Недоліки: вимогливіший до ресурсів комп'ютера; вимагає більшого часу на навчання мережі. Обновляє ваги і пороги один раз після закінчення кожної епохи |
Levenberg-Marquardt |
Достоїнства: найбільш швидкий і стабільний алгоритм тренування вагів мережі. Недоліки: використовується виключно для мереж з одним вихідним елементом; вимоги до пам'яті пропорційні квадрату числа вагів у мережі, що має на увазі його використання для мереж з невеликою кількістю вагів (декілька сотень і не більше); працює лише з квадратичною функцією помилки. Обновляє ваги і пороги один раз після закінчення кожної епохи |
Delta-Bar-Delta |
Достоїнства: стабільніший, ніж Quick Propagation; швидкість роботи більша, ніжу Back Propagation Недоліки: схильний до попадання в локальний мінімум; результат роботи залежить від ступеня зашумованості поверхні помилки (чим менше, тим краще). Значення градієнтів помилок обчислюються так само, як в Back Propagation, але один раз після закінчення кожної епохи. Норма навчання призначається індивідуально кожній вазі, однаково на першій епосі, і обчислюється окремо для кожної ваги на подальших епохах. Якщо локальний градієнт помилки має однаковий знак на декількох ітераціях підряд, то норма збільшується щоб алгоритм швидше просунувся на деяку відстань у напрямку мінімізації помилки (це так само означає, що поверхня помилки має малу кривизну). Інакше - норма навчання зменшується, щоб алгоритм не коливався навколо точок великої кривизни. Якщо середній градієнт помилки не змінює знак, то до норми навчання додається коефіцієнт лінійного зростання, якщо ж змінює знак, то норма навчання множиться на коефіцієнт експоненціального спаду. Обновляє ваги і пороги один раз після закінчення кожної епохи |
Quasi-Newton |
Достоїнства: працює значно швидше, ніж Back Propagation; характеризується швидкою збіжністю. Недоліки: його рекомендується використовувати, якщо кількість вагів у мережі менше 200, інакше використовуйте Conjugate Gradients; схильний сходитися в локальному мінімумі; менш стабільний, ніж Conjugate Gradients; вимоги до пам'яті пропорційні кількості вагів у мережі. Рекомендується перед його застосуванням виконати навчання на 50 епохах за допомогою алгоритму Back Propagation, щоб зменшити можливість перенавчання і попадання в локальний мінімум. Алгоритм Levenberg-Marquardt працює краще, якщо за тих же умов задача передбачає моделювання регресійної залежності і характеризується малими залишками. Обновляє ваги і пороги один раз після закінчення кожної епохи |