Навчання штучної нейронної мережі

Здатність до навчання є фундаментальною властивістю мозку. Процес навчання може розглядатися як визначення архітектури мережі і налаштування ваг зв'язків для ефективного виконання спеціальної задачі. Нейромережа налаштовує ваги зв'язків по наявній навчальній множині. Властивість мережі навчатися на прикладах робить їх більш привабливими в порівнянні із системами, які функціонують згідно визначеній системі правил, сформульованої експертами.

Для процесу навчання необхідно мати модель зовнішнього середовища, у якій функціонує нейронна мережа - потрібну для вирішення задачі інформацію. По-друге, необхідно визначити, як модифікувати вагові параметри мережі. Алгоритм навчання означає процедуру, в якій використовуються правила навчання для налаштування ваг.

Існують три загальні парадигми навчання: "з вчителем", "без вчителя" (самонавчання) і змішана. У першому випадку нейромережа має у своєму розпорядженні правильні відповіді (виходи мережі) на кожен вхідний приклад. Ваги налаштовуються так, щоб мережа виробляла відповіді як можна більш близькі до відомих правильних відповідей. Навчання без вчителя не вимагає знання правильних відповідей на кожен приклад навчальної вибірки. У цьому випадку розкривається внутрішня структура даних та кореляція між зразками в навчальній множині, що дозволяє розподілити зразки по категоріях. При змішаному навчанні частина ваг визначається за допомогою навчання зі вчителем, у той час як інша визначається за допомогою самонавчання.

Обґрунтованість застосування нейромереж

Нейромережі не можна вважати доцільним рішенням для всіх обчислювальних проблем. Традиційні комп'ютери та обчислювальні методи є ідеальними для багатьох застосувань. Сучасні цифрові обчислювальні машини перевершують людину по здатності робити числові й символьні обчислення. Однак людина може без зусиль вирішувати складні задачі сприйняття зовнішніх даних (наприклад, впізнавання людини в юрбі по його обличчю) з такою швидкістю і точністю, що наймогутніший у світі комп'ютер у порівнянні з ним здається безнадійним тугодумом. У чому причина настільки значного розходження в їхній продуктивності?

Машина фон Неймана у порівнянні з біологічної нейроною системою

**	Машина фон Неймана	Біологічна нейрона система
Процесор	Складний Високошвидкісний Один чи декілька	Простий Низькошвидкісний Велика кількість
Пам'ять	Відділена від процесора Локалізована Адресація за адресою	Інтегрована в процесор Розподілена Адресація по змісту
Обчислення	Централізовані Послідовні Збережені програми	Розподілені Паралельні Самонавчання
Надійність	Висока вразливість	Живучість
Спеціалізація	Числові й символьні операції	Проблеми сприйняття
Середовище функціонування	Строго визначене Строго обмежене	Погано визначене Без обмежень
Функції	Логічно, через правила, концепції, обчислення	Через зображення, рисунки, керування
Метод навчання	За правилами (дидактично)	За прикладами (сократично)
Застосування	Числова та символьна обробка інформації	Розпізнавання мови, розпізнавання образів, розпізнавання текстів

Представимо деякі проблеми, розв'язувані в контексті нейромоделювання, які представляють інтерес для вчених і інженерів.

Класифікація образів. Завдання полягає у визначенні приналежності вхідного образа (наприклад, мовного сигналу чи рукописного символу), представленого вектором ознак, одному чи декільком попередньо визначеним класам. До відомих застосувань відносяться розпізнавання букв, розпізнавання мови, класифікація сигналу електрокардіограми, класифікація кліток крові.

Кластеризація/категоризація. При рішенні задачі кластеризації, що відома також як класифікація образів "без вчителя", навчальна множина з визначеними класами відсутня. Алгоритм кластеризації заснований на подобі образів і розміщує близькі образи в один кластер. Відомі випадки застосування кластеризації для видобутку знань, стиснення даних і дослідження властивостей даних.

Апроксимація функцій. Припустимо, що є навчальна вибірка ((x1,y1), (x2,y2)..., (xn,yn)) (пари даних вхід-вихід), яка генерується невідомою функцією F, спотвореної шумом. Завдання апроксимації полягає в знаходженні невідомої функції F. Апроксимація функцій необхідна при рішенні численних інженерних і наукових задач моделювання.

Передбачення/прогноз. Нехай задані n дискретних відліків {y(t1), y(t2), ..., y(tn)} у послідовні моменти часу t1, t2,..., tn . Завдання полягає в передбаченні значення y(tn+1) у деякий майбутній момент часу tn+1. Передбачення/прогноз мають значний вплив на прийняття рішень у бізнесі, науці й техніці (передбачення цін на фондовій біржі, прогноз погоди).

Оптимізація. Численні проблеми в математиці, статистиці, техніці, науці, медицині й економіці можуть розглядатися як проблеми оптимізації. Задачею алгоритму оптимізації є знаходження такого рішення, що задовольняє системі обмежень і максимізує чи мінімізує цільову функцію.

Пам'ять, що адресується за змістом. В традиційних комп'ютерах звертання до пам'яті доступно тільки за допомогою адреси, що не залежить від змісту пам'яті. Більш того, якщо допущена помилка в обчисленні адреси, то може бути знайдена зовсім інша інформація. Асоціативна пам'ять, чи пам'ять, що адресується за змістом, доступна за вказівкою заданого змісту. Вміст пам'яті може бути викликано навіть по частковому входу чи спотвореному змісту. Асоціативна пам'ять надзвичайно бажана при створенні мультимедійних інформаційних баз даних.

Керування. Розглянемо динамічну систему, задану сукупністю {u(t), y(t)}, де u(t) є вхідним керуючим впливом, а y(t) - виходом системи в момент часу t. В системах керування з еталонною моделлю метою керування є розрахунок такого вхідного впливу u(t), при якому система діє по бажаній траєкторії, заданою еталонною моделлю. Прикладом є оптимальне керування двигуном.

Але, незважаючи на переваги нейронних мереж в часткових галузях над традиційними обчисленнями, існуючі нейромережі є не досконалими рішеннями. Вони навчаються і можуть робити "помилки". Окрім того, не можна гарантувати, що розроблена мережа є оптимальною мережею. Застосування нейромереж вимагає від розробника виконання ряду умов.

Ці умови включають:

• множину даних, що включає інформацію, яка може характеризувати проблему;

• відповідно встановлену за розміром множину даних для навчання й тестування мережі;

• розуміння базової природи проблеми, яка буде вирішена;

• вибір функції суматора, передатної функції та методів навчання;

• розуміння інструментальних засобів розробника;

• відповідна потужність обробки.

Новий шлях обчислень вимагає вмінь розробника поза межами традиційних обчислень. Спочатку, обчислення були лише апаратними й інженери робили його працюючим. Потім, були спеціалісти з програмного забезпечення: програмісти, системні інженери, спеціалісти по базах даних та проектувальники. Тепер є нейронні архітектори. Новий професіонал повинен мати кваліфікацію, відмінну від його попередників. Наприклад, він повинен знати статистику для вибору і оцінювання навчальних і тестувальних множин. Логічне мислення сучасних інженерів програмного забезпечення, їх емпіричне вміння та інтуїтивне відчуття гарантує створення ефективних нейромереж.