Тема 3. Моделі нейронних мереж. Навчання нейроподібної мережі. Фізичне та математичне моделювання на універсальних еом. Біологічний нейрон
Нейрон (нервова клітка) складається з тіла клітини - соми (soma), і двох типів зовнішніх деревоподібних відгалужень: аксона (axon) і дендритів (dendrites). Тіло клітини вміщує ядро (nucleus), що містить інформацію про властивості нейрона, і плазму, яка продукує необхідні для нейрона матеріали. Нейрон отримує сигнали (імпульси) від інших нейронів через дендрити (приймачі) і передає сигнали, згенеровані тілом клітки, вздовж аксона (передавач), що наприкінці розгалужується на волокна (strands). На закінченнях волокон знаходяться синапси (synapses).
Рис. 1. Схема біологічного нейрона
Синапс є функціональним вузлом між двома нейронами (волокно аксона одного нейрона і дендрит іншого). Коли імпульс досягає синаптичного закінчення, продукуються хімічні речовини, названі нейротрансмітерами. Нейротрансмітери проходять через синаптичну щілину, збуджуючи або гальмуючи, у залежності від типу синапсу, здатність нейрона-приймача генерувати електричні імпульси. Результативність синапсу налаштовується минаючими через нього сигналами, тому синапси навчаються в залежності від активності процесів, у яких вони приймають участь. Нейрони взаємодіють за допомогою короткої серії імпульсів. Повідомлення передається за допомогою частотно-імпульсної модуляції.
Останні експериментальні дослідження доводять, що біологічні нейрони структурно складніші, ніж спрощене пояснення, наведене вище і значно складніші, ніж існуючі штучні нейрони, які є елементами сучасних штучних нейронних мереж. Оскільки нейрофізіологія надає науковцям розширене розуміння дії нейронів, а технологія обчислень постійно вдосконалюється, розробники мереж мають необмежений простір для вдосконалення моделей біологічного мозку.
Навчання штучної нейронної мережі
Здатність до навчання є фундаментальною властивістю мозку. Процес навчання може розглядатися як визначення архітектури мережі і налаштування ваг зв'язків для ефективного виконання спеціальної задачі. Нейромережа налаштовує ваги зв'язків по наявній навчальній множині. Властивість мережі навчатися на прикладах робить їх більш привабливими в порівнянні із системами, які функціонують згідно визначеній системі правил, сформульованої експертами.
Для процесу навчання необхідно мати модель зовнішнього середовища, уякій функціонує нейронна мережа - потрібну для вирішення задачі інформацію. По-друге, необхідно визначити, як модифікувати вагові параметри мережі. Алгоритм навчання означає процедуру, вякій використовуються правила навчання для налаштування ваг.
Існують три загальні парадигми навчання: "з вчителем", "без вчителя" (самонавчання) і змішана. У першому випадку нейромережа має у своєму розпорядженні правильні відповіді (виходи мережі) на кожен вхідний приклад. Ваги налаштовуються так, щоб мережа виробляла відповіді як можна більш близькі до відомих правильних відповідей. Навчання без вчителя не вимагає знання правильних відповідей на кожен приклад навчальної вибірки. У цьому випадку розкривається внутрішня структура даних та кореляція між зразками в навчальній множині, що дозволяє розподілити зразки по категоріях. При змішаному навчанні частина ваг визначається за допомогою навчання зі вчителем, у той час як інша визначається за допомогою самонавчання.
Структура і властивості штучного нейрона Штучна нейронна мережа - це набір нейронів, з'єднаних між собою. Як правило, передавальні (активаційні) функції всіх нейронів у мережі фіксовані, а ваги є параметрами мережі і можуть змінюватися. Деякі входи нейронів позначені як зовнішні входи мережі, а деякі виходи - як зовнішні виходи мережі. Подаючи будь-які числа на входи мережі, ми отримуємо якийсь набір чисел на виходах мережі.
Нейрон - це складова частина нейронної мережі (НМ). На рис. 5.2 показана його структура.
До складу нейрона входять помножувачі (синапси), суматор і нелійні перетворювач. Синапси здійснюють зв'язок між нейронами і множать вхідний сигнал на число, що характеризує силу зв'язку, синапсу. Суматор виконує додавання сигналів, що надходять по синаптичним зв'язках від інших нейронів, і зовнішнішніх вхідних сигналів. Нелінійний перетворювач реалізує нелінійну функцію одного аргументу - виходу суматора. Ця функція називається функцією активації чи передатною функцією нейрона. Нейрон в цілому реалізує скалярну функцію одного аргументу. Математична модель нейрона описується співвідношеннями
Рис. 5.3. Приклади активаційних функцій: а - порогова; 6 - полулінейная з насиченням; в - сигмоид (логістична функція); г - сигмоид (гіперболічний тангенс) Для простої передатної функції нейромережа може видавати 0 та 1, 1 та -1 або інші числові комбінації. Передатна функція в таких випадках є "жорстким обмежувачем" або пороговою функцією (рис. 2а).
Інший тип передатної функції лінійна з насиченням віддзеркалює вхід всередині заданого діапазону і діє як жорсткий обмежувач за межами цього діапазону. Це лінійна функція, яка відсікається до мінімальних та максимальних значень, роблячи її нелінійною (рис. 2б).
Наступним вибором є сигмоїда або S-подібна крива, яка наближує мінімальне та максимальне значення у асимптотах і називається сигмоїдою (рис. 2в), коли її діапазон [0, 1], або гіперболічним тангенсом (рис. 2г), при діапазоні [-1, 1]. Важливою рисою цих кривих є неперервність функцій та їх похідних. Застосування сигмоїдних функцій надає добрі результати і має широке застосування.
Зрештою, для різних нейромереж можуть вибиратись інші передатні функції.
Перед надходженням до передатної функції до вхідного сигналу деколи додають однорідно розподілений випадковий шум, джерело та кількість якого визначається режимом навчання. В літературі цей шум, згадується як "температура" штучних нейронів, яка надає математичній моделі елемент реальності.