75. Одношарові та багатошарові штучні нейронні мережі. Їх архітектурні особливості. Розрахунок вихідного вектору.

Хоча один нейрон і здатний виконувати прості процедури розпізнавання, сила нейронних обчислень виникає від з'єднань нейронів в мережах. Проста мережа складається з групи нейронів, створюючих шар, як показано в правій частині рисунка. Відзначимо, що вершини-круги зліва служать лише для розподілу вхідних сигналів. Вони не виконують будь-яких обчислень, і тому не вважатимуться шаром. З цієї причини вони позначені кругами, щоб відрізняти їх від обчислюючих нейронів, позначених квадратами. Кожен елемент з множини входів Х окремою вагою сполучений з кожним штучним нейроном. Кожен нейрон видає зважену суму входів в мережу. У штучних і біологічних мережах багато з'єднань можуть бути відсутніми, можуть мати місце також з'єднання між виходами і входами елементів в шарі.

Зручно вважати вагу елементами матриці W. Матриця має m рядків і n стовпців, де m - число входів, а n - число нейронів. Наприклад, w3,2 - це вага, що пов'язує третій вхід з другим нейроном. Таким чином, обчислення вихідного вектора Y, компонентами якого є виходи OUT нейронів, зводиться до матричного множення Y = XW, де Y і Х - вектори-рядки.

Багатошарові мережі володіють значно більшими можливостями, ніж одношарові. Проте багатошарові мережі можуть привести до збільшення обчислювальної потужності в порівнянні з одношаровими лише в тому випадку, якщо активаційна функція між шарами буде нелінійною. Обчислення виходу шару полягає в множенні вхідного вектора на першу вагову матрицю з подальшим множенням (якщо відсутня нелінійна активаційна функція) результуючого вектора на другу вагову матрицю (XW1)W2. Оскільки множення матриць асоціативне, то X(W1W2). Це показує, що двошарова лінійна мережа еквівалентна одному шару з ваговою матрицею, рівною добутку двох вагових матриць. Отже, для лінійної активіаційної функції будь-яка багатошарова лінійна мережа може бути замінена еквівалентною одношаровою мережею.

76. Суть навчання штучних нейронних мереж та його оцінювання.

Здатність до навчання є фундаментальною властивістю мозку. У контексті штучних нейронних мереж процес навчання може розглядатися як налаштування архітектури мережі і вагів зв’язків для ефективного виконання спеціального завдання. Зазвичай нейронна мережа повинна настроїти ваги зв’язків за наявною навчальною вибіркою. Функціонування мережі поліпшується із ітеративним налаштуванням вагових коефіцієнтів. Властивість мережі навчатися на прикладах робить їх привабливішими в порівнянні із системами, які наслідують певну систему правил функціонування, сформульовану експертами. Для конструювання процесу навчання, перш за все, необхідно мати модель зовнішнього середовища, в якій функціонує мережа. Ця модель визначає парадигму навчання. По-друге, необхідно зрозуміти, як модифікувати вагові параметри мережі – які правила навчання управляють процесом налаштування. Алгоритм навчання означає процедуру, в якій використовуються правила навчання для налаштування вагів. Існують три парадигми навчання: «з вчителем», «без вчителя» (самонавчання) і змішана. Посилений варіант навчання з вчителем передбачає, що відома тільки критична оцінка правильності виходу нейронної мережі, але не самі правильні значення виходу. Навчання без вчителя не вимагає знання правильних відповідей на кожен приклад навчальної вибірки. В цьому випадку розкривається внутрішня структура даних або кореляції між зразками в системі даних, що дозволяє розподілити зразки по категоріях. При змішаному навчанні частина вагів визначається за допомогою навчання з вчителем, тоді як остання виходить за допомогою самонавчання. Теорія навчання розглядає три фундаментальні властивості, пов’язані з навчанням за прикладами: ємність, складність зразків і обчислювальна складність. Під ємністю розуміється, скільки зразків може запам’ятати мережа, і які функції і межі ухвалення рішень можуть бути на ній сформовані. Складність зразків визначає число навчальних прикладів, необхідних для досягнення здатності мережі до узагальнення.