3 Порядок виконання роботи

3.1 Одержати у викладача варіанти завдань для навчання і моделювання РБНМ. Вхідними даними є навчальна і контрольна вибірки (набори пар значень входів і бажаних виходів персептрона).

3.2 Використовуючи запропонований викладачем програмний засіб, здійснити навчання і моделювання РБНМ і БНМ для відповідних варіанту даних.

3.3 Результати моделювання занести в таблицю, стовпці якої повинні мати назви: модель НМ, алгоритм навчання, помилка навчання, помилка розпізнавання, час навчання, час класифікації.

3.4. Проаналізувати отримані результати і зробити висновки про те, яка модель НМ краще підходить для рішення задачі, що відповідає варіанту.

4 ЗМІСТ ЗВІТУ

4.1 Сформульована мета роботи.

4.2 Короткий опис моделі РБНМ.

4.3 Схема та опис алгоритмів навчання РБНМ.

4.4 Короткий опис, вхідні дані та результати роботи з програмним засобом, запропонованим викладачем, таблиця 3.3.

4.5 Аналіз отриманих результатів і висновки. Лаконічні відповіді на контрольні питання.

Контрольні питання

1. Дайте визначення і поясніть взаємозв'язок понять: нейрон, вага, поріг, радіально-базисна мережа, класифікація, апроксимація, оцінювання, помилка навчання / класифікації, час навчання / класифікації.

2. У чому подібність і відмінність РБНМ і БНМ?

3. Які задачі можна вирішувати на основі РБНМ, а які не можна? Обґрунтуйте і доведіть відповідь. Приведіть приклади. Чи доцільно застосовувати РБНМ для класифікації складно (нелінійно) роздільних образів?

4. Чи завжди збігаються алгоритми навчання РБНМ?

5. Чи можна навчити РБНМ обчислювати значення функцій: 1) y = x₁ and x₂, 2) y = x₁ xor x₂, 3) y = not ((not x₁) and x₂), 4) y = 3x₁ – 0,05x₂, 5) y = sin(x₁) + 0,3x₂, 6) y = 0,5x₁ + 2x₂ – 2,5(x₁ - x₂) + 5,5, 7) y = x₁ / (sin(π) * x₂)?

Лабораторна робота № 6

Евристичні моделі та методи навчання нейронних мереж

Мета роботи – вивчити евристичні моделі та методи навчання НМ; порівняти евристичні методи навчання НМ між собою, а також з методами навчання БНМ; розглянути приклади практичного використання вивчених методів і моделей НМ.

1 Короткі теоретичні відомості Евристичний алгоритм навчання класифікації двошарового персептрона

Нехай ми маємо навчальну вибірку x = {x¹, x², ..., x^S}, що складається з S екземплярів, якi характеризуються N ознаками x^q_i, де q – номер екземпляра навчальної вибірки, i – номер ознаки.

Кожному екземпляру навчальної вибірки зіставлений номер класу y^q, , деK₀ і K₁ – умовні позначки різних класів екземплярів. Умовимося, що екземпляр, який перевіряється, належить до класу K₀, якщо значення параметра, що прогнозується, до моменту часу прогнозування буде більше деякого граничного значення. У противному випадку екземпляр належить до класу K₁.

Одним з методів настроювання ваг для двошарового персептрона може служити евристичний алгоритм, модель НМ для якого представлена на рис. 6.

Параметри та функції активації НМ необхідно визначити за наступними правилами.

Функція активації ψ^{(,i )} i-го нейрона -го шару:

;

Ваговий коефіцієнт j-го входу i-го нейрона -го шару:

i = 1, 2, ..., N, j = 0, 1, 2, ..., N.

Рисунок 6 – Двошаровий персептрон

Для знаходження значень параметрів α_i, β_i і θ_i пропонується використовувати наступний алгоритм.

Крок 1. Обчислити:

–математичне сподівання i-ї ознаки x_i:

, i = 1, 2, ..., N,

де S – кількість екземплярів навчальної вибірки, x^q_i – значення i-ї ознаки q-го екземпляра навчальної вибірки.

–математичне сподівання i-ї ознаки для екземплярів навчальної вибірки, що належать до класу K₁:

, i = 1, 2, ..., N,

де – кількість екземплярів навчальної вибірки, що належать до класуK₁.

–математичне сподівання i-ї ознаки для екземплярів навчальної вибірки, що належать до класу K₀:

, i = 1, 2, ..., N,

де – кількість екземплярів навчальної вибірки, що належать до класуK₀.

–математичне сподівання номера класу: ,

де y^q – номер класу q-го екземпляра навчальної вибірки.

Якщо необхідно, для знаходження порога θ_i, обчислити:

Дисперсії ознак: ,i = 1, 2, ..., N.

Дисперсії ознак екземплярів, що відносяться до класу K₁:

, i = 1, 2, ..., N.

Дисперсії ознак екземплярів, що відносяться до класу K₀:

, i = 1, 2, ..., N.

Дисперсію номера класу: .

Крок 2. Обчислити коефіцієнти кореляції кожної i-ї ознаки і номера класу: .

Крок 3. Обчислити ступінь (частку) впливу i-ї ознаки на номер класу екземпляра: ,i = 1, 2, ..., N,

де j – номер поточної ознаки.

Обчислити коефіцієнт β_i, що враховує найбільш ймовірне розміщення полюсів (центрів зосередження екземплярів) класів при одновимірній класифікації за i-ю ознакою: .

Цей коефіцієнт буде дорівнювати: +1, якщо полюс класу K₀ розташований ліворуч полюса класу K₁ по вісі значень i-ї ознаки; –1, якщо полюс класу K₀ розташований праворуч полюса класу K₁ по вісі значень i-ї ознаки; 0, якщо полюса класів збігаються.

Обчислити значення порога, відносно якого будемо здійснювати одновимірну класифікацію екземплярів за i-ю ознакою. Для знаходження значення порога можна запропонувати досить багато різних способів:

, i = 1, 2, ..., N;

, i = 1, 2, ..., N,

, i = 1, 2, ..., N.

Крок 4. Оцінити імовірності помилки перейменування класів для екземплярів навчальної і (або) контрольної вибірок і зробити висновок про застосовність даного алгоритму для рішення поставленої задачі.

Для цього варто знайти значення номерів класів для екземплярів навчальної і (або) контрольної вибірок за правилом класифікації (3), після чого визначити кількість помилкових рішень S_пом і оцінити імовірність прийняття помилкових рішень P_пом = S_пом / (S + S_к), де S і S_к – розмір навчальної і контрольної вибірок, відповідно.