
- •Історія нейронних мереж.
- •Аналогія штучних нейронних мереж з мозком людини.
- •Біологічний нейрон.
- •Базовий штучний нейрон.
- •Модель штучного нейрона як «елемента обробки».
- •Штучні нейронні мережі та задачі, які вони виконують.
- •Навчання штучної нейронної мережі. Контрольоване навчання.
- •Контрольоване навчання
- •Навчання штучної нейронної мережі. Неконтрольоване навчання.
- •Неконтрольоване навчання
- •Оцінка ефективності та правила навчання нейромережі. Правила Хеба та Хопфілда Оцінки навчання
- •Правила навчання
- •Правила навчання нейромережі. Правило «дельта», градієнтного спуску та навчання методом змагання.
- •Обґрунтованість застосування нейронних мереж. Проблеми розв’язуванні в контексті нейромоделювання.
- •Машина фон Неймана у порівнянні з біологічною нейронною системою.
- •Розширена модель штучного нейрону.
- •Компоненти штучного нейрону. Вагові коефіцієнти та функція суматора. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Передатна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Масштабування та вихідна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Функція похибки та поширюваного назад значення, функція навчання. Компоненти штучного нейрона
- •Перцептрон Розенбалата. Перцептрон Розенбалата
- •Алгоритм навчання одношарового перцептрону. Алгоритм навчання одношарового перцептрона
- •Особливості перцептрону, недоліка та переваги. Модифікації перцептрону.
- •Нейромережа зворотного поширення похибки(Back Propagation)
- •Правила до вибору архітектури мережі зворотного поширення похибки (Back Propagation).
- •Алгоритм навчання мережі зворотного поширення похибки (Back Propagation). Алгоритм навчання мережі
- •Нейромережа Delta bar Delta. Недоліки та переваги
- •Нейромережа Extended Delta bar Delta.
- •Мережа скерованого випадкового пошуку (Directed Random Search).Основні компоненти, переваги та недоліки.
- •Нейромережа вищого порядку або функціонально - пов’язана нейронна мережа. Нейронна мережа вищого порядку або функціонально-пов'язана нейронна мережа
- •Мережа Кохонена. Недоліки, переваги та модифікації мережі. Мережа Кохонена
- •Алгоритм функціонування мережі Кохонена. Алгоритм функціонування мережі Кохонена:
- •Мережа квантування навчального вектора (Learning Vector Quantization).Недоліки та переваги. Квантування навчального вектора (Learning vectorquantization)
- •Мережа зустрічного поширення (сounterрropagation). Мережа зустрічного поширення (counterрropagation)
- •Навчання та функціонування мережі зустрічного поширення (сounterрropagation). Навчання мережі
- •Функціонування мережі
- •Імовірнісна нейронна мережа. Імовірнісна нейронна мережа
- •Мережа Хопфілда. Мережа Хопфілда
- •Алгоритм функціонування мережі Хопфілда. Алгоритм функціонування мережі
- •Машина Больцмана (Boltzmann mashine). Машина Больцмана
- •Алгоритм функціонування мережі Больцмана. Алгоритм функціонування мережі
- •Мережа Хемінга. Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга. Алгоритм функціонування мережі Хемінга
- •Мережа двоскерованої асоціативної пам’яті. Недоліки, переваги та модифікації Двоскерована асоціативна пам'ять
- •Мережа адаптивної резонансної теорії. Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі адаптивної резонансної теорії. Алгоритм функціонування мережі
- •Базові концепції моделі "Функціонал на множині табличних функцій" (фтф).
- •Навчання та функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Алгоритм для режиму навчання моделі "Функціонал на множині табличних функцій"(фтф).
- •Алгоритм для режиму функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Особливості формування передатних функцій в моделі "Функціонал на множині табличних функцій" (фтф).
- •Представлення задач. Логічні моделі
- •Представлення задач. Мережеві моделі
- •Представлення задач. Продукційні моделі
- •Представлення задач. Сценарії
- •Методи вирішення задач. Рішення задач методом пошуку в просторі станів.
- •Методи вирішення задач. Рішення задач методом редукції.
- •Методи вирішення задач. Рішення задач дедуктивного вибору.
- •Методи вирішення задач. Рішення задач, що використовують немонотонні логіки, імовірнісні логіки.
- •Класифікація рівнів розуміння виконавчих систем.
- •Данные и знания. Основные определения.
- •Особливості знань. Перехід від бази даних до бази знань. Особенности знаний. Переход от Базы Данных к Базе Знаний.
- •Неформальні (семантичні) моделі представлення знань. Модели представления знаний. Неформальные (семантические) модели.
- •Формальні моделі представлення знань. Формальные модели представления знаний.
- •Комплексна схема нечіткого планування задач.
- •Особливості планування цілеспрямованих дій.
- •Оцінки складності завдання планування.
- •Призначення експертних систем.
- •Структура експертних систем.
- •Етапи розробки експертних систем.
- •Представлення знань в експертних системах.
- •Методи пошуку рішень в експертних системах.
- •Підготовчий етап роботи зі знанням.
- •Основний етап роботи зі знанням.
- •Системи придбання знань від експертів.
- •Передумови виникнення систем розуміння природної мови. Предпосылки возникновения систем понимания естественного языка
- •Понимание в диалоге
- •Приклади системи обробки природної мови. Примеры системы обработки естественного языка
- •Методи озвучування мови. Методы озвучивания речи
- •Система розпізнавання мовлення. Акустична модель
- •Система розпізнавання мовлення. Лінгвістична модель.
- •Класифікація систем розпізнавання мовлення. Классификация систем распознавания речи
- •Розпізнавання символів. Шаблонні системи. Распознавание символов
- •Розпізнавання символів. Структурні системи.
- •Розпізнавання символів. Ознакові системи.
- •Розпізнавання рукописних текстів. Распознавание рукописных текстов
- •Архітектура експертної системи реального часу. Архитектура экспертной системы реального времени
- •Системи управління з нечіткою логікою.
- •Лінгвістичні змінні та їх використання в системах з нечіткою логікою.
- •Операції над нечіткими множинами.
- •Основна структура і принцип роботи системи нечіткої логіки.
- •Блок фаззіфікації в системі з нечіткою логікою.
- •База правил нечіткої логіки.
- •Блок виводу в системи з нечіткою логікою.
- •Блок дефаззіфікації в системи з нечіткою логікою.
- •Нейрочіпи та їх класифікація.
Алгоритм навчання мережі зворотного поширення похибки (Back Propagation). Алгоритм навчання мережі
Ініціалізація мережі: вагові коефіцієнти і зсуви мережі приймають малі випадкові значення.
Визначення елемента навчальної множини: (вхід - вихід). Входи (x1, x2... Xn), повинні розрізнятися для всіх прикладів навчальної множини.
Обчислення вихідного сигналу:
Yim= f(Sjm)
Im=1, 2, ..., Nm, m=1, 2, ..., L
Де S - вихід суматора, w - вага зв'язку, y - вихід нейрона, b - зсув, i - номер нейрона, N - число нейронів у прошарку, m - номер прошарку, L - число прошарків, f- передатна функція.
Налаштування синаптичних ваг:
Wij(t+1)=wij(t)+rgjx'і
Де wij - вага від нейрона i або від елемента вхідного сигналу i до нейрона j у момент часу t, xi' - вихід нейрона i, r - швидкість навчання, gj - значення похибки для нейрона j.
Якщо нейрон з номером j належить останньому прошарку, тоді
Gj=yj(1-yj)(dj-yj)
Де dj - бажаний вихід нейрона j, yj - поточний вихід нейрона j.
Якщо нейрон з номером j належить одному з прошарків з першого по передостанній, тоді
Де k пробігає всі нейрони прошарку з номером на одиницю більше, ніж у того, котрому належить нейрон j.
Зовнішні зсуви нейронів b налаштовуються аналогічним образом.
Тип вхідних сигналів: цілі чи дійсні.
Тип вихідних сигналів: дійсні з інтервалу, заданого передатною функцією нейронів.
Тип передатної функції: сигмоїдальна. В нейронних мережах застосовуються кілька варіантів сигмоїдальних передатних функцій.
Функція Ферми (експонентна сигмоїда):
Де s - вихід суматора нейрона, - деякий параметр.
Раціональна сигмоїда:
Гіперболічний тангенс:
Згадані функції відносяться до однопараметричних. Значення функції залежить від аргументу й одного параметра. Також використовуються багатопараметричні передатні функції, наприклад:
Сигмоїдальні функції є монотонно зростаючими і мають відмінні від нуля похідні по всій області визначення. Ці характеристики забезпечують правильне функціонування і навчання мережі.
Області застосування. Розпізнавання образів, класифікація, прогнозування.
Недоліки. Багатокритеріальна задача оптимізації в методі зворотного поширення розглядається як набір однокритеріальних задач - на кожній ітерації відбуваються зміни значень параметрів мережі, що покращують роботу лише з одним прикладом навчальної вибірки. Такий підхід істотно зменшує швидкість навчання.
Переваги. Зворотне поширення - ефективний та популярний алгоритм навчання багатошарових нейронних мереж, з його допомогою вирішуються численні практичні задачі.
Модифікації. Модифікації алгоритму зворотного поширення зв'язані з використанням різних функцій похибки, різних процедур визначення напрямку і величини кроку.
Нейромережа Delta bar Delta. Недоліки та переваги
Delta bar Delta була розроблена Робертом Джекобсом (Robert Jacobs), для покращення оцінки навчання стандартних мереж feedforward і є модифікацією мережі backpropagation.
Процедура backpropagation базується на підході найкрутішого спуску, який мінімізує похибку передбачення мережі під час процесу змінювання синаптичних ваг. Стандартні оцінки навчання застосовуються на базисі "прошарок за прошарком" і значення моменту призначаються глобально. Моментом вважається фактор, що використовується для згладжування оцінки навчання. Момент додається до стандартної зміни ваги і є пропорційним до попередньої зміни ваги. Хоча цей метод є успішним у вирішенні багатьох задач, збіжність процедури занадто повільна для використання.
Парадигма Delta bar Delta має "неформальний" підхід до навчання штучних мереж, при якому кожна вага має свій власний самоадаптований фактор навчання і минулі значення похибки використовуються для обчислення майбутніх значень. Знання ймовірних похибок дозволяє мережі робити інтелектуальні кроки при змінюванні ваг, але процес ускладнюється тим, що кожна вага може мати зовсім різний вплив на загальну похибку. Джекобс запропонував поняття "здорового глузду", коли кожна вага з'єднання мережі повинна мати власну оцінку навчання, а розмір кроку, що призначений до одної ваги з'єднання не застосовується для всіх ваг у прошарку.
Оцінка навчання ваги з'єднання змінюється на основі інформації про біжучу похибку, знайденої із стандартної вackрropagation. Якщо локальна похибка має однаковий знак для декількох послідовних часових кроків, оцінка навчання для цього з'єднання лінійно збільшується. Якщо локальна похибка часто змінює знак, оцінка навчання зменшується геометрично і це гарантує, що оцінки навчання з'єднання будуть завжди додатними. Оцінкам навчання дозволено змінюватись в часі. Призначення оцінки навчання до кожного з'єднання, дозвіл цій оцінці навчання неперервне змінюватись з часом обумовлюють зменшення часу збіжності.
З дозволом різних оцінок навчання для кожної ваги з'єднання у мережі, пошук найкрутішого спуску може не виконуватись. Замість цього, ваги з'єднань змінюються на основі часткових похідних похибки відносно самої ваги і оцінці "кривини поверхні похибки" поблизу біжучої точки значення ваги. Зміни ваг відповідають обмеженню місцевості і вимагають інформацію від нейронів, з якими вони з'єднані.
Переваги. Парадигма Delta Bar Delta є спробою прискорити процес збіжності алгоритму зворотного поширення за рахунок використання додаткової інформації про зміну параметрів і ваг під час навчання.
Недоліки:
Навіть невелике лінійне збільшення коефіцієнта може привести до значного росту швидкості навчання, що викликає стрибки в просторі ваг.
Геометричне зменшення коефіцієнта іноді виявляється не досить швидким.