
- •Історія нейронних мереж.
- •Аналогія штучних нейронних мереж з мозком людини.
- •Біологічний нейрон.
- •Базовий штучний нейрон.
- •Модель штучного нейрона як «елемента обробки».
- •Штучні нейронні мережі та задачі, які вони виконують.
- •Навчання штучної нейронної мережі. Контрольоване навчання.
- •Контрольоване навчання
- •Навчання штучної нейронної мережі. Неконтрольоване навчання.
- •Неконтрольоване навчання
- •Оцінка ефективності та правила навчання нейромережі. Правила Хеба та Хопфілда Оцінки навчання
- •Правила навчання
- •Правила навчання нейромережі. Правило «дельта», градієнтного спуску та навчання методом змагання.
- •Обґрунтованість застосування нейронних мереж. Проблеми розв’язуванні в контексті нейромоделювання.
- •Машина фон Неймана у порівнянні з біологічною нейронною системою.
- •Розширена модель штучного нейрону.
- •Компоненти штучного нейрону. Вагові коефіцієнти та функція суматора. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Передатна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Масштабування та вихідна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Функція похибки та поширюваного назад значення, функція навчання. Компоненти штучного нейрона
- •Перцептрон Розенбалата. Перцептрон Розенбалата
- •Алгоритм навчання одношарового перцептрону. Алгоритм навчання одношарового перцептрона
- •Особливості перцептрону, недоліка та переваги. Модифікації перцептрону.
- •Нейромережа зворотного поширення похибки(Back Propagation)
- •Правила до вибору архітектури мережі зворотного поширення похибки (Back Propagation).
- •Алгоритм навчання мережі зворотного поширення похибки (Back Propagation). Алгоритм навчання мережі
- •Нейромережа Delta bar Delta. Недоліки та переваги
- •Нейромережа Extended Delta bar Delta.
- •Мережа скерованого випадкового пошуку (Directed Random Search).Основні компоненти, переваги та недоліки.
- •Нейромережа вищого порядку або функціонально - пов’язана нейронна мережа. Нейронна мережа вищого порядку або функціонально-пов'язана нейронна мережа
- •Мережа Кохонена. Недоліки, переваги та модифікації мережі. Мережа Кохонена
- •Алгоритм функціонування мережі Кохонена. Алгоритм функціонування мережі Кохонена:
- •Мережа квантування навчального вектора (Learning Vector Quantization).Недоліки та переваги. Квантування навчального вектора (Learning vectorquantization)
- •Мережа зустрічного поширення (сounterрropagation). Мережа зустрічного поширення (counterрropagation)
- •Навчання та функціонування мережі зустрічного поширення (сounterрropagation). Навчання мережі
- •Функціонування мережі
- •Імовірнісна нейронна мережа. Імовірнісна нейронна мережа
- •Мережа Хопфілда. Мережа Хопфілда
- •Алгоритм функціонування мережі Хопфілда. Алгоритм функціонування мережі
- •Машина Больцмана (Boltzmann mashine). Машина Больцмана
- •Алгоритм функціонування мережі Больцмана. Алгоритм функціонування мережі
- •Мережа Хемінга. Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга. Алгоритм функціонування мережі Хемінга
- •Мережа двоскерованої асоціативної пам’яті. Недоліки, переваги та модифікації Двоскерована асоціативна пам'ять
- •Мережа адаптивної резонансної теорії. Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі адаптивної резонансної теорії. Алгоритм функціонування мережі
- •Базові концепції моделі "Функціонал на множині табличних функцій" (фтф).
- •Навчання та функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Алгоритм для режиму навчання моделі "Функціонал на множині табличних функцій"(фтф).
- •Алгоритм для режиму функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Особливості формування передатних функцій в моделі "Функціонал на множині табличних функцій" (фтф).
- •Представлення задач. Логічні моделі
- •Представлення задач. Мережеві моделі
- •Представлення задач. Продукційні моделі
- •Представлення задач. Сценарії
- •Методи вирішення задач. Рішення задач методом пошуку в просторі станів.
- •Методи вирішення задач. Рішення задач методом редукції.
- •Методи вирішення задач. Рішення задач дедуктивного вибору.
- •Методи вирішення задач. Рішення задач, що використовують немонотонні логіки, імовірнісні логіки.
- •Класифікація рівнів розуміння виконавчих систем.
- •Данные и знания. Основные определения.
- •Особливості знань. Перехід від бази даних до бази знань. Особенности знаний. Переход от Базы Данных к Базе Знаний.
- •Неформальні (семантичні) моделі представлення знань. Модели представления знаний. Неформальные (семантические) модели.
- •Формальні моделі представлення знань. Формальные модели представления знаний.
- •Комплексна схема нечіткого планування задач.
- •Особливості планування цілеспрямованих дій.
- •Оцінки складності завдання планування.
- •Призначення експертних систем.
- •Структура експертних систем.
- •Етапи розробки експертних систем.
- •Представлення знань в експертних системах.
- •Методи пошуку рішень в експертних системах.
- •Підготовчий етап роботи зі знанням.
- •Основний етап роботи зі знанням.
- •Системи придбання знань від експертів.
- •Передумови виникнення систем розуміння природної мови. Предпосылки возникновения систем понимания естественного языка
- •Понимание в диалоге
- •Приклади системи обробки природної мови. Примеры системы обработки естественного языка
- •Методи озвучування мови. Методы озвучивания речи
- •Система розпізнавання мовлення. Акустична модель
- •Система розпізнавання мовлення. Лінгвістична модель.
- •Класифікація систем розпізнавання мовлення. Классификация систем распознавания речи
- •Розпізнавання символів. Шаблонні системи. Распознавание символов
- •Розпізнавання символів. Структурні системи.
- •Розпізнавання символів. Ознакові системи.
- •Розпізнавання рукописних текстів. Распознавание рукописных текстов
- •Архітектура експертної системи реального часу. Архитектура экспертной системы реального времени
- •Системи управління з нечіткою логікою.
- •Лінгвістичні змінні та їх використання в системах з нечіткою логікою.
- •Операції над нечіткими множинами.
- •Основна структура і принцип роботи системи нечіткої логіки.
- •Блок фаззіфікації в системі з нечіткою логікою.
- •База правил нечіткої логіки.
- •Блок виводу в системи з нечіткою логікою.
- •Блок дефаззіфікації в системи з нечіткою логікою.
- •Нейрочіпи та їх класифікація.
Алгоритм функціонування мережі Хопфілда. Алгоритм функціонування мережі
На стадії ініціалізації мережі вагові коефіцієнти синапсів встановлюються таким чином:
Тут i і j - індекси, відповідно, предсинаптичного і постсинаптичного нейронів; xik, xjk - i-ий і j-ий елементи вектора k-ого зразка.
На входи мережі подається невідомий сигнал (t - номер ітерації). Його поширення безпосередньо встановлює значення виходів:
Yi(0) = xi , i = 0...n-1,
Тому позначення на схемі мережі вхідних сигналів у явному виді носить чисто умовний характер. Нуль у скобці справа від yi означає нульову ітерацію в циклі роботи мережі.
Розраховується новий стан нейронів
,
j=0...n-1
І нові значення виходів
Де f - передатна функція у виді порогової, приведена на рис. 10.
Рис. 10. Передатні функції
Перевіряємо чи змінилися вихідні значення виходів за останню ітерацію. Якщо так - перехід до пункту 2, інакше (якщо виходи стабілізувались) - кінець. При цьому вихідний вектор являє собою зразок, що найкраще відповідає вхідним даним.
Іноді мережа не може провести розпізнавання і видає на виході неіснуючий образ. Це пов'язано з проблемою обмеженості можливостей мережі. Для мережі Хопфилда число запам'ятованих образів m не повинно перевищувати величини, приблизно рівної 0.15•n. Крім того, якщо два образи А и Б сильно схожі, вони, можливо, будуть викликати в мережі перехресні асоціації, тобто пред'явлення на входи мережі вектора А призведе до появи на її виходах вектори Б и навпаки.
Машина Больцмана (Boltzmann mashine). Машина Больцмана
Машина Больцмана (Boltzmann mashine) є подібною за функцією та дією до мережі Хопфілда і включає поняття "модельованого відпалу" для пошуку в просторі станів прошарку образів глобальний мінімум.
Еклі (Ackley), Хінтон (Hinton) та Сейновскі (Sejnowski) розробили правило больцманівського навчання у 1985 р. Подібно до мережі Хопфілда, машина Больцмана має простір станів, який базується на вагах з'єднань у прошарку образів. Процеси навчання мережі, наповненої образами, включає вивчення рельєфу простору станів. Під час ітеративного навчання знаходяться краща множина вихідних значень.
В процесі навчання машина Больцмана моделює відпал металу. Як і при фізичному відпалі, температура починається з вищих значень і зменшується з часом. Збільшена температура додає збільшений шумовий коефіцієнт до кожного нейрону у прошарку образів. Звичайно, кінцева температура є нулем. Для досягнення кращого рішення доцільно на нижчих температурах додавати більше ітерацій.
Машина Больцмана, навчаючись на високій температурі, веде себе більш подібно до випадкової моделі, а на низьких температурах вона веде себе як детермінована модель. Через випадкову компоненту у відпаловому навчанні, нейрон може прийняти нове значення стану, що збільшується швидше, ніж зменшується загальний простір станів. Імітація фізичного відпалу дозволяє уникаючи локальний мінімум, просуватись до глобального.
Як і в мережі Хопфілда, мережі може бути представлений частковий образ для доповнення відсутньої інформації. Обмеження на число класів, що є менше ніж 15 % від загальної кількості елементів у прошарку образів, все ще застосовується.