- •Куперштейн л.М.
- •Та інтелектуальних систем
- •Рецензент: к.Т.Н., доцент Ревенок в.І.
- •Тема 1. Програмне забезпечення системного оброблення інформації
- •1.2 Системне програмування
- •1.3 Поняття мови програмування та їх історичний розвиток
- •1.4 Етапи підготовки програми
- •1.5. Поняття операційної системи
- •Тема 2. Засоби створення програмних додатків
- •2.1. Класифікація засобів розробки додатків
- •2.2. Класифікація додатків, що використовують бази даних
- •Тема 3: Структурована мова запитів sql
- •3.1. Компоненти скбд
- •3.2. Основні поняття sql
- •3.3. Типи даних sql
- •Символьні дані
- •Точні числа
- •Закруглені числа
- •Дата і час
- •3.4 Базові команди sql
- •Розділ group by
- •Розділ having
- •4.2. Перенесення додатку на інший комп'ютер.
- •5.3. Сталі та змінні.
- •5.4.Типи даних
- •5.5. Представлення значень у комп’ютері.
- •6.1.Арифметичні операції над даними
- •6.3.Команда присвоєння, суміщена з арифметичною операцією. Математичні функції
- •7.1. Умовні оператори Оператор if
- •7.3. Оператори вибору Оператор switch
- •Оператор break
- •Оператор continue
- •Оператор повернення
- •Оператор goto
- •Помічений оператор
- •Порожній оператор
- •Тема 9. Вступ до проблеми штучного інтелекту
- •9.1. Поняття та проблеми штучного інтелекту
- •Проблеми штучного інтелекту
- •9.2. Представлення знань
- •9.3. Рішення задач
- •9.4. Експертні системи
- •9.5. Засоби спілкування з еом на природній мові. Навчання.
- •9.6. Когнітивне моделювання. Обробка візуальної інформації і робототехніка
- •Тема 10. Експертні системи як різновид систем штучного інтелекту
- •10.1. Сучасний рівень розвитку експертних систем. Критерії вибору задач, що реалізуються методами і засобами штучного інтелекту
- •10.2. Ведення в експертні системи
- •10.3. Класифікація експертних систем
- •10.4. Інструментальні засоби для побудови експертних систем
- •Тема 11. Методологія проектування експертних систем
- •11.1. Етапи проектування експертних систем
- •Тема 12. Технологія проектування експертних систем на основі продукційної моделі
- •12.1. Продукційна модель експертних систем
- •Представлення знань.
- •12.2. Особливості організації логічного висновку
- •Запит користувача
- •12.3. Організація пошуку рішень у простих та складних ес
- •12.4. Приклади використання пм
- •Тема 13. Технологія проектування експертних систем на основі логічної моделі подання знань
- •13.1. Поняття логічної моделі знань
- •13.2. Характеристика мови предикатів першого порядку. Особливості подання знань
- •13.3. Апарат логічного висновку
- •13.4. Особливості машинної реалізації мови предикатів першого порядку
- •Тема 14. Поняття семантичної мережі та її використання в експертних системах.
- •14.1. Поняття та компоненти семантичних мереж
- •14.2. Класифікація семантичних мереж
- •14.3. Побудова та використання семантичних мереж
- •Тема 15. Технологія проектування експертних систем на основі фреймової моделі подання знань
- •Структура фрейма
- •15.2.Базові елементи фреймів
- •15.3. Загальний вигляд фреймової моделі.
- •Тема 16. Характеристика програмних засобів створення експертних систем
- •16.1. Експертна система «експерт»
- •16.2. Практична робота з системою «експерт». Робота користувача по створенню власної бази знань
- •16.3. Представлення знань і формування бази знань в системі internist
- •Тема 17: Базові концепції нейронних мереж
- •17.1. Історія нейронних мереж
- •17.2. Нейрон. Штучний нейрон. Принцип роботи
- •17.3. Активаційна функція та її різновиди
- •Лінійна функція активації з насиченням Лінійна передавальна функція
- •17.4. Обґрунтованість застосування нейромереж
- •Машина фон Неймана у порівнянні з біологічною нейронною системою
Тема 17: Базові концепції нейронних мереж
План
17.1. Історія нейронних мереж.
17.2. Нейрон. Штучний нейрон. Принцип роботи.
17.3. Активаційна функція та її різновиди.
17.4. Обгрунтованість застосування нейромереж.
17.1. Історія нейронних мереж
Вивченню людського мозку - тисячі років. З появою сучасної електроніки, почались спроби апаратного відтворення процесу мислення. Перший крок був зроблений у 1943 р. З виходом статті нейрофізіолога Уоррена Маккалоха (Warren McCulloch) і математика Уолтера Піттса (Walter Pitts) про роботу штучних нейронів і представлення моделі нейронної мережі на електричних схемах.
В 1949 р. опублікована книга Дональда Хебба (Donald Hebb) "Організація поведінки". В ній досліджена проблематика налаштування синаптичних зв'язків.
В 1950-х рр. з'являються програмні моделі штучних нейромереж. Перші роботи провів Натаніел Рочестер (Nathanial Rochester) з дослідної лабораторії IBM. І хоча пізніші реалізації були успішними, його модель зазнала невдачі, оскільки бурхливий зріст традиційних обчислень залишив у затінку нейронні дослідження.
В 1956 р. Дартмутський дослідний проект з штучного інтелекту забезпечив підйом штучного інтелекту, зокрема нейронних мереж. Стимулювання досліджень штучного інтелекту розгалузилось в двох напрямках: промислові застосування систем штучного інтелекту (експертні системи) та моделювання мозку.
В 1958 р. Джон фон Нейман (John fon Neumann) запропонував імітацію простих функцій нейронів з використанням телеграфної передачі або вакуумних трубок.
В 1959 р. Бернард Відров (Bernard Widrow) та Марсіан Хофф (Marcian Hoff) розробили моделі ADALINE та MADALINE (Множинні Адаптивні Лінійні Елементи (Multiple ADAptive LINear Elements)). MADALINE діяла, як адаптивний фільтр, що усував відлуння на телефонних лініях. Ця нейромережа досі в комерційному використанні.
Нейробіолог Френк Розенблатт (Frank Rosenblatt) почав роботу над перцептроном. Одношаровий перцептрон був збудований апаратно і вважається класичною нейромережею. На той час перцептрон використовувався у класифікації множини вхідних сигналів у один з двох класів. На жаль, одношаровий перцептрон був обмеженим і зазнав критиці у 1969 р., у книзі Марвіна Мінскі (Marvin Minsky) та Сеймура Пейперта (Seymour Papert) "Перцептрони".
Ранні успіхи, були підставою того, що люди перебільшили потенціал нейронних мереж, зокрема в світлі обмеженої на ті часи електроніки. Надмірне сподівання, яке квітнуло у академічному та технічному світах, заразило загальну літературу цього часу. Побоювання у тому, як ефект "мислячої машини" відіб'ється на людині весь час підігрівався письменниками, зокрема серія книг Азімова про роботів показала наслідки на моральних цінностях людини, у випадку спроможності інтелектуальних роботів виконувати функції людини.
Ці побоювання, об'єднані з невиконаними обіцянками викликали множину розчарувань фахівців, які критикували дослідження нейронних мереж. Результатом було припинення більшості фінансування. Цей період спаду продовжувався до 80-х років.
У 1982 р. відновлення інтересу спричинило декілька подій. Джон Хопфілд (John Hopfield) представив статтю до національної Академії Наук США. Підхід Хопфілда створював докорінно нові підходи до моделювання.
У той самий час у Кіото (Японія) відбулась Об'єднана американо-японська конференція по нейронних мережах, які оголосили досягненням п'ятої генерації. Американські періодичні видання підняли цю історію, акцентуючи, що США можуть залишитись позаду, що привело до зросту фінансування в галузі нейромереж.
З 1985 р. Американський Інститут Фізики розпочав щорічні зустрічі - "Нейронні мережі для обчислень".
В 1989 р. на зустрічі "Нейронні мережі для оборони" Бернард Відров повідомив аудиторії про початок четвертої світової війни, де полем бою є світові ринки та виробництва.
У 1990 р. Департамент програм інноваційних досліджень захисту малого бізнесу назвав 16 основних та 13 додаткових тем, де потрібне та можливе використання нейронних мереж.
Сьогодні, обговорення нейронних мереж відбуваються скрізь. Перспектива їх використання видається досить яскравою, в світлі вирішення нетрадиційних проблем і є ключем до цілої технології. На даний час більшість розробок нейронних мереж принципово працюючі, але можуть існувати процесорні обмеження. Дослідження скеровані на програмні та апаратні реалізації нейромереж. Компанії працюють над створенням трьох типів нейрочіпів: цифрових, аналогових та оптичних, що обіцяють бути хвилею близького майбутнього.