Лекция 11: Нейронные сети
План лекции
История исследования нейронных сетей.
Обоснованность применения нейронных сетей.
Структура нейрона и нейронной сети.
Классификация нейронных сетей.
История исследований в области нейронных сетей
Идея нейронных сетей родилась в ходе исследований в области искусственного интеллекта, а именно в результате попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга.
Основной областью исследований по искусственному интеллекту в 60е – 80е годы были экспертные системы. Такие системы основывались на высокоуровневом моделировании процесса мышления (в частности, на его представлении как манипуляций с символами). Скоро стало ясно, что подобные системы, хотя и могут принести пользу в некоторых областях, не охватывают некоторые ключевые аспекты работы человеческого мозга. Согласно одной из точек зрения, причина этого состоит в том, что они не в состоянии воспроизвести структуру мозга. Чтобы создать искусственный интеллект, необходимо построить систему с похожей архитектурой.
В 1943 году вышла работа Дж. Маккалокома и У.Питта “Логическое исчисление идей, относящихся к нервной деятельности", в которой была построена модель нейрона, и сформулированы принципы построения искусственных нейронных сетей. Они впервые исследовали способность нейронной сети к обучению.
В 1962 году американский нейрофизиолог Френк Розенблатт предложил свою модель нейронной сети — персептрон. Тогда персептрон использовался для классификации входных сигналов в один из двух классов. К сожалению, однослойный персептрон был ограниченным и подвергся критике в 1969 г., в книге Марвина Мински (Marvin Minsky) и Сеймура Пейперта (Seymour Papert) "Перцептроны". Крупные исследования по нейронным сетям были свернуты почти на 10 лет.
В 70-е годы было предложено много интересных разработок, таких, например, как когнитрон, способный хорошо распознавать достаточно сложные образы независимо от поворота и изменения масштаба изображения.
В 1982 году американский биофизик Дж. Хопфилд предложил оригинальную модель нейронной сети, названную его именем. В последующие несколько лет было найдено множество эффективных алгоритмов: сеть встречного потока, двунаправленная ассоциативная память и др.
В киевском институте кибернетики с 70-х годов ведутся работы над стохастическими нейронными сетями.
Обоснованность применения нейронных сетей
Нейронные сети нельзя считать универсальными для решения всех вычислительных проблем. Традиционные компьютеры и вычислительные методы являются идеальными для многих применений. Современные цифровые вычислительные машины превосходят человека по способности делать числовые и символьные вычисления. Однако человек может без усилий решать сложные задачи восприятия внешних данных (например, узнавание человека в толпе по его лицу) с такой скоростью и точностью, что мощнейший в мире компьютер по сравнению с ним кажется безнадежным тугодумом.
Применение нейронных сетей для решения практических зада
Классификация образов. Задача состоит в определении принадлежности входного образа (например, языкового сигнала или рукописного символа), представленного вектором признаков к одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание языка, классификация сигнала электрокардиограммы, классификация клеток крови.
Предвидение/прогноз. Если заданы n дискретных отсчетов {y(t1), y(t2), ..., y(tn)} в последовательные моменты времени t1, t2,..., tn . Задача состоит в предвидении значения y(tn+1) в следующий момент времени tn+1. Предвидение/прогноз имеют большое значение для принятия решений в бизнесе, науке и технике (предвидение цен на фондовой бирже, прогноз погоды).
Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию.
Но, несмотря на преимущества нейронных мереж в отдельных областях над традиционными вычислениями, существующие нейронные сети не являются совершенными решениями. Они обучаются и могут делать "ошибки". Кроме того, нельзя гарантировать, что разработанная сеть будет оптимальной сетью.