Лекция 1 Нейроинформатика и ее приложения

План

1. История развития ИНС.

2. Особенности искусственных нейронных сетей.

3. Области использования искусственных нейронных сетей.

1. История развития инс

В истории развития вычислительной техники существовало 2 под­хода к автоматизации обработки информационных процессов – ис­кусственные нейронные сети и электронные вычислительные ма­шины (фон Неймановская ЭВМ). Сравним развитие обоих подходов. В начале кратко остановимся на эволюции электронных вычислительных машин.

Эволюция поколений символообрабатывающих ЭВМ. С начала 50-х и до 90-х годов прошло 5 поколений ЭВМ. От элементной базы на "гигантских" лампах и до субмикронных технологий с ЭВМ на одном кристалле. За это время информационная мощность ЭВМ выросла в миллиарды раз, но почти не уменьшилась первоначальная сложность по настройке "информационных машин" на решение конкретных задач, т.е. по программированию.

Поколения ЭВМ:

I - 1940-1955 - на лампах;

II - с 1955 - на транзисторах;

III – конец 60-х – начало 70-х - на интегральных схемах;

IV - с 70-х - на БИС;

V – 1981-1991 - на СБИС, на базе ИИ;

VI – с 90-х по н.в. - субмикронная технология, нейрокомпьютер.

Все современные компьютеры построены на фон-неймановском принципе последовательного исполнения алгоритма обработки информации. Главным требованием для компьютеров фон неймановского типа является наличие заранее заданных детерминистических алгоритмов (т.е. заранее определенных человеком).

Эволюция искусственных нейронных сетей берет свое начало с конца 30-х начала 40-х годов. В то время нейробиологи стали активно изучать строение мозга млекопитающих, в частности человека, и добились больших успехов. Для проверки своих теорий они начали разрабатывать математические модели функционирования нейрона и его связей. Эти исследования легли в основу нового направления науки - искусственных нейронных сетей (ИНС). В ее рамках решаются две задачи:

1) исследование функционирования нервной системы человека на уровне физиологии и психологии;

2) создание вычислительных систем, выполняющих функции, сходные с функциями мозга.

Развитие искусственных нейронных сетей не было столь динамичным и поступательным как ЭВМ. Все исследования в области ИНС можно разбить на четыре периода активности (рис.1.3).

Первый пик активности связан с построением математических моделей нейрона. В 1943 г. Мак-Каллок и Питтс разработали одну из первых моделей искусственного нейрона, которая стала базовой на многие десятилетия.

В 1948 г. была издана знаменитая книга американского математика Н. Винера под названием «Кибернетика». В ней были описаны некоторые важные концепции управления, коммуникаций и статистической обработки сигналов. Основной идеей является представление сложных биологических процессов математическими моделями.

Параллельно нейрофизиологи совместно с математиками разрабатывали алгоритмы обучения нейронных сетей (НС). Одним из таких алгоритмов является правило обучения Д. Хэбба (1949 г.), которое явилось стартовой точкой для создания многих алгоритмов обучения ИНС.

В 1954 г. американский ученый М. Минский написал докторскую диссертацию, посвященную теории нейроаналоговых систем обучения с подкреплением и ее применению в задачах моделирования мозга. В 1960-х гг. были опубликованы работы ряда ученых по построению ассоциативной памяти, в том числе на нейронных сетях. Предметом отдельного исследования в контексте НС является создание надежных сетей из нейронов, которые сами по себе считаются ненадежными компонентами. Эта задача была решена в 1956 г. фон Нейманом с помощью идеи избыточности.

Второй пик возник в конце 50-х начале 60-х годов. В 1958 г. Ф. Розенблатт создал простейшую однослойную искусственную нейронную сеть, названную персептроном.

Однако в 1969 г. бывший сокурсник Розенблатта Марвин Минский и Сеймур Пейперт опубликовали книгу «Персептроны», в которой привели строгое математическое доказательство того, что персептрон не способен к обучению в большинстве интересных для применения случаев. Он доказал, что используемые в то время однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «Исключающее ИЛИ». Он также доказал, что недостатки однослойных сетей переносятся и на многослойные сети..

Такая критика НС со стороны авторитетного ученого погасила энтузиазм большинства исследователей, особенно тех, кто работал в области вычислительных наук. Работы по нейронным сетям были свернуты во многих научных центрах и финансирование существенно урезано.

Возникшее в исследованиях по нейронным сетям затишье продлилось почти 10 лет.

Однако исследования все равно продолжались. В 1974 г. одновременно американский математик Пол Дж. Вербос и советский ученый А.И. Галушкин изобретают алгоритм обратного распространения ошибки для обучения многослойных персептронов. Изобретение не привлекло особого внимания. Также в 1970-х гг. развернулась деятельность в области карт самоорганизации, основанных на конкурентном принципе обучения.

С начала 80-х годов ИНС вновь привлекли интерес исследователей – третий пик активности. В 1982 г. Дж. Хопфилд разработал рекуррентные (с обратными связями) НС с симметричными синаптическими связями и использовал функцию расчета энергии для описания нового уровня понимания вычислений. В 1982 г. Т. Кохоненом (финский ученый) представлены модели сети, обучающейся без учителя. Они решают задачи кластеризации, визуализации данных и другие задачи предварительного анализа данных. В 1986 г. американским ученым Д. Румельхартом и независимо и одновременно С.И. Барцевым и В.А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.

В настоящее время теория ИНС переживает четвертый пик активности, что связано с возможностью реализации ИНС на основе быстродействующих цифровых параллельных вычислительных систем, а также с выделением широкого класса задач, которые могут эффективно решаться искусственными НС.

Теория нейронных сетей стала междисциплинарной областью исследований, тесно связанной с нейробиологией, математикой, психологией и инженерией. Нет необходимости дополнительно говорить о том, что с развитием теории нейронных сетей будут наращивать свой теоретический и прикладной потенциал и эти науки.