МИНИСТЕРСТВО ОБЩЕГО И ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ РФ

КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

СИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ

РОССИЙСКАЯ АКАДЕМИЯ НАУК

СИБИРСКОЕ ОТДЕЛЕНИЕ

ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОГО МОДЕЛИРОВАНИЯ

Методы нейроинформатики

СБОРНИК НАУЧНЫХ ТРУДОВ

Под редакцией доктора

физико-математических наук

А.Н. Горбаня

КРАСНОЯРСК

КГТУ

1998

УДК 519

Методы нейроинформатики / Под. ред. А.Н. Горбаня; отв. за выпуск М.Г. Доррер. КГТУ, Красноярск, 1998. 205с.

Сборник статей молодых ученых – представителей красноярской школы нейроинформатики. Большинство работ связано с созданием нейросетевых алгоритмов обработки данных и реализацией этих алгоритмов на персональных компьютерах. Представлены новые алгоритмы решения классической проблемы заполнения пробелов в данных, описаны технологии нейросетевого производства явных знаний из данных, продемонстрированы различные приложения нейросетевых методов – от очень популярных сейчас геоинформационных систем (ГИС) до систем психологического тестирования и предсказания отношений в группе.

Другая группа работ посвящена развитию теории. Даны оценки необходимой точности во входных сигналах и элементах сети при заданой требуемой точности на выходе. Без решения такой задачи невозможно создавать надежные нейронные сети “в железе”. Две статьи посвящены проблеме “бесструктурного параллелизма” – устройствам, совершающими вычисления при беспорядочном взаимодействии различных элементов.

Описан также опыт подготовки учебно-исследовательских задач для работы со студентами и школьниками и дан обзор результатов решения этих задач.

Печатается при поддержке

Фцп "интеграция"

Печатается в авторской редакции

ЛР № 020375 от 7.02.1997 г. Коллектив авторов, 1998

Редакционно-издательский отдел КГТУ

660074, Красноярск, ул. Киренского, 26

Предисловие редактора

“Что день грядущий мне готовит?” Стремительный прогресс информатики размывает границы между реальностью и фантазией. Системы искусственного интеллекта на основе алгоритмических языков развивались во всемирной программе “Пятое поколение компьютеров”. Сейчас ей на смену пришла другая программа – “Вычисления в реальном мире”. Ее сверхзадача – разработать cистемы, способные самостоятельно, без помощи переводчика-поводыря человека действовать в “естественном” (а не только в специально приготовленном) внешнем мире. Огромная доля этой программы отводится на создание искусственных нейросетевых систем.

В словах "искусственные нейронные сети" слышатся отзвуки фантазий об андроидах и бунте роботов, о машинах, заменяющих и имитирующих человека. Эти фантазии интенсивно поддерживаются многими разработчиками нейросистем: рисуется не очень отдаленное будущее, в котором роботы осваивают различные виды работ, просто наблюдая за человеком, а в более отдаленной перспективе – человеческое сознание и личность перегружаются в искусственную нейронную сеть – появляются шансы на вечную жизнь.

Если перейти к прозаическому уровню повседневной работы, то искусственные нейронные сети – это всего-навсего сети, состоящие из связанных между собой простых элементов – формальных нейронов. Значительное большинство работ по нейроинформатике посвящено переносу различных алгоритмов решения задач на такие сети.

Ядром используемых представлений является идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала и его линейного усиления или ослабления. Предельным выражением этой точки зрения может служить лозунг: "структура связей – все, свойства элементов – ничто".

Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (по-ангийски connection – связь). Как все это соотносится с реальным мозгом? Так же, как карикатура или шарж со своим прототипом-человеком – весьма условно. Это нормально: важно не буквальное соответствие живому прототипу, а продуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

1. однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);

2. надежные системы из ненадежных элементов и "аналоговый ренессанс" – использование простых аналоговых элементов;

3. "голографические" системы – при разрушении случайно выбранной части система сохраняет свои полезные свойства.

Предполагается, что система связей достаточно богата по своим возможностям и достаточно избыточна, чтобы скомпенсировать бедность выбора элементов, их ненадежность, возможные разрушения части связей.

Коннекционизм и связанные с ним идеи однородности, избыточности и голографичности еще ничего не говорят нам о том, как же такую систему научить решать реальные задачи. Хотелось бы, чтобы это обучение обходилось не слишком дорого.

Существует большой класс задач: нейронные системы ассоциативной памяти, статистической обработки, фильтрации и др., для которых связи формируются по явным формулам. Но еще больше (по объему существующих приложений) задач требует неявного процесса. По аналогии с обучением животных или человека этот процесс называют обучением.

Обучение нейронных сетей оказалось продуктивным и при решении задач на обычных персональных компьютерах. Оказалось, что если обучить нейронную сеть решать какую-либо задачу, а затем вырезать из нее все связи, кроме необходимых, без которых эту задачу не решить, то получается очень полезное явное представление знаний о способе решения. Из данных, использованных для обучения, получаем явные знания. Например, обучая сеть предсказывать социально-политическую ситуацию, получаем полезную политологическую теорию, заложим обработку экономических данных – получим экономические знания и т.д.

По-настоящему эффективная работа нейронных сетей требует параллелизма. Можно даже сказать, что искусственные нейронные сети – одно из мощных средств программирования высокопараллельных компьютеров. Обкатка нейросетевых алгоритмов на персональных компьютерах позволяет, однако, усовершенствовать и сами алгоритмы – дефицит вычислительных ресурсов (отсутствие параллельности) приводит здесь к более жесткому отбору и быстрой эволюции.

В предлагаемом сборнике собраны статьи молодых ученых – представителей красноярской школы нейроинформатики. Большинство статей связано с созданием нейросетевых алгоритмов обработки данных и реализацией этих алгоритмов на персональных компьютерах (А.А. Россиев, В.Г. Царегородцев, Н.А. Погребная, М.Г. Доррер, А.А. Питенко). Здесь есть и новые алгоритмы решения классической проблемы заполнения пробелов в данных, и описание технологии нейросетевого производства явных знаний из данных, а также различные приложения нейросетевых методов: от очень популярных сейчас геоинформационных систем (ГИС) до систем психологического тестирования и предсказания отношений в группе.

Другая группа работ посвящена развитию теории. В статье М.Ю. Сенашовой даны оценки необходимой точности во входных сигналах и элементах сети при заданой требуемой точности на выходе. Без решения такой задачи невозможно создавать надежные нейронные сети “в железе”. Е.О. Горбунова занимается проблемой “бесструктурного параллелизма” – грубо говоря, устройствами, совершающими вычисления при беспорядочном взаимодействии различных элементов.

Особое место занимает статья Л.И. Жукова, который описал свой богатый опыт подготовки учебно-исследовательских задач для работы со студентами и школьниками и дал обзор результатов решения этих задач.

Все работы были выполнены в учебно-научном центре по нейроинформатике, объединяющем академический институт и несколько вузов. Это один из центров, созданных по проекту № 68 Федеральной целевой программы “ИНТЕГРАЦИЯ” (направление 2.1).

Принятые к публикации работы были доложены и прошли конкурсный отбор на семинаре, поддержанном в рамках другого проекта ФЦП “ИНТЕГРАЦИЯ” (№ К0790+К0691, направление 1.6).

Работы получали также поддержку различных фондов и программ, ссылки на которые приведены в конце каждой статьи.