Тема 6.3. Нейронные сети Принципы построения и основные свойства нейронных сетей

Нейронные сети построены из простых элементов – нейронов. Математическая модель нейрона состоит из трех элементов – синапсов, сумматора и нелинейного преобразователя. В качестве нелинейных преобразователей используются, в частности, знаковая, пороговая, сигмоидальная и другие функции.

Синапсы осуществляют связь между нейронами. Они умножают входной сигнал на весовой коэффициент синапса, т.е. на число, характеризующее силу связи.

Формальная модель нейрона имеет вид, показанный на рис. 6.10.

Рис. 6.10.Формальная модель нейрона

Математическая модель нейрона записывается в виде соотношений (6.2) и (6.3):

s=w_ix_i + b (6.2)

у=f (s) (6.3)

где:

w-вектор весовых коэффициентов;

w_i– вес синапса;

b– значение смещения;

s- результат суммирования;

x_i - компоненты входного вектора х , (i=1,2,…,n);

y– выходной сигнал нейрона;

n– число входов нейрона;

f– нелинейное преобразование (функция активации).

Нейроны, объединенные в определенную структуру, образуют нейронную сеть. Некоторые задачи могут решаться нейронной сетью, если она содержит несколько сот нейронов. Для решения сложных задач НС должна содержать десятки миллионов нейронов.

Существует большое количество моделей нейронных сетей. Среди них: многослойные персептроны, сети Хопфилда, Кохонена, Коско, Гроссберга, когнитрон, неокогнитрон, сеть СМАК и другие. Характеристики нейронов мало влияют на свойства нейронной сети. Основными факторами, определяющими свойства сети являются ее конфигурация или, как принято говорить, «топология» нейросети, и правила обучения.

С точки зрения топологии выделяют следующие основные типы моделей нейронных сетей:

• многослойные;

• полносвязные;

• с локальными связями.

Многослойные сети состоят из нескольких слоев нейронов: входного, выходного и промежуточных, или «скрытых», слоев. К их числу относится многослойный персептрон. Полносвязная сеть - это однослойная сеть, в которой выход одного нейрона подается на вход всех остальных нейронов. Примером полносвязной сети является сеть Хопфилда.

По правилам обучения нейронной сети выделяют:

- обучение с учителем;

- обучение без учителя.

При обучении без учителя на нейронную сеть подается только входной вектор, а при обучении с учителем - два сигнала: входной вектор и требуемый выходной сигнал. Настройка весов осуществляется до тех пор, пока выход нейронной сети не совпадёт с требуемым.

Основные отличия между нейросетью и обычным компьютером с архитектурой фонНеймана состоят в следующем.

Обычный компьютер:

• работает на основе алгоритмов;

• осуществляет последовательную обработку информации;

• имеет адресную память.

Нейронная сеть:

- работает на основе обучения;

- осуществляет параллельную обработку информации;

- реализует ассоциативную, т.е. адресуемую по содержанию, память.

Процесс решения задач с помощью нейросети разделяется на два этапа:

- обучение;

- воспроизведение.

На этапе обучения на вход нейросети подается совокупность эталонных образов, называемых также примерами, или паттернами. В качестве эталонных образов могут быть, например, все цифры от 1 до 9 – при распознавании цифр, или все буквы латинского алфавита при распознавании букв.

Обучение состоит в изменении синаптических весовых коэффициентов в соответствии с правилами обучения.

В результате обучения формируется синаптическая матрица. Мозг человека также запоминает информацию в виде множества настроенных синапсов. Считается, что синаптические матрицы в будущем станут одним из основных товаров на информационном рынке.

На этапе воспроизведения на вход нейронной сети может поступать либо сам эталонный образ, либо искаженный образ, либо фрагмент эталонного образа.

Важным свойством нейронной сети является то, что она способна, подобно человеку, воспроизводить на выходе эталонный образ, когда на вход поступает лишь его фрагмент, либо когда на вход поступает искаженный образ.

Рассмотрим пример решения задачи распознавания цифр. Пусть сеть Хопфилда обучена по правилу Хебба распознаванию цифр от 1 до 9. Предположим, что на этапе воспроизведения на вход нейронной сети подаётся цифра «3». В первом случае без искажений, во втором с высоким, но приемлемым для нейронной сети, уровнем искажений. В первом и втором случае нейронная сеть формирует на выходе ответ «3». Если же уровень искажений является чрезмерным, то на выходе вместо тройки формируется неправильный ответ, например цифра «8».

Основные свойства нейронной сети состоят в следующем:

- Универсальность – т.е. одна и та же нейронная сеть может быть использована для решения различных задач;

- Обучаемость – т.е. для перехода от одной задачи к другой необходимо только переобучить сеть;

- Ассоциативная память. Это свойство позволяет воспроизводить полный образ при предъявлении неполного или искажённого образа;

- Высокая надёжность. Выход из строя некоторых элементов сети, когда их число весьма велико, не отражается на работе всей нейросети;

- Синергичносгь при совместном использовании с нечёткими или экспертными системами. Синергичность означает, что эффективность совместного использования нескольких систем выше суммы эффективностей использования отдельных частей.

Нейронная сеть может быть реализована в виде программы для обычного фон-неймановского компьютера, либо аппаратурным путём. В последнем случаем это могут быть нейроплаты-ускорители для персонального компьютера, воспроизводящие до 100 тыс. нейронов; нейрочипы, т.е. специальная конструкция СБИС; нейроконтроллер,ориентированный на решение специальных задач, либо нейрокомпьютер, решающий широкий круг задач. Широкомасштабные работы по нейронным сетям и нейрокомпьютерам ведутся в США, Японии. Малайзии, Европе. В Украине разработчиком оригинальных моделей нейронной сети является Институт кибернетики им. Глушкова в Киеве. В России работы по нейронным сетям и нейрокомпьютерам выполняются в Москве, Таганроге, Ростове-на-Дону, Новосибирске.

Ежегодно проводится более ста международных конференций по нейронным сетям и нейрокомпьютерам.