МатМод экология / Лекция №7

Лекция №7

Моделирование интеллектуальных систем.

Под интеллектуальными системами сегодня понимают системы,

имитирующие процесс принятия решений человеком. Такие системы должны удовлетворять основным особенностям человеческого мышления:

способность к обучению,

возможность оперировать с нечеткой и неполной информацией,

искать решение «по аналогии»

и проч.

Искусственные нейронные сети.

Искусственные нейросети являются электронными моделями нейронной структуры мозга, который, главным образом, учится на опыте.

Естественной аналог доказывает, что множество проблем, не поддающиеся решению традиционными компьютерами, могут быть эффективно решены с помощью нейросетей.

Интеллектуальные системы на основе искусственных нейронных сетей позволяют с успехом решать проблемы распознавания образов, выполнения прогнозов, оптимизации, ассоциативной памяти и управления.

Традиционные подходы к решению этих проблем не всегда дают необходимую гибкость и много приложений выигрывают от использования нейросетей.

Аналогия с мозгом

Базовым элементом мозга человека являются специфические клетки,

известные как нейроны, способные запоминать, думать и применять предыдущий опыт к каждому действию, что отличает их от остальных клеток тела.

называемые нейротрансмиттерами. Нейротрансмиттеры проходят через синаптическую щель, и в зависимости от типа синапса, возбуждают или тормозят способность нейрона-приемника генерировать электрические импульсы. Результативность синапса настраивается проходящими через него сигналами, поэтому синапсы обучаются в зависимости от активности процессов, в которых они принимают участие. Сообщение передается с помощью частотно-импульсной модуляции.

Искусственный нейрон

Базовый модуль нейронных сетей - искусственный нейрон -

моделирует основные функции естественного нейрона (Рис. 7.2.). w1 wi wn

x1

xn

Рис. 7.2. Базовый искусственный нейрон

Искусственный нейрон, также как и биологический, состоит из

«дендритов» - входящих сигналов. Каждый входящий сигнал либо усиливается, либо тормозится. Для этого каждый сигнал xi умножается на так называемый синаптический вес wi, что моделирует синапсы биологического нейрона. После этого сигналы передаются в искусственное «тело» нейрона,

где он обрабатывается в два этапа: сумматором и так называемой передаточной функцией, и по выходящей дуге y (аналог аксона) передаются другим нейронам. Рассмотрим компоненты искусственного нейрона подробнее.

Компоненты искусственного нейрона

Независимо от расположения и функционального назначения, все искусственные нейронные элементы имеют общие компоненты. Рассмотрим три основных компонента искусственного нейрона.

Компонента 1. Весовые коэффициенты wi.

При функционировании нейрон получает множество входных сигналов одновременно. Каждый вход имеет свой собственный синаптический вес,

который влияет на него и необходим для функции сумматора. Вес является мерой важности входных связей и моделирует поведение синапсов биологических нейронов. Веса влиятельного входа усиливаются и, наоборот,

вес несущественного входа принудительно уменьшается, что определяет интенсивность входного сигнала. Веса могут изменяться в соответствии с обучающими примерами, архитектурой сети и правилами обучения.

Компонента 2. Функция сумматора

Первым действием нейрона является вычисление взвешенной суммы всех входов. Математически, входные сигналы и соответствующие им веса представлены векторами (х10, х20 ... хn0) и (w10, w20 . . . wn0). Произведение этих векторов будет общим входным сигналом. Упрощенной функцией сумматора является умножение каждого компонента вектора х на соответствующий компонент вектора w: вход1 = х10 * w10, вход2 = х20 * w20, и

нахождение суммы всех произведений: вход1 + вход2 + . . . + вхoдn.

Результатом будет одно число, а не многоэлементный вектор.

Функция сумматора может быть сложнее, например, выбор минимума,

максимума, среднего арифметического, произведение или другой алгоритм.

Входные сигналы и весовые коэффициенты перед поступлением в передаточную функцию могут комбинироваться многими способами.

Алгоритмы для комбинирования входов нейронов определяются в зависимости от архитектуры и правил обучения.

В некоторых нейросетях к функции сумматора добавляют функцию активации, которая смещает выход функции сумматора относительно времени. К сожалению, функции активации в настоящее время используются ограничено и большинство современных нейронных реализаций используют функцию активации "тождественности", которая эквивалентна ее отсутствию. Ее лучше использовать как компонент сети в целом, чем как компонент отдельного нейрона.

Компонента 3. Передаточная функция (функция активации).

Результат функции сумматора проходит через передаточную функцию и превращается в выходной сигнал y. В передаточной функции для определения выхода нейрона общая сумма сравнивается с некоторым порогом. Если сумма больше значения порога, нейрон генерирует сигнал, в

противном случае сигнал будет нулевым или тормозящим.

Преимущественно применяют нелинейную передаточную функцию,

поскольку линейные (прямолинейные) функции ограничены и их выход пропорционален входу. В существующих нейросетях в качестве передаточных функций могут быть использованы сигмоида, синус,

гиперболический тангенс и др.

Рис. 7.3. Типичные передаточные функции: а) пороговая функция единичного

скачка; б) линейный порог (с насыщением); в) гиперболический тангенс; г) сигмоида

Для простой передаточной функции нейросеть может выдавать 0 и 1, 1 и

-1 или другие числовые комбинации. Передаточная функция в таких случаях является "жестким ограничителем" или пороговой функцией (Рис. 7.3. а) ).

Другой тип передаточной функции - линейная с насыщением

«отзеркаливает» вход внутри заданного диапазона и действует как жесткий ограничитель за пределами этого диапазона. Это линейная функция, которая отсекается минимальным и максимальным значениями, делая ее нелинейной

(Рис. 7.3. б) ).

Следующей является S-подобная кривая, которая приближает минимальное и максимальное значения в асимптотах и называется сигмоидой (Рис. 7.3. г) ), когда ее диапазон [0, 1], или гиперболическим тангенсом (Рис. 7.3. в) ), при диапазоне [-1, 1]. Важной чертой этих кривых является непрерывность функций и их производных. Применение S-функций дает хорошие результаты и имеет широкое применение.

Для разных нейросетей могут выбираться разные передаточные функции.

Все искусственные нейросети конструируются из базового блока -

искусственного нейрона. Существующие разнообразия и отличия, являются

Наоборот, если входы каждого нейрона связаны с выходами всех остальных нейронов, тогда речь идет про полносвязные нейросети.

Рис. 7.5. Полносвязная сеть

Самым распространенным вариантом архитектуры являются многослойные сети. Нейроны в данном случае объединяются в слои с единым вектором входных сигналов. Внешний входной вектор подается на входной слой нейронной сети (рецепторы). Выходами нейронной сети являются выходные сигналы последнего слоя (эффекторы). Кроме входного и выходного слоев, нейросеть имеет один или несколько скрытых слоев нейронов, не имеющих контактов с внешней средой.

Рис. 7.6. Многослойный тип соединения нейронов

По архитектуре связей, большинство известных нейросетей можно сгруппировать в два больших класса:

1. Сети прямого распространения (с однонаправленными последовательными связями).

2. Сети обратного распространения (с рекуррентными связями).

Сети прямого распространения относят к статическим, так как на заданные входы нейронов поступает не зависимый от предыдущего состояния сети вектор входных сигналов. Рекуррентные сети считаются динамическими, так как за счет обратных связей (петель) входы нейронов модифицируются во времени, что приводит к изменению состояния сети.

Наиболее известные архитектуры нейронных сетей:

Сети прямого распространения

Персептроны

Сеть Back Propagation

Сеть встречного распространения

Карта Кохонена

Рекуррентные сети

Сеть Хопфилда

Сеть адаптивной резонансной теории

Двунаправленная сеть

Применение нейросетей для решения практических задач

Классификация образов. Задача состоит в определении принадлежности входного образа (например, языкового сигнала или рукописного символа),

представленного вектором признаков к одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание языка, классификация сигнала электрокардиограммы, классификация клеток крови.

Кластеризация/категоризация. При решении задачи кластеризации,

обучающее множество не имеет меток классов. Алгоритм кластеризации основан на подобии образов, и помещает похожие образы в один кластер.

Известны случаи применения кластеризации для добычи знаний, сжатия данных и исследования свойств данных.

Аппроксимация функций. Предположим, что есть обучающая выборка

((x1,y1), (x2,y2)..., (xn,yn)) (пары данных вход-выход), которая генерируется неизвестной функцией F, искаженной шумом. Задача аппроксимации состоит в нахождении неизвестной функции F. Аппроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования.

Предвидение/прогноз. Пусть заданы n дискретных отсчетов {y(t1), y(t2), ..., y(tn)} в последовательные моменты времени t1, t2,..., tn . Задача состоит в предвидении значения y(tn+1) в следующий момент времени tn+1.

Предвидение/прогноз имеют большое значение для принятия решений в бизнесе, науке и технике (предвидение цен на фондовой бирже, прогноз погоды).

Оптимизация. Многочисленные проблемы в математике, статистике,

технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию.

Память, адресуемая по смыслу. В традиционных компьютерах обращение к памяти доступно только с помощью адреса, не зависящего от содержания памяти. Более того, если допущена ошибка в вычислении адреса, то может быть найденная совсем другая информация. Ассоциативная память или память, адресуемая по смыслу, доступна по указанию заданного содержания.

Содержимое памяти может быть вызвано даже по частичному входу или поврежденном содержании. Ассоциативная память может быть использована в мультимедийных информационных базах данных.

Управление. Рассмотрим динамическую систему, заданную совокупностью

{u(t), y(t)}, где u(t) - входное управляющее воздействие, а y(t) - выход системы в момент времени t. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при