Dubrovin

здесь i и j – индексы, соответственно, входного и выходного нейронов в точке их связи (синапсе);

x ik и x kj - соответственно i-й и j-й элементы вектора {X K }.

Обобщенный алгоритм функционирования сети Хопфилда представляет собой итеративный процесс, состоящий из следующих процедур.

1. На входы сети подается некий векторный сигнал {Х}. Фактически его ввод осуществляется непосредственной установкой значений аксонов входных нейронов соответствующих (i-x) синапсов сети:

y i (p = 0) = x i , i = 1,…,N.

Обозначение на рис.6.2.3 (схема сети) входных синапсов в явном виде носит чисто условный характер. В скобках после y i величина р = 0 означает нулевую итерацию в

цикле работы сети.

2. Начинается итеративный процесс построения ассоциаций Рассчитываются новые (для (р+1) – й итерации) состояния всех синапсов s j (p+1), определяемые сначала изменением

значений входных сигналов выходного нейрона, а затем (при срабатывании функции активации) - и новые значения выходных сигналов y j (р+1) синапса (в аксоне выходного

нейрона):

N

s j (p+1) = ∑wij yi ( p)

i =1

yj (p+1) = f [s j ( p +1)], где f – ступенчатая релейная функция активации (рис.6.2.2 -а).

3.Проверить, изменились ли выходные значения аксонов за последнюю итерацию. Если да – переход к процедуре 2, иначе (если выходы аксонов не изменились) – конец процесса итераций.

При этом выходной вектор будет соответствовать тому образу (из тех, что хранятся в памяти системы), который наилучшим образом ассоциирующемуся с признаками входного объекта.

Как уже отмечалось, иногда сеть не в состоянии построить ассоциацию входного объекта ни с одним из образов своей базы знаний и на выходе ее будет вектор сигналов образа, для нее не существующего. Это будет свидетельством ограниченности возможностей сети Хопфилда. Дело в том, что число запоминаемых ею образов (М) ограничено условием :

М ≤ 0,15 N

Кроме того, если два образа А и Б сильно похожи, они могут вызывать у сети конфликтные ассоциации, в результате которых объект, принадлежащий образу А, может на выходе сети дать ассоциацию с образом Б.

Таких недостатков (ограниченное число хранящихся в памяти образов и возможность конфликтных ассоциаций) лишена ИНС, предложенная Хэммингом (рис. 6.2.4).

177

Идея работы сети состоит в нахождении расстояний Хэмминга от распознаваемого объекта до каждого из М образов, хранящихся в памяти ИНС. Расстоянием Хэмминга называется число отличающихся по значениям битов в двух сравниваемых бинарных векторах: один из них – это вектор {X} булевых значений признаков подлежащего распознанию объекта, а другой – вектор признаков каждого (k-го) из М образов. Сеть должна найти в своей памяти образ с минимальным расстоянием Хэмминга до поданного на вход системы векторного сигнала, соответствующего распознаваемому объекту. В результате анализа этих расстояний будет активизирован только один выход сети, соответствующий номеру (k) образа, с которым ассоциировался распознанный объект. Если объект, поданный на вход системы, не отождествлен ни с одним из М образов, то ни один из выходов сети не будет активирован.

На стадии инициализации сети весовым коэффициентам первого слоя и величине Тk - порогу чувствительности активационной функции каждого (k-го) нейрона - присваиваются следующие значения:

Где x i – ( i-й ) элемент вектора {X} входных сигналов;

n - число признаков распознаваемых образов ( i = 1,…,n);

Несколько слов о пороге чувствительности активационной функции нейрона (Тk ).

Эта величина определяет такое значение аргумента функции активации нейрона, начиная с которого эта функция «срабатывает», то есть реагирует на изменение значения аргумента. На рис.6.2.2-б таким порогом является нулевое значение аргумента функции активации.

Весовые коэффициенты (ε) «тормозящих» связей между нейронами второго слоя устанавливаются в пределах 0 < ε < 1/М, но взвешенные с их помощью связи будут учитываться как отрицательные величины. Положительная обратная связь между выходом (аксоном) и входом (дендритом) одного нейрона устанавливается с весом w k = +1.

Обобщенный алгоритм функционирования сети Хэмминга является итеративным процессом и состоит из следующих процедур.

1. На входы сети подается неизвестный вектор X = {xi: i = 1,…,n}. На его основе вычисляются состояния выходных сигналов каждого (k-го) нейрона первого слоя с учетом того, что каждый из этих нейронов принимает через синапсы виртуального «нулевого» слоя сигналы от всех (n) элементов вектора {X} (верхний индекс в скобках указывает номер слоя):

n

yk(1) ( p = 0) = f (sk(1) ( p = 0)) = f (∑wik xi + Tk ) ,

i =1

Где р- номер итерации;

s k - состояние входа (k-го) нейрона первого слоя;

w ik - веса синаптических связей между (i-й) компонентой вектора {X} и входом

(k-го)

нейрона первого слоя.

Полученными значениями инициализируются значения аксонов второго слоя:

yk(1) (р =0) = yk(2) (р=0).

2.Начинается (p+1) итерация. На основе инициированных состояний всех нейронов первого и

второго сдоев вычисляются новые состояния нейронов второго слоя:

179

и значения их выходных сигналов (аксонов):

3. Проверить, не изменились ли выходы нейронов второго слоя за последнюю итерацию. Если не изменились – закончить работу, иначе- продолжить итерации.

Примечание: в качестве функции активации нейронов для сети Хэмминга принимается

ступенчато-линейная зависимость, оказанная на рис.6.2.2-б. При этом рекомендуется выбирать предел ее максимального значения и диапазон

ее

чувствительности к изменениям аргумента с запасом, чтобы

гарантировать

непопадание на участок насыщения (верхняя граница чувствительности). Из схемы алгоритма работы ИНС Хэмминга следует, что роль первого слоя здесь

весьма условна: воспользовавшись один раз (процедура 1) значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (например, заменен матрицей весовых коэффициентов).

Мы рассмотрели некоторые варианты построения ИНС и познакомились с основными методами и алгоритмами их обучения. Подводя некоторый итог полученным сведениям, следует отметить, что современные ИНС представлены двумя типами – многослойными сетями только с прямым распространением сигналов и сетями с возможностью реализации обратных связей между слоями. Первые во многих источниках именуются слоистыми, а

вторые – полносвязными.

Слоистые сети обладают привлекательным свойством – легко настраиваются на любую предметную область, поскольку не учитывают связи между признаками образа. Полоносвязные сети, учитывая связи между признаками образа, хорошо настраиваются на конкретную ПО, для которой известны бинарные отношения между признаками.

Важной характеристикой ИНС является ее избирательность и чувствительность к различию признаков образов. Это их качество проявляется сильнее всего там, где имеются большие скопления объектов с однообразными наборами свойств, то есть они хорошо «работают» при кластерном представлении данных. Одной из первых сетей с такими свойствами была сеть Кохонена.

Теория и практика ИНС развиваются стремительно. В недалеком будущем следует ожидать появления специальных машин, организация памяти которых будет более близка к памяти человека, да и само понятие вычислительного процесса будет иным, чем он является в компьютере фон-неймановского принципа. Последние результаты развития технологии ИНС открывает широкие перспективы и для развития других информационных технологий, таких как эволюционное и имитационное моделирование даже на компьютерах нынешнего, пятого поколения.

180

проведения поисковых или специальных исследований. Наиболее преуспели в таких разработках известные фирмы, давно и целенаправленно работающие совместно с крупными научными коллективами. Это, например, фирмы Hitachi, Micro Devices, Texas Instruments, Adaptie Solutions и другие. Но аппаратная реализация ИНС, особенно, если речь идет о применении доргостоящей аналоговой техники в качестве рецепторов в системах конкретного назначения, связана с большими материальными затратами. Видимо, поэтому на рынке программных продуктов часто встречаются программы, реализующие одну или несколько принципиально близких нейросетевых структур, готовых к практическому применению в нескольких областях деятельности. Широко известен комплекс программ компании CSS (California Scientific Software) под коммерческим названием BrainMaker. Он пользуется устойчивым спросом у фирм, занимающихся финансовой деятельностью (кредитные операции, залоговые аукционы, страховой бизнес и др.), поскольку хорошо зарекомендовал себя при решении задач моделирования рыночных ситуаций, задач принятия сложных оптимизационных решений, и задач стохастического моделирования. Стали пользоваться популярностью и «домашние» версии BrainMaker, реализуемые под управлением MS DOS и MS Windows. Фирма CSS выпустила более десятка приложений к базовому пакету своих программ, которые могут быть использованы в учебном процессе вуза. На рынке нейросетевых продуктов появились инструментальные пакеты, существенно облегчающие настройку различных конфигураций и схемных решений ИНС на решение задач их проектирования и разработки.

К таким продуктам можно отнести разработки фирм Ward System’s Group и корпорации NeuroDimension. Первая выпустила программно реализованную ИНС NeuroShell, пользующуюся большой популярностью у производителей и распространителей продукции нефтехимического производства. Программы управления качеством, созданные на основе динамических моделей с применением NeuroShell, по свидетельству ежегодного бюллетеня Shell Petroleum, способствовали увеличению экспорта нефтепродуктов высоких фракций в 2003 году не менее, чем на 1,8%. В последние годы стал весьма популярен объектно-ориентированный пакет программных оболочек NeuroSolutions (разработка NeuroDimension Inc.), предназначенный для моделирования ИНС практически любого из известных принципиальных решений. Этот пакет позволяет пользователю работать с ним в режиме настраиваемого диалога. Развитый инструментарий пакета позволяет получать в процессе моделирования ИНС- структуры нужную информацию о ходе обучения сети и состоянии отдельных ее модулей. Одним из главных достоинств пакета является возможность исследования и управления динамическими процессами.

Нейросетевые технологии открывают хорошие возможности для создания ИИС гибридного типа. Часто случается так, что при создании ИИС, например, экспертного типа приходится разрабатывать довольно сложные пограммные комплексы диагностики состояния некой системы. При этом задача диагностики не обеспечена надежными правилами принятия решений (диагнозов), но есть достаточно представительная статистика, позволяющая строить выводы на основе ассоциативного анализа этой статистики. В таких случаях ИНС может быть эффективным инструментом распознания и классификации состояний данной системы. Вообще, если речь идет о создании ИИС, с помощью которой придется решать задачи, требующие логического вывода и индуктивных методов, моделирующих человеческую интуицию, то логический вывод может быть выполнен с помощью экспертной системы, а интуитивные выводы могут моделироваться с помощью ИНС.

Что касается задач, для решения которых уже на современном уровне своего развития могут успешно применяться ИНС, то к ним относятся:

- задачи, для решения которых не существует алгоритма, который может быть описан на формальном или естественном языке и понят исполнителем, но есть богатая примерами удачного их решения статистика;

182

- задачи, исходная информация к которым (постановка, критерий правильности решения и пр.) характеризуются большой размерностью, противоречивостью и неопределенностью.

Теория и реальная практика ИНС создают хорошие перспективы для решения задач имитационного моделирования, задач анализа динамических процессов и временных рядов путем аппроксимации нелинейных зависимостей, задач диагностики, задач управления различными системами и объектами.

Если говорить о сегодняшних возможностях ИНС в решении таких задач, то следует отметить некоторые ограничения и проблемные обстоятельства, которые необходимо при этом учитывать.

Во-первых, эффект применения ИНС сильно зависит от представительности и достоверности статистических данных, на которых будет обучена система. Проблема обучающей выборки многоаспектна и для ее правильного решения необходимо провести серьезный анализ характера задачи и природы информации, на которой основана (формулируется) задача. Иногда требование высокой точности и достоверности примеров, на которых будет обучаться система, может привести к неустойчивости результатов ее работы.

Во-вторых, серьезным моментом при обучении ИНС является выбор метода, исключающего возможность «пропуска» глобального минимума ошибки или возможность зацикливания при попытке выйти из точки локального минимума. Для решения такого рода проблем необходимо изучить природу данных, на которых предстоит обучать систему, и в каждой из подобных ситуаций постараться ввести в целевую функцию некий параметр, реакция системы на который позволит покинуть «локальную яму» и обрести возможность получить оптимальное решение.

В-третьих, одним из недостатков ИНС, как уже отмечалось, является их непрозрачность – из обученной сети нельзя «изъять алгоритм ее работы». В 1995 году была впервые сформулирована идея создания логически прозрачной ИНС, в соответствии с которой можно получать словесные описания алгоритма получения результата (22). Идея состоит в том, чтобы реализовать в структуре ИНС некую схему «контрастирования», назначение которой – свести число малоинформативных связей между нейронами слоев к оптимальному, обеспечивающему компромисс между надежностью распознания образа и временем завершения процесса. Наиболее важным следствием такой процедуры является

возможность определить и передать следующему слою только информативные сигналы. Более того, оказалось, что последовательности изменения этих сигналов можно интерпретировать как сходящийся к решению алгоритм работы сети и описать его на языке логики предикатов.

Такое упрощение ИНС приведет к увеличению остроты восприятия ею входного образа. Его можно осуществить последовательным исключением из слоев тех нейронов, синапсы которых на данной обучающей выборке были наименее чувствительны. Если на каком-то шаге такого упрощения «обучаемость» сети начинает ухудшаться, то делался возврат нейрона, «отключенного» последним.

В результате применения процедуры контрастирования сети достигается целый ряд полезных результатов:

-упрощается структура сети;

-уменьшается число входных сигналов (за счет исключения рецепторов, дающих

слабые

сигналы при переходе от слоя к слою);

-вектор выходных сигналов сети сводится к более компактному набору, отображающему

наиболее существенные признаки распознаваемого объекта;

-появляется возможность получать объяснения результатов работы сети, что можно

считать

183

возможностью получать явные знания из данных.

Пользователю ИИС любого типа всегда желательно знать, как было получено решение и почему оно является именно таким? Получение такой информации, по мнению авторов одной интересной работы (Горбань А.Н., Миркес Е.А. «Логически прозрачные нейронные сети для получения знаний из данных». Красноярск.: ВЦ СО РАН, 1997. -12с. Рукопись, деп. ВИНИТИ 17.07.97 г. № 2434-В97) возможно, если использовать ИНС в качестве имитационной модели гибридной ИИС, другой компонентой которой является экспертной системой.

Втакой гибридной системе обученная ИНС рассматривается как информационная модель объекта или процесса, описываемого набором эмпирических данных. Следовательно,

ееможно использовать в качестве имитатора данного объекта или процесса. Путем несложных выкладок может быть получена рекуррентная формула для вычисления частных производных целевой функции объекта по каждому из ее параметров и для каждого слоя сети, начиная с последнего.

Значения частных производных могут быть интерпретированы как характеристики влияния входных параметров на значения целевой функции объекта для каждой точки перехода от слоя к слою. На основе полученных значений частных производных могут быть определены важные и информативные:

- среднее значение частной производной по всем слоям (его можно интерпретировать, как среднее влияние соответствующего параметра на результат);

- минимальное значение частной производной и ее максимальное значение (они могут служить свидетельством линейной зависимости влияния входных параметров на выходные – чем больше разность этих величин, тем более монотонной будет эта зависимость);

- информация о величине частной производной ИНС-имитации по каждому параметру может служить материалом для анализа «качества» имитационной модели;

- значения производных могут быть использованы для поиска экстремума целевой функции градиентным методом.

Встохастических имитационных моделях для адекватного отображения реальности необходима качественная аппроксимация динамических процессов и временных рядов. Традиционные методы статистики в этом отношении уступают нейросетевому моделированию.

Завершая тему, можно придти к выводу о том, что по аналогии с человеческой психикой можно считать, что ИНС в системах обработки информации соответствуют низшему уровню осмысления реакций, на котором требуется быстрый ответ на много раз повторявшуюся, стандартную ситуацию. Если ситуация не стандартная и система не знает ответа или сомневается, то необходимо передать выработку ответа компоненте более высокого - логического - уровня интеллекта. Такому уровню в гибридной ИИС может и должна соответствовать интеллектуальная компонента – эксперт или логически «мыслящая» и обладающая знаниями эксперта компьютерная модель. Чем ближе такая компонента гибридной ИИС соответствует интеллекту человека, тем более оправдано ее создание.

184