Контрольные вопросы по теме

1. Опишите процесс поиска решения в пространстве состояний с формальной точки зрения.

2. Расскажите об основных типах методов писка решения в пространстве состояний.

3. Расскажите о поиске решений на основе смены состояний.

4. Опишите стратегию поиска решения в ширину.

5. Опишите стратегию поиска решения в глубину.

6. Дайте описание эвристической стратегии поиска..

7. Дайте определение пространства состояний.

8. Расскажите методику представления задач в пространстве состояний.

Раздел 3. Технологии нейронных сетей

Тема 3.1. Введение в нейронные сети и нейросетевые системы

3.1.1. Основы нейросетевого подхода

Применение нейросетевых вычислений

Нейронной сетью(НС) называется динамическая система, состоящая из со­вокупности связанных между собой по типу узлов направленного графа элемен­тарных процессоров, называемых формальными нейронами, и способная гене­рировать выходную информацию в ответ на входное воздействие.

В последние несколько лет наблюдается взрыв интереса к нейронным сетям, они находят успешное применение в самых различных областях - бизнесе, медицине, технике, геологии, физике. Нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классифика­ции или управления, поскольку они применимы практически в любой ситуации, когда имеется связь между переменными-предикторами (входа­ми) и прогнозируемыми переменными (выходами), даже если эта связь имеет очень сложную природу и ее трудно выразить в обычных терминах корреляций или различий между группами.

Растущий интерес к методам нейронных сетей можно объяснить их ус­пешным применением в самых различных областях деятельности для ре­шения задач прогнозирования, классификации и управления. Такие харак­теристики нейросетевых методов, как возможность нелинейного модели­рования и сравнительная простота реализации, часто делают их незаме­нимыми при решении сложнейших многомерных задач [11,с.4].

Нейронные сети нелинейны по свой природе и представляют собой исключительно мощный метод моделирования, по­зволяющий воспроизводить чрезвычайно сложные зависимости. На про­тяжении многих лет в качестве основного метода в большинстве областей использовалось линейное моделирование, поскольку для него хорошо разработаны процедуры оптимизации. Там, где линейная аппроксимация неудовлетворительна и линейные модели работают плохо, а таких задач достаточно много, основным инструментом становятся нейросетевые ме­тоды. Кроме того, нейронные сети справляются с «проклятием размерно­сти», которое не позволяет моделировать линейные зависимости в случае большого числа переменных.

Нейронные сети учатся на примерах. Пользователь нейронной сети подбирает репрезентативную выборку, а затем запускает алгоритм обучения, который автоматически воспринима­ет структуру данных. При этом от пользователя, конечно, требуется ка­кой-то набор эвристических знаний о том, как следует отбирать и подго­тавливать данные, выбирать нужную архитектуру сети и интерпретиро­вать результаты, однако уровень знаний, необходимый для успешного применения нейронных сетей, гораздо скромнее, чем, например, при ис­пользовании традиционных методов статистики.

Нейронные сети привлекательны с интуитивной точки зрения, ибо они основаны на примитивной биологической модели нервных систем. В бу­дущем развитие таких нейробиологических моделей может привести к созданию действительно мыслящих компьютеров.

Нейросетевая парадигма

Идея нейронных сетей родилась в ходе исследований в области искусст­венного интеллекта, а именно, в результате попыток воспроизвести спо­собность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга. Основной областью исследований по искусственному интеллекту в 60-е - 80-е годы были экспертные системы. Такие системы основывались на высокоуров­невом моделировании процесса мышления (в частности, на его представ­лении как манипуляций с символами). Скоро стало ясно, что подобные системы, хотя и могут принести пользу в некоторых областях, не охваты­вают некоторые ключевые аспекты работы человеческого мозга. Согласно одной из точек зрения, причина этого состоит в том, что они не в состоя­нии воспроизвести структуру мозга. Чтобы создать искусственный интел­лект, необходимо построить систему с похожей архитектурой.

Мозг состоит из очень большого числа (приблизительно 10000000000) нейронов, соединенных многочисленными связями (в среднем несколько тысяч связей на один нейрон, однако это число может сильно колебаться). Нейроны - это специальные клетки, способные распространять электро­химические сигналы. Нейрон имеет разветвленную структуру ввода ин­формации (дендриты), ядро и разветвляющийся выход (аксон). Аксоны клетки соединяются с дендритами других клеток с помощью синапсов. При активации нейрон посылает электрохимический сигнал по своему аксону. Через синапсы этот сигнал достигает других нейронов, которые могут в свою очередь активироваться. Нейрон активируется тогда, когда суммарный уровень сигналов, пришедших в его ядро из дендритов, пре­высит определенный уровень (порог активации).

Интенсивность сигнала, получаемого нейроном (а, следовательно, и возможность его активации), сильно зависит от активности синапсов. Каждый синапс имеет протяженность, и специальные химические вещества передают сигнал вдоль него. Один из самых авторитетных исследователей, Дональд Хебб, высказал постулат, что обучение заключается в первую очередь в изменениях «силы» синаптических связей. Например, в классическом опыте Павлова каждый раз непосредственно перед кормлением собаки звонил колокольчик, и собака быстро научилась свя­зывать звонок колокольчика с пищей. Синаптичес-кие связи между участ­ками коры головного мозга, ответственными за слух, и слюнными желе­зами усилились, и при возбуждений коры звуком колокольчика у собаки начиналось слюноотделение.

Таким образом, будучи построен из очень большого числа совсем про­стых элементов (каждый из которых берет взвешенную сумму входных сигналов и в случае, если суммарный вход превышает определенный уро­вень, передает дальше двоичный сигнал), мозг способен решать чрезвы­чайно сложные задачи. Разумеется, мы не затронули здесь многие слож­ные аспекты устройства мозга, однако интересно то, что искусственные нейронные сети способны достичь замечательных результатов, используя модель, которая ненамного сложнее, чем описанная выше.

Искусственный нейрон как основа нейросети

Попытки моделирования работы мозга с помощью построения моделей нейронных сетей (нейрокибернетика) восходят ко времени появления первых ЭВМ и не были напрямую связаны с их появлением. Первые модели нейронных сетей были физическими и основывались на электронных моделях нейронов. Начало этому моделированию положила идея формального нейрона Мак-Каллока и Питтса (1943 г.), которая была воспринята Розенблаттом и развита им в рамках построенных им и его учениками многочисленных моделей перцептронов (систем для распознавания образов) - одного из классов современных нейронных сетей.

Формальная модель нейронаМак-Каллока-Питтса, которая и сейчас является наиболее применяемым формализмом для описания отдельного нейрона в нейронной сети, показана на рис. 3.1.[7,с.38]

Рис. 3.1. Формальная модель нейрона Мак-Каллока - Питтса.

На рисунке приняты следующие обозначения: xi - сигнал на i-м входе (синапсе) нейрона; wi- вес i-го входа (синапса) нейрона; y - выход нейрона; h - порог срабатывания нейрона.

В модели взвешенная сумма сигналов на входах нейрона сравнивается с пороговым значением h, и на выходе есть сигнал, если она превышает порог. В современных моделях нейронов пороговая функция в общем случае заменяется на нелинейную функцию y=f(S), называемую передаточной функцией или функцией активации нейрона. В качестве этой функции может использоваться, одна из сигмоидальных функций, например, рациональная сигмоида

Параметр a обычно называется смещением. Таким образом, иногда говорят, что нейрон состоит из умножителей (на веса), сумматора и нелинейного элемента.

Виды функции активации

Вид функции активации во многом определяет функциональные возмож­ности нейронной сети и метод обучения этой сети. Рассмотрим некоторые виды функций активации, применяемые при конструировании нейронных сетей.

Пороговая функция.В общем случае эта функция активации описыва­ется следующим выражением:

Рис. 3.3. Графики пороговых функций активации: а - симметричная; б - смещенная

Сигмоидная функция активации. Эта функция относится к классу непрерывных Выбираемая разработчиком для решения конкретной задачи непрерывная функция активации должна удовлет­ворять следующим условиям: быть непрерывной, монотонно возрастающей и дифференцируемой. Сигмоидная функция полностью удовлетворяет этим тре­бованиям. Как и для пороговой, для этой функции различают смещенный и симметричный вид. Математически оба вида сигмоидной функции представ­ляются следующим образом:

Рис. 3.4. Графики сигмоидных функций на базе экспоненты:

а - смещенная; б - симметричная

Линейная функция активации.Эта функция также относится к классу непрерывных. Линейный участок такой функции активации позволяет оперировать с непрерывными сигналами. Зоны нечувствительности опре­деляются физической реализуемостью этих функций.

Степенные функции активации.Функции этого вида используют при проектировании НС, предназначенных для решения задач аппроксимации функций одной и/или многих переменных, для реализации степенных рядов, для реализации сложных вычислительных алгоритмов. Математическая модель таких функций имеет вид

В практике разработки НС применяют функции активации и других видов, отличных от перечисленных выше. Все определяется характером решаемой задачи. В каждом конкретном случае разработчик должен обосновать свой выбор.

Формальный нейрон фактически представляет собой процессор с очень огра­ниченной специальной системой команд (в литературе принято называть ней-росетевой базис). Формальные нейроны по способу представления информа­ции бывают аналоговые и цифровые. И те и другие выполняют единообраз­ные вычислительные действия и не требуют внешнего управления.