Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Основы теории эволюционных вычислений. Научная монография
.pdf
и кроссинговер между
X
2
–
Х+2
–X 1–Х
*
–
*
Y2
и
Y3.
Получаем деревья
,
представленные на рис
в дереве, соответствующем
правую вершину
«Х» на
. 18.
Оператор мутации случайно заменяет
Y1,
вершину
вершину
«%» на
«–1».
вершину
Перед выполнением
«*», а
одноточечного оператора кроссинговера случайным образом
определяются
соответствующих
Y2
это будет вершина
дереве, представленном на рис
образует два потомка
точки
Y2 и Y3.
кроссинговера
Пусть для родительской хромосомы
«–», а
(–Х) и (
для
Х
Y3 –
. 17.
2
–Х+2)
в
хромосомах
правая вершина
«Х» на
Оператор кроссинговера
путем обмена списками
между двумя программами при сохранении синтаксической
корректности
представлены на рис
вновь
. 19.
получаемых
программ
,
которые
Видно, что один из них эквивалентен
исходной регрессии, т.е. является алгебраически правильным
решением задачи автоматического синтеза компьютерной
программы, реализующей вычисление функции квадратного
полинома вида Х
2
–Х+2 в
диапазоне значений Х от
–1 до +1.
,
+
-1
X
-1
-1
Х
2 *
X
X
–
1
Рис. 19. Хромосомы после мутации и кроссинговера
Регрессионный анализ является одним из широко
используемых видов аппроксимации. Другим подходом для
приближенного решения различных задач аппроксимации
являются вейвлеты. Точного определения, что такое
«
вейвлет
»,
какие функции можно назвать вейвлетами, насколько нам
известно, пока не существует. Если есть сигнал
(а
сигналом
может быть все, что угодно, начиная от записи показаний
131
датчика и кончая оцифрованной речью или изображением
), то
идея применения вейвлетов для многомасштабного анализа
сигнала заключается в следующем
.
Разложение сигнала производится по базисным функциям
(
собственно, это и есть вейвлеты
),
которые конструируются на
основе производных функций Гаусса, колеблются вокруг оси
абсцисс и быстро сходятся к нулю по мере увеличения
абсолютного значения аргумента. Свертка сигнала с одним из
вейвлетов позволяет выделить особенности сигнала в области
локализации вейвлета, причем, чем больший масштаб он имеет
тем более широкая область сигнала будет оказывать влияние на
результат свертки
.
Согласно принципу неопределенности, чем менее функция
растянута во времени, тем большую частотную область она
имеет
.
При перемасштабировании функции произведение
временного и частотного диапазонов остается постоянным и
,
представляет собой площадь в частотно-временной
(
фазовой
плоскости. Одно из преимуществ вейвлет-преобразования как раз
состоит в том, что оно покрывает фазовую плоскость ячейками
одинаковой площади, но разной формы. Это позволяет хорошо
локализовать низкие гармоники сигнала в частотной области, а
высокие скачки и пики
– во
временной области, более того
позволяет исследовать поведение фрактальных функций, не
имеющих производных ни в одной своей точке
.
Использование базисных вейвлет-функций в ГП расширяет
сферу их применения в таких областях, как фильтрация и
предварительная обработка данных, анализ состояния и
прогнозирование ситуаций на фондовых рынках, распознавание
образов, синтез, сжатие и обработка речевых сигналов и
медицинских изображений, обучение нейросетей и во многих
других случаях
.
)
,
При решении задачи распределения ресурсов необходимо
задать источники и адресаты ресурсов, минимизируя расходы на
их перераспределение или отыскав наилучший способ
132
распределения. В задаче распределения работ по машинам
обычно требуется выполнить все задания за минимальное время
.
Аналогии с природными явлениями подсказывают
различные пути для решения этих задач, например, модель
метафорой которой является поведение муравья
[Dorigo, 1996].
На основе этой модели решаются и другие задачи, аналогичные
распределению ресурсов и работ
(
прокладка автомобильных
маршрутов, маршрутизация в вычислительных сетях, раскраска
графов и т.п
.).
Модель включает создание искусственного муравья
наиболее эффективно проходящего сетку на торе. По этой сетке
пролегает извилистая дорожка, на которой находится пища
Модель простого муравья включает два его состояния: текущую
позицию муравья на торе и направление, в котором он смотрит
(
влево, вправо, вверх или вниз
).
Возможными действиями
муравья являются повороты направо или налево и движение
,
,
.
прямо. Средством восприятия окружающей среды является
функция, сообщающая, есть ли пища в квадрате, на который
смотрит муравей
.
Используя ГП, необходимо обучить муравья находить
наибольшее количество пищи за минимальное число ходов
Вначале генерируется популяция из нескольких сотен
искусственных муравьев, перемещающихся по тору, следуя по
следам
пищи
ограниченное
число
шагов
.
Степень
приспособленности муравья определяется количеством пищи
найденной за наименьшее число шагов. Поведение муравья
определяется логическими выражениями
элементарных действий
(
продукционные правила
«
родословная
»
муравья
(
влево, вправо, прямо
с
условиями
и т.п
.).
,
состоящими из
и
Каждому
), и
функций
действиями
выражению
соответствует древовидная структура. После инициализации
.
,
,
производится селективный отбор лучших муравьев для
копирования в следующем поколении. У более приспособленных
родителей больше шансов произвести потомство. Затем, согласно
133
базовому циклу ЭВ, применяются разновидности генетических
операторов кроссинговера и мутации, формируется новая
популяция
.
Модели оценки кредитного риска широко используются в
финансовой сфере для решения вопроса о выдаче кредита
Решения задачи оценки кредитного риска достаточно детально
исследовались методами математической статистики, машинного
обучения и
искусственных нейросетей
[
Родзин
, 2007 б].
Основная проблема здесь заключается в необходимости
сокращения стоимости анализа кредитного риска, в возможности
быстрого принятия решения по кредитованию, страховке и
уменьшению возможного риска
.
В настоящее время задача оценки кредитного риска
решается с помощью таких функционально-ориентированных
методов
,
как
дискриминантный
анализ
,
логистические
регрессионные функции, искусственные нейросети, деревья
.
решений. Нейросети считаются наиболее популярным подходом
превосходящим по точности традиционные статистические
методы, особенно для нелинейного случая, а к их недостаткам
относят трудности решения задачи в случае неоднородных
признаков и небольшого объема исходных данных в обучающей
выборке. Для индуктивных алгоритмов характерным является
универсальность подхода к принятию решения независимо от
стратегий маркетинга, использование ассоциативных правил для
прогнозирования ситуации
.
К недостаткам индуктивных
алгоритмов относят трудности, связанные с классификацией
объектов, описание которых отличается от объектов, входящих в
обучающую выборку
Указанные
.
недостатки
можно
преодолеть
,
если
использовать комбинированный подход, когда с помощью ГП
строятся продукционные правила ЕСЛИ-ТО, а затем по
,
небольшой выборке исходных данных по схеме ГП строится
дискриминантная функция, необходимая для прогнозирования
возможного решения о выдаче кредита
134
.
В частности, с помощью ГП можно построить простые и
Рис
. 20.
Правило ЕСЛИ
-ТО в
виде дерева
понятные
максимальную глубину иерархического дерева
используя не только отношений типа ≥
операции
клиента правило вида
правила
AND, OR, NOT.
IF(
Х
>0.3 OR
1
Х
принятия
Например, для кредитоспособного
<0.4) THEN (
2
решения
клиент
,
ограничивая
, а
, =, ≤ , но и
=
кредитоспособный
булевские
также
)
может быть представлено в виде дерева ГП, как это показано на
рис
. 20.
OR
>
<
1
0.3 Х
Х
2
0.4
Обращает на себя внимание тот факт, что лицо
принимающее решение, может получить другое правило при тех
же данных, но без необходимости переобучения, как в
нейросетях. Затем с помощью ГП строится дискриминантная
прогнозная функция для данных, которые не удовлетворяют ни
одному из имеющихся правил или, наоборот, удовлетворяют
более чем одному правилу, после чего определяется целевая
функция в ГП как сумма абсолютных величин разницы между
наблюдаемыми данными и ожидаемым результатом
Что приведет к лучшим результатам: долгая эволюция
одной популяции в течение
популяций в течение
N/M
N
поколений или эволюция
поколений? Этот вопрос позволяет по
.
M
,
-
новому взглянуть на теорию и практику не только эволюционных
алгоритмов, но и других стохастических методов, направленных
135
на рациональное использование вычислительных ресурсов в ходе
поиска оптимального решения. Сегодня этот вопрос не снят с
повестки
дня
,
несмотря
на
существенное увеличение
производительности компьютерных вычислений и возможности
параллельной обработки ЭА. По существу, он является не только
теоретической проблемой, но важен с практической точки зрения
из-за существующей опасности преждевременной сходимости
алгоритма, так как, обнаружив эту опасность в ходе эволюции
можно сэкономить ресурсы
Этот вопрос обсуждался ещё в работе
Например
,
одним из признаков сходимости называлась
относительная однородность популяции
.
[Goldberg, 1989].
или
отсутствие
существенной разницы в популяции в течение нескольких
поколений. Однако подобного рода признаки не работают для
ГП! В работе
вероятности функции сходимости во времени
[Koza, 1992]
утверждалось, что если плотность
t
известна, то
,
можно вычислить оптимальное время
для рестарта эволюции
Однако ни в одной из работ не дается ответ на вопрос: что
результативнее, быстрая смена нескольких популяций или долгая
эволюция одной популяции
?
Особенностью предлагаемого нами подхода при решении
указанных выше задач, в отличие от известных работ, является
стремление определить обнаружен оптимум или нет, какова
вероятность его обнаружения, как быстро сходится процесс к
глобальному оптимуму или же это преждевременная сходимость
Целью является получение численного ответа на вопрос о
сравнительной результативности ГП при быстрой смене
нескольких популяций и при относительно долгой эволюции
одной популяции
.
В частности, генетическое программирование применялось
для трех рассмотренных выше задач. Эксперименты показали
.
.
,
что для двух из них планирование выбора максимального числа
поколений в качестве одного из основных параметров алгоритма
ГП является по существу иррациональным: лучшие результаты
136
получаются, если гибко управлять многократной сменой
нескольких популяций в течение относительно небольшого числа
поколений
.
Вывод был получен для случая, когда сравнивались
результаты ГП для
время
t2,
при условии, что
m1
популяций за время
m1*t1=m2*t2.
t1 и m2
популяций за
Оптимальность ГП
оценивалась по среднему ожидаемому выигрышу в момент
времени
статистически независимыми
t (
трудность состояла в том, что оценки не являлись
), а
также по разнообразию
популяции (трудность состояла в необходимости большого числа
оценок
).
Результаты решения задачи символьной регрессии, задачи о
распределении ресурсов и задачи об оценке кредитного риска
имели различную динамику, хотя использовались популяции
большого размера при относительно небольшом времени
эволюции
.
Отличительной особенностью регрессионной
задачи
являлась непрерывность целевой функции. Что касается
ожидаемого качества эволюции
при числе поколений большем, чем
чем при меньшем в
2
раза числе поколений, наоборот, смена
популяций при числе поколений менее
результаты, нежели результаты для одной большой популяции
«
большой» популяции, то уже
32,
оно оказывалось хуже
8
давала худшие
.
Для задачи распределения ресурсов и работ при турнирной
стратегии селекции целевая функция монотонно улучшалась от
поколения к поколению, а выявленные особенности качества
популяции
полученным для задачи регрессионного анализа
,
в
основном
,
соответствовали
результатам
.
Для задачи оценки кредитного риска использовались
реальные наборы данных по кредитным историям, взятым из
открытого репозитория
UCI.
Данные характеризовались свыше
,
,
10
различными признаками-атрибутами клиента, а обучающая
выборка включала несколько сотен отчетов с положительной и
отрицательной
оценкой
кредитоспособности
137
.
Выявить
аналогичные предыдущим закономерности в динамике качества
популяции для этой задачи не удалось. Однако результаты
свидетельствуют о преимуществах алгоритма ГП в сравнении с
другими методами, во всяком случае, алгоритм позволяет быстро
и автоматически определить адекватную дискриминантную
функцию
(
линейную или нелинейную
), не
прибегая к помощи
ЛПР, а также обрабатывать небольшие наборы данных по
понятным ЛПР продукционным правилам
Несомненно
,
что
алгоритмы
.
генетического
программирования дают неплохие решения для различных задач
однако их результаты ещё требуется проанализировать и
интерпретировать. Это означает, что решения должны быть
представлены в удобной для восприятия человеком форме, а это
в свою очередь, не всегда удаётся сделать в алгоритмах
генетического программирования
.
Что касается вопроса, связанного с завершением работы
,
,
алгоритмов генетического программирования, то в линейном
генетическом программировании это делается через определение
верхней границы для шагов эволюции. При использовании
древовидных
структур
и
распределенных
алгоритмов
генетического программирования условия завершения работы
алгоритма будут несколько сложнее [Родзин
, 2007 б].
Наши рекомендации по оценке возможностей алгоритмов
генетического программирования для решения
с позиций общей теории ЭВ состоят в следующем
•
использование различных функций пригодности
•
использование модели эволюции Ламарка или эффекта
Болдуина
[Whitley, 1994].
NP-
трудных задач
:
;
Рекомендация, касающаяся функциональности алгоритмов
генетического программирования
,
состоит в следующем
Необходимо ограничивать размер программного кода и
.
повышать его эффективность за счет сокращения числа
интронов. Размер программного кода
(
число элементарных
команд) всегда является конечным, однако он может расти в
138
процессе эволюции, например, за счёт увеличения числа
интронов в программе, что приводит к целому ряду побочных
эффектов, таких как
•
неоправданный рост программ
•
генерируемые потомки функционально являются такими
:
;
же, как их родители, что делает выполняемые генетические
операторы бесполезными
•
увеличивается объём памяти, необходимой для работы
алгоритма генетического программирования
;
.
Отметим ещё одну причину, по которой алгоритмы
генетического
перспективной
программирования
составляющей
являются
ЭВ
важной
−
генетическое
программирование сходно с естественным процессом эволюции
поскольку эволюционный синтез и трансформацию программ
можно выполнять непрерывно
.
и
,
Алгоритмы эволюционных стратегий.
С позиций общей теории ЭВ эволюционные стратегии
являются эвристическим алгоритмом оптимизации, основанным
на идеях адаптации и эволюции, и имеют следующие
особенности
•
процесс эволюции рассматривается на уровне фенотипа
в отличие от генетических алгоритмов
[Rodzin, 2002]:
,
которые
акцентируют внимание на генетическом механизме
наследственности на уровне хромосом
•
эволюционные стратегии анализируют эволюцию на
уровне целой популяции
•
в
эволюционных
;
стратегиях оператор
;
мутации
применяется с частотой, соответствующей нормальному
закону распределения, что является оправданным для
выбранного уровня моделирования, в отличие от мутации
,
на генном уровне, где она проявляется как редкое событие
и практически не влияет на фенотип
139
;
эволюционные стратегии наиболее подходят для задач
•
,
описываемых непрерывными функциями
.
Действительно, в генетических алгоритмах зачастую
затруднительно учесть множество особенностей и технических
деталей реальных задач. Генетические алгоритмы обрабатывают
астрономическое число возможных популяций, большинство из
которых имеют несущественные отличия. Выявить подобные
отличия они не могут, поскольку не учитывают семантические и
прагматические
различия между популяциями и теми
изменениями, которые могут существенно повлиять на ход
эволюции
.
По
этой
причине
разработка
алгоритмов
эволюционных стратегий для организации ЭВ является
перспективным
фенотипических решений из параметров генотипов
Ранее, в разделе
подходом
1.4
,
состоящим
в
выработке
.
уже была представлена модель
эволюционных стратегий. Уточним теперь эту модель с позиций
общей теории ЭВ. Пусть, как и ранее, задача состоит в
минимизации целевой функции
вещественные переменные
(i = 1,2,…, n),
индивиду эволюционной стратегии соответствует вектор в
F(x1,x2,…,xn),
причём каждому
где
xi −
n-
мерном пространстве, который представляет собой некоторое
решение поставленной задачи. Напомним, что каждый индивид в
ЭС
отклонением σ
мутации
изменчивости
характеризующим
стратегий. Будем считать, что, если
жестко связаны с переменными
остальных переменных
большинства практических приложений
характеризуется
(j = 1, 2,…, m; 1 ≤ m ≤ n),
j
означает
.
Величина
адаптивные
некоторым
среднюю
xm, x
m+1
величину
σ
j
является
свойства
1< m < n, то
x1, x2,…, x
,…, xn
является свободной
m = 1
среднеквадратичным
которое для оператора
наследственной
m-1
, а
или
параметром
эволюционных
σ
,
σ
,…,
1
2
σ
m-1
величина σj для
(
для
m = n).
,
Уточним этапы алгоритма эволюционных стратегий в
соответствии с базовым циклом ЭВ
140
:
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]