ПСИИ / skobcov_yu_a_osnovy_evolyucionnyh_vychislenii

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ

ДОНЕЦКИЙ НАЦИОНАЛЬНЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Ю.А.СКОБЦОВ

«ОСНОВЫ ЭВОЛЮЦИОННЫХ ВЫЧИСЛЕНИЙ»

Учебное пособие

Донецк 2008

УДК 621.3+681.3 ББК 32.813 С__

Рекомендовано Міністерством освіти і науки України як навчальний посібник для студентів вищих учбових закладів

Рецензенти:

Бідюк П.І., доктор техн. наук, професор (Національний технічний університет України “КПІ”); Каргин А.О., доктор техн. наук, професор (Донецький Національний університет);

Ходаков В.Є., доктор техн. наук, професор (Херсонський Національний технічний університет)

Ю.О.Скобцов.

С___ Основи еволюційних обчислень.- Навчальний посібник.-

Донецьк: ДонНТУ,2008.-326с.

ISBN________

Упосібнику викладені основні теоретичні і методологічні матеріали

зеволюційних обчислень, які є самостійним напрямом в теорії інтелектуальних систем. Послідовно вводяться базисні поняття класичних генетичних алгоритмів (ГА), теорія схем і рішення задач чисельної і комбінаторної оптимізації за допомогою генетичних алгоритмів. Розглянуті узагальнення і модифікації ГА, паралельні і імовірнісні ГА. Викладені основи генетичного програмування і машинного навчання, еволюційні стратегії і програмування. Розглянуті питання програмної і апаратної реалізації ГА.

Посібник розраховано, насамперед на студентів і аспірантів ВНЗ, які

навчаються за напрямками “Комп'ютерна інженерія”, “Комп'ютерні науки”, “Програмна інженерія” а також широкому колу фахівців, що займаються інтелектуальними системами обробки інформації.

2.5Применение методов статистической механики для 59

моделирования ГА………………………………………………….

3.2Задача о покрытии………………………………………………….. 77

3.3Задача коммивояжера…………..………………………………….. 77

3.3.1Упорядоченное представление…………………………….. 80

3.3.2Представление соседства………………….……………….. 82

3.3.3Представление путей……………………………………….. 84

3.3.4.2Матрица предшествования………………………. 90

4.2Отбор родителей (селекция)……………………...………………. 100

4.2.1Пропорциональный отбор (метод "рулетки")…………... 101

4.2.2Ранжирование…………………….……………………….. 103

4.2.3Равномерное ранжирование………..…………………….. 105

4.2.4 Локальный отбор……………………………..…………… 105

4.2.5Отбор на основе усечения…………………..……………. 108

4.2.9Неявные методы отбора, основанные на 112 масштабировании фитнессфункции…………………..

4.3Операторы рекомбинации (скрещивания, кроссинговера)........... 113

4.3.1Двоичная рекомбинация…………………..……….……... 113

4.3.1.1Одноточечный кроссинговер…..………………. 113

4.3.1.2Многоточечный кроссинговер…….…………... 114

4.3.1.3Однородный кроссинговер………….………..... 116

4.3.1.4Ограниченный кроссинговер…………..………. 117

4.3.2Рекомбинация действительных значений…………...….. 117

4.3.2.1Дискретная рекомбинация…………………….. 117

4.3.2.2Промежуточная рекомбинация………………. 118

4.3.2.3Линейная рекомбинация………………………. 120

5

4.4Оператор мутации………………….…………...…………………. 120

4.4.1Двоичная мутация.………………………………………... 121

4.4.1.1 Классическая мутация…..……………………… 121

4.4.1.2Оператор инверсии…..…………………………. 121

4.4.2 Мутация над вещественными числами……………..…… 122

4.5Сокращение промежуточной популяции……………..……….... 124 4.5.1 Глобальная редукция……………………….…………….. 124

4.5.1.1 Чистая замена…………………………………… 125

4.5.1.2Элитарная схема……...……………………….... 125

4.5.1.3Равномерная случайная замена….……………. 125

4.5.1.4Пропорциональная редукция….……………….. 126

4.5.1.5Селекционная схема………….……...…………. 126

4.8Адаптивные ГА………………...……………..……………………. 132

4.9Ниши в генетических алгоритмах ..…………………...…………. 136

4.10Многокритериальная оптимизация………...…………………….. 138

4.11Генетические микро алгоритмы…………..…………………….... 140

4.12Контрольные вопросы к разделу 4……………………………….. 141

5. ПАРАЛЛЕЛЬНЫЕ ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ……………… 143

5.1Структуризация ГА…………….………………………………….. 143

5.2Параллельный генетический алгоритм на основе модели 145 «рабочий хозяин»………………………………………………….

5.4Виды распределенных ГА……………………………………….... 152

5.5Клеточные ГА…………….………………………………………... 156

5.6Коэволюционные ГА…………………………………….……...... 158

6

5.7 Параллельная реализация ГА…………………………..………… 159

5.8Инструментарий распараллеливания ……………………………. 162

5.9Иерархические (многоуровневые) ГА…………………………… 163

5.10 Контрольные вопросы к разделу 5……………………………….. 164

6.ВЕРОЯТНОСТНЫЕ И КОМПАКТНЫЕ ГЕНЕТИЧЕСКИЕ 166

АЛГОРИТМЫ………………………………………………………….…

6.1Вероятностные генетические алгоритмы………………………... 166

6.2Пошаговое обучение на основе виртуальной популяции………. 168

6.3Компактный генетический алгоритм…………...………………... 170

6.4Генетический алгоритм SELFISH ………………………………. 172

6.5Сравнение простых и вероятностных генетических 174

алгоритмов…………………………………………………………

6.6Контрольные вопросы к разделу 6……………………………….. 177 ЧАСТЬ 3. ГЕНЕТИЧЕСКОЕ ПРОГРАММИРОВАНИЕ И

МАШИННОЕ ОБУЧЕНИЕ

7.ГЕНЕТИЧЕСКОЕ ПРОГРАММИРОВАНИЕ………………………….. 179

7.1 Функциональное и терминальное множество…………………… 180

7.1.1Терминальное множество………………………...…….. 180

7.1.2 Функциональное множество…………………………… 181

7.2Структуры для представления программ………………………... 183

7.2.1Древовидное представление……………………………. 183

7.2.2Линейные структуры……………………………………. 185

7.2.3Графоподобные структуры……………………………... 187

7.2.4 Другие формы представления программ……………… 192

7.3Инициализация начальной популяции…………………………... 195

7.3.1Инициализация древовидных структур……………….. 196

7

структурах…......................................................................

7.4.2Кроссинговер на линейных структурах……………….. 202

7.4.3Выполнение кроссинговера для графоподобных 203

структур…………………………………………………..

7.5Мутация в генетическом программировании………………….... 205

7.5.1Выполнение мутации на древовидных структурах.…... 205

7.5.2Выполнение мутации на линейных структурах………. 208

7.6Фитнесс-функция в генетическом программировании…………. 209

7.7Интроны……………………………………………………………. 213

7.8Общий алгоритм генетического программирования……………. 213

7.9Символьная регрессия…………………………………………….. 214

7.10 Диагностическое дерево ……………………………………….… 223

7.11Модульное построение программ в генетическом 238

программировании…………………………………………………

7.12Контрольные вопросы к разделу 7…………….…………………. 242

8.МАШИННОЕ ОБУЧЕНИЕ………………………………………..…….. 244

8.1Питсбургский подход ...………………………………………..…. 245

8.2 Мичиганский подход……………………………………………… 250

8.3Применение ГА в задачах прогнозирования……………………. 257

8.4Контрольные вопросы к разделу 8……………………………….. 265 ЧАСТЬ 4. ЭВОЛЮЦИОННЫЕ СТРАТЕГИИ И

ПРОГРАММИРОВАНИЕ, РЕАЛИЗАЦИЯ

9.ЭВОЛЮЦИОННЫЕ СТРАТЕГИИ……..…………………………....... 267

9.1Двукратная эволюционная стратегия….……………………….. 269

8

10. ЭВОЛЮЦИОННОЕ ПРОГРАММИРОВАНИЕ……...…………….… 280

10.1Конечный автомат в качестве генома…………………………... 281

10.2Применение эволюционного программирования в 287

прогнозировании…………………………………………………

11.1Программная реализация……………………………………….. 294

11.1.1Пакет Evolver фирмы Palisade Corp………………….. 295

11.1.2Пакет GeneHunter фирмы Ward System Group……..... 299

11.1.4Программа FlexTool …………………………………... 301

11.1.5MATLAB 7 - Genetic algorithm toolbox……………….. 302

11.1.6Некоммерческое программное обеспечение ………... 304

11.2Аппаратная реализация генетических алгоритмов……………. 305

11.2.1 Аппаратная реализация классического генетического 306

алгоритма……………………………………………….

11.2.2Аппаратная реализация компактного ГА…………….. 316

11.2.3 Контрольные вопросы к разделу 11……….................. 319 ЛИТЕРАТУРА ………………………………………….……………………. 321

9

ПРЕДИСЛОВИЕ

В настоящее время быстро развивается новое направление в теории и практике искусственного интеллекта – эволюционные вычисления (ЭВ). Этот термин обычно используется для общего описания алгоритмов поиска, оптимизации или обучения основанных на некоторых формализованных принципах естественного эволюционного отбора. Особенности идей эволюции и самоорганизации заключаются в том, что они находят подтверждение не только для биологических систем развивающихся много миллиардов лет. Эти идеи в настоящее время с успехом используются при разработке многих технических и, в особенности, программных систем.

История эволюционных вычислений началась в 60-е годы XX века, когда различные группы ученых в области кибернетики независимо друг от друга исследовали возможности применения принципов эволюции биологических систем при решении различных технических проблем, как правило, требующих решения задач оптимизации. Таким образом, было основано новое научное направление, которое в настоящее время принято называть "эволюционными вычислениями".

Генетические алгоритмы (ГА) были основаны в Мичиганском университете американским исследователем Холландом [1] и первоначально разработаны для задач оптимизации в качестве достаточно эффективного механизма комбинаторного перебора вариантов решения. В отличие от многих других работ, целью Холланда было не только решение конкретных задач, но исследование явления адаптации в биологических системах и применение его в вычислительных системах. При этом потенциальное решение – особь представляется хромосомой – двоичным кодом. Популяция содержит множество особей. В процессе эволюции

10

используются три основных генетических оператора: репродукция, кроссинговер и мутация. Голдберг [2] (ученик Холланда) успешно развил ГА и расширил области его применения.

Также в 60-х годах в Германии Рехенберг [3] заложил основы "эволюционных стратегий" (ЭС) при решении задачи оптимизации вещественных параметров в расчете линий электропередачи. Это направление развивалось долгие годы независимо и здесь были получены важные фундаментальные результаты. В ЭС потенциальное решение – особь является вектором вещественных чисел, популяция состоит из двух особей и основным генетическим оператором является мутация.

Фогель [4] независимо от других исследователей основал эволюционное программирование (ЭП), где потенциальное решение представляется конечным автоматом. Основным генетическим оператором здесь также является мутация, которая случайным образом изменяет таблицу переходов-выходов автомата.

Немного позднее Коза в Массачусетском технологическом институте США заложил основы генетического программирования (ГП) [5]. Здесь в качестве особи выступала программа на LISP, которая представлялась древовидной структурой. На этих структурах были разработаны генетические операторы кроссинговера и мутации.

В настоящее время указанные направления объединены в "эволюционные вычисления" (ЭВ), которые успешно применяются при решении многих проблем. При этом отдельные направления успешно взаимодействуют за счет заимствования лучших черт друг у друга.

Значительный вклад в исследование механизмов адаптации внесли также и отечественные ученые – Ивахненко А.Г.[6] и Цыпкин Я.З.[7] по самообучающимся системам и Расстригин Л.А. [8] по стохастической оптимизации. В настоящее время исследования по ЭВ активно развиваются в России Букатовой И.Л. [9,10], Курейчиком В.М.[11,12],