книги из ГПНТБ / Слэйгл Д. Искусственный интеллект. Подход на основе эвристического программирования

все поля любого из игроков пусты или если в калахе одного из игроков содержится более половины косточек. При определенных условиях, когда игра почти подошла к концу, программа способна определить результат, и в этих случаях функция принимает значение истинности.

В. Функция, аргументом которой является позиция, а значением — вероятность того, что данный игрок в этой позиции может выиграть. Вероятностная функция имеет вид

К и k — число косточек в кал ахах игроков Р и р соответст­

дующими желаемыми свойствами. Если в калахах обоих игроков одинаковое число косточек, ни один игрок не оказывается в лучшем положении, и вероятность выигры­ ша равняется 1/2. Когда в калахе игрока Р больше ко­ сточек, чем у его противника, вероятность выигрыша игрока Р увеличивается. Когда число косточек, находя­ щихся в калахе игрока Р, равно числу косточек в калахе

роятность его выигрыша очень близка к 1. Поскольку игра еще может завершиться вничью, во втором слагаемом приведенного выше выражения вместо множителя (1/2) используется множитель (1/2,1). Таким образом, вероят­ ность выигрыша игрока Р всегда строго меньше 1. Когда в калахе игрока установится больше косточек, чем у игро­ ка Р, вероятность выигрыша игрока Р уменьшается. Если число косточек в калахе игрока р равно числу ко­ сточек в калахе игрока Р плюс число всех косточек, на­

1/2—1/2,1 > 0. Это явное затруднение устраняется, если вспомнить, что вероятностная функция никогда не при-

152 Г Л А ВА 7

меняется к позициям, в которых игра заканчивается, и,

оценки определяется как величина, обратная числу находящихся в игре косточек. Эта функция обладает следующими желаемыми свойствами. Когда уменьшается число косточек, находящихся в игре, уменьшается и стоимость порождения деревьев, ибо количество воз­ можных ходов уменьшается. Чем меньше косточек остает­

или нет.

Альфа-бета-процедура как программа доказательства. Ввиду того что альфа-бета-процедура обычно приме­ няется для проведения игр, необходимо было внести в нее определенные изменения, чтобы она смогла дока­ зывать теоремы, касающиеся игры двух лиц. Оказалось,

начальное значение бета -f-oo. Предположим, что пер­ вый ход всегда делает игрок Р, что противник его — игрок р и что во всех практических случаях число N — оо и соответственно —N = — оо. Если доказываемое выска­ зывание состоит в том, что игрок Р может в данной пози­ ции выиграть, то начальное значение альфа полагается равным N — 1. Тем самым исключаются все ходы, кроме4 выигрывающего хода игрока Р. Аналогично, когда дока­ зываемое высказывание состоит в том, что игрок р может в данной позиции выиграть, начальное значение бета устанавливается равным —N 4- 1. Тем самым начальный ход вызывает бета-отсечение тогда и только тогда, когда этот ход не ведет к проигрышу игрока Р. Если все началь­ ные ходы ведут к проиггышу игрока Р, справедливость высказывания доказана. Если лучшее, чего может достичь

чаях высказывание опровергается. Для окончания игры

Оказалось возможным даже упорядочить эти ходы ценой лишь незначительной дополнительной работы программы, реализующией эту функцию. Процедура упорядочения руководствуется принципом, что игроку выгодно не от­ давать очередного хода противнику и захватывать его косточки. Такая процедура упорядочения аппроксимирует более дорогостоящие методы оценки каждой позиции с помощью оценивающей функции, которая вычисляет раз­ ность числа косточек в двух калахах. Вероятностное упорядочение ходов увеличивает эффективность альфабетапроцедуры. Она не помогает программе РР и при­ менялась лишь потому, что не может ей повредить. Это один из тех случаев, когда сравнение с РР-программой оказывается явно не в пользу альфа-бета-процедуры. Когда альфа-бета-процедур а применялась как программа дока­ зательства, она осуществляла поиск до конца игры.

Эксперименты. Программе РР и альфа-бета-про­ цедуре было предложено доказать высказывания отно­ сительно 23 позиций игры в калах. Примем, что игрок Р всегда начинает. Обеим процедурам поиска предъявля­ лось по два высказывания в каждой позиции. Первое состояло в том, что в этой позиции может выиграть игрок Р, второе, что в ней может выиграть игрок р. В этих экспериментах программа РР всегда порождала подде­ ревья фиксированной глубины. В половине эксперимен­ тов эта глубина равнялась 1, а в другой половине 2. (Программа написана так, что она сама может неогра­ ниченно менять глубину каждого порождения.) Резуль­ таты экспериментов суммированы в табл. 7.1. В число

чения набора позиций были использованы все вырабо­ танные позиции. Применение разных методов упорядо-

чения позиций привело бы к тому, что эти позиции ни­ когда не были бы построены, поскольку альфа-бета- процедура использует в каждый момент времени только одну позицию. С другой стороны, программа РР должна использовать все разрешенные в данной позиции ходы, так что они были включены в общее число построенных для РР позиций. Из результатов видно, что общее число построенных позиций и общее время, затраченное альфа- бета-процедурой, значительно превышают соответствую­ щие показатели для программы PP. Альфа-бета-про­ цедура в большинстве задач использовала меньше попы­ ток, чем программа PP. Объясняется это тем, что для большей части задач требовалось относительно малое число попыток. Альфа-бета-процедура более эффектив­ на в небольших задачах, в то время как процедура РР действует быстрее, когда задачи сложные. Это видно из табл. 7.2, в которой приведены результаты для двух

позиций. Первая позиция была быстро решена альфа- бета-процедурой, но во второй позиции эта процедура тре­ бует уже приложения значительно больших усилий.

Программа РР нуждается в значительном объеме па­ мяти для запоминания деревьев, так что практически может решать лишь небольшие задачи. Как видно из табл. 7.1, программа РР не во всех высказываниях доби­ лась успеха, так как ей не хватило объема памяти. Альфа-бета-процедура справилась со всеми выска­ зываниями. В табл. 7.1 включены только те высказыва­ ния, в которых программа РР добилась успеха. Поэтому время и число позиций, построенных альфа-бета-про­ цедурой, различны в столбцах 1 и 3 и в столбцах 2 и 4. Недостатки и преимущества этих процедур «взаимно дополняют друг друга» в том смысле, что альфа-бета- процедура требует для решения больше времени, а про­ грамма РР — больше памяти. Преимущества программы

РРдолжны увеличиться с появлением вычислительных машин с большим объемом памяти. Думается также, что

РРбез значительного увеличения затрат времени способ­ на использовать вспомогательные запоминающие уст­ ройства. Тот факт, что для решения некоторых сложных задач программа РР затрачивает менее одной десятой числа попыток, используемых для решения тех же за-

деленное число вершин. После этого она выбирала ход, приводящий к позиции с наибольшей вероятностью вы­ игрыша. Второе (и последнее) изменение, которое, ока­ залось небходпмым, — это присвоение ничейным по­ зициям вероятности 1/2.

Эксперименты. Программа РР 156 раз сыграла с аль­

РР были заданы два значения глубины порождения де­ ревьев (1 и 2). При фиксированных значениях глубины обеим процедурам разрешалось делать первый ход, что дало в сумме 12 игр для каждой начальной позиции. Игра проходила следующим образом. Фиксировалась глубина

бета-процедура делала первый ход. РР разрешалось при поиске ответного хода строить три четверти вершин от числа вершин, построенных альфа-бета-процедурой. Был выбран множитель, меньший 1, для того, чтобы было легче делать последующие ходы; в результате обе проце­ дуры поиска применяют по мере развития игры меньше

тремя четвертями от числа попыток альфа-бета-про­ цедуры, затраченных ею на поиск последнего хода. Как это было и с программой доказательства, в число построен­

делала первый ход в первоначальной позиции, и ей раз­ решалось строить столько же вершин, сколько ранее использовала альфа-бета-процедура при поиске своего первого хода. После этого делала ход альфа-бета-про­ цедура, и игра продолжалась, как и раньше.

Когда программа РР доказывала или опровергала вы­ сказывание о том, что она может выиграть, она печатала эту информацию, но продолжала играть. В одной партии РР доказала свой выигрыш, а потом достигла лишь ничьей, потому что при дальнейшем развитии партии

сделала неудачный ход. Это выявляет один из недостат­ ков программы РР, который является результатом огра­ ничения РР фиксированным процентом от числа попыток противника на предыдущем ходу. В этом конкретном слу­ чае альфа-бета-процедура осуществляла поиск на глу­ бину 4. Глубина поиска процедуры РР равнялась лишь 1, хотя партия уже почти заканчивалась и для полного поис­ ка потребовалось бы лишь ненамного больше попыток.

Результаты этих экспериментов сведены в табл. 7.3. Они были получены вычитанием у игрока одного очка, если он делал первый ход и проигрывал, и вычитанием половины очка, если он начинал и делал ничью. В девя­ ти партиях программе РР не хватило памяти, и эти пар­ тии прекращались. В таблицу включены результаты только для тех начальных позиций, в которых игра была доведена до конца в обеих партиях, т. е. когда оба игрока имели возможность первыми сделать ход. Точно так же суммировались время и общее число позиций в табл. 7.4. Эта таблица подтверждает, что большой процент времени уходит на отсылку вероятности и оценки того момента, когда каждое порождение дерева минимально, т. е. когда глубина порождения равна 1. Из этих таблиц можно вы­ вести общее заключение, что обе процедуры поиска ра­ зыгрывали партии примерно на одинаковом уровне, хотя некоторое преимущество и было на стороне программы PP.

7.6. ВЫВОДЫ

Первоначальные эксперименты с программой РР — частью системы MULTIPLE — оказались обнадеживаю­ щими. Эксперименты показали, что РР более эффективно, чем альфа-бета-процедура, осуществляет поиск в очень больших дизъюнктивно-конъюнктивных деревьях. Основ­ ная слабость программы РР в том, что она должна сохра­ нять все недоказанные части дерева, по этот недостаток можно значительно уменьшить, если использовать боль­ шой вспомогательный блок памяти для хранения тех ча­ стей дерева, которые активно не применяются. (Это вполне возможно, так как вероятность и оценка поддерева не меняются, если РР не порождает дерево из какого-либо непроверенного высказывания этого поддерева.) После проведения начальных экспериментов в программу РР были введены два усовершенствования (Слэйгл и Конайвер, 1970). Во-первых, была добавлена программа, использую­ щая запасные высказывания. Во-вторых, РР работала в другой области — исчисление предикатов первого по­ рядка, — применяя принцип резолюции. Кроме того, предполагается добавить программу обучения (LP), чтобы программа РР была способна улучшать свои характери­ стики с накоплением опыта. Периодически улучшая аппроксимации к функциям вероятности и самооценки, программа будет учиться решать задачи все возрастаю­ щей трудности.

УП Р А Ж Н Е Н И Я

1.Проверьте правильность отсылки оценки и выбора в повицнго С на фиг. 7.1.

2.Проверьте правильность отсылки вероятности, оценки и

выбора:

б) В предположении, что G = G, V С2 V ••• V Gk и ч т о Р Ф покажите, что рабочая оценка позиции G есть