книги из ГПНТБ / Слэйгл Д. Искусственный интеллект. Подход на основе эвристического программирования

В качестве нашего вектора коэффициентов выбираем наи­ лучшее решение С системы m уравнений, полученное применением метода наименьших квадратов: C-Xt = 1. Обоснование правдоподобия состоит просто в том, что при С-Хг , приблизительно равном + 1 , это произведение стремится к положительным значениям, а, следовательно, С будет обладать низкой погрешностью.

Релаксационный алгоритм. Этот хорошо известный алгоритм описывается в ряде работ, в том числе в книге Нильсона (1965). При использовании этого алгоритма один или большее число раз рассматриваются по отдель­

ления. Исправление состоит в добавлении к текущему

Множество векторов X,- называется линейно разде­ лимым тогда и только тогда, когда существует вектор С с нулевой погрешностью. Если множество векторов X,- линейно разделимо, существует такое целое s, что с по­ мощью релаксационного алгоритма в s шагов определяет­ ся вектор коэффициентов с нулевой погрешностью. Эта теорема доказывалась не один раз (см., например, Нильсон, 1965). Теорема остается справедливой даже в том случае, когда Хі не нормализовано и не приведено к еди­ нице. Полученный вектор С зависит от величин векторов X,-. Однако как бы ни были различны величины векторов Х(, всегда будет получаться вектор коэффициентов с ну­ левой погрешностью.

Релаксационный алгоритм может применяться и тогда, когда множество векторов X, не является линейно раз­ делимым. Однако в этом случае все X,- должны быть нормализованы и нормированы к единице. Полученный вектор коэффициентов не обязательно будет оптималь­ ным. Обоснование правдоподобия этого алгоритма со­ стоит в следующем: поскольку он приводит к вектору

232 Г Л А ВА 11

коэффициентов с нулевой погрешностью для линейно

тогда, когда множество векторов XL не является линей­ но разделимым.

Б. Эфрон (1964) проанализировал возможность при­ менения такого алгоритма в случае неразделимых мно­ жеств .

Усредняющий релаксационный алгоритм. Этот алго­ ритм также требует, чтобы каждое Xt было нормализо­ вано и нормировано к единице.

Если множество векторов Хс не является линейно разделимым, вектор коэффициентов, полученный с по­ мощью описанного в предыдущем подразделе релакса­ ционного алгоритма, может очень сильно изменяться при попытке устранения сначала одной, а затем другой ошиб­ ки. При использовании более обоснованной процедуры Р. Дуды (1968) вектор коэффициентов выбирается как среднее значение полученного с помощью релаксацион­ ного алгоритма вектора С.

Алгоритм локальной минимизации. Коэффициенты, по­ лученные применением неоптимального алгоритма, обыч­ но могут быть улучшены с помощью локальной миними­ зации. Она состоит в постепенном изменении вектора С в направлении уменьшения погрешности, пока не дости­ гается локальный минимум. Предполагается, что достиг­ нутый таким образом локальный минимум не будет зна­ чительно превышать глобальный.

Выводы. Хотя было предложено несколько алгорит­ мов вычисления коэффициентов для проблемы т,п-мер- ного полупространства, среди них не было алгоритма вычисления оптимальных коэффициентов для более чем двух измерений и множеств, не являющихся линейно раз­ делимыми. Решение проблемы т.п-мерного полупрост­ ранства имеет большое значение, потому что это реше­ ние может найти применение в задачах распознавания образцов, в теории полезности, при автоматическом рефе­ рировании, в игровых задачах, в области международных отношений, в вопросах купли — продажи, а также при оценке персонала и программ вычислительных машин. Ввиду большого значения этой проблемы следует уделить

больше внимания разработке других алгоритмов. Эти алгоритмы, равно как и алгоритмы, изложенные в этой главе, следовало бы подвергнуть теоретическому, а если понадобится, и экспериментальному сравнению.

УПРАЖНЕНИЯ

1. Докажите, что любая проблема лг,л-мерного полупрост­ ранства может быть преобразована в проблему /л,я-мериой оценки.

2. Является ли вектор коэффициентов С, полученный приме­ нением алгоритма выигрыша— проигрыша к решению проблемы полупространства, независимым от величины векторов X/?

3. Допустим, что программа ЭВМ применяет алгоритм сум­ мирования нормализованных нормированных векторов к уже нор­

№1, \962,- стр. 1567—1580.

Для изучения парной ассоциации экспериментатор выбирает ряд пар «стимул — ответ». После этого он предъявляет один из этих стимулов испытуемому, кото­ рый пытается выдать ассоциированный со стимулом от­ вет. Затем экспериментатор сообщает испытуемому свой ассоциированный ответ и предъявляет ему другой сти­ мул. Этот цикл продолжается до тех пор, пока все стиму­ лы не будут предъявлены испытуемому в точности по одному разу. На этом первая серия завершается. В сле­ дующей серии стимулы предлагаются в ином (случайно выбранном) порядке. Серии продолжаются, пока экспери­ ментатор не прервет их. Обычно они прерываются тогда, когда испытуемый в течение всей серии выдает только правильные ответы.

В табл. 12.1 и 12.2 показаны два вымышленных «миниэксперимента». Ниже будет показано, каким образом ЕРАМ может выполнять в этих экспериментах роль испы­ туемого. В эксперименте, отраженном в табл. 12.1, экспе­

что испытуемый видит напечатанный бессмысленный слог ДАС. Испытуемый не отвечает. Ему сообщается ответ — ЖИК . Практически это означает, что испытуемому пока­ зывается напечатанный слог ЖИК . Вторым стимулом является ПИН, на что испытуемый отвечает ЖИК . Это неправильно, и ему сообщается ответ ЖУРВо второй серии первым стимулом является ПИН, на что испытуе­ мый отвечает правильным ответом Ж У Р ; подтверждается ответ ЖУРСледующим стимулом является ДАС, на который испытуемый отвечает неправильно — ЖУР; со­ общается правильный ответ ЖИК . В третьей серии испы­ туемый правильно отвечает на оба стимула и экспери­ мент прекращается.

В эксперименте, представленном в табл. 12.2, экспе­ риментатор выбрал три пары «стимул — ответ». Каждый стимул — напечатанное слово, состоящее из трех про­ писных букв, а каждый ответ — произнесенное слово. Устные варианты напечатанных слов САД, ЛЕД, САН представлены соответственно как сат, льот, сан. Будем говорить, что в этой задаче каждый стимул представлен

ния предназначена для обучения различению и ассоцииро­ ванию стимулов и ответов. Исполнительная программа применяет соответствующим образом программу ответов и программу обучения, она же отвечает за все детали, например за выдачу на печать ответов. Исполнительная программа больше не будет упоминаться, ибо основной интерес для нас здесь представляют программы ответов и обучения. Обе эти программы будут сначала описаны в общем, а потом более подробно разъяснены на примерах.

Входной информацией в программу ответов являются характеристика ответов и стимул. Например, произнесен­ ное слово представлено фонематическими характеристи­ ками. Выходной информацией является ответ, ассоци­ ированный со стимулом и представленный требуемой ха­ рактеристикой. Программа эта состоит из следующих шагов, выполняемых по порядку.

A. Применить программу-дискриминатор для разли­ чения стимула на сети в соответствии с характеристикой стимула. Попытаться найти таким образом модель стимула.

B. Найти сигнал, представленный соответствующей характеристикой (ответа), который хранится вместе с моделью стимула.

Г. Если такой сигнал не найден, остановиться, не выдавая ответа.

Д. Применить дискриминатор для различения сигна­ ла в сети соответственно требуемой характеристике. По­ пытаться найти таким образом модель ответа.

Е. Если такая модель не найдена, остановиться, не выдавая ответа.

Ж- Генерировать ответ непосредственно из его модели, Дискриминатор — это программа, различающая (клас­ сифицирующая) элементы дискриминационных сетей. Ди­ скриминационная сеть — это разновидность дерева клас­

сификации или декодирующей схемы.

В ЕРАМ для каждой (сенсорной) характеристики за­ дачи имеется отдельная сеть. На фиг. 12.1 показана пара сетей — алфавитная сеть и фонематическая сеть. В каж­ дом некоиечном узле сети хранится программа «проверка». В каждом конечном узле сети содержится модельный спи-

( C - ,

Ф и г. 12.1. Програімма обучения после предъяв­ ления первого стимула «САД» и первой реакции «сат» строит эти алфавитную и фонематическую

сок (возможно, пустой), в котором может храниться сим­ волически выраженная информация. Если модельный список не пуст, то первый элемент его называется мо­ делью. Модель частично или полностью повторяет сти­ мул или ответ. Если в модельном списке имеются другие элементы, они называются сигналами. Все сигналы в модельном списке соответствуют различным характери­ стикам. Сигнал частично (а изредка и полностью) повто­ ряет ответ с этой характеристикой. Дискриминатор — это программа, которая берет элемент (стимул или сигнал) с данной характеристикой, классифицирует его в сети соответственно этой характеристике и вырабатывает ассо­ циированный с этим элементом модельный список. Ди­ скриминатор находит в верхнем узле сети программу про­ верки и применяет ее к этому элементу. Результат яв­ ляется сообщением для дискриминатора, где искать сле­ дующую программу проверки — в правой или в левой ветви. Дискриминатор выполняет найденную программу, и весь процесс повторяется, пока не достигается конеч­

Программа обучения состоит из двух программ: ди­ скриминационной программы обучения и ассоциативной программы обучения. Когда эксперимент начинается, дискриминационных сетей еще нет. Их строит дискрими­ национная программа обучения. Ассоциативная програм­ ма обучения строит ассоциации между стимулами и от­ ветами, сохраняя сигналы и модели стимулов.

Опишем теперь для иллюстрации возможное поведение ЕРАМ в качестве испытуемого в вымышленном миниэксперименте, отраженном в табл. 12.1 и 12.2. В представ-