книги из ГПНТБ / Слэйгл Д. Искусственный интеллект. Подход на основе эвристического программирования

A-, Л ,

ная в проблему 6,2-мерного полупро­ странства.

гиперплоскость (не обязательно проходящую через на­ чало координат) схх\ + с2х2 + ... + г„_]*„_! + сп = 0, ко­ торая приближенно отделяет область А от области В .

заключается в нахождении проходящей через начало коор­ динат гиперплоскости, приближенно отделяющей пред­

ной проблемы. Сдвигаем вновь всех представителей В на

нием. Решение первоначальной (я-мерной) проблемы сов­ падает с решением получившейся в результате этого от­ ражения проблемы /п,я-мериого полупространства. Та­ ким образом, всякое решение этой проблемы яг,я-мерного

полупространства приводит к решению первоначальной проблемы m,/і-мерных объектов, что и требовалось до­ казать.

Поскольку всякая проблема /п,/г-мерной оценки и всякая проблема классификации т,(п— 1)-мерных образов могут быть преобразованы в некоторую проблему т./г-мер- ного полупространства, чрезвычайно важно найти алго­ ритмы вычисления хороших коэффициентов для про­ блемы m,/г-мерного полупространства. Прежде чем пред­ ложить несколько таких алгоритмов, мы дадим четыре критерия оценки их ценности.

Эти критерии помогут читателю выяснить ценность каждого метода; они также окажутся полезными для исследователей, разрабатывающих другие алгоритмы. Идеи, которые высказываются при обсуждении третьего критерия, будут широко использоваться в оставшейся части главы. Предлагаемые критерии таковы: возраста­ ние количества вычислений при увеличении m и /г, ин­ вариантность относительно невырожденных линейных преобразований, величина погрешности и независимость от величины вектора X,-.

чески пригодным? При любом алгоритме объем вычисле­ ний увеличивается с возрастанием m и я. Алгоритм хо­ рош, если с возрастанием тип количество вычислений увеличивается медленно, так что проблемы полупрост­

Инвариантность. Инвариантен ли алгоритм преобра­ зования проблем оценок и образов в проблему /п,/г-мер- ного полупространства относительно невырожденных ли­ нейных преобразований, включая поворот и растяжение? Хороший метод должен был бы приводить к инвариант­ ности. Алгоритм называется инвариантным относительно преобразования тогда и только тогда, когда для любой

проблемы m,«-мерного полупространства преобразование решения, полученного при применении этого алгоритма, совпадает с решением преобразованной проблемы. Преоб­ разование называется растяжением по положительному коэффициенту /-й координаты тогда и только тогда, когда Zj = р х , а все остальные координаты не изменились.

Погрешность. Насколько хороши коэффициенты? По определению погрешность вектора коэффициентов С от­ носительно Xlt Х2, ...,Хт есть относительное число таких векторов Xit для которых С-Х,- < 0. Ниже определяются погрешности соответственно для проблемы оценки и проблемы классификации образов. Если дано множество m предпочтений {Y) >» К,-}, то погрешность вектора коэф­ фициентов С есть относительное число предпочтений, для которых C-Y'i < C-Y;. Если дано множество из m представителей классов А и В, то погрешность вектора коэффициентов С есть относительное число представите­ лей, для которых выражение С-Х:

Разумеется, желательно иметь алгоритм, в соответст­ вии с которым получается С с низкой погрешностью. Век­ тор коэффициентов С называется оптимальным для не­ которого множества X,- в том и только в том случае, когда ни один другой вектор коэффициентов не имеет меньшей погрешности, чем вектор С.

Независимость от величины векторов. Является ли вектор коэффициентов С, полученный с помощью данного алгоритма, независимым от величин векторов Xt полу­ пространства? Хороший алгоритм должен был бы при­ водить к независимости получаемых решений от этих величин. Каждому из предлагаемых алгоритмов, за исключением, как уже разъяснялось, релаксационного алгоритма, свойственна независимость. Для некоторых алгоритмов эта независимость достигается заменой каж­ дого X,- одинаково с ним направленным единичным век­ тором. Отметим, что на погрешность влияет только на­ правление векторов Xit а не их величина. Следовательно, если метод вычисления вектора С требует, чтобы векто­ ры Xt лежали на поверхности единичной гиперсферы или гиперкуба, это не приводит к потере общности. Между

сационного алгоритма находится оптимальный свободный от ошибок вектор С, если таковой существует. Алгоритм выигрыша — проигрыша представляет собой практически пригодную процедуру нахождения оптимального С в слу­

мальных коэффициентов. Поэтому вместе с алгоритмами приводятся рассуждения, призванные объяснить, почему с помощью этих алгоритмов можно вычислить хороший (не обязательно оптимальный) вектор С.

Алгоритм выигрыша — проигрыша для двумерного случая. Для проблемы двумерного полупространства легко вычислить оптимальный вектор С, если число возможных направлений векторов Xt конечно (как это часто бывает в практических задачах). Если число возможных направ­ лений векторов бесконечно, то с помощью этого алгорит­ ма обычно можно вычислить хорошие коэффициенты,

из проекций. Чтобы рассмотреть эту идею на примере, предположим, что мы желаем вычислить некоторый хо­ роший вектор С = ( с ь Со, с3). Предположим, что при проек­ тировании всех X; на плоскость xlt х2 вычислены опти­ мальные коэффициенты ^ — 1, с2 = 2. Эта пара коэффи­ циентов могла была быть вычислена с помощью алгоритма выигрыша — проигрыша. Предположим теперь, что при проектировании на плоскость х2, х3 получились коэффи­ циенты с2 = 4, с3 = 5. Кажется правдоподобным, что вектор (2, 4, 5) будет подходить для исходной трехмерной проблемы, поскольку этот вектор С сохраняет найденные для проекций относительные веса. Разумеется, такой вектор С не обязательно будет оптимальным, даже если полученные коэффициенты для проекций оптимальны. Иногда можно получить хороший вектор С и для много­ мерного случая с помощью алгоритма, основанного на объединении коэффициентов, полученных из проекций.

Нормализация признаков. В большинстве разбирае­ мых ниже алгоритмов желательно, чтобы признаки были нормализованы. Пусть — среднеарифметическое абсо­ лютных значений xijt т. е.

Если бы было = £2 = ••• — In, то признаки были бы уже нормализованы, но обычно эти равенства не выпол­ няются. Тем не менее можно прийти к этой желаемой си­ туации, переопределив признаки, которые обозначаются

Признаки теперь переопределены, так что новая пробле­ ма полупространства определена в пространстве Z, где

Признаки нормализованы, так как для всех /

Следует помнить, что полученное решение проблемы полупространства в пространстве Z составляет слгг +

значения обыкновенных коэффициентов корреляции. Обо­

Если половина хѴ] положительна, а половина отрицатель­ на, Cj = 0. Если исходные признаки не нормализованы, условимся их нормализовать, как было описано в преды­ дущем подразделе. (Нормализация, используемая Самюэ­ лем, незначительно отличается от нашей.) Коэффицициентом для исходного /-го признака является с77£7-.

Нормирование векторов. В большинстве областей при­ менения алгоритмов, которые нам еще осталось рассмо­ треть, желательно, чтобы векторы были единичной дли­ ны, т. е. чтобы вместо каждого вектора X,- был одинаково с ним направленный единичный вектор. Формально мы заменяем Xt на = XJ \ Xt \ . Приведя векторы к единичной длине, мы можем быть уверены, что выполне­ но желаемое свойство—вектор С не зависит от величин векторов Xt.

Алгоритм суммирования нормированных векторов. При использовании этого элементарного алгоритма каждый вектор Х{ нормируется (нормализуются признаки), после чего он заменяется на вектор единичной длины (У,-. За­ тем полагают

m с=%и,

1=1

К сожалению, не всегда с помощью этого алгоритма мож­ но вычислить оптимальные коэффициенты. На фиг. 11.10 с помощью этого алгоритма вычисляется вектор С, на­