978-5-7764-0767-3
.pdfщее определение, делающее возможным распознавание, в дальнейшем, при-
меров целевого класса. Данный подход и разработанная на его основе про-
грамма представлены в работе [64]. Программа позволяет строить определе-
ния структурных понятий, описывая их составные части. На вход программы подается последовательность положительных и отрицательных примеров по-
нятия структуры, которые удовлетворяют определенным условиям или почти удовлетворяют им. «Почти удовлетворительными» считаются экземпляры,
которым для принадлежности к целевому понятию не хватает одного свой-
ства или отношения. Такие экземпляры позволяют программе выделять свой-
ства, которые можно использовать для исключения отрицательных примеров из целевого понятия. В программе понятия представляются в виде семанти-
ческой сети, которая обучается с помощью поступающих на вход примеров,
уточняя описание кандидата на роль описания верного понятия, с помощью операций обобщения (замена имени узла или связи более общим понятием) и
специализации (добавления связей между узлами семантической сети). Эти операции задают пространство возможных определений понятия. Программа
[64] осуществляет поиск экстремума на основе поступающих примеров (эк-
земпляров). Программа не отслеживает маршрут поиска и ее производитель-
ность сильно зависит от порядка предъявления экземпляров понятия. Не-
удачный порядок может завести программу в тупик пространства поиска.
Для исключения такой ситуации необходимо формировать последователь-
ность примеров, способствующую изучению данного понятия. Получается,
что алгоритмы индуктивного обучения для изучения понятий зависят от ка-
чества обучающих примеров.
Обучение на основе поиска в пространстве версий [50,52] представ-
ляет индуктивное обучение, основанное на том, что операция обобщения упорядочивает понятия в пространстве поиска. Полученный порядок исполь-
зуется для выбора направления поиска. При определении пространства поня-
тий типичными операциями являются обобщение и специализация. Для ма-
шинного обучения, в качестве основных операций обобщения, используются:
161
замена конкретных значений переменными; исключение условий из конъ-
юнктивных выражений; добавление в выражение операции дизъюнкции; за-
мена свойств родительским объектом в соответствии с иерархией классов. В
терминах теории множеств операция обобщения может быть представлена следующим образом: Пусть R и D – множество предложений, удовлетворя-
ющих выражениям r и d из теории предикатов, соответственно. Выражение r
является более общим, чем d тогда, если R D. Существует несколько алго-
ритмов поиска в пространстве понятий, которые основываются на понятии пространства версий, которое является множеством всех доступных описа-
ний понятия. Каждая версия представляется как обучающий пример. Извест-
ные алгоритмы поиска в пространстве версий сужают пространство версий с появлением новых примеров. Одни алгоритмы сужают пространство версий в направлении от частного к общему, другие – от общего к частному. Кроме этих, основополагающих подходов, существуют алгоритмы их объединяю-
щие. Алгоритм, реализующий двунаправленный поиск [15,22,52] называется алгоритмом исключения кандидата. Обучение заключается в обнаружении в обучающих данных закономерностей. Использование двух множеств поня-
тий-кандидатов R и D (R – множество максимально общих понятий кандида-
тов, а D – множество максимально конкретных понятий кандидатов) позво-
ляет этому алгоритму проводить специализацию множества R и обобщение множества D до тех пор, пока они не сведутся к целевому понятию.
Алгоритм ID3 представляет собой [15,22,59] индуктивный алгоритм по-
строения дерева решений, обеспечивающий изучение понятий на примерах.
Он выполняет обобщение за счет поиска закономерностей в обучающих дан-
ных. Для алгоритма ID3 понятия представляются в виде дерева решений, что позволяет классифицировать объект путем проверки значения определенных свойств. Каждый внутренний узел дерева решений представляет некоторое свойство и каждому значению этого свойства соответствует ветвь дерева, а
узлы-листья отражают результаты классификации. Сформированное дерево решений позволяет классифицировать объект, тип которого неизвестен. С
162
этой целью, для каждого внутреннего узла, проверяется значение соответ-
ствующего свойства для рассматриваемого объекта и осуществляется пере-
ход по соответствующей ветви. Каждое свойство может рассматриваться с позиций его вклада в процесс классификации объектов. Классификация за-
вершается при достижении конечного узла, указывающего на класс объекта.
Использование индуктивного порога. Проблема сложности процесса обучения во многом связана с проблемой выбора наилучшего варианта обобщения на основе обучающих данных. Одним из решений этой проблемы является применение критерия отбора, называемого индуктивным порогом,
который позволяет, в ходе обучения, обобщать информацию эвристически. С
этой целью учитываются те аспекты, которые с большей вероятностью ока-
жутся полезными в будущем. Индуктивный порог может использоваться во всех методах обучения, в задачах обучения с большими пространствами по-
иска. В машинном обучении [15] используются различные типы порогов:
конъюнктивные пороги – ограничивают возможности обучения конъюнкци-
ей литералов [51]; ограничения на количество дизъюнктов – повышают выра-
зительность представления примеров; векторы признаков – позволяют опи-
сывать объекты через наборы свойств, значения которых различны для раз-
ных объектов [15,22,59]; хорновские выражения – налагают ограничения на форму вывода, используемую при автоматических рассуждениях. Следует отметить, что помимо синтаксических порогов, при описании области опре-
деления используются априорные знания о ней, которые и обеспечивают эф-
фективные ограничения (пороги).
Обучение на основе объяснения строится на несколько иной концеп-
ции, чем рассмотренные подходы и алгоритмы. В представленных алгорит-
мах индуктивного обучения выполняется обобщение путем поиска законо-
мерностей в предлагаемых примерах (входных данных). Они основаны на подобии, т.к. обобщение для них является функцией подобия для обучающих примеров. В свою очередь, пороги в этих алгоритмах являются синтаксиче-
скими ограничениями на форму представления моделей действительности
163
(знаний). Они не предполагают строгих ограничений для семантики области определения. Кроме того, при использовании алгоритмов, основанных на по-
добии, требуются большие объемы обучающих примеров.
В реальных задачах на любом множестве примеров можно построить неограниченно много обобщений, большинство из которых окажутся непри-
годными. Выходом из такой ситуации является использование априорных знаний, в качестве семантических порогов, области определения.
Одним из подходов к использованию знаний в обучении является обу-
чение на основе объяснения, где явное представление теоретических знаний об области определения используется для построения пояснений к обучаю-
щим примерам. Уточнение, удаление шума в обучающих данных выполняет-
ся за счет обобщения пояснений к примерам, а не самих примеров. В алго-
ритме MetaDENDRAL [7,15,22], который формирует правила для масс-
спектрографического анализа данных, применяемые программой DENDRAL,
использованы преимущества теоретической интерпретации обучающих при-
меров. В другом алгоритме EBL [15,41] входными данными являются:
целевое понятие, которое будет формироваться обучаемой системой;
обучающий пример из множества, подаваемых на вход, экземпляров по-
нятия;
знания об области определения в виде правил или фактов, объясняющих принадлежность примера целевому понятию;
средства описания формы, принимаемой определением понятия.
В этом случае алгоритм EBL позволяет выучить правила в рамках де-
дуктивного замыкания существующих сведений об области определения, а
обучающий пример фокусирует внимание обучаемой системы на существен-
ных аспектах области определения задачи. При таком подходе алгоритм EBL
используется для ускорения обучения или реструктуризации базы знаний, но он не позволяет изучить никакой новой информации. Он извлекает неявную информацию из набора правил и делает ее явно. В «чистом» виде [15] алго-
ритм EBL позволяет выполнять только дедуктивное обучение.
164
Метод обоснования по аналогии позволяет более гибко использовать имеющиеся знания. В основе этого метода заложены следующие предпосылки [15,42,43,44,45]. Если две ситуации сходны в некотором отношении, то весьма вероятно, что они окажутся сходными и в других проявлениях. Следует учитывать, что метод аналогии не является строгим и в этом смысле он подобен индукции, а в работе [60] аналогия определяется как индукции на основе единственного примера. В этом случае, свойства одного объекта прогнозируются на основе информации о втором. Аналогия очень полезна для применения новых знаний к новым ситуациям. В отличие от рассмотренных систем формирования понятий, использующих индуктивный метод, Рейтманом была разработана программа «Аргус», которая применима лишь к задачам на аналогию типа A:B::C: (W, X, Y или Z).
Данное выражение означает, что отношение А к B равно по определению соотношению С к одному из символов: W, X, Y или Z.
К данному разделу условно может быть отнесена система формирования понятий Саймона и Котовского [61]. Их исследование связано с изучением того, как человек формирует понятие для последоват е л ь н ы х о б р а з о в т и п а a t b a t a a t b a t – и л и u r t u s t u t t u – , где «-» означает пропущенный символ, который должен быть восстановлен после нахождения понятия. В результате работы программы по с лед о ва те льно с ть a t b at a at b at - разбивается на трех-буквенные периоды: atb ata atb at -, а понятие формируется так: «внутри каждого периода после букв a и t чередуются буквы b и a в качестве последней буквы».
В общем случае обоснование по аналогии включает следующие этапы
[15, стр. 412]:
1.Поиск потенциального источника аналогии и выделение свойств цели
иисточника, обеспечивающих правдоподобие аналогии.
2.Развитие (Уточнение). В обнаруженном источнике выделяются дополнительные свойства и отношения.
3.Отображение и логический вывод. Предполагается отображение атри-
бутов источника в область определения цели.
165
4. Подтверждение. Проверяется корректность отображения и, при необ-
ходимости, оно модифицируется.
5. Обучение. Сохранение полученных знаний в форме, обеспечивающей их дальнейшее использование.
Данные этапы присутствуют в теории структурного отображения [15,
стр. 413] позволяет решить проблему поиска полезных аналогий и обеспечи-
вает правдоподобную модель понимания аналогий человеком. Узким местом является необходимость разделения выразительных, глубоких аналогий и по-
верхностных. Теория структурного отображения реализована и протестиро-
вана во многих областях определения, но она еще далека от полной теории аналогии, т.к. не решает проблему поиска источника аналогии [15].
Обучение без учителя в научной области. Рассмотренные алгоритмы индуктивного обучения предполагают наличие внешнего источника «пра-
вильной» классификации обучающих данных и относятся к категории «обу-
чение с учителем». Другая категория – «обучение без учителя» не предпола-
гает наличия внешнего источника «правильной» классификации – «учителя».
При обучении без учителя формирование понятий происходит в самой обу-
чаемой системе. Хорошим примером обучения без учителя, в современном обществе, является наука [22,57]. В этой области знания не поступают от
«учителя», а строятся гипотезы, затем проводятся объясняющие их наблюде-
ния, потом оцениваются эти гипотезы и в итоге они тестируются с помощью разработанных экспериментов. Наиболее успешной среди систем, позволя-
ющих «открывать» новые знания, является программа AM [15, 40,46], кото-
рая выводит интересные, а иногда и оригинальные, понятия в математике,
основываясь на теории множеств, операциях по созданию новых знаний пу-
тем модификации и комбинирования существующих понятий, а также наборе эвристик для выявления «интересных» понятий. Программа АМ смогла «от-
крыть» натуральные числа, модифицируя свое представление о «множествах с повторяющимися элементами», например (a, a, b, c, c). В ходе операции специализации для определения такого множества, в котором содержатся
166
только элементы одного типа, и возникла аналогия с натуральными числами.
После формирования нового понятия программа АМ оценивает его «инте-
ресность» используя для этого эвристики. Простые числа оказались интерес-
ными. Такое заключение было выведено на основе частоты их появления.
Несмотря на сделанные «открытия» программа АМ не смогла продвинуться дальше элементарной теории чисел. Выяснилось, что своим успехом про-
грамма обязана языку представления математических понятий. Еще одним недостатком программы АМ является ее неспособность «учиться учиться»,
т.е. в процессе приобретения математических знаний она не выводит новых эвристик, что сказывается на качестве поиска при увеличении математиче-
ской сложности задач. Это не позволяет программе достичь глубокого пони-
мания математики.
Научная деятельность – важная область исследования, но в ней пока по-
лучены очень незначительные результаты. Фундаментальной проблемой обучения без учителя, при решении которой был достигнут серьезный про-
гресс, является изучение категорий [15]. В работе [55] отмечено, что форми-
рование категорий является основой научных исследований.
Алгоритмы концептуальной кластеризации для своей работы требу-
ют набор неупорядоченных, неклассифицированных экземпляров (объектов)
и средства измерения подобия объектов. Итогом работы алгоритмов является организация объектов в классы, удовлетворяющие некоторому стандарту ка-
чества, например на основе максимального сходства объектов каждого клас-
са. Одним из первых подходов к решению задачи кластеризации является числовая таксономия. Применяя метрику подобия, типичные алгоритмы кла-
стеризации строят эти классы по принципу «снизу вверх» [15]. В результате работы такого алгоритма строится бинарное дерево, листья которого соот-
ветствуют экземплярам, а внутренние узлы представляют собой кластеры бо-
лее общего вида. Недостатками данного подхода является то, что не учиты-
ваются цели, базовые знания, не обеспечивается осмысленное семантическое обоснование сформированных категорий. Кластер представляется перечис-
167
лением всех его элементов и нельзя получить содержательные определения или общие правила описания семантики категории, которые можно было бы использовать для классификации как известных, так и неизвестных предста-
вителей данной категории.
При концептуальной кластеризации возможно решить эти проблемы за счет применения методов машинного обучения для создания общих опреде-
лений и использования базовых знаний при формировании этих категорий.
Примером реализации такого подхода является система CLUSTER/2 [53 ]. В
этой программе для представления категорий используются базовые знания в форме языковых порогов. Для кластеризации в системе формируются k кате-
горий на базе k опорных объектов (k представляет собой параметр, задавае-
мый пользователем). Программа оценивает полученные кластеры, выбирает новые опорные объекты и повторяет этот процесс до тех пор, пока не будет достигнут критерий качества.
Программа COB-WEB. В алгоритмах кластеризации и в алгоритмах обучения с учителем, типа ID3, категории определяются в терминах необхо-
димых и достаточных условий принадлежности этим категориям. Условия представляются наборами признаков, свойственными каждому элементу ка-
тегории и отличными от признаков другой категории [3,15]. Человеческие категории не всегда соответствуют данному подходу и обладают большей гибкостью и разветвленной структурой. Человеческие категории определя-
ются сложной системой сходства между элементами и для них может не су-
ществовать свойств, общих для всех элементов класса. Кроме того, в челове-
ческой категории не все уровни человеческой таксономии одинаково важны,
в них присутствуют категории базового уровня, представляющие собой клас-
сификацию, которая чаще всего используется для описания объектов в тер-
минах, изученных с раннего детства, на уровне, в некотором смысле охваты-
вающем наиболее фундаментальные свойства объекта [15].
В системе COB-WEB [43] учитываются категории базового уровня и степень принадлежности элемента соответствующей категории, реализован
168
инкрементальный алгоритм обучения, не требующий представления всех обучающих примеров до начала обучения. Новые данные обучаемая система получает со временем, для чего она должна строить полезные определения понятий на основе исходных данных и обновлять их по новой информации. В
системе COB-WEB реализовано вероятностное представление категорий, что позволяет принадлежность категории определять не набором значений каж-
дого свойства объекта, а вероятностью появления значения P(qi=dij│gk) – это условная вероятность, с которой свойство qi принимает значение dij, если объект относится к категории gk. В итоге получается, что для каждой катего-
рии в иерархии определены вероятности вхождения всех значений каждого свойства, что важно для категоризации новых элементов и актуализации имеющихся. При поступлении нового экземпляра модификация категорий осуществляется с применением критерия полезности категории, который был определен при исследовании человеческой категоризации и учитывающий влияние категорий базового уровня, других аспектов структуры человече-
ских категорий. Критерий полезности категории максимизирует вероятность того, что два объекта из одной категории обладают одинаковыми свойства-
ми, и низкую вероятность наличия этих свойств у объектов из других катего-
рий.
Обучение с подкреплением – это обучение тому, что надо делать, как следует отображать ситуации в действия, чтобы максимизировать некоторый сигнал поощрения, принимающий числовые значения [23]. Все эти процессы аналогичны обучению человека при взаимодействии с реальным миром. При этом реальный мир является «учителем», который, обеспечивает обратную связь на действия человека. Обратная связь на действия человека не всегда проявляется сразу и в явной форме. Результаты человеческой активности, его воздействия на реальный мир проявляются, обычно, через некоторое время.
Как отмечается в [23], обучение с подкреплением явно служило отправ-
ной точкой ранних исследований в области обучения машин, большинство исследователей начинали работать в этой области, но потом некоторые пере-
169
ключились на такие вопросы, как классификация образов, обучение с учите-
лем, адаптивное управление, а другие просто перестали заниматься исследо-
ваниями в области обучения. Это привело к тому, что аспекты обучения, свя-
занные с воздействием среды, пользовались относительно малым вниманием исследователей и специалистов в области искусственного интеллекта. Авто-
ры [23] впервые к тому, что сейчас принято называть обучением с подкреп-
лением, пришли в 1979 году. С тех пор эта область исследований прошла долгий путь, развиваясь в настоящее время по нескольким направлениям.
Обучение с подкреплением постепенно стало одним из наиболее активно ис-
следуемых направлений в области машинного обучения, целенаправленного поведения, нейросетевых исследований.
Итогом обучения с подкреплением является вычислительный алгоритм перехода от ситуации к действиям, максимизирующим вознаграждение.
Субъекту (решателю, интеллектуальному агенту) не даются указания о том,
что делать. Агент (интеллектуальный) на основе своего опыта узнает, какие его действия приводят к наибольшему вознаграждению. Его деятельность определяется не только текущим результатом, но и последующей деятельно-
стью и случайными вознаграждениями. Используемые метод «проб и оши-
бок» и подкреплении с задержкой составляют основу обучения с подкрепле-
нием. Оно связано с действиями объекта в окружающей среде и откликом этой среды. Методы, реализующие такой подход, относятся к методу обуче-
ния с подкреплением. На основе этих методов агент обучается сам с помо-
щью проб, ошибок и обратной связи. Он определяет оптимальную политику для достижения цели во внешней среде.
Серьезной проблемой среди возникающих в обучении с подкреплением и отсутствующих в других видах обучения является проблема поиска ком-
промисса между изучением и применением, то есть между поведением,
направленным на получение знания, и поведением, основанным на использо-
вании уже имеющегося знания [22,23]. Для получения большего вознаграж-
дения, агент, ориентированный на обучение с подкреплением, должен пред-
170