9.3.3. Системы интеллектуальных поисковых агентов

Сегодня в развитии систем поиска и обработки Интернет-ресурсов наметился явный сдвиг в сторону использования средств ИИ, в частности представления знаний и вывода на знаниях, интеллектуальных механизмов обучения, анализа естественно-языковых текстов и некоторых других.

Как правило, системы интеллектуального поиска разрабатываются либо в серь­езных фирмах, владеющих технологиями разработки и реализации интеллекту­альных агентов, либо в исследовательских лабораториях университетов. Спра­ведливости ради следует заметить, что коммерческие версии таких систем часто декларируют больше, чем реализовано в действительности, а исследовательские разработки обычно существуют в виде демонстрационных версий с ограничен­ными возможностями, хотя в теоретическом плане последние интереснее.

Для конкретизации дальнейшего изложения остановимся сначала более подроб­но на нескольких, интересных на наш взгляд, коммерческих системах интеллек­туального поиска и обработки информации в сети Интернет, а завершим обсуж­дение рассмотрением нескольких исследовательских проектов в этой области, использующих онтологии.

Autonomy и Web compass - системы интеллектуального поиска и обработки информации

Обсуждаемые ниже версии агентных поисковых систем Autonomy [Autonomy, 1998] и Web compass [Web compass, 1999] созданы во второй половине 90-х годов. Цели их разработки практически одинаковые - обеспечить пользователя интег­рированными средствами поиска релевантной его интересам информации в сети Интернет, организация найденных документов в рамках определенных тем, а так­же автоматизация процессов самого поиска. Вместе с тем проектные решения, принятые разработчиками, здесь существенно разные.

Первое различие между этими системами в ориентации на разные категории пользователей.

Система Autonomy представляет собой совокупность программных агентов для интеллектуального поиска и обработки информации, организованных в рамках специализированной оболочки, предназначенной скорее для конечных пользо­вателей, чем предметных специалистов. Такая установка влечет за собой специ­альную организацию интерфейсов, интуитивно понятную и прозрачную для но­вичков. По сути, пользователю здесь предлагается парадигма «антропоморфного» общения со всеми компонентами системы и «игровой» подход к решению доста­точно сложных задач (рис. 9.7).

Рис. 9.7. Главная панель системы Autonomy

Система Web compass архитектурно тоже состоит из агентно-ориентированных компонентов, поддерживающих все основные процессы, которые должны быть реализованы в полномасштабном программном комплексе поиска и анализа ин­формации. Но ориентирована эта система, прежде всего, на «продвинутых» пользователей, которые хотят и могут сформировать структурное описание об­ласти своих интересов. Коммуникационный центр Web compass (рис. 9.8) пред­лагает пользователю парадигму многооконного интерфейса, характерную для современных офисных приложений, и систему структурных редакторов для спе­цификации предметной области, поисковых запросов и управляющей информа­ции.

Второе различие между системами Autonomy и Web compass - в подходе к описа­нию предметной области поиска.

В первых версиях системы Autonomy использовалась технология нейросетей и специальный метод представления, разработанный для фирмы Agent Ware (так тогда называлась фирма, выпустившая релиз системы Autonomy) коллективом Neurodynamics из Кембриджа. В основе технологии лежат методы распознава­ния образов и обработки сигналов. При этом системой формируется представле­ние о том, какими должны быть релевантные документы, используемые в даль­нейшем на этапе поиска информации.

В системе Web compass описание предметной области основано на использовании таксономии понятий, связанных между собой отношениями типа is a, part of, has part, is a kind of и некоторых других. Ограничением такого представления являет­ся то, что между понятиями не может быть больше одного отношения.

Рис. 9.8. Коммуникационный центр системы Web compass

Третье различие между обсуждаемыми системами состоит в используемых сред­ствах спецификации запросов.

В системе Autonomy запрос на поиск представляется на естественном языке. Си­стема анализирует текст автоматически и извлекает из него смысловое содержа­ние, которое помещается в специальный конфигурационный файл. При этом внутреннее представление запроса тоже представляется нейросетью, в узлах ко­торой располагаются ключевые слова и выражения.

Запрос к системе Web compass базируется на «прямом» использовании сформи­рованного пользователем описания предметной области. Поскольку здесь такое описание представлено таксономией понятий (ключевые слова и выражения), то для формирования запроса достаточно просто промаркировать интересующие пользователя темы. На основании этих пометок система сама формирует запрос на поиск релевантной информации.

Собственно поиск релевантной информации в системе Autonomy ведется с ис­пользованием методов нечеткой логики. В основе поискового алгоритма лежит «Механизм динамических рассуждений» (МДР), разработанный уже упоминав­шимся коллективом Neurodynamics. Базовые функции МДР - сравнение кон­цептов (по входному тексту определяются ссылки на документы из заранее со­ставленного списка с наиболее релевантной информацией для поиска); создание агента (формируются концепты из тренировочного текста и из других подходя­щих источников для использования их агентом); стандартный поиск слов в тек­сте.

Поиск в системе Web compass ведется на основе ключевых слов. При этом он осу­ществляется сразу на 35 машинах поиска, которые задаются списком. Этот спи­сок можно изменять, а кроме того, добавить адреса для поиска в интранет, Usenet, FTP и Gopher ресурсах. Система проверяет каждую найденную ссылку на доступность и, анализируя найденную информацию, составляет краткое ре­зюме документов, а также определяет степень соответствия сайта запросу пользователя, ранжируя найденные документы от 1 до 100. Остальные функциональные возможности рассматриваемых систем скорее сход­ны, чем различны. Это формирование репозиториев результатов, наличие фоно­вого режима поиска информации и некоторые другие.

Из интересных особенностей системы Autonomy, отсутствующих в системе Web­compass в явном виде, можно отметить режим обучения поисковых агентов. Оценивая рассмотренные выше системы и класс агентных систем данного типа можно отметить их следующие достоинства:

• возможность простой модификации используемых машин поиска;

• использование словарей терминов для обработки запросов;

• создание кратких аннотаций найденных документов;

• поддержка настраиваемых баз данных по темам поиска и результатам;

• классифицикация результатов поиска по темам, запоминание и автоматичес­кое обновление ссылок на источники;

• использование результатов поиска для улучшения его качества в той же обла­сти в будущем.

Недостатком таких систем является, как правило, слабая обучаемость агентов. Поэтому такие системы являются полезными инструментами при поиске инфор­мации в Интернете, но не могут сделать этот поиск полностью автоматическим и эффективным с точки зрения пользователя.

Справедливости ради отметим, что в последнее время фирмы, выпускавшие сис­темы Autonomy и Web compass, рассмотренные выше, а также многие другие фир­мы, работающие на рынке информационных технологий, активно используют последние наработки в этой области, полученные в исследовательских лаборато­риях и проектах, связанных с проблематикой искусственного интеллекта. Учитывая вышесказанное, сейчас на авансцену развития агентных технологий вообще и использования их при поиске информации в частности выходят про­блемы представления знаний, механизмы вывода новых знаний, описание модели мира, моделирование рассуждений в рамках агентного подхода. По существу, именно эти аспекты и являются ключевыми при создании интеллектуальных си­стем поиска информации в сети Интернет в разных исследовательских проектах, к обсуждению которых мы и переходим.