Новые поисковые технологии

Автоматическая каталогизация. Для поисковых каталогов вопрос несоответствия между размерами исследованного и неисследованного Web-пространства стоит особенно остро. Перспективные направления развития основаны на внедрении так называемых SMART-технологий автоматической каталогизации. Существует множество теоретических изысканий в этой области, но наиболее перспективной является модель векторного информационного пространства. Представим себе эксперта в какой-то области, например в физике. Проанализировав множество документов, относящихся к своим научным областям, он сможет не только указать характерные термины и понятия, но и дать им весовые оценки. Комбинируя термины и весовые коэффициенты, можно строить многомерные системы координат, в которых различные области знания описывались бы разными многомерными векторами. Автоматически получив новую Web-страницу, поисковая система может построить для нее математический вектор, основанный на формальном анализе содержания. Сравнивая этот вектор с уже рассчитанными векторами для различных областей знания, система может без участия человека предположить, к какой категории, теме и разделу относится тот или иной документ.

При таком подходе не обязательно хранить копии всех известных Web-страниц как не надо хранить и их поисковые указатели. Вполне достаточно для каждого Web-документа хранить лишь его URL-aдpec и число, соответствующее вектору. В настоящее время конкретные алгоритмы SMART-технологий не публикуются но можно предположить, что они уже работают, например, в поисковых системах реального времени.

Поисковые системы реального времени. Это новое направление в технологиях поиска. Для работы с такой службой пользователь должен подключиться к ее центральному серверу, получить оттуда и установить на своем компьютере клиентскую программу. Эта программа подключается к браузеру и работает как дополнительная панель.

При каждом запуске браузера клиентская программа устанавливает соединение со своим центральным сервером и далее работает с ним в паре. Она передает серверу копии всех Web -страниц, которые посещает пользователь, то есть выполняет те же функции, что и автоматический червь, копирующий Web-ресурсы на сервер традиционной поисковой системы. Однако при этом есть два существенных различия:

• во-первых, человек в ходе навигации в WWW руководствуется не теми принципами, что автоматическая программа, поэтому сервер получает копии не всех Web-ресурсов, а только тех, что заинтересовали кого-то из его клиентов;

• во-вторых, если поставкой Web-ресурсов занимаются несколько миллионов постоянных клиентов, индексация Web-пространства происходит намного быстрее.

В свою очередь, пользователь тоже имеет важное преимущество. На какой бы Web-странице он ни находился, система всегда готова предложить ему список других Web-страниц, имеющих близкое по тематике содержание. Она готовит этот список на основании предшествующего опыта, полученного в работе с другими людьми. Так можно получить рекомендации, которые было бы очень трудно (а зачастую и невозможно) разыскать в WWW традиционными поисковыми средствами.