Поисковые системы сети Internet. Курс лекций

вую систему HotBot. В октябре 2000 года Lycos был куплен компанией Terra Networks и стал ее подразделением, известным как Terra Lycos.

Сейчас Lycos использует базы данных FAST, которая насчитывает более 600 млн проиндексированных страниц. Lycos также использует БД поискового каталога ODP (DMOZ), которая насчитывает 2 млн.

5. Поисковая система Yahoo!

Yahoo! является старейшей и популярнейшей поисковой системой и каталогом. Для поиска Yahoo! использует базы данных Google. Компания была основана в 1994 году. Ее название является аббревиатурой фразы: Yet Another Hierarchical.

Для того чтобы представить популярность данной службы, достаточно посмотреть следующие данные: Yahoo! показывает более 2 млрд страниц в день. Сегодня компания представлена более чем в 25 странах мира и имеет локальные версии своего портала на 12 языках, включая английский.

На сегодняшний день Yahoo! — это уже не просто каталог, это целая группа разнообразных сервисов, среди которых такие, как каталог Yahoo!ligansYahoo! для детей, система персональых каналов My Yahoo!, бесплатный E-mail сервис, система «Shop with Yahoo!» (покупайте с Yahoo!), совместный с MTV проект MTV unfURLed и многое другое. Среди всех рассмотренных систем Yahoo! — единственная чисто каталоговая, на Yahoo! нет собственной поисковой машины. Cписок категорий на Yahoo! является наиболее полным и простым — в отличие от других каталогов на Yahoo! всегда легко определить, в каком разделе находится нужная информация. Заглавная страничка Yahoo! грузится очень быстро — хотя на ней очень много ссылок, но все они текстовые.

При вводе ключевых слов с основной страницы Yahoo! запрос обрабатывается по методу «Intelligent default», то есть Yahoo! ищет наиболее подходящие результаты в таких областях: в категориях Yahoo!; в веб-сайтах, зарегистрированных на Yahoo!; на AltaVista (запрос передается при отсутствии результатов); в новостях. Такой интеллектуальный поиск занимает довольно много времени.

При задании критериев поиска для Yahoo! нужно помнить, что Yahoo! ищет эти слова только в названии и описании страницы, поскольку полнотекстового индекса на Yahoo! нет. Поэтому не следует указывать при поиске слишком много терминов или синонимов — количество результатов с Yahoo! снизится или даже будет нулевым.

Среди средств расширенного поиска — ограничение результатов по дате, поиск в Yahoo!, Usenet и среди E-mail адресов, использование логических операций над терминами и поиск конкретной фразы. Также присутствует возможность

29

искать слова с произвольными окончаниями, указывать слова, которые должны или не должны присутствовать в документе и т. д. Русские ресурсы в Yahoo! не добавляются, потому что в Yahoo! Inc. просто некому смотреть и оценивать их содержимое. Те запросы, которые не дали результатов на Yahoo!, передаются на AltaVista, а там есть хороший индекс русских ресурсов.

6. Поисковая система Yandex

Русскоязычная поисковая система. На сегодняшний день располагает самой большой базой данных, которая имеет кластерную структуру и размещена на нескольких серверах.

Yandex — гигант поиска в российской части Интернета. На данный момент количество проиндексированных документов свыше 90 млн с 700 тыс. серверов. Релевантность на Яндексе определяется с помощью индекса цитирования — количества ссылок на ресурс, но не просто количества, а еще и качества, то есть веса ссылки. «Авторитетность» ссылки определяется по специально разработанному алгоритму, и большую роль играет тематическая близость ресурсов и ссылающихся сайтов. Яндекс позволяет искать в своем тематическом каталоге новости (предлагается большое количество источников), товары и цены, статьи энциклопедий (Большая советская энциклопедия, Малый энциклопедический словарь Брокгауза и Ефрона, Толковый словарь живого великорусского языка Владимира Даля и т. д.), картинки.

Ко всему перечисленному Яндекс позволяет сравнить результаты поиска в других поисковых системах: AltaVista, Google, Fast, Yahoo!, Rambler, Апорт! Ка-

чеством поиска его превосходит только именитый Google и иногда Fast. На поисковике Yandex можно подписаться на запрос, и при появлении новых страниц в Сети по нему вы получите результаты электронной почтой.

У Яндекса достаточно быстрый поисковый робот, после 2–4 часов регистрируемая страница появляется в поисковых результатах. Список результатов может меняться в зависимости от загруженности серверов, так как база данных имеет кластерную структуру и разнесена на несколько серверов.

7. Поисковая система Rambler

Поисковая система Рамблер начала свое существование с 1996 года. На сегодняшний день она является одной из самых популярных в Рунете, уступая лишь Яндексу. По оценкам компании SpyLog, на Рамблер приходится 20–25% от всех поисковых запросов Рунета.

Поисковая система Рамблер при поиске учитывает морфологию русского языка, что дает больше возможностей для эффективного поиска информации.

30

Реализована также система так называемых перевязок, которая позволяет выдавать в результатах поиска не только страницы, содержащие запрос, но и слова, которые являются синонимами запроса.

На Rambler функционирует также рейтинговая система Rambler's Top 100, в которой можно найти наиболее посещаемые сайты по определенной тематике. На данный момент это самый популярный рейтинг Рунета, даже можно сказать, что это один из немногих рейтингов Рунета, в которых стоит участвовать.

8. Поисковая система Aport!

Сайтом, в понимании Апорта!, может являться как целый сервер, так и самостоятельная по содержанию часть сервера. Добавлять следует корень сайта, остальные страницы будут найдены Апортом! по ссылкам. Апорт! является поисковой системой по российскому Интернету.

Апорт! периодически проверяет уже имеющиеся в его базе сайты и приводит свою базу в соответствие с произошедшими там изменениями. При просмотре содержимого сервера для индексирования Апорт! обязательно проверяет файл robots.txt. Апорт! по умолчанию не индексирует документы, в Url которых встречается символ «?».

Апорт! — полнотекстовая поисковая система, она индексирует все слова, которые бы увидел на экране человек, просматривая конкретную страницу вашего сервера. В результате любое слово из текста ваших документов может служить критерием последующего поиска.

31

Список использованной литературы

1.Арапов М. В. Квантитативная лингвистика / М., 1988. С. 45–53.

2.Попов А. Поиск в Интернете — внутри и снаружи / Эффективная методика поиска информации в сети Интернет [Электронный ресурс]. Режим доступа: popov@pol.ru; www.shipbottle.ru.

3.Капустин В. А., Янсен А. А. Ранговая статистика встречаемости слов в большой текстовой коллекции // Труды 8-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллек-

ции» — RCDL`2006. Суздаль, 2006.

4.Постулаты работы поисковой системы [Электронный ресурс]. Режим доступа: www.antula.ru/index.htm.

5.Создание сайта: надежность сайта. Повышение надежности сайта [Электронный ресурс]. Режим доступа: www.antula.ru/index.htm.

6.Семантические поисковики. Upgrade — твой компьютерный еженедельник

[Электронный ресурс]. Режим доступа: http://www.upweek.ru/semanticheskiepoiskoviki.html.

7.Midwinter Phill. Is Google a Semantic Search Engine? Hakia takes on Google with semantic technologies [Электронный ресурс]. Режим доступа: http://www.readwriteweb.com/archives/is_google_a_semantic_search_engine.php.

8.Поисковики. HRазведка [Электронный ресурс]. Режим доступа: http://hrazvedka.ru/poisk/poiskoviki.html.

32