5.4.2. Поисковые системы

Очень важная часть Всемирной паутины. Общее количество Веб-страниц в Интернете насчитывает несколько миллиардов и найти нужную информацию при таком обилии материала невозможно. Русский сектор Интернета составляет несколько процентов от общемирового, это сотни миллионов страниц. Самостоятельно разобраться в таком обилии информации невозможно, необходимо использовать системы поиска. Системы поиска бывают 2-х видов: поисковые каталоги ипоисковые системы.

1. Поисковые каталоги построены как справочники, состоят из разделов, подразделов и т.д. Составляются людьми, редакторы просматривают Веб-страницы и распределяют их по разделам, Преимущество – человек работает осмысленно и случайные материалы в раздел не попадают. Недостаток – просматривается очень небольшая часть ресурсов Интернета.

Самый крупный каталог Интернета – Yahoo (yahoo.com) охватывает порядка 1 миллиона страниц, в нем занято более 150 редакторов. В русскоязычном Интернете самый крупный каталог –list.ru, в нем находится порядка 100 тысяч страниц.

2. Поисковые указатели – выдают перечень веб-страниц по запросу. Чаще всего выводятся те страницы, в которых присутствуют указанные в запросе слова. Указатели работают автоматически, без участия человека, в них объем ресурсов на несколько порядков выше. Недостаток – машина не понимает содержания станицы и группирует вместе разнородные материалы.

Самый крупный в мире указатель Fast Search (alltheweb.com) содержит свыше 600 миллионов Веб-страниц. Раньше самой лучшей системой былаAlta Vista (altavista.com), но сейчас она живет в основном на старых ресурсах и на рекламе. В русском Интернете есть 3 указателя –Яндекс (yandex.ru), Рамблер (rambler.ru), Апорт (aport.ru). Их размер составляет десятки миллионов страниц.Из них самым лучшим считается Яндекс – по объему и частоте обновления. Рамблер был первым, но сейчас он все больше уступает. Апрот совсем небольшой, но он стремится к высокому качеству исполнения за счет частично ручной обработки.

Этапы работы поисковых указателей.

1. Сбор информации из WWW. Программа – спайдер или червяк копирует на сервер указателя Веб-страницы, передвигаясь по гиперссылкам. Периодически контролируются изменения и выявляются исчезнувшие ресурсы.

2. Индексация – составление словаря – базы данных о том, где и когда в Интернете встречалось данное слово.

3. Обработка запроса клиента и выдача ему результата в виде ранжированного списка гиперссылок.

Запрос из одного распространенного слова в русском Интернете даст несколько тысяч ссылок, в англоязычном – сотни тысяч ссылок. Обычно клиент просматривает около 50 первых ссылок, так что разницы здесь нет.

Ценность поисковой системы проявляется в том, насколько удачно расположены верхние ссылки, без повторения, ссылки на мертвые ресурсы и пр. При проектировании Веб-страниц имеются приемы, размещения в нужных местах нужных слов, позволяющие этим страницам попадать на верхние строчки рейтинга поисковых систем.

Проверка качества работы поисковой системы: дать запрос о каких-то последних сенсационных событиях. Если много ссылок, то база обновляется часто. Если в сто раз меньше, то эта система работает плохо, а живет в основном за счет рекламы.

Способ сокращения числа ненужных ссылок в запросе: использовать группы слов или целые фразы. Однако в разных поисковых системах одинаковые фразы приводят к разным результатам. Во всех поисковых системах возможно три варианта соединения слов:

And (и), выводятся на экран страницы, в которых вместе присутствуют два слова.

OR (или), выводятся на экран страницы, в которых слова по отдельности и вместе

NOT (нет), выводятся на экран страницы, в которых есть либо одно слово, либо второе

Надо знать синтаксис происковой системы, чтобы представлять себе, что в данной системе представляют собой пробелы или какие-то специальные значки.

Вообще об эффективности Интернета, сравнении его с библиотеками, о том, что всем надо уметь пользоваться.