42. Структура поисковых систем. Понятия агента (паука, робота), базы данных, поискового механизма.

Механизм работы поисковиков

Каждая поисковая система – это комплекс программ.

Основные части программного комплекса:

Агент spider (паук). Автономно работающая программа, которая перебирает страницы сайтов, стоящих в очереди на индексацию. Она скачивает на диск поискового сервера содержимое исследуемых страниц.

Агент crawler (“путешествующий” паук). Его задача - собирать все ссылки на исследуемой странице, находить среди них новые, неизвестные поисковой системе, и добавлять их в список ожидающих индексации.

Индексатор. Обрабатывает страницы из очереди на индексацию. Для этого он оставляет “словарь” странички, запоминает “частоту” использования слов. Особо отмечает ключевые слова, используемые в заголовках, выделенные в тексте жирным шрифтом. Помещает все это в особый файл - “индекс”.

База данных. Хранит ссылки на страницы, словарь встречаемых на странице слов и много другой информации, которая необходима для формирования результатов поиска.

Система обработки запросов и выдачи результатов. Принимает запрос пользователя, формирует запрос к базе данных, получает оттуда результат и передает его пользователю.

43. Ранжирование информации в базах данных поисковых систем. Понятие релевантности, ее основные принципы.

Релевантность – приоритетность страниц, которая определяется

соответствием страницы ключевым словам;

величиной (глубиной) обновления страницы;

частотой её обновления;

скоростью выдачи результатов.

Релевантность – это критерий, по которому машина определяет, какие документы наиболее точно отвечают на запрос.

Поисковые системы имеет секретные алгоритмы определения релевантности, но существуют несколько общих критериев, которые учитывают большинство поисковиков при определении порядка выдачи результатов.

Заголовок. Присутствует ли запрошенное слово в заголовке?

Домен/адрес. Присутствует ли запрошенное слово в имени домена или в адресе страницы?

Стиль. Страница считается более релевантной, если ключевое слово на ней выделено жирным шрифтом или курсивом, используется в подзаголовках.

Плотность. Количество ключевых слов относительно текста страницы называется плотностью ключевого слова.

Мета теги (невидимые пользователю слова, используемые при описании страниц). Содержится ли ключевое слово в них?

Ссылки на другие сайты. Встречается ли ключевое слово в тексте ссылки и на страницах, на которые ведут ссылки?

Ссылки на страницу с других сайтов. С каких страниц ссылаются на ваш сайт? Есть ли на этих страницах ключевые слова? Кто еще в Интернет имеет ссылку на данный сайт? Каков текст ссылки?

Page Rank сайта. Оценка, которую выставляют при индексировании поисковики всему сайту, исходя из своих внутренних критериев.

44. . Зарубежные поисковые системы. Основные особенности, приемы работы.

Google - самая популярная поисковая система в мировой сети. Слово Google образовано от слова Googol, означающее число со ста нулями после единицы.  Google обеспечивает поиск по гипертекстовым документам находящихся в любых языковых зонах - английской, русской, украинской, немецкой и др. Поисковая система Google имеет собственные поддомены для большинства стран, например, для России - www.google.ru. Это одна из самых больших поисковых баз в мире.  Поисковый алгоритм Google имеет несколько существенных преимуществ:    • Использование механизма PageRank, который отображает "важность" сайта и влияет на выдачу результатов поиска. PageRank очень похож на индекс цитирования у Яндекса (тоже зависит от количества и качества ссылок на ресурс). Но в отличие от Яндекса, влияние PageRank у Google не настолько значительно, поэтому люди в Google находят именно то, что и ищут.    • Google ищет не только гипертекстовые файлы (html), но и файлы в формате PDF, DOC, PostScript, Corel WordPerfect и др.    • Поисковая система Google обладает также возможностью поиска изображений. При этом в запросе можно указать желаемый размер, глубину цвета, формат файла.    • В отличии от многих поисковиков, роботы Google индексируют все страницы, а не только самые главные.    • Все страницы Google кэширует (заносит в свою базу), и разрешает человеку, производящему поиск, смотреть документ, не открывая его в первоисточнике, а беря из кэша Google (что часто намного быстрее).    • Google разрешает настроить каждому пользователю язык интерфейса поисковой машины, выбрать языковые зоны для поиска, количество сообщений при выдаче результатов и др.    • Пользователи Microsoft Internet Explorer, Mozilla Firefox и Opera могут установить себе программу Google Toolbar, которая создает новую панель инструментов, позволяющую искать в Google, не заходя на сам сайт.    • Строку поиска в Google можно также использовать и как калькулятор. Вы вводите, допустим, (48-26)*21, а Google выдает правильный результат. 

Yahoo - http://www.yahoo.com

Yahoo был основан в 1994, и на сегодняшний день это самый старый и наиболее полный каталог интернет-ресурсов.  Удивительно, но эта невероятно популярная система, обслуживающая миллионы запросов ежеденевно, зародилась как простая коллекция закладок, которую пополняли всего 2 человека - Дэвид Фило и Джерри Янг.  Yahoo является наиболее популярным поисковым средством. Секрет успеха Yahoo заключается в людях. Yahoo имеет около 150 редакторов, для того, чтобы составлять и редактировать содержимое своих каталогов. Yahoo имеет базу данных в более, чем 1 млн. проиндексированных сайтов. Также, в случае нехватки своей собственной базы данных, Yahoo использует базу данных Google (до июля 2000 года Yahoo пользовался базой данных Inktomi). 

Alta-Vista - http://www.alta-vista.com

AltaVista начала предоставлять свои услуги в декабре 1995 года и на сегодняшний день является одной из наиболее крупных поисковых систем (по количеству проиндексированных страниц). Особенность этого поисковика заключается в возможность вести поиск по усложненным критериям отбора . Alta-vista также предлагает дополнительные услуги в виде поиска по каталогам (взятыми из Open Directory and LookSmart), а также службу под названием "Ask AltaVista" ("спроси AltaVista"), результаты которой берутся из Ask Jeeves. В настоящее время AltaVista владеет поисковой системой Raging Search.