4. Поисковые системы. Структура и механизм работы.

В современном Интернете очень много поисковых систем. Какая-то лучше, какая-то хуже, но смысл жизни каждой из них один – удовлетворить посетителя, предоставив ему наиболее релевантные запросу результаты. При этом каждый поисковик отчаянно борется за благосклонность посетителей, все более совершенствуя алгоритмы своей работы. Под «горячую руку» этой схватки попадают SEO-специалисты (SEO – Search Engines Optimization – поисковое продвижение), которым приходится приспосабливаться к постоянно меняющимся условиям работы поисковых систем, дабы не лишиться «хлеба насущного». Впрочем, о тяжкой работе оптимизаторов мы поговорим несколько позже.

Итак, что такое типичная поисковая система?

Это машина, без чувств, эмоций и интеллекта, но с набором жестких правил и алгоритмов. Работает она достаточно просто, и сейчас мы поэтапно разберем схему ее работы.

Допустим, у вас есть сайт, состоящий из 5 страниц. Вам очень хочется попасть на страницу выдачи результатов поисковой машины. Вы уже провели все подготовительные работы: определили ключевые слова, оптимизировали свой сайт (подробнее об оптимизации сайта мы поговорим в следующих статьях). И сейчас вы с нетерпением ждете, когда поисковики вас заметят.

Первыми ваш сайт увидят роботы поисковых систем – спайдер (spider) и краулер (crawler). Эта парочка циклично в определенное время «пробегает» просторы Интернета в поисках чего-нибудь новенького. При этом краулер –  это робот, который собирает ссылки на сайтах, проходя по ним. Он может идти двумя маршрутами. Первый маршрут заключается в следующем: краулер, попадая на вашу страницу, переходит по первой попавшейся ему ссылке на следующую страницу, там происходит то же самое, и этот путь продолжается, пока краулер не зайдет в тупик. Как только на странице больше не остается ссылок, по которым можно двигаться дальше, краулер возвращается на исходную страницу и повторяет эту операцию со следующими ссылками. Второй маршрут выглядит так: краулер сначала определяет все страницы, расположенные вокруг начальной, а потом для каждой определенной страницы ищется свое окружение. Кстати, краулеры больше «любят» короткие адреса страниц, поэтому создавая свой сайт, учтите этот момент.

Как было отмечено выше, краулеры обычно работают вместе со спайдерами. Спайдер – это тоже робот поисковой системы, и его задача заключается в скачивании страниц Интернета. Спайдер скачивает четко определенные страницы. Это могут быть веб-страницы, ссылки на которые указал краулер в результате своего обхода. Также могут использоваться списки URL-страниц, добавленные вручную веб-мастерами в саму поисковую систему или стартовые списки URL-страниц, сформированные поисковой машиной.

Поскольку в Интернете больше сотни миллионов сайтов, эти два робота должны работать молниеносно, поэтому во многих поисковых системах таких роботов несколько.

Итак, спайдер и краулер после своего очередного «обхода» набрали много материала, среди которого и ваши странички. Все скачанные спайдером страницы проходят тщательный анализ, в ходе которого обрабатывается текстовое содержание страницы, ее структурные элементы, HTML-код, ссылки и т.д. Этим анализом занимается модуль индексатора. После такой обработки ваша страничка наконец попадает в базу данных поисковой системы, а значит станет отображаться в результатах поиска.

База данных поисковой системы представляет собой огромное хранилище информации – индекс. Данные в индексе постоянно меняются. Спайдеры каждый раз приносят новую информацию, поэтому базу данных поисковой системы нужно все время обновлять и расширять, а это, в свою очередь, требует определенных финансовых вложений. Именно поэтому на рынке поисковых систем выживают только самые сильные.

Но вернемся к структуре поисковой машины. Модуль ранжирования – головная боль оптимизаторов. Узнать все подробности работы этого модуля – «хрустальная» мечта SEO-специалистов. Именно этот модуль определяет, какое место будет занимать ваш сайт в результатах поиска.

Модуль ранжирования каждой поисковой системы имеет свои параметры определения рейтинга страницы, исходя из которого и определяется «место под солнцем» каждой страницы.

Ну и наконец, единственная видимая для посетителя часть поисковой системы – пользовательский интерфейс. Задачей любой поисковой системы является создание максимально удобного и понятного пользователю интерфейса, поскольку от этого также зависит количество посетителей. В большинстве поисковых систем эта часть располагается в центре окна, поскольку является главным элементом.

Конечно, все поисковые системы отличаются друг от друга, и многие поисковики держат в секрете нюансы работы своих алгоритмов, чтобы оградить своих пользователей от недобросовестной работы некоторых оптимизаторов, пытающихся продвинуть свои сайты «черными» способами.