27. Поисковая система Яндекс

Поисковая система "Яндекс" согласно рейтинга поисковых систем является четвертым среди крупнейших поисковых сервисов мира по количеству обрабатываемых поисковых запросов (более 4,5 млрд. в месяц) и первым крупнейшим неанглоязычным поисковым сервером. Оборот компании по данным орейтинге поисковых систем в 2012 году составил 28,8 млрд руб, а чистая прибыль - 8,22 млрд руб.

Поисковая система Yandex.ru была официально анонсирована 23 сентября 1997 года, и первое время развивалась в рамках компании CompTek International. Как отдельная компания "Яндекс" образовался в 2000 году. Компания вышла на самоокупаемость в 2002 году, оборот за 2008 год — более 300 млн. долларов. Оборот за 2006 год — 72,6 млн. долларов, чистая прибыль — 29,9 млн., за 2005 год — 35,6 млн. долларов, чистая прибыль — 13,6 млн.

"Яндекс" постоянно совершенствует свои поисковые алгоритмы, что позволяет ему соответствовать современным критериям поиска и становиться на уровень Google хотя бы в России. Так, например, 9 сентября 2013 года Яндекс запустил новый поиск по картинкам (у Google подобное уже существовало). А пока так и есть, если судить по уровню освоения обоих поисковых систем аудиторией СНГ. "Яндекс", как и Google, работает на кластерной системе организации компьютерных вычислительных сетей. Каждый кластер отвечает за определённый сегмент сохранённой информации. Это позволяет в свою очередь оптимизаторам обеспечить эффективное поисковое продвижение сайтов в поисковой выдаче.

Сканирующие роботы поисковой системы бывают 2 видов:

• основной сканирующий робот

• быстрый робот, который регулярно сканирует сайты, на которых информация обновляется очень часто, и вносит информацию с этих сайтов в поисковую систему, что обеспечивает быстрое обновление индекса поисковой системы.

Обновления (апдейты) поисковой системы бывают 2 видов:

• Обновления поисковой базы. Происходят несколько раз в месяц. В поиске начинают выдаваться обновлённые страницы сайтов, собранные основным сканирующим роботом.

• Обновления программной части (движка) поисковой системы. Сутью данных обновлений является изменение алгоритмов ранжирования документов в поисковой системе. Обычно подобные обновления анонсируются и им даются определённые названия.

"Яндекс" учитывает морфологию русского языка (мощная система определения словоформ), имеет возможность сузить запрос до максимально точного при помощи специальных поисковых формул и геотаргетинга, имеет качественно разработанный алгоритм оценки релевантности документов (точность отношения текста документа к поисковому запросу), обладает высокой скоростью реакции на запросы и практическим отсутствием перегрузок серверов. В умелых руках оптимизатора такой алгоритм позволяет решить вопрос, как продвинуть сайт бесплатно в поисковой выдаче.

С 2009 года с вводом нового алгоритма "Снежинск" поисковая система "Яндекс" научилась определять региональную принадлежность сайтов и формировать результаты поиска по географическому расположению пользователя. Сегодня это самый точный географический поисковик Рунета.

В "Яндекс" можно подать заявку на индексацию сайта и написать письмо разработчикам о проблемах с индексацией, также имеется форум поисковой системы forum.yandex.ru и блог webmaster.ya.ru, что уже неплохо соответствует минимальным правилам юзабилити.

К тому же функционирует панель управления собственным сайтом в поисковой системе "Яндекс" - http://webmaster.yandex.ru, на котором можно настраивать индексацию собственного сайта, отслеживать нежелательные изменения кода, следить за качественностью индексации сайта в этой поисковой системе, выявлять возможные ошибки индексации сайта и даже исправлять орфографические ошибки.

Индексация новых сайтов идёт дольше, если это происходит естественным путём без влияния внешних поисковых факторов (расстановка ссылок, ссылающихся на ваш сайт). Как показывает опыт, не раньше месяца. Домены в зоне .ru индексируются быстрее, чем аналогичные домены в других зонах (.info, .net, .com) и бесплатных pp.ru net.ru и т. д.

"Яндекс" умеет индексировать текст внутри документов Shockwave Flash (только если текст не нарисован на самом изображении). Помимо этого, индексируются документы PDF, RTF, DOC, XLS (документы Excel), PPT (презентации PowerPoint) и документы Open Office. Поисковая система учитывает данные файла robots.txt (к тому же поддерживает атрибут Allow) и некоторые метатеги. Роботом "Яндекса" игнорируются метатеги Revisit-After и Keywords.

Описание документа в выдаче (сниппет) формируется на основе цитат найденного документа, поэтому тег Description не очень эффективен для этой поисковой системы (хотя иногда может использоваться). С недавнего времени (с 2009 года) поисковая система поддерживает технологию Sitemaps.

Не критичен для этой поисковой системы метатег кодировки. Разработчики утверждают, что поисковая система умеет определять кодировку документов автоматически. Важно отметить, что "Яндекс" не индексирует документы величиной больше, чем 10 мегабайт, так что оптимизируйте ваши файлы.

Для "Яндекса" важен HTTP-показатель Last-Modified при ответе сервера. Если сервер не выдаёт такую информацию, то информация на этом сайте может индексироваться реже. Также важно, чтобы сервер был правильно сконфиругирован и выдавал в случае ошибок отдавал серверный редирект 302 (временный редирект), а не 301 (постоянный редирект), т. к. в последнем случае страница будет исключена из индекса. Аналогичное произойдёт при ошибке сервера 404 (документ не найден).

До сих пор есть проблемы с документами на фреймовой основе (<frame>, <frameset>, <iframe>), поэтому приходится использовать специальные скрипты, которые переводят пользователя, пришедшего с поисковой системы, на нужную страницу.

Наличие зеркал одного сайта иметь не рекомендуется. Придётся принимать меры для того, чтобы исключить индексацию зеркал или же произвести их склейку, если индексация обоих произошла, например, через файл robots.txt.

Не формируйте ссылки при помощи скриптов javascript - "Яндекс" не индексирует подобные ссылки!

Поскольку "Яндекс" ориентируется на гео-таргетинг, и если ваш сайт принадлежит к какому-то региону, то было бы необходимо указать на страницах либо телефонный код города, почтовый индекс или же адрес, чтобы поисковая система могла более точно идентифицировать регион вашего сайта.

Яндекс.Каталог - основной помощник этой поисковой системы. Если сайт находится в нём, то этот знак показывает, что сайт заслуживает особого внимания. К тому же становится проще определить тематическую направленность сайта и получить значимую внешнюю ссылку на свой ресурс.