«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

Часть III/72. Релевантность и ранжирование

Автор: Дмитрий KtoNaNovenkogo

Сегодня я хочу поговорить о таких банальных для многих вебмастеров и оптимизаторов понятиях как ранжирование и релевантность. Хотя, для начинающих вебмастеров релевантность (это тот термин, что будет присутствовать в большинстве публикаций на тему SEO) и ранжирование не сразу становятся понятными и очевидными.

Конечно же, ничего сложного в этих терминах нет и главную проблему ранжирование и релевантность представляют именно для поисковых систем (Яндекс и Гугл — лидеры поиска в России). Им кровь из носа нужно максимально точно выстраивать ранжирование сайтов и найти идеальные способы определения релевантности документа (веб страницы) поисковому запросу.

Но это проблемы поисковиков, а наша с вами задача немного помешать им в объективной оценке своего собственного ресурса (искусственно завысить релевантность по нужным нам поисковым запросам) и тем самым вылезти как можно выше при ранжировании в поисковой выдаче Яндекса и Гугла (вот именно для отсекания таких сильно зарвавшихся умников Яндекс и ввел понятие поведенческих факторов, которые позволяют выявить явно подкрученную релевантность и понизить спаммеров в ранжировании).

Релевантность и ранжирование — что это такое

Не совсем понятно о чем идет речь, тогда прочитайте несколько следующих абзацев, а вообще, сегодня я хочу поговорить не о способах повышения релевантности веб страницы поисковым запросам (писал об этом очень много), а о том, как при стремлении быть хитрее и умнее поисковиков не навредить своему веб проекту, понизив его при ранжировании в поисковой выдаче (пессимизация, фильтры и страшное слово «бан»).

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

Итак, что же такое релевантность? Релевантность в общем смысле — это степень соответствия чего-то чему-то. Применительно к поисковым системам, релевантность — это соответствие поискового запроса (введенного пользователем поисковика) и веб страницы (документа), найденного этой поисковой системой в сети. Чем выше будет соответствие (релевантность) запроса содержанию страницы вашего ресурса, тем лучше будет его ранжирование и тем выше он будет стоять в поисковой выдаче.

Отсюда, кстати, можно сделать заключение, что SEO оптимизация — это ничто иное, как искусственное повышение релевантности страницы вашего сайта (веб документа) определенному поисковому запросу (или нескольким запросам). Т.е. подбираем предварительно часто задаваемые в Яндексе или Гугле поисковые запросы и делаем так, чтобы определенные страницы нашего сайта стали бы более релевантными, чем те страницы других ресурсов, которые находятся на первым местах поисковой выдачи по этим же поисковым запросам:

Факторов, которые учитывают поисковые системы при определении релевантности веб страницы при ее ранжировании, очень много (счет идет на сотни или даже тысячи), но не все из них представляют серьезную значимость и не на все из них мы может повлиять (или даже узнать об их существовании). Всю совокупность этих факторов, влияющих на ранжирование, обычно условно делят на несколько групп:

1.Внутренние факторы — контент веб страницы, ее структура и правильность верстки, а так же степень ее засспамленности ключевыми словам

2.Внешние факторы — ссылочная релевантность (учитываются тексты ссылок, которые идут на ваш сайт, их количество и качество ресурсов, с которых они проставлены) и так называемый траст сайта (насколько поисковики ему доверяют)

3.Поведенческие факторы — оценивается поведение пользователей в поисковой выдаче и поведение пользователей на самом сайте (поисковики стремятся, отслеживая поведение пользователей, чтобы узнать, насколько страница данного сайта отвечает данному поисковому запросу — оценить правильность определения релевантности)

Т.о. ранжирование сайтов в поисковой выдаче происходит на основе релевантности (соответствия веб документа введенному пользователем запросу). Тут важно понять, что поисковик всегда будет находиться на стороне пользователя, которому, по большому счету, все равно какой именно ресурс будет находиться вверху поисковой выдачи — ему важно, чтобы на странице этого ресурса он нашел ответ на свой вопрос. А то, что хочет пользователь, то хочет и поисковая система (будь то Яндекс или Гугл).

Поисковые системы (Яндекс и Гугл, в частности) при всей своей грандиозности являются всего лишь сайтами, а значит для них действуют точно такие же принципы — чем больше будет пользователей у вебсайта, тем выше будет теоретическая и практическая прибыль. А чем поисковик может привлечь на свою сторону посетителя?

Правильно, максимально точными ответами на заданные посетителем вопросы, которые называют «по научному» поисковыми запросами (кстати, научившись правильно работать со статистикой поисковых

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

запросов Яндекса и Гугла вы будете всегда идти на шаг впереди ваших потенциальных конкурентов). Т.е., чем точнее поисковик сможете определять релевантность веб страниц поисковому запросу, тем будет более точное ранжирование сайтов в его выдаче и тем довольнее останется пользователь.

И рубятся поисковики не за копейки, а за огромный и жирнейший кусок, измеряемый миллионами долларов прибыли. Поэтому правильное определение релевантности страниц и последующее их правильное ранжирование, как для Яндекса, так и для Гугла являются жизненно необходимыми. Кстати, раз уж я провел аналогию поисковиков и обычных сайтов, то как вы думаете, а какой у поисковых систем Яндекс и Гугл основной источник дохода? У Яндекса до 90 процентов прибыли идет с Яндекс Директ (РСЯ), а у Гугла примерно столько же с Google Adsense.

Теперь, наверное, еще очевиднее стала заинтересованность поисковых систем в расширении или хотя бы в удержании имеющейся у них аудитории (количество кликов по объявлениям контекста, как правило, прямо пропорционально посещаемости ресурса). А сделать они это могут только улучшая механизмы определения релевантности документов поисковым запросам (посетитель должен получить ответ на свой вопрос как можно быстрее и точнее) и ранжирования сайтов, опираясь на рассчитанную релевантность.

А что же или кто же мешает Яндексу, Гуглу и другим подвязавшимся на рынке поиска системам правильно оценивать релевантность и проводить четкое ранжирование сайтов в поисковой выдаче?

Да, собственно, мы с вами и мешаем — начинающие и продвинутые оптимизаторы, пытающиеся выдать желаемое за действительное. Что делаем мы, проводя в жизнь принципы SEO?

Правильно, пытаемся обмануть или нагреть поисковики, пользуясь тем, что обмануть программу не так уж и сложно, в отличии от человека. Поисковая SEO оптимизация позволяет за счет накачки текста ключевыми словами из нужных поисковых запросов (настоятельно советую пробивать актуальность используемых ключевых слов в Яндекс Вордстат) и проставления внешних ссылок на сайт с нужными анкорами (текстами ссылок) сделать страницу своего собственного ресурса гораздо более релевантной, чем она есть на самом деле. В результате мы поднимемся при ранжировании в поисковой выдаче и пользователь Яндекса или Гугла получит не совсем релевантный ответ на свой вопрос.

Понятно, что такой расклад никак не устраивает ни Яндекс ни Гугл, а следовательно они будут обязательно бороться с такими методами повышения релевантности и позиций при ранжировании. Причем, чем сильнее и наглее вы будете обманывать поисковик, тем сильнее и ощутимее он может вас пнуть (пессимизация, попадание под фильтр и, наконец, бан).

Повышая релевантность страниц можно получить понижение ранжирования всего сайта

Вот именно о тех неправедных способах повышения релевантности страниц своего сайта, которые могут привести к совершенно обратному эффекту (сильному ухудшению ранжирования вашего сайта и понижению позиций в поисковой выдачи), мы и поговорим в этой статье. Причем, ничего выдумывать сам я не буду, да и не зачем это делать. Ведь поисковики обязаны прикрыться фанеркой и подробно описать все запрещенные и караемые способы повышения релевантности и воздействия на ранжирование.

В общем, спросим у первоисточника — за что можно получить в лоб, а что можно применять без особой опаски для небольшой корректировки релевантности и улучшения ранжирования. Давайте спросим о сокровенном у Яндекса (поддержим отечественного производителя), ибо он все же является лидером поиска в России. Итак, интервью у хелпа Яндекса по поводу допустимых и недопустимых способов повышения релевантности и влияния на ранжирование.

Хотя, нет. Сначала напомню вам те способы легитимного воздействия на релевантность и ранжирования, о которых я уже неоднократно говорил. Кроме уже упомянутой чуть выше оптимизации текстов под нужные поисковые запросы (Самостоятельная раскрутка и продвижение сайта), наверное, прежде всего стоит сообщить поисковикам о существовании своего веб проекта — добавить ссылку (Url) на сайт в аддурилку Яндекса и др. поисковых систем.

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

На ранжирование сайта очень сильно влияет такое понятие, как траст, а поднять его можно обратными ссылками с трастовых ресурсов. Поэтому было бы не плохо попытаться добавить сайт в Яндекс каталог, Dmoz и другие трастовые и авторитетные каталоги. Вообще, все это я уже неоднократно обсуждал и писал, поэтому попробуйте сами поискать ответы в публикации Как раскрутить сайт самому или серии из трех статей Как продвигать сайт самостоятельно.

Ну, это так, для общего сведения, а сейчас, наверное, пора переходить к перечислению запретных способов манипуляции релевантностью веб документов и воздействия на ранжирование сайтов в поисковых выдачах, в частности, Яндекса. Дело в том, что поисковые системы могут не только повышать или понижать уровень релевантности страниц наших сайтов (изменять их ранжирование), но и могут применять санкции к сайтам и вносить их в черные списки, в случае, если они посчитают, что мы их пытаемся обмануть.

В лицензии поисковиков такие моменты очень подробно описаны, чтобы к ним не было по этому поводу никаких претензий. Например, в лицензии на использование поисковой системы Яндекса довольно подробно описано про определение релевантности и ранжировании сайтов:

Впервом абзаце лицензии говорится, что ранжирование осуществляется, как и следовало ожидать, на основе определения релевантности страницы поисковому запросу, но делается акцент на то, что релевантность определяется не предвзято с помощью программы, причем, настройки этой программы могут постоянно меняться и, следовательно, ваш ресурс может совершенно спокойно скакать в поисковой выдаче с одного места на другое по мере изменения алгоритмов определения релевантности и ничего вы с этим поделать не сможете.

Втретьем абзаце пункта 3.4 Яндекс как раз говорит о том, что для Яндекса и любой другой поисковой системы главное это интересы пользователя, а не авторов веб проектов (по которым осуществляется поиск), чтобы сразу же в корне пресечь все попытки вебмастеров апеллировать к Яндексу с вопросами о не справедливом и не правильном определении им релевантности по тому или иному поисковому запросу (мой ресурс такой хороший, а вы его в конец очереди...).

Впервом предложении пункта 3.5 как раз описано то, чем занимаются все SEO оптимизаторы (как начинающие, так и продвинутые) — обманом и спамом (искусственное завышение релевантности

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

страниц для улучшения ранжирования). При этом Яндекс грозит нам фильтрами (ухудшением ранжирования — пессимизация сайта), либо вообще баном (полным исключением сайта из индекса и, соответственно, поиска).

Во втором абзаце этого пункта лицензии написано, что о факте понижения в ранжировании вашего сайта вам никто специально не сообщит и возможностей выхода из под фильтра вам никто не гарантирует. Хотя, на самом деле, при корректном общение с «Платоном Щукиным» (так обычно подписываются операторы службы поддержки Яндекса) можно будет выяснить и причину понижения в ранжировании и решить проблему с выходом из под фильтра (полностью банят ресурс сейчас крайне редко). Правда, нервов и времени уйдет на это предостаточно.

Далее Яндекс говорит, что не обязан отчитываться за что именно вас забанили или понизили в ранжировании, тем более, что со временем могут появляться все новые и новые методы спама, за которые можно будет угодить под фильтр Яндекса. Но зато Яндекс приводит ссылку на весьма полезный документ — Чем отличается качественный сайт от некачественного с точки зрения Яндекса, который следует изучить со всем тщанием. Давайте вкратце пробежимся по его ключевым моментам, чтобы понимать чего не следует ни в коем случае делать в погоне за повышением релевантности при ранжировании нашего сайта.

За что понижает сайты в ранжировании Яндекс

В разделе «Основные принципы» Яндекс говорит о том, какие сайты он хотел бы видеть в своем индексе. Тут нас «агитируют за советскую власть» — советуют использовать только оригинальный контент, продумывать юзабилити, не проставлять ссылки на страницах своего проекта за деньги, а так же думать прежде всего о посетителях (т.е. создавать нужно именно СДЛ) и не пытаться продвигаться по тем поисковым запросам, по которым на страницах нашего ресурса не будет исчерпывающей информации. В общем-то, справедливо, но...

Наверное, это все интересно, но гораздо интереснее то, что написано в разделе «Примеры к принципам» после слов «Мы стараемся не индексировать или не ранжировать высоко».

В первом пункте Яндекс предупреждает, что за не уникальный (скопированный) контент сайт может потерять в ранжировании.

Наверное, небольшой процент не уникального контента не приведет к печальным последствиям, но при переходе определенной грани можно попасть под пессимизацию и сильно потерять в ранжировании, несмотря на то, что релевантность страниц вашего сайта будет достаточно высокой.

Следующие два пункта кидают камень в огород так называемых дорвеев или доров.

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

Несколько лет назад было довольно популярным занятием создавать дорвеи, тексты страниц которых генерировались автоматически с простановкой нужного количества ключевых слов. Таким образом эти дорвеи попадали в Топ поисковой выдачи по нужным ключевым запросам, но пользователи, переходящие на доры из поисковиков, не видели этот автоматически генерированный бредо-текст, т.к. их автоматически перебрасывало на страницы совершенно другого ресурса, продвигаемого таким образом.

Этот способ продвижения относится к так называемому черному SEO. Сейчас продвижение с помощью дорвеев очень сильно затруднено в связи с очень серьезным отношением к этой проблеме поисковых систем. Доры попросту долго не живут и умирают так и не успев попасть в Топ поисковой выдачи.

Дальше Яндекс предупреждает, что в ранжировании будут понижаться сайты, имеющие в своем составе каталоги чего угодно, которые не содержат какой-либо уникальной информации.

В связи с этим становится ясно, что продвижение с помощью прогона по каталогам, которое было популярно несколько лет назад, сейчас уже не работает в силу нахождения всех этих каталогов под фильтрами Яндекса (они искусственно занижены в ранжировании, несмотря на реальную релевантность их страниц). В общем, не создавайте сами ГС каталоги и не прогоняйте по ним свои ресурсы, ибо это абсолютно бесполезно (если не вредно).

Далее следует уже банальность — в ранжировании будут понижены сайты с невидимым или слабо видимым текстом (белым по белому и т.п.) и ссылками.

Понятно, что если вы чего-то прячете от посетителей (например, портянку текста, напичканную ключевыми словами), то несмотря на высокую релевантность этой страницы продвигаемому поисковому запросу, Яндекс все равно не позволит ей высоко ранжироваться. Чуть ниже вы сможете узнать, что даже заключая большой текст с ключами в окошко со скролингом, вы все равно потеряете в ранжировании (пару лет назад это стало громом среди ясного неба для многих профессиональных сеошников).

Затем Яндекс предупреждает нас о недопустимости использования еще одного приема продвижения из области черного SEO — клоакинг.

При использовании клоакинга сайт программируется таким образом, чтобы определять кто именно осуществляет запрос данной веб страницы — поисковый робот или же браузер пользователя (сделать это не сложно на основе анализа запроса к веб серверу). Соответственно, поисковому роботу отдается веб страница релевантная нужному поисковому запросу, а реальному пользователю показывается совершенно другое содержимое данной веб страницы.

В очередном примере того, чего не нужно делать, чтобы не потерять в ранжировании, Яндекс предупреждает о недопустимости создания ресурсов, которые предназначены лишь для того, чтобы «лить трафик» на сайт какой-либо партнерской программы.

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

Очень часто этим занимаются в так называемой «фарме». Несмотря на высокую релевантность страниц таких ресурсов они будут серьезно понижены в ранжировании Яндексом. Хотя, многие на этом живут, с успехом обходят все препоны, которые расставляют поисковики на их пути и их сайты не понижаются в ранжировании.

Читая данную «декларацию о намерениях» дальше вы узнаете, что поисковикам не нравятся сайты с вирусами и прочими хитрыми заморочками в настройках серверов и такие сайты будут нещадно понижать в ранжировании невзирая на реальную релевантность их страниц.

Равно, кстати, как и ресурсы, использующие агрессивные способы рекламы с всплывающими окнами (popup, popunder, clickunder). Лично я только за расстрел таких ресурсов из оружия крупного калибра, ибо понижение в ранжировании для них уж слишком мягкое наказание.

Довольно часто раньше встречался на многих сайтах такой вид спама — «нас находили по таким-то поисковым запросам» и далее следовал список этих самых запросов. Веб сервер собирал эту информацию и выкладывал на данной веб странице поисковые запросы в чистом виде, тем самым существенно искусственно повышая релевантность этой страницы.

Вот я раньше попадая на такую страницу очень долго гадал, а чего это меня поисковик на нее привел, когда там нет ответа на мой вопрос (даже намека нет), а только перечисленные поисковые запросы, включая тот, который задавал и я. Естественно, что поисковикам такая изгаженная поисковая выдача не нравится (они теряют на этом лояльных посетителей) и поисковые системы начинают понижать в ранжировании такие ресурсы.

Плагины и расширения, реализующие такой вид спама для увеличения релевантности страницы сайта, можно встретить и сейчас, но упаси вас воспользоваться ими — ни в коем разе, ибо сразу пессимизируют и так понизят в ранжировании, что трафика с поисковиков вообще не будет. Но что обидно, иногда под этот фильтр можно попасть за использование совершенно, казалось бы, безобидного «облака тегов», если поисковик сочтет его за такой вид спама и стремление искусственно повысить релевантность страницы.

Далее Яндекс предостерегает нас от создания нескольких ресурсов для одного владельца (аффилированность):

Есть такой хитрый способ оккупации всего топа поисковой выдачи за счет создания целой когорты сайтов для одной и той же фирмы, которые делаются на разных доменных именах и наполняются разным контентом, с высокой релевантностью нужным поисковым запросам. В результате продвижения высокое

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

ранжирование многих из этих сайтов-аффилиатов поднимает их в топ выдачи Яндекса и Гугла и, в случае большой удачи, весь Топ 10 может быть заполнен ресурсами одной и той же фирмы.

Для этой фирмы это будет неоспоримая удача, но поисковикам такая ситуация кажется неправильной и они всеми силами и средствами пытаются выявить и понизить в ранжировании такие дубликаты (аффилиаты). Обычно аффилиаты палятся (попадают под аффилиат-фильтр) на одинаковых контактных телефонах и других признаках принадлежности одному владельцу, но гораздо чаще по «стуку» конкурентов.

Понятно, что поисковикам не интересны спамные форумы и доски объявлений, где любой посетитель может написать все что угодно и поставить любую нужную ему ссылку и они будут нещадно понижать в ранжировании, вплоть до полного исключения из индекса (бана).

Яндексу, равно как и другим поисковикам, очень не нравятся ресурсы, продающие ссылки для накачки релевантности других ресурсов. Продажные ссылки портят стройный алгоритм поисковиков, основанный на ссылочном ранжировании.

Однако, основному риску понижения в ранжировании подвергаются ресурсы, устанавливающие скрипты бирж ссылок типа Sape, в то же время как продавать ссылки через «биржи вечных ссылок» подобные GoGetLinks и GetGoodLinks или RotaPost можно практически безболезненно и ничем не рискуя.

Довольно часто, особенно несколько лет назад, для продвижения проектов и получения внешних ссылок использовали так называемые «сателлиты», т.е. группа сайтов, которая создается только лишь для продвижения одного или нескольких ресурсов, путем проставления на него ссылок. Такие вещи сильно не

«SEO: Поисковая Оптимизация от А до Я» - Основы => Глава III. Практическое продвижение

нравятся поисковикам, т.к. создается искусственная накрутка релевантности и поисковики сетки сателлитов довольно эффективно выявляют и понижают в ранжировании.

Практически на любом ресурсе будет присутствовать поиск по материалам этого ресурса. Он может быть реализован средствами используемого движка, а может быть прикручен с помощью скрипта поиска по сайту от Яндекса, либо от Гугла. Но в любом случае страницы с результатами поиска по материалам вашего ресурса не должны попадать в индекс поисковых систем во избежании понижения в ранжировании всего ресурса.

Как это сделать? Ну, у нас всегда есть под рукой очень сильный инструмент по управлению индексацией сайта — robots.txt.