«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Часть VI/3. Nofollow и noindex или как закрыть от индексации ссылки и не потерять статический вес

Автор: Дмитрий KtoNaNovenkogo

Сегодня я хочу затронуть проблему понимания того, можно ли сейчас использовать теги nofollow и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами, ибо за последние полгода, или год произошло кардинальное изменение алгоритма работы как тега noindex, так и тега nofollow.

Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при использовании тега nofollow (вообще-то, nofollow не является тегом как таковым, но для упрощения я его буду называть именно так, дабы не вносить дополнительный сумбур в терминологию) и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.

Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил свое отношение к тегу nofollow (стал его учитывать), но зато теперь тег noindex никак не влияет на учет закрытой им ссылки. Google так вообще не знает о теге noindex и, естественно, его с успехом игнорирует.

Но рассказать обо всем в двух словах это не наш метод и поэтому давайте все же разберемся с nofollow и noindex основательно и со всеми подробностями, ибо KtoNaNovenkogo.ru в первую очередь — блог для начинающих вебмастеров, интересы которых я обязан ставить во главу угла.

Ссылочное ранжирование и статический вес — две важные функции обратных ссылок

Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать, как именно работали теги nofollow и noindex до описанных выше изменений и как они работают сейчас. Ну, и попробуем понять как закрыть от индексации ссылки при текущем раскладе и можно ли это вообще сделать.

Да, и сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему с учетом поисковыми системами тегов nofollow и noindex и, естественно, может быть ошибочным в силу различных причин. Поэтому в комментариях

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

приветствуется оспаривание данной теории, но все же, желательно, чтобы это было хоть немного аргументированно. Заранее спасибо всем комментаторам, ибо в споре рождается истина.

Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов nofollow и noindex закрыть от индексации ссылки (чаще всего все же пытаются закрыть от индексации внешние ссылки, ибо они способствуют утеканию статического веса с сайта, но об этом поговорим чуть позже).

Ссылки для поисковых систем выполняют сразу две основных функции, помогающих поисковикам формировать наиболее релевантную поисковую выдачу. P.S. Здесь я уже начал употреблять терминологию SEO и для того, чтобы вам было понятнее о чем идет речь, просмотрите предварительно эту публикацию — Как продвигать сайт начинающему вебмастеру.

Так вот, тексты ссылок, которые называют еще анкорами, позволяют поисковым системам проводить так называемое ссылочное ранжирование, существенно влияющее на положение сайта в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо поисковому запросу (особенно по высокочастотным и среднечастотным запросам, ибо для продвижения по низкочастотным запросам вообще может не понадобиться покупка внешних ссылок) оптимизаторы стараются закупить как можно больше обратных ссылок с текстами (анкорами), содержащими ключевые слова из того запроса, по которому продвигается данная страница сайта.

В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» в Google открывался сайт тогдашнего президента Америки Джорджа Буша младшего. Что примечательно, на самом сайте вообще не встречалось данное словосочетание, но зато на этот сайт была проставлена уйма обратных ссылок с

текстом (анкором) «жалкий неудачник», в результате чего вышел такой казус. Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование сайта и нужно, чтобы и на самом сайте Буша встречалась эта фраза.

Но на этом роль ссылок в поисковом продвижении сайта не заканчивается, ибо все поисковики в обязательном порядке для каждой страницы каждого отдельно взятого сайта рассчитывают так называемый статический вес. Возможно, что разные поисковые системы рассчитывают статический вес страниц чуть по разному, но суть остается не измененной — статический вес передается странице только по ссылке и при этом не учитывается текст (анкор) этой ссылки.

Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации ее поисковыми системами) имеет изначальный минимальный статический вес, который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу.

Тут ключевым моментом является то, что статический вес передается не только внешними ссылками,

но и внутренними.

Причем, страница (документ), ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой собственный статический вес, который целиком и полностью зависит только от количества и качества входящих на нее ссылок. Под качеством я подразумеваю собственный статический вес страниц доноров (доноры — те страницы, с который проставлены ссылки на ваш документ, который в этом случае выступает акцептором).

Извините за многословие, но объяснять понятно и при этом кратко я не умею, ибо для этого нужен талант. Продолжим развивать нашу мысль. Помните в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать толи время наполнения бассейна, толи уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.

Каждую страницу сайта можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние ссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на страницы вашего же

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

или же какого-либо другого сайта (исходящие внутренние и внешние ссылки). Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса).

Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа). Вот именно на таком примере мы и рассмотрим для наглядности роль тегов nofollow и noindex (до и после произошедших изменений) и то, как можно закрыть от индексации ссылки.

Теперь смотрите внимательно. Допусти, что у нас с одной вебстраницы проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате, максимальный статический вес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних страниц вашего сайта, а одна пятая ссылочного веса уйдет по внешней ссылке.

Как закрыть от индексации ссылки (nofollow?)

А теперь представьте, что вы имеете возможность попросить поисковые системы не индексировать эту самую одну внешнюю ссылку (закрыть ее от индексации или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш сайт). Тогда максимальный статический вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним страницам вашего ресурса получить несколько больший статический вес.

Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех вебстраницах ресурса, например, ссылок со счетчиков посещений), то суммарный прирост статического веса у документов вашего сайта будет ощутимым. А статический вес напрямую влияет на положение вашего сайта в поисковой выдаче при ранжировании (естественно, при прочих равных условиях оптимизации).

Так, думаю, что с вопросом, зачем закрывать внешние ссылки от индексации мы разобрались и теперь осталось только выяснить, а как закрыть ссылки от индексации? Раньше было все просто — заключаете ненужную вам ссылку в открывающий и закрывающий тег noindex, а в Html тег ссылки A прописываете атрибут nofollow, например, так:

<noindex>

<a rel="nofollow" href="http://сайт.ru/">Внешний ресурс</a> </noindex>

В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, плагин WP-NoRef. При использовании этого плагина, если в тег ссылки прописать специальный класс, то внешняя ссылка останется открытой для индексации поисковыми системами. Это может понадобиться, например, при проставлении ссылки в постовом или рекламном обзоре.

И такой способ закрытия от индексации отлично работал. Статический вес не передавался по закрытой таким образом ссылке и внутренние страницы вашего сайта, в результате, получали несколько больший статический вес, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас с закрытием ссылок от индексации все стало очень и очень проблемно, если не сказать больше — полная ж...

Но эта ж... касается только удержания статического веса на сайте, в то время как ссылка закрытая тегом nofollow по прежнему не будет учитываться поисковыми системами и тут важно понимать, что, например, в комментариях просто необходимо закрывать ссылки от индексации, ибо большое количество внешних ссылок на спамные ресурсы (вы в состоянии проверить все сайты комментаторов?) сделает ваш сайт тоже спамным в глазах поисковых систем.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Итак, вернемся к тому, что Google изменил алгоритм работы тега nofollow — теперь по ссылке, в которую вставлен nofollow, статический вес на документ передаваться не будет, но в то же время, это не увеличит долю статического веса передаваемого на внутренние страницы, по оставшимся открытым для индексации внутренним ссылкам. Такой вот финт ушами.

Если вернуться к нашему примеру с бассейном и трубами, то ситуация с nofollow и noindex может быть представлена следующим образом. Если исходящие из бассейна трубы приравнять к исходящим с ресурса внутренним и внешним ссылкам, то ту ситуацию, которая имела место быть раньше, можно представить как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним ссылкам).

А вот текущая ситуация с тегом nofollow и отношением к нему Google выглядит как выдирание трубы внешней ссылки с корнем — ссылочный вес уже не потечет на внешний ресурс, но и у нас в бассейне останется дырка, а следовательно, внутренние страницы вашего сайта по прежнему будут недополучать статического веса.

Как Яндекс учитывает nofollow и noindex

Это мы все говорили за Google, а как обстоит ситуация с использованием nofollow и noindex для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу. Но похоже, что Яндекс, после того как стал учитывать nofollow в тегах ссылок, снял с тега noindex всякое влияние на индексацию или запрет индексации ссылок.

Теперь тег noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать тег noindex для ссылок, то он просто запретит Яндексу индексировать текст (анкор) ссылки, а вот сама ссылка и передаваемый по ней статический вес по прежнему будут учитываться и браться в расчет.

Другой вопрос, как Яндекс учитывает nofollow? Копирует ли он схему работы nofollow, которая была в Google до недавнего времени или же сразу взял на вооружение переделанный алгоритм расчета статического веса при наличии в ссылке тега nofollow. Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.

Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки статического веса с сайта в пустоту. По-прежнему мы можем закрыть от индексации целые страницы или ссылки на них с помощью мета тега Robots, но вот с отдельно взятыми ссылками возникают сложности.

Можно, конечно же, проставлять внешние ссылки через редиректы или джаву, но Google такие ссылки уже научился учитывать, а Яндекс если еще и не научился, то скоро обязательно научится. В связи с этим вообще не понятно как быть с внешними ссылками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их от индексации nofollow), либо на ресурсы комментаторов или счетчиков (в случае отказа от использования nofollow).

Некоторые вебмастера, кстати, используют в комментариях не простой nofollow, а rel="external nofollow", хотя external тут вовсе не подразумевает закрытие внешних ссылок, а обозначает открытие ссылки во внешнем окне (аналог атрибута target="_blank", который в XHTML стал не валидным, т.е. не соответствующим стандартам), но этот external работать будет только в связке еще и со специально написанным скриптом на javascript. В общем, это уже совсем из другой темы и к закрытию ссылки от индексации никакого отношения не имеет.

Собственно, я решил попробовать вообще убрать ссылки из комментариев и посмотреть как это повлияет на общее положение моего блога как в поисковой системе Google, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют ссылку на ресурс комментатора.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Если кому-то интересно, то убрать ссылки из комментариев WordPress довольно просто. Вам нужно будет подключиться к сайту по FTP и открыть на редактирование файл comments.php из папки с используемой вами темой WordPress. В этом файле вам нужно найти место, где будет прописан следующий кусочек кода:

<?php comment_author_link() ?>

и заменить его на чуть измененный вариант:

<?php comment_author() ?>

А так же, для того, чтобы убрать из формы добавления нового комментария в WordPress строчку для ввода URL, вам нужно будет удалить подобный участок кода:

<p>

<input type="text" name="url" id="url" value="<?php echo $comment_author_url; ?>" size="28" tabindex="3" class="textarea" />

<label for="url">

<?php _e('<acronym title="Uniform Resource Identifier">URI</acronym>'); ?> </label>

</p>

Если приведенная мною теория окажется правдивой, то должно произойти постепенное увеличение накопленного на блоге статического веса, что не преминет сказаться на позициях сайта в поисковой выдаче Google, ну и возможно, Яндекса. В общем, поглядим.