Сгинь, нечистая! История и эволюция нечестных методов поисковой оптимизации

В беседе с авторами книги Сергей Цыплаков, создатель и руководитель биржи MainLink (h p://www.mainlink.ru), и Алексей Жуков, известный как burunduk, руководитель аналитического отдела UnMedia (h p://www.unmedia.ru), накопившие большой опыт в SEO с первых лет его существования в российском Интернете, углубились в историю «пограничных» методов поискового продвижения – историю безответственных авантюр и тонкой аналитики единовременно. Вместе с ними мы постарались понять, что заставляло и заставляет веб – мастеров либо нарушать гласные и негласные требования поисковых систем, либо искать не до конца регламентированные способы SEO, прежде всего с точки зрения ссылочного продвижения.

Что, условно говоря, легитимно, с точки зрения поисковиков, где пролегает эта граница сегодня и как она менялась?

Сергей Цыплаков: До того как возникло ссылочное ранжирование, в продвижении преобладали ключи. Как только владельцы сайтов принялись поголовно употреблять ключи, и к тому же помногу, «Яндекс» принял меры. Позднее, в 2002 – 2003 годах, актуальными оказались SEO – методы, связанные с текстами.

В 2004 году «Яндекс» заявил, что для того, чтобы нормально ранжировать сайты, он станет учитывать ссылки. Вначале были обменные сети, которые плодились как грибы после дождя. Один веб – мастер обменивался с другим ссылками, и выигрывали оба. Чуть позже расцвели автоматические системы обмена с разными схемами: использовались перекрестные ссылки, задействовалось огромное количество страниц на тьме – тьмущей сайтов. Тогда «Яндекс» за это не банил, метод был действенным. В BDBD (h p://www.bdbd.ru/) даже создали систему автопродвижения: в нее вводился сайт и на него мигом автоматически ставилось множество ссылок, и эта механика какое – то время оправдывала себя.

Постепенно обмен перестал быть обменом в классическом понимании. Возобладала коммерческая составляющая: люди стали платить за ссылку. Это было выгодно как вебмастеру, так и оптимизатору. Веб – мастер зарабатывал деньги, оптимизатор добивался желаемого эффекта. Как раз в ту пору создавалась биржа MainLink, поначалу не имевшая никакого интерфейса: одна страничка, где фиксировалось, кто кому и сколько должен заплатить.

В 2005 – 2006 годах работало ссылочное продвижение через главные страницы. Ссылки размещались на титульной странице, обычно внизу. «Яндекс» на это никакого внимания не обращал год – два. Клиенты были счастливы. Но и гигантского трафика с «Яндекса» на площадки не шло.

Так, сайт VIP – eatr.ru продвигался 30 ссылками с главных страниц по запросам «билеты в театр», «билеты в ленком», «билеты в большой театр». Он по всем ключевым словам был первым в топе около полутора лет. Затем открылся Sape, приобрели значение внутренние страницы. Хватало $80 – 200 на раскрутку. Тогда внутренние страницы стали работать еще лучше, они были дешевле. Первая ссылка на внутренней странице у Sape стоила 3 руб. Действовал такой неписаный закон: ссылка должна стоить 3 руб. И тысяча таких ссылок в 2006 – 2007 годах вытягивала вверх любой запрос. В конце концов завелись ушлые веб – мастера, которые облапошивали рекламодателей, зарабатывая деньги, но не показывая ссылки. Обычно такое проворачивали на чужих ресурсах: сидит админ сайта, и ему надо подзаработать. Чтобы клиент не увидел, он изгалялся, придумывая, как закамуфлировать ссылку под цвет фона, сдвинуть вправо – влево, задействовать невидимый слой. Таких способов насчитывалось множество. Создавались даже мини – агентства – фирмы – посредники, которые выкупали сайт или доступ к нему, ставили на него свой скрипт и размещали на нем ссылки.

Поисковики не реагировали на эти ухищрения?

С. Ц.: Поисковая система, особенно «Яндекс», крайне инертна и неповоротлива в своих решениях. Если Google на заре своего становления продекларировал: «За ссылки я вас буду банить, вы нарушаете наши законы» (Google американский, с российским иначе), то у нас, вместо того чтобы соблюдать рекомендации «Яндекса», пытались обжулить его с удвоенными усилиями. «Яндекс» упустил время. Ему нужно было ссылки разбомбить в 2006 году, когда Sape открылся. Возможно, в ту пору его действия увенчались бы успехом.

Алексей Жуков: Впоследствии, когда поисковики начали наказывать за массовую продажу ссылок, веб – мастера пытались прятать эти ссылки. Доходы никто терять не хотел. Было придумано много вариантов клоакинга. Сначала пробовали не показывать эти ссылки только «Яндексу». Были, да и сегодня встречаются индивидуумы, которые обманывают клоакингом саму биржу: ей показывается, будто ссылка есть, а остальным – что ее нет. Очень жесткая форма обмана, но, к счастью, она хотя бы выявляется, пусть даже с наибольшей надежностью лишь ручными методами. Только с наступлением эпохи агрегаторов – SeoPult, Rookee и пр. – ссылки начали автоматизированно проверять на всевозможные виды клоакинга.

Маленькое отступление: в 2006 – 2007 годах я нашел забавный способ объегорить биржу – ставить ссылку в стандартном HMTL – комментарии. Робот биржи понимал, что ссылка стоит, но она же закомментирована. На странице не отображалась, и поисковая система ее не видела. Достаточно долго биржа на это никак не реагировала.

(! –(a href="h p://www/site.ru")анкор ссылки(/a)–)

С. Ц.: В 2006 – 2007 годы, когда ссылки стали «клоачить», по Интернету даже гуляли базы IP «Яндекса» и Google, которые подставлялись, притом обновляясь, чтобы все (рекламодатель, веб – мастер, оптимизатор) видели ссылки, а «Яндекс» в упор не замечал.

А. Ж.: «Яндекс» потом сам открыл, как проверять его IP, – обратным запросом. Не так давно, когда проблемы с клоакингом приобрели нешуточный масштаб, в «Яндексе» была найдена уязвимость. Можно было посмотреть, зайдя с IP «Яндекса», как отображается ресурс. На данный момент она доступна только из браузера. Но хитрые веб – мастера нашли выход. В общем, если стоит запрет на отображение донора в данном сервисе, то, скорее всего, что – то нечисто.

Много ли сейчас таких сайтов? Как менялась обстановка после 2007 года?

С. Ц.: Около 5 % всех ссылок имеют так или иначе выраженные нарушения, либо осознанные, либо неосознанные. На сегодняшний день все способы сокрытия известны. Раньше что – то еще было в диковинку: noindex, nofollow, robots.txt. Очень много ошибок в robots.tx веб – мастера делают из – за неправильного составления написания, не придерживаются формата. Зачастую не учитывают, что robots. xt нужно создавать отдельно под «Яндекс» и под Google. А они делают один: мол, под «Яндекс» – значит «под все».

На 5 % впору рукой махнуть – отклонения в пределах допустимого. Но это сдерживающая сила: если хоть биржа, хоть оптимизатор, хоть агрегатор, хоть конечный клиент опустит руки и не будет выявлять нарушения, все будет куда хуже.

А. Ж.: Что до 2007 года, как раз тогда, по – моему, был популярен запрет индексации ссылок через sitemap. Указывалось, что страница важная, но переиндексировать ее не надо. Тогда много площадок с Sape улетело.

С. Ц.: Следуем дальше. 2008 год. АГС. Что это означает? Был сайт с хорошим, да пусть даже с не очень хорошим контентом, включавший множество страниц. И «Яндекс» издал указ, по которому все такие сайты автоматически понижались в рейтинге. Не очень правильное решение. Если раньше у сайта было в индексе около 1000 страниц, то осталось 10 – 15. Но ссылки, которые ранее были куплены на тех тысячах страниц, остались. Ведь оптимизаторы не имеют возможности проверять каждую ссылку ежедневно. Ссылка остается висеть, страницы в индексе «Яндекса» нет, но работает ссылка или нет, большой вопрос.

А. Ж.: У меня сайт одним из первых попал под АГС, причем не под тот, что до десяти страниц индекс сайта сворачивал, а под другой, который был намного раньше включен. Страницы на том ресурсе были следующими: одна большая фотография, несколько маленьких да одна подпись. Плюс ссылки на другие страницы с фотографиями. Никакого контента. Картинки в индексе были, картиночный трафик был, а сами страницы – удалены из индекса. Причем у сайта оставалось на тот момент около 300 – 400 страниц в индексе. Потом, когда АГС включили, их количество еще подсократилось, хотя реально на сайте было около 2000 страниц. И с них внутренние ссылки работали, перелинковка работала. С НПС и внешними тоже порядок был.

Слегка отойду от заданной темы: сейчас у «Яндекса» с индексом тоже проблемы, когда под новую дату кэша выставляется старая страница, причем может быть выведена несуществующая, которой нет добрых полгода. Несмотря на обилие дата – центров в «Яндексе», все равно база грязная и не так часто обновляется, как хотелось бы. Хотя, насколько я понимаю, они хранят вообще всю информацию по сайту, которая когда – либо появлялась.

С. Ц.: Вернемся в 2008 год. Тогда Константин Каширин сделал сервис проверки на непот. Это была золотая жила – якобы проверка работоспособности ссылок с донора посредством языка запросов. Чтобы понять, участвует ли в поиске данная страница по тому или иному анкору с некоего донора, может ли она попасть в поиск.

Потом отключили операторы #link и ancor. Это был болезненный удар по оптимизаторам. Да что там – одна из ядерных бомб на SEO. Дальше операторы начали отключать один за другим. Были какие – то недокументированные. Порой до сих пор оператор существует, но показывает белиберду. Одно время в BDBD хотели запустить биржу Indexoid. Они фиксировали дату индексации ссылки с помощью языка запросов «Яндекса». Завязались на один запрос. Но это их не спасло.

Ссылочные базы бирж все приохотились парсить, стали свои белые списки формировать. Но эта волна быстро спала.

Поисковики начали закручивать гайки. То, что работало для одного, могло не работать для другого. Одно время ходила хохма: мол, если ссылка с точкой на конце, значит, она работает. А без точки – нет. Был еще экзотический способ: в конце ссылки ставили /n, перевод на следующую строку. Мне один клиент прислал ссылку со словами: «А если взять простую ссылку, без этой каретки, то донор находится под непотом. А когда ее добавляешь, донор работает». Ссылки стали разнообразиться. Их начали делать с разными ухищрениями (абракадабра, текстовые простановки и пр.), чтобы узнать, работают ли они. Это вошло в моду. Перед тем как закупаться, большой оптимизатор ставил несколько ссылок на сайт, смотрел, работают они или нет, анализировал обстановку.