«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Часть VI/7. Индексация сайта - еще 16 способов, как ее ускорить

Автор: Михаил Шакин (Globator)

Индексация сайта - важный момент для многих владельцев сайтов.

Со времени написания мною статьи Как ускорить индексацию сайта - 18 эффективных способов я нашел еще

16 новых способов того, как ускорить индексацию сайта.

Смысл ускорения индексации - привлечь поисковых роботов (пауков) на сайт. Главное, знать, где эти пауки водятся .

1. Сервисы вопросов и ответов

В последнее время сервисы вопросов и ответов становятся очень популярными. На них заходит большое количество посетителей, контент постоянно обновляется, и поисковые пауки там просто живут.

Смысл не в том, чтобы спамить ссылки на свой сайт в каждом комментарии. Лучше сделать один осмысленный комментарий, чем несколько несодержательных. Найдите категорию по тематике своего сайта и почитайте ее некоторое время. Затем найдите вопрос, в котором вы компетентны, и помогите задавшему вопрос человеку содержательным и полезным советом, к месту указав ссылку на свой сайт.

Вопросы и ответы Google Ответы на Mail.ru Yahoo Answers (англ.)

Со временем будут появляться новые сервисы, поэтому время от времени набирайте запрос “вопросы и ответы” в поисковике, чтобы находить новые.

2. Социальные сети для блоггеров

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

В рунете социальных сетей для блоггеров пока немного, но они прекрасно индексируются поисковиками, а также ставят прямые ссылки на ваш сайт. Изучите материалы на этих сайтах, и, если тематика вашего сайта соответствует тематикам, публикуемым на этих сайтах, опубликуйте 1-2 анонса наиболее интересных материалов на вашем сайте. Затем время от времени можете добавлять в них анонсы своих лучших статей.

Вот примеры социальных сетей для блоггеров:

Корица

SportExec

Был еще хороший сервис BlogParad.ru, но с недавнего времени он не работает.

3. Комментарии в популярных блогах

Поисковые пауки часто посещают популярные блоги. С помощью комментария на таком блоге можно эффективно привлечь поискового паука на свой сайт. При этом, естественно, нужно написать толковый комментарий. Ссылку в тексте комментария делать не нужно - это во многих случаях приведет к удалению комментария. Достаточно при добавлении комментария указать адрес своего сайта в соответствующем поле. Имя пишите, как имя, а не ключевое слово.

Как найти популярные блоги? Очень просто. Зайдите в рейтинг блогов Яндекса, и вы найдете много популярных блогов.

4. Посты и комментарии в популярных сообществах

Сообщества отличаются от блогов тем, что в них можно вступить и опубликовать свою заметку. В сообществах можно оставлять комментарии, как и на обычных блогах. Ни в коем случае нельзя спамить в сообществах. Вас оперативно удалят из него и закроют доступ.

В популярных сообществах участвуют десятки тысяч участников. Для того, чтобы найти популярные сообщества, зайдите в рейтинг сообществ Яндекса.

Большинство сообществ находятся на блоговых сервисах LiveJournal, Liveinternet и Blogs.Mail.ru. Для того, чтобы вступить в сообщества, нужно сначала зарегистрироваться в этих сервисах. После этого вы получите в свое распоряжение блог.

Кстати, вовсе необязательно публиковать ссылку на свой сайт в сообществе. Достаточно написать несколько постов на своем свежем бесплатном блоге, и в них поставить по 1 ссылке на свой сайт. Затем публикуете заметку или комментарий в сообществе без каких-либо ссылок. Поисковый паук зайдет через ссылку на ваш профиль и проиндексирует ваш бесплатный блог, а следом и ваш сайт.

5. Заказ постов на сервисе Блогун

Еще один способ ускорения индексации сайта - заказать платный пост на блогах через сервис Блогун. Там вы найдете множество блогов по любым тематикам, которые готовы написать о вашем сайте посты в следующих форматах:

-одно-два предложения с 1 ссылкой (стоимость от $0.1)

-краткий обзор(до 1000 символов) (стоимость от $1)

-подробный обзор сайта или продукта (стоимость от $5)

Блоги очень быстро индексируются поисковиками, поэтому размещать в них ссылки на свой сайт очень эффективно для ускорения индексации.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Еще важное преимущество Блогуна, которое мне очень нравится - вы платите за ссылку на свой сайт только один раз, и она остается на все время существования блога. За нее не надо платить ежемесячно, как на других биржах ссылок.

Вы можете предоставить свой текст публикации либо заказать его написание блоггерам. Кроме этого, можно указать такие параметры, как адрес нужной страницы на вашем сайте, скрыть любое упомининие о том, что пост был оплачен и задать нужные вам ключевые слова для текста ссылки.

6. Сделайте блог на своем сайте

Блог на том же движке Wordpress имеет большое преимущество для поисковиков - он имеет функцию пинга поисковиков и специальных сервисов, сообщая им о каждой новой публикации на вашем блоге. В итоге поисковый паук придет на ваш сайт гораздо быстрее, чем если бы сайт был без блога.

Чтобы эффективно использовать этот метод, нужно организовать блог не на поддомене, а в подпапке вашего основного сайта. Например, как это сделал мой знакомый блоггер Стивен Снелль на своем сайте VandelayDesign.com. Можете прочитать мое интервью со Стивеном, которое он недавно дал для блога

Shakin.ru.

После того, как вы организовали блог на вашем сайте, в админке зайдите в

Options - Writing - Update Services (Настройки-Написание-Сервисы обновления)

и в самом низу вы найдете список сервисов для пинга.

Затем скопируйте мой список 100 сервисов для пинга, и вставьте их в окно. Теперь при публикации любого поста на вашем блоге все эти сервисы будут получать сигнал о том, что у вас появился новый материал, и поисковые пауки в ближайшее время посетят ваш блог и сайт.

7. Добавьте RSS ленту своего сайта в RSS агрегаторы

RSS агрегаторы - это сайты, которые публикуют анонсы материалов с различных сайтов, используя их RSS ленты. RSS агрегаторы хорошо индексируются поисковиками во многом благодаря тому, что на них много постоянно обновляющегося контента, то есть анонсов из RSS лент.

Вы можете бесплатно добавить RSS ленту своего сайта в RSS агрегаторы. Если у вашего сайта нет RSS ленты, то организуйте блог. Все блоги имеют RSS ленту, поэтому вы сможете добавить ее в RSS агрегаторы.

RSS агрегаторы:

http://alfaru.com/rss/addrss.html

http://allfeed.net/addfeed.php

http://blog.inf.by/

http://blogdir.ru/add_blog/

http://blogs.yandex.ru/add.xml

http://blogus.ru/add/Default.aspx

http://catalog.eximer.net/add/

http://catalog.gpmv.ru/add/1

http://directory.mblog.ru/add.php

http://fozi.ru/addfeed.html

http://headlines.ru/site/addrss/

http://kanban.ru/add.asp

http://litecat.com/?link=add

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

http://liverss.ru/

http://news.nofollow.ru/?page=addrss

http://newsread.ru/add.htm

http://plazoo.com/ru/addrss.asp

http://redtram.ru/pages/addsource/

http://retranslator.ru/directory/add/

http://rss.by/add/add_channel.html

http://rss.zelenkov.net/rss_add.php

http://rss-lenta.ru/rss/add

http://rssnews.org.ua/index/5.html

http://rss-news.ru/addrss.html

http://rssportal.ru/webmaster.php

http://rssreader.ru/addfeed

http://vsev.net/sites/services/rss/add_rss

8. Перенаправьте RSS ленту своего сайта через Feedburner

Feedburner - самый крупный в мире провайдер услуг по управлению RSS фидами. Его не так давно приобрел Google. Главный плюс перенаправления вашей RSS ленты через Feedburner - это то, что она будет гораздо быстрее индексироваться поисковиками.

9. Откройте e-mail рассылку

Казалось бы, странный метод. Вы спросите меня - зачем организовывать e-mail рассылку, когда нужно просто ускорить индексацию сайта? И я отвечу - открытие e-mail рассылки эффективно помогает ускорить индексацию сайта.

Дело в том, что на том же сервисе Subscribe.ru только что открытые рассылки анонсируются. Это дает возможность через этот анонс привлечь поисковики на свой сайт. Нужно только сразу сделать первый выпуск рассылки и поместить в него ссылку на свой сайт. Кроме этого, все выпуски рассылок на этом сервисе автоматически попадают в блог вашей рассылки, который тоже хорошо индексируется.

О том, как организовать e-mail рассылку, читайте в моей статье E-mail рассылка как инструмент продвижения сайтов.

10. Сделайте ссылку на сайт в подписи на форумах

Добавьте ссылку в свою подпись на популярных форумах и напишите несколько сообщений. Поисковики любят форумы с высокой посещаемостью, поэтому ссылка с такого форума значительно ускоряет индексацию сайта.

По моим наблюдениям, ссылка в подписи на форуме оптимизаторов Searchengines.ru помогает поисковикам проиндексировать новый сайт в течение 1-4 дней. Ссылка в подписи на англоязычном форуме вебмастеров DigitalPoint позволяет роботу Google проиндексировать ваш сайт в течение 15-45 минут.

11. Добавьте свою новость в StumbleUpon или Digg

С помощью этого метода можно привлечь робота Google на свой сайт за 5-30 минут. Но для этого нужно сделать одну интересную статью на английском и опубликовать ее на своем сайте. Затем регистрируетесь в социальных сетях StumbleUpon и Digg и добавляете туда свою англоязычную страницу.

Подробнее о продвижении сайтов с помощью StumbleUpon вы можете прочитать в моей статье

Продвижение сайтов с помощью StumbleUpon.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Добавление в любые социальные сети позволяет значительно ускорить индексацию сайта, но по моим наблюдениям, самые эффективные социальные сети для ускорения индексации - это StumbleUpon и Digg.

12. Создайте блог на бесплатных блоговых сервисах

Блоги на популярных сервисах довольно быстро индексируются поисковиками. Достаточно создать там блог и написать несколько статей или заметок со ссылками на ваш сайт. Для дополнительного ускорения индексации можете добавить друзей или оставить комментарии на популярных блогах. Обычно робот приходит на сайт через 1-5 дней после создания бесплатного блога.

Вот список наиболее популярных блоговых сервисов:

LiveJournal

Blogger

Liveinternet

Ya.ru

Blogs.Mail.ru

13. Опубликуйте пресс-релиз

Пресс-релиз - это отличный способ ускорить индексацию сайта. Подробнее о пресс-релизах и о том, как их использовать для продвижения сайтов вы можете прочитать в моей статье Продвижение сайта пресс-

релизами и 53 каталога, куда их можно добавить.

Для ускорения индексации англоязычных сайтов вы можете использовать мою свежую базу англоязычных каталогов пресс-релизов с PR 3-8.

14. Купите ссылку в постовом на популярном блоге

Постовой - это форма рекламы на блогах, когда блоггер ставит прямую ссылку на рекламодателя в начале или конце поста. Выбирайте блоги, которые часто обновляются и имеют хорошую посещаемость. Затраты составят от 3 до нескольких десятков долларов на одну ссылку в постовом.

Заходите на понравившийся вам блог, ищите раздел “Реклама на блоге” и пишите блоггеру. Большинство блоггеров предлагают рекламу на своих блогах, поэтому проблем найти подходящий блог не возникнет.

15. Напишите гостевой пост на популярном блоге

Гостевой пост - это когда вы пишете интересную и полезную статью по определенной тематике и по договоренности с блоггером высылаете ему свою статью, и он ее публикует на своем блоге. При этом указывается ваше авторство и ставится ссылка на ваш сайт.

Если вы обладаете профессиональными знаниями в какой-либо сфере и можете написать интересную статью, то этот способ замечательно подходит для ускорения индексации. Пишите статью и высылайте ее одному или нескольким блоггерам с указанием, что она уникальная. Многие блоггеры охотно разместят ваш материал, если он подходит их блогу по тематике, а вы эффективно ускорите индексацию своего сайта.

16. Возьмите интервью у популярного блоггера

Казалось бы, зачем брать интервью для ускорения индексации сайта? Дело в том, что многим блоггерам нравится давать интервью, и в большинстве случаев они поставят прямую ссылку на страницу с интервью на вашем сайте. Поисковые роботы часто посещают популярные блоги.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Этот метод подходит не для всех сайтов, но если у вас молодой и интересный тематический сайт или блог, то это хороший способ не только ускорить индексацию сайта, но и получить дополнительных посетителей на свой сайт.

Подробнее о том, как брать интервью, вы можете прочитать в моей статье Как увеличить посещаемость сайта с 0 до 3600 посетителей в сутки за 1 год - часть третья.

В целом могу сказать, что если вы используете вышеперечисленные методы ускорения индексации сайта,

а также методы из статьи Как ускорить индексацию сайта - 18 эффективных способов, то вы гарантированно приведете поисковых роботов на свой сайт.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Часть VI/8. Улучшаем индексацию сайта поисковиками –

Robots.txt для Joomla, SMF, WordPress

Автор: Дмитрий KtoNaNovenkogo

Для продвижение вашего сайта важно не только его уникальное наполнение, но и то, как индексируется ваш сайт. Надо очень четко понимать, что не все содержимое сайта (файлы и директории), созданного на каком-либо движке (Joomla, SMF или WordPress), должно быть доступно для индексирования. Если не прописать определенные правила поведения для ботов поисковых систем, то в индекс поисковиков попадет множество страниц, не имеющих отношения к содержимому сайта, а также может произойти многократное дублирование информации (по разным ссылкам будет доступен один и тот же материал сайта), что поисковики не любят.

Для чего нужен файл robots.txt, как его можно посмотреть для любого сайта, блога, форума

Для того, чтобы задать правила поведения для поисковых ботов используется файл robots.txt. С его помощью мы сможем влиять на процесс индексации сайта. Robot.txt представляет из себя обычный текстовый файл, который вы сможете создать, и в дальнейшем редактировать, в любом текстовом редакторе (например, Notepad++). Поисковый робот будет искать этот файл в корневом каталоге вашего сайта и если не найдет, то будет индексировать все до чего сможет дотянуться.

Поэтому после написания требуемого файла robots.txt (все буквы в названии должны быть в нижнем регистре - без заглавных) его нужно сохранить в корневую папку сайта, так чтобы он был доступен по такому адресу: http://vash_site.ru/robots.txt (например, мой файл robots.txt доступен по адресу http://ktonanovenkogo.ru/robots.txt).

Кстати, если вы хотите узнать как выглядит файл robots.txt того или иного сайта, то достаточно будет дописать к адресу главной страницы этого сайта /robots.txt. Это может быть полезно для определения наилучшего варианта для вашего файла robots.txt, но при этом надо учитывать, что для разных сайтовых движков оптимальный файл robots.txt будет выглядеть по разному. Поэтому если вы хотите определиться с лучшим вариантом файла robots.txt, допустим для форума на SMF, то и изучать файлы robots.txt нужно для форумов, построенных на этом движке.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Составные части (директивы) и правила написания файла robots.txt

Файл robots.txt имеет совсем не сложный синтаксис, который очень подробно описан, например, в яндексе. Обычно, в файле robots.txt указывается для какого поискового робота предназначены описанные ниже директивы (директива 'User-agent'), сами разрешающие ('Allow') и запрещающие директивы ('Disallow'), а также еще активно используется директива 'Sitemap' для указания поисковикам, где именно находится файл карты сайта.

Еще полезно указать в файле robots.txt какое из зеркал вашего сайта является главным в директиве 'Host'. Если даже у вашего сайта нет зеркал, то полезно будет указать в этой директиве, какой из вариантов написания вашего сайта является главным с www или без него. Т.к. это тоже является своего рода зеркалированием. Об этом я подробно рассказывал в этой статье: Домены с www и без www — история появления, использование 301 редиректа для их склеивания.

Теперь поговорим немного о правилах написания файла robots.txt. Директивы в файле robots.txt имеют следующий вид:

1<поле>:<пробел><значение><пробел>

2<поле>:<пробел><значение><пробел>

Правильный файл robots.txt должен содержать хотя бы одну директиву «Disallow» после каждой записи «User-agent». Пустой файл robots.txt предполагает разрешение на индексирование всего сайта.

Указание названия поискового робота в директиве User-agent

Директива «User-agent» должна содержать название поискового робота. При помощи этой директивы можно указать каждому конкретному поисковому роботу, какие страницы сайта индексировать, а какие нет. Пример написания директивы «User-agent», адресованной всем поисковым ботам зашедшим на ваш сайт, выглядит так:

1 User-agent: *

Если вы хотите в директиве «User-agent» задать условия индексирования только для какого то одного поискового робота, например, Rambler, то нужно написать так:

1 User-agent: StackRambler

Робот каждой поисковой системы имеет своё название (например, для рамблера это StackRambler), как в приведенном выше примере. Здесь я приведу список наиболее часто встречаемых поисковых роботов,

самых известных поисковиков:

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

У крупных поисковых систем иногда кроме основных поисковых ботов имеются также отдельные боты для индексации блогов, новостей, изображений и т.д. Много информации по разновидностям поисковых роботов вы можете почерпнуть на этом ресурсе.

Примеры использования директив (User-agent, Disallow, Host, Sitemap) в файле robots.txt

Приведу несколько простых примеров файла robots.txt с объяснением его действий.

1. Приведенный ниже код для файла robots.txt разрешает всем поисковым ботам индексировать весь сайт. Это задается пустой директивой Disallow.

1 User-agent: *

2 Disallow:

2. Следующий код, напротив, запрещает всем поисковикам индексировать сайт. Устанавливает это директива Disallow с "/" в поле значения.

1 User-agent: *

2 Disallow: /

3. Такой файл robots.txt будет запрещать всем поисковикам индексировать содержимое каталога

/image/ (http://mysite.ru/image/ - путь к этому каталогу)

1 User-agent: *

2 Disallow: /image/

4. В приведенном ниже примере, для индексирования будут запрещены директория «image», а так же все файлы и директории, начинающиеся с символами «image», т. е. файлы: «image.htm», «images.htm», директории: «image», «images1», «image34» и т. д.):

1 User-agent: *

2 Disallow: /image

5. При описании путей для директив Allow-Disallow можно использовать символы '*' и '$', задавая, таким образом, определенные логические выражения. Символ '*' означает любую (в том числе пустую) последовательность символов. Следующий пример запрещает всем поисковикам индексацию файлов с расширение ".aspx":

1 User-agent: *

2 Disallow: *.aspx

Во избежания возникновения неприятных проблем с зеркалами сайта (Домены с www и без www — история появления, использование 301 редиректа для их склеивания) , рекомендуется добавлять в файл robots.txt

директиву Host, которая указывает роботу Яндекса на главное зеркало вашего сайта (Директива Host,

позволяющая задать главное зеркало сайта для Яндекса). По правилам написания robots.txt в записи для

User-agent должна быть хотя бы одна директива Disallow (обычно ставят пустую, ничего не запрещающую):

1 User-agent: Yandex

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

2Disallow:

3Host: www.site.ru

либо

1 User-agent: Yandex

2Disallow:

3Host: site.ru

в зависимости от того что для вас оптимальнее.

Директива Sitemap указывает на местоположение карты сайта в формате .xml. В качестве параметра указывается путь к файлу, включая http://. Например:

1 Sitemap: http://site.ru/sitemap.xml

Назначение и синтаксис мета-тега Robots

Существует альтернативный способ сообщить роботам поисковиков о том, можно ли индексировать данную конкретную страницу или нет. Для этого внутри тега "HEAD" нужной страницы, прописывается МЕТА-тег “Robots” и так повторяется для всех страниц, к которым нужно применить то или иное правило индексации. Пример применения мета-тега:

1<html>

2<head>

3<meta name="robots" content="noindex,nofollow">

4<meta name="description" content="Эта страница ....">

5<title>...</title>

6</head>

7<body>

8...

Вэтом случае роботы всех поисковых систем должны будут забыть об индексации этой страницы (об это говорит noindex в мета-теге) и анализе размещенных на ней ссылок (об этом говорит nofollow) .

Существуют только две пары директив: [no]index и [no]follow. Index указывают, может ли робот

индексировать страницу. Follow - может ли он следовать по ссылкам со страницы. Значения по умолчанию – "index" и "follow". Есть также укороченный вариант написания с использованием "all" и "none", которые обозначают активность всех директив или, соответственно, наоборот: all=index,follow

и none=noindex,nofollow.

Для блога на WordPress вы сможете настроить мета-тег Robots, например, с помощью плагина All in One SEO Pack - Боремся с дублированием контента в блоге на WordPress, запрещая индексацию архивов тегов, категорий или временных архивов в плагине All in One SEO Pack

Ну все, с теорией покончено и пора переходить к практике, а именно, к составлению оптимальных файлов robots.txt для Joomla, SMF и WordPress. Но об этом уже во второй части статьи.

Вторая часть:

Файл robots.txt в купе с мета-тегом Robots позволяют указать поисковым системам какие страницы сайта индексировать, а какие нет.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

К тому же, у проектов, созданных на основе какого-либо движка (Joomla, WordPress, SMF и др), имеется множество вспомогательных файлов не несущих никакой информативной нагрузки. Если не запретить индексацию всего этого мусора в robots.txt, то время, отведенное поисковыми системами на индексацию вашего сайта, будет тратиться на перебор поисковыми ботами файлов движка на предмет поиска в них информационной составляющей. В этом случае, времени на полноценную индексацию сайта может не остаться.

Как запретить индексацию поисковыми системами дубликатов на сайте через robots.txt

Кроме того, следует стремиться к уникальности контента на своем проекте и не следует допускать дублирования контента (информационного содержимого) вашего сайта в индексе поисковых систем. Дублирование может возникнуть в том случае, если один и тот же материал будет доступен по разным адресам. Поисковые системы, проводя индексацию сайта, обнаружат дубли и, возможно, примут меры к некоторой пессимизации вашего ресурса.

Если ваш проект создан на основе какого-либо движка (Joomla, SMF, WordPress), то дублирование контента будет иметь место возможно с высокой вероятностью, а значит нужно с ним бороться, в том числе и с помощью запрещающих индексацию директив файла robots.txt.

Например, в WordPress, страницы с очень похожим содержимым, могут попасть в индекс поисковика если разрешена индексация содержимого рубрик, содержимого архива тегов и содержимого временных архивов. Но если с помощью мета-тега Robots запретить индексацию архива тегов и временного архива (можно теги оставить, а запретить индексацию содержимого рубрик), то дублирования контента не возникнет. Для этой цели в WordPress лучше всего будет воспользоваться возможностями плагина All in One SEO Pack.

Еще сложнее с дублированием контента обстоит дело в форумном движке SMF. Если не производить тонкую настройку индексации сайта поисковиками в robots.txt, то в индекс поисковых систем попадут многократные дубли одних и тех же постов. В Joomla иногда возникает проблема с дублированием контента обычных страниц и их копий, предназначенных для печати.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

12 Disallow: /forum/*.msg

13 Disallow: /forum/*.new

14 Disallow: /forum/*sort

15 Disallow: /forum/*topicseen

16 Disallow: /forum/*wap

17 Disallow: /forum/*imode

18 Disallow: /forum/*action

19

20 User-agent: Slurp

21 Crawl-delay: 100

Обратите внимание, что этот robots.txt приведен для того случая, когда ваш форум SMF установлен в директории forum основного сайта. Если форум не стоит в директории, то просто удалите из всех правил /forum. Авторы данного варианта файла robots.txt для форума на движке SMF говорят, что он даст максимальный эффект, если вы не будете активировать на своем форуме дружественные URL (ЧПУ).

Дружественные URL в SMF можно активировать или дезактивировать в админке форума, пройдя по следующему пути: в левой колонке админки выбираете пункт "Характеристики и настройки", в нижней части открывшегося окна находите пункт "Разрешить дружественные URL ", где можете поставить или снять галочку.

Еще один правильный файл robots.txt для форума SMF (но, наверное, еще не окончательно оттестированный):

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

02 Disallow: /administrator/

03 Disallow: /cache/

04 Disallow: /components/

05 Disallow: /images/

06 Disallow: /includes/

07 Disallow: /installation/

08 Disallow: /language/

09 Disallow: /libraries/

10 Disallow: /media/

11 Disallow: /modules/

12 Disallow: /plugins/

13 Disallow: /templates/

14 Disallow: /tmp/

15 Disallow: /xmlrpc/

В принципе, здесь практически все учтено и работает этот файл robots.txt для Joomla хорошо, запрещая индексацию поисковыми системами того, что индексировать не следует. Единственное, в этот правильный robots.txt следует добавить отдельное правило User-agent: Yandex для вставки директивы Host, определяющей главное зеркало сайта для Яндекса, а так же указать в robots.txt путь к файлу Sitemap. Поэтому в окончательном виде правильный robots.txt для Joomla, по-моему мнению, должен выглядеть так:

01 User-agent: *

02 Disallow: /administrator/

03 Disallow: /cache/

04 Disallow: /includes/

05 Disallow: /installation/

06 Disallow: /language/

07 Disallow: /libraries/

08 Disallow: /media/

09 Disallow: /modules/

10 Disallow: /plugins/

11 Disallow: /templates/

12 Disallow: /tmp/

13 Disallow: /xmlrpc/

14

15 User-agent: Yandex

16 Disallow: /administrator/

17 Disallow: /cache/

18 Disallow: /includes/

19 Disallow: /installation/

20 Disallow: /language/

21 Disallow: /libraries/

22 Disallow: /media/

23 Disallow: /modules/

24 Disallow: /plugins/

25 Disallow: /templates/

26 Disallow: /tmp/

27 Disallow: /xmlrpc/

28 Host: vash_sait.ru

29

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

30 Sitemap: http://vash_sait.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

Да, еще обратите внимание, что во втором варианте файла robots.txt для Joomla нет директивы

Disallow: /images/, запрещающей индексацию картинок вашего сайта. Я забыл сначала акцентировать ваше внимание на этом, но мне об этом напомнил уважаемый Alex, написавший следующее:

В Joomla не правильно закрывать от индексации поисковыми системами папку Images. Закрыв ее от индексации в robots.txt, вы не будете участвовать в поиске по картинкам Яндекса и Google. А если у вас еще и изображения уникальные, так вы будете терять еще один весомый аргумент, для показа поисковикам, что ваш проект интересный

Полностью с ним согласен в том, что если изображения, используемые на вашем проекте уникальные, и вы хотите, чтобы посетители находили ваш сайт еще и с поиска по картинкам от Яндекса и Google, то обязательно удалите это правило из своего файла robots.txt, но так же не забывайте прописывать всем вашим изображениям атрибуты Alt и Title (Для участия ваших изображений в поиске по картинкам Яндекса и

Google прописываем теги ALT и TITLE). Именно по ключевым словам, прописанным в этих атрибутах и будут приходить целевые посетители на ваш проект с поиска по картинкам Яндекса и Google.

При создании интернет магазина для Joomla на основе компонента VirtueMart я столкнулся с тем, что в индекс поисковой системы стали попадать версии для печати страниц этого самого магазина. Кнопка, ведущая на страницу для печати, была необходима (заказчик так хотел), поэтому оставался только вариант с запрещением индексации страниц для печати в robots.txt.

Но все оказалось совсем не сложно. Дело в том, что для создания версии для печати в Joomla используется такой же адрес страницы, за исключением одного: обращение идет не к файлу index.php, а к файлу index2.php. При этом не осуществляется загрузка шаблона Joomla, т.е. выводится только содержимое страницы на весь экран. Поэтому, для запрещения индексации версий страниц для печати в VirtueMart, я добавил в файл robots.txt для Joomla следующее правило:

1 Disallow: /index2.php?page=shop

Вы тоже можете добавлять свои правила в robots.txt, но после этого обязательно проверьте robots.txt - достигли ли вы желаемого результата. Для это используйте соответствующие инструменты панелей вебмастеров поисковиков.

Правильный robots.txt для блога на WordPress

Не буду приводить пример файла robots.txt для WordPress, который рекомендуют разработчики. Вы и сами можете его посмотреть. Многие блогеры вообще не ограничивают роботов поисковых систем в индексации их блогов на WordPress. Чаще всего в WordPress блогах можно встретить файл robots.txt автоматически заполненный плагином Google XML Sitemaps (Установка и настройка плагина для WordPress Google XML Sitemaps для создания карты сайта в формате XML — для поисковых систем), в котором присутствует лишь ссылка на адрес карты сайта для WordPress-блога, созданной этим плагином.

Но, по-моему, все-таки следует запретить индексацию в robots.txt тех файлов вашего блога на WordPress, которые не имеют отношения к информационный составляющей. Во-первых, на это уйдет много времени у поискового бота и может совсем не остаться времени для индексации статей на вашем блоге под управлением WordPress. Во-вторых, индексация всего того мусора, что вы поленитесь запретить в robots.txt для индексации в WordPress, будет создавать довольно приличную нагрузку на сервер, а у WordPress и без этого есть с этим проблемы (Оптимизируем блог на WordPress для снижения его нагрузки на сервер хостинг-провайдера).

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Поэтому, здесь я приведу в правильный robots.txt для блога на WordPress, а вам уже решать, использовать его в таком виде, использовать свой вариант robots.txt для WordPress или же не использовать robots.txt вовсе:

01 User-agent: *

02 Disallow: /cgi-bin

03 Disallow: /wp-admin

04 Disallow: /wp-includes

05 Disallow: /wp-content/plugins

06 Disallow: /wp-content/cache

07 Disallow: /wp-content/themes

08 Disallow: /trackback

09 Disallow: */trackback

10 Disallow: */*/trackback

11 Disallow: */*/feed/*/

12 Disallow: */feed

13 Disallow: /*?*

14

15 User-agent: Yandex

16 Disallow: /cgi-bin

17 Disallow: /wp-admin

18 Disallow: /wp-includes

19 Disallow: /wp-content/plugins

20 Disallow: /wp-content/cache

21 Disallow: /wp-content/themes

22 Disallow: /trackback

23 Disallow: */trackback

24 Disallow: */*/trackback

25 Disallow: */*/feed/*/

26 Disallow: */feed

27 Disallow: /*?*

28 Host: ktonanovenkogo.ru

29

30 Sitemap: http://ktonanovenkogo.ru/sitemap.xml.gz

31 Sitemap: http://ktonanovenkogo.ru/sitemap.xml

Пока что индексация блога при таком варианте файла robots.txt для WordPress меня полностью устраивает. Но запрет на индексацию определенных страниц блога задаются не в этом файл, а с помощью мете-тега Robots. Он у меня используется для запрета индексации страниц с архивом тегов и временным архивом.

Для того, чтобы прописать этот тег я не прибегал к правке кода файлов движка WordPress. В этом не было необходимости, т.к. все это можно осуществить простой установкой или снятием галочек в соответствующих пунктах чудесного плагина для WordPress - All in One SEO Pack (Установка и настройка плагина All in One SEO Pack.).