Склейка зеркал www

 

Первым делом, необходимо склеить зеркала сайта WWW. Особо актуальна данная проблема была года 4-5 назад, когда сайт с расклееными зеркалами не мог быть полностью проиндексирован Яндексом. Сегодня Яндекс заметно меньше обращает на это внимания, но все-таки, склейка зеркал является очень важным пунктом технической оптимизации.

Если сайт еще не был проиндексирован поисковыми системами, то в качестве главного зеркала можно выбрать любое, как с www, так и без него. Если сайт уже в индексе, то необходимо проверить, какое зеркало, в глазах Яндекса является основным. Для этого просто вводим адрес сайта в поиск и проверяем отдаваемый URL, как на изображении ниже (нажмите на изображение):

 

Чтобы увидеть основное зеркало, необходимо подвести курсор к зеленой надписи, отображающий адрес сайта, распооложенной под сниппетом. В данном примере видно, что основное зеркало моего блога содержит WWW префикс. Далее необходиимо склеить зеркала, посредством служебного файла htaccess. Расположен данный файл в корневой директории вашего сайта. Здесь стоит сделать одно очень важное замечание!

 

Определенные настройки хостинга позволяют делать технические файлы (в частности .htaccess) невидимыми при FTP доступе к сайту. Следовательно, если вы зашли в корневую директорию и не увидили там данный файл — это еще не значит, что его НЕТ. Соответственно, если вы решите созздать новый файл, то попросу произойдет перезапись и сайт вполне может упасть. Ну это крайне частный случай, просто имейте данный факт в виду.

 

Для склейки зеркал, в htaccess необходиимо инициировать редиректы: Options +FollowSymLinks RewriteEngine On

 

Вполне возможно, в вашем файле уже присутствует данная директива, так что, советую вам изучить уже имеющийся код. Сразу после RewriteEngine On, новой строкой, необходимо прописать следующее:

 

1. Если основное зеркало сайта должно быть без WWW RewriteCond %{HTTP_HOST} ^www.site\.ru$ [NC] RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

2. Если основное зеркало сайта должно быть с WWW RewriteCond %{HTTP_HOST} ^site\.ru$ [NC] RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

 

Теперь можно и проверить. Для проверки просто попробуйте ввести адрес сайта как с WWW, так и без. Сервер должен автоматически приводить все к общему виду.

 

Поиск и удаление дублей страниц, битых ссылок, дублей заголовков и т.Д.

 

Далее необходимо произвести выгрузку сайта при помощи программы XENU, которая поможет нам определить битые ссылки сайта, дубли страниц, дубли Title и многое другое. О том, как это сделать я уже писал. В статье про XENU описана методика определения реального числа страниц сайта и сравнение его с числом страниц в индексе ПС. Если в индексе обнаружены дубли страниц — необходимо их от туда убрать. Поиск дублей, на самом деле достаточно долгий и нудный процесс, но он невероятно важен для хорошего ранжирования. Что бы хоть как-то облегчить процесс поиска дублей приведу основные причины их возникновения:

 

1. копия страницы в RSS

2. копия страницы с хэштегом. Например, комментарии в WordPress с хэштегом #comments

3. дублирование главной страницы близнецами index.php, index.html и т.д.

4. страница печати (особенно актуально для Joomla)

5. сессии часто становятся причинами появления дублей

6. выдача страницы в дополнительном формате, например pdf

7. передача параметров через ?. Яркий пример — подключение к сайту реферальной системы, которая для определения того, что пользователь пришел от вас будет добавлять определенные параметры к URL адресам ваших страниц.

8. страницы доступны со слэшем в конце адреса «/» и без

9. не настроена обработка ошибки 404

10. относительная адресация

11. использование редиректа 302

12. сортировка по товарам

13. поиск по сайту

 

После выявления дублей страниц сайта, необходимо от них избавиться. Для этого существует несколько способов:

 

1. при помощи служебного файла robots.txt

2. при помощи .htaccess

 

 

Настройка Robots.txt

 

Сдедующим делом необходимо настроить служеиный файл Robots.txt В каждом отдельном случае роботс будет содержать свои директивы, применимые к конкретно взятому сайту, но можно выделить ряд общих рекомендаций, применимых ко всем случаям:

 

• Все директивы должны быть отдельно продублированы для ПС Яндекс

• Для Яндекса должен быть указан хост -Host: site.ru

• Для каждого User-Agent должен быть указан адрес sitemap

• Все физические служебные папки должны быть закрыты от индексации

• Страницы тегов и категорий должны быть закрыты от индексации

 

Карта сайта

 

Карта сайта может быть двух видов:

 

• sitemap.xml

• обычная картта сайта

 

В первом случае, создается специальный служебный файл XML фоормата, который используется роботами при индексации сайта. Второй тип — карта сайта, которую может увидеть любой пользователь вашего сайта, как правило ссылка на нее размещается в шапке или в подвале и называется «Карта сайта». Она необходима для правильного распределения веса внутри сайта и иногда может быть полезна пользователям вашего ресурса. Конкретно в данной статье речь пойдет об XML карте сайта.

Наличие карты сайта в формате XML помогает роботам полностью проиндексировать страницы вашего сайта, поэтому данный файл обязательно должен быть и должен содержать ВСЕ страницы сайта. Создать карту сайта можно следующими способвами:

 

• вручную  Аж, прям, как-то смешно становится

• при помощи web-сервисов

• при помощи плагинов для CMS

• при помощи десктопных программ

 

Вот вам ссылочка в помощь, там практически все возможные методы перечислены —https://code.google.com/p/sitemap-generators/wiki/SitemapGenerators