Рабочая тетрадь

Файл robots.txt

http://www.robotstxt.org/

Стандарт

# Комментарий

User-Agent: имя робота

Disallow: начало строки запрета

Sitemap: карта сайта

http://help.yandex.ru/webmaster/?id=996567#1022359

Только для Яндекса

Host: имя главного зеркала

Crawl-delay: задержка при индексации

Clean-param: не учитывать параметры GET-запроса

Карта сайта XML Sitemap

Универсальный способ сообщить поисковым системам о новых или изменившихся страницах на сайте

Позволяет указывать дополнительные параметры, такие как

–дата изменения,

–рекомендуемая частота обновления

–приоритет страниц

Основной рекомендуемый способ указания новых страниц на сайте

Элементы XML Sitemap

http://www.sitemaps.org/ru/protocol.php

urlset — начальный тег карты

url — описывает одну страницу

loc — URL-адрес страницы (полностью!)

lastmod — Дата и время последнего изменения документа (страницы)

changefreq — Вероятная частота изменения этой страницы

priority — Приоритетность URL относительно других URL на Вашем сайте

sitemapindex — ссылка на другую карту сайта

Пример XML Sitemap

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url>

<loc>http://www.ininfo.biz/</loc> <lastmod>2010-01-26T09:20:50+00:00</lastmod> <changefreq>daily</changefreq> <priority>1.0</priority>

</url>

<url>

<loc>http://www.ininfo.biz/2010/01/26/ie8-turbo/</loc> <lastmod>2010-01-26T09:20:50+00:00</lastmod> <changefreq>monthly</changefreq> <priority>0.2</priority>

</url>

</urlset>

Генерация XML Sitemap для HTML сайтов

 http://www.xml-sitemaps.com/

Лабораторная работа: Проверка и создание файлов управления индексацией

Инструменты поисковых машин (диагностика)

Подключение сервиса Яндекс.Вебмастер

http://webmaster.yandex.ru/

Анализ robots.txt

Подключение XML Sitemap