Удалить url

Ссылка "Сохраненная копия"на странице результатов поиска иногда позволяет узнать очень интересные вещи, которые были оперативно удалены с какого-либо сайта. Так бывает с новостями или какими-то спорными публикациями. Это особенность работы поисковых систем здорово радует посетителей сайта. Но теперь, выступая в роли администраторов, мы наоборот, заинтересованы в том, чтобы ненужные страницы, которые мы уже удалили со своего сайта, как можно скорее были удалены из результатов поиска. Опять-таки, рано или поздно это произойдет. Для того чтобы это произошло рано, используется форма "Удалить URL" ( рис. 4.3):

увеличить изображениеРис. 4.3. Форма удаления URL

Конечно, эта форма не гарантирует моментального удаления результата, но ускоряет его.

Проверить сайт

А есть ли вообще наш сайт в базе поиска? Ответ на этот вопрос даст страница "Проверить сайт" ( рис. 4.4):

увеличить изображениеРис. 4.4. Проверка сайта

Открывается обычная страница поиска, в которой подставлен шаблон rhost="ru.narod.v-rn"|rhost="ru.narod.v-rn.*" ( рис. 4.5):

увеличить изображениеРис. 4.5. Результаты проверки сайта

Этот шаблон нам уже знаком из первой Лекции. Сейчас наш сайт, который был только что создан, не найден в поисковой базе. Проверим сайт Интернет Университета Информационных технологий с помощью этой же формы. В строке запроса будет шаблон rhost="ru.intuit"|rhost="ru.intuit.*" ( рис. 4.6):

увеличить изображениеРис. 4.6. Результат проверки сайта ИНТУИТа

Сайт также находится в Яндекс.Каталоге, поэтому на странице результатов отображается соответствующаярубрика. Спустя некоторое время еще раз введем значения сайта v-rn.narod.ru. Сайт был проиндексирован и теперь отображается в базе ( рис. 4.7):

увеличить изображениеРис. 4.7. Проверка сайта после индексации

Заметим, что в данном случае, в качестве описания сайта выводится содержимое тега title. Поэтому на многих сайтах заголовки очень длинные, зачастую содержащие описание сайта.

Мои сайты

Раздел "Мои сайты"содержит перечень ресурсов, которые могут управляться Вами. Это своего рода отправная точка мониторинга своих сайтов. Поначалу список пустой, поэтому мы вводим адрес сайта и нажимаем на кнопку"Добавить"( рис. 4.8):

увеличить изображениеРис. 4.8. Добавление адреса в разделе "Мои сайты"

Спустя некоторое время, после того как сайт будет проиндексирован, отчет будет содержать информацию об этом ( рис. 4.9):

увеличить изображениеРис. 4.9. Проиндексированный сайт в разделе "Мои сайты"

Глядя на этот список, возникает вопрос - а могу ли я таким образом добавить совершенно чужой сайт? Специально для предотвращения таких случаев сделана система проверки прав на управления. Она включает в себя предложение загрузить определенную информацию на ваш сайт. Если получится это сделать, то Яндекс будет считать вас владельцем сайта. Другими словами, владелец сайта может изменять его содержимое, что и проверит Яндекс.

В нашем случае мы авторизованы от имени пользователя v-rn@narod.ru, который автоматически является владельцем сайта v-rn.narod.ru. Поэтому никаких предложения проверить права на управления не возникает - мы автоматически получаем статус подтвержденных прав.

Под ошибками сайта понимаются случаи, когда поисковый бот не мог получить доступ к определенным страницам. Это могут быть и банальные несуществующие страницы (ошибки 404) или же ссылки на защищенные части сайта, которые запрещены для индексирования (см. далее файл "robots.txt").

Поле "Загружено страниц"отображает общее число страниц сайта, которые успел обойти поисковый бот Яндекса.

На рис. 4.9гиперссылка на названии сайта ведет не на сам сайт, а на сводную страницу информации ( рис. 4.10):

увеличить изображениеРис. 4.10. Информация о v-rn.narod.ru

Гиперссылка "Структура сайта"ведет на структуру, которую, опять-таки, видит Яндекс. Здесь отображаются только те подразделы, которые содержат более 10 страниц и занимают более 1% от общего числа. Поэтому реальная структура - та, которую мы могли видеть на локальном компьютере или на FTP, будет отличаться от представленной.

Файлы Sitemap- отличное средство указать приоритет индексации страниц для сайтов, содержимое которых часто обновляется. Например, большинство новостных лент содержат подразделы, на которых часто публикуются новости. Другие подразделы - архив, информация о сайте (или компании), список рассылок - обновляются реже. Быстрая индексация наиболее обновляемых материалов позволит отображать в поисковой выдаче актуальные данные, а значит, будет способствовать привлечению на ресурс новых посетителей. Для создания файлов Sitemap используется разметка XML, конкретные спецификации которой представлены наофициальном сайте.

Раздел "Индекс"содержит очень интересную информацию и инструменты ( рис. 4.11):

увеличить изображениеРис. 4.11. Раздел "Индекс"

В конце августа 2007 года Яндекс перестал поддерживатьтакие возможности, как поиск страниц, содержащих ссылку на данную, поиск слов, содержащихся только в текстах ссылок на данную. Они были удобны для использования как владельцами сайтов, так и""роботами" — программами, написанными с целью изучить ранжирование Яндекса и попытаться им манипулировать". Поскольку такое манипулирование ухудшало качество поиска, то соответствующие инструменты были выключены. Так вот, а раздел"Индекс"позволяет все же просмотреть, какие внешние страницы ссылаются на подраздел вашего сайта с помощью инструмента"Внешние ссылки". Другими словами, в какой-то мере прежняя функциональность доступна в этом сервисе.

Раздел "Запросы"позволяет видеть, по каким поисковым словам сайт оказывается в результатах поиска ( рис. 4.12):

увеличить изображениеРис. 4.12. Раздел "Запросы"

В еще одном инструменте для веб-мастеров - Яндекс.Метрике, который мы рассмотрим позже, есть дублирующие этот раздел средства.

Раздел "Инструменты"содержит, как это следует из названия, инструменты для проверки файлаrobots.txtи изменения регистра имени сайта в результатах поиска ( рис. 4.13):

увеличить изображениеРис. 4.13. Раздел "Инструменты"

Как правило, в любом сайте есть разделы, которые не должны индексироваться поисковыми системами. Это административные папки, персональные данные пользователей, рабочие материалы. Для того чтобы сообщать всем поисковым системам и Яндексу, в частности, что какие-то разделы обходить не нужно, используется помещение обычного текстового файла "robots.txt"в корневую директорию сайта, причем название файла должно быть точно таким. Например, на настоящем сайте этот файл лежит здесь:http://www.intuit.ru/robots.txtМы видим его содержимое:

User-Agent: *

Disallow: /cgi-bin/

Disallow: /w2k-bin/

Disallow: /admin/

Disallow: /w2admin/

Disallow: /user/

Disallow: /css/

Disallow: /diploma/

Язык этого файла довольно простой- это не какое-то программирование или даже не HTML-код. В данном случае для всех поисковых систем - "User-Agent: *" запрещено индексирование директорий cgi-bin, w2k-bin, admin и т.д. со всем их содержимым. Создадим свой собственный файлrobots.txtдля нашего сайта. Для примера, запретим индексирование определенной папки. Идем в Мастерскую, и нажимаем на ссылку"Создать папку"( рис. 4.14):

увеличить изображениеРис. 4.14. Мастерская, ссылка "Создать папку"

Название папки может быть совершенно произвольным, но придерживаясь определенных традиций, назовем ее admin( рис. 4.15):

увеличить изображениеРис. 4.15. Создание папки "admin"

В Мастерской переходим по гиперссылке созданной папки, а затем нажимаем "Создать html-файл"( рис. 4.16):

увеличить изображениеРис. 4.16. Мастерская, гиперссылка "Создать html-файл"

Вводим произвольное название файла, скажем, main.html ( рис. 4.17):

увеличить изображениеРис. 4.17. Создание html-страницы

А затем переходим к редактированию созданной страницы. Напишем, что это страница, которая не должна быть доступна для поисковых систем ( рис. 4.18):

увеличить изображениеРис. 4.18. Редактирование html-страницы

Конечно, все шаги, которые мы сейчас проделали - всего лишь использование функционала Мастерской. Точно такой же результат мы бы получили, если бы создали папку, затем страницу в программе Dreamweaver, а потом загрузили бы их через ftp. Главное то, что теперь по адресу http://v-rn.narod.ru/admin/main.htmlмы видим созданную страницу ( рис. 4.19):

увеличить изображениеРис. 4.19. Страница, которая будет скрыта от поисковых систем

Важное замечание - это страница совершенно доступна для всех пользователей. Она останется такой же и далее. Если же мы хотим, чтобы к ней получали доступ авторизованные пользователи, то эту задачу придется решать средствами веб-программирования. Но к запрету к индексации поисковыми системами это отношения не имеет.

Теперь запускаем блокнот, сохраняем файл "robots.txt"и вводим в него правило ( рис. 4.20):

Рис. 4.20. Правило для сайта v-rn.narod.ru

Осталось забросить этот файл в корневую папку сайта. Идем в Мастерскую, нажимаем на ссылку "загрузить файлы"( рис. 4.21):

увеличить изображениеРис. 4.21. Мастерская, гиперссылка "Загрузить файлы"

Далее нажимаем на кнопку "Обзор", выбираем файл"robots.txt", расположенный на локальном компьютере, а потом загружаем его ( рис. 4.22):

увеличить изображениеРис. 4.22. Загрузка файла

Все готово. Возвращаемся к инструментам Яндекс.Вебмастер, переходим по ссылке "Анализ файла robots.txt"(см.рис. 4.13). При этом происходит загрузка содержимого файлаrobots.txt, который уже есть на нашем сайте. Оно выводится в верхнем поле страницы. Мы вводим адрес, который хотим проверить -v-rn.narod.ru/admin/main.html( рис. 4.23):

увеличить изображениеРис. 4.23. Анализ файла robots.txt

Как мы и хотели, эта страницу не будет индексироваться - результат "запрещен правилом /admin/" ( рис. 4.24):

Рис. 4.24. Результат анализа файла robots.txt

Для анализа файла robots.txtвсех сайтов - не только своего собственного, используетсяпубличная версия инструмента. Она работает даже для неавторизованных пользователей.

Инструмент "Регистр имени сайта"несомненно, оценят пользователи,которые любят писатьадрес электронной почты как ImyaFamiliya@Company.com. Он позволяет изменить адрес сайта в поисковой выдаче ( рис. 4.25):

увеличить изображениеРис. 4.25. Изменение регистра имени сайта

Разумеется, после изменения сайт по-прежнему будет доступен и по обычной ссылке типа v-rn.narod.ru.