«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Глава VI. Индексация сайта

В главе рассматриваются способы индексации ресурсов и методы ускорения попадания в базы данных поисковых систем.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Часть VI/1. Среднее время индексации

Автор: belthazor

belthazor:

Добрый вечер всем, вообщем я около двух недель назад увлекся темой сайтостроения, создал сайт на джумле и залил его где то 3 дня назад. Вроде бы придерживался советов из разных источников по внутренней оптимизации, хотелось знать примерное время индексации и повлияет ли как то на ускорение индексации если буду размещать ссылки на свой сайт на сайтах с высокой посещаемостью? Вы все люди опытные, помогите советом) Заранее благодарен за ответ.

Brabus:

добавьте сайт в яндекс вебмастер, в панель управления гугл, прогоните по закладкам, ссылки с

посещаемых сайтов это отлично, только помните, что аудиторию того сайта должно заинтересовать Ваше предложение (ссылка). В совокупности это обязательно поможет.

belthazor:

Если не трудно обьясните что за закладки и по каким лучше проганять

Chiliec:

Загляните в тему продвижение социальными закладками.

dlanego:

Подскажите, пожалуйста, какая индексация займет меньше времени?

1.Создаю сайт из 20 страниц (если этого, конечно, достаточно для попадания в индекс яндекса. Есть тут минимум?), отдаю на индексацию и потом постепенно добавляю на сайт страницы, которые уже индексируются по мере приходов роботов.

2.Сначала полностью наполняю сайт основным содержимым (ну, 1000 страниц, например) и только после этого отправляю на индексацию.

Sevab:

Про 1000 страниц не понятно. Если это будет копипаст,то без разницы. Хоть так хоть так может не проиндексировать.

Создавайте сайт и постепенно наполняйте. Сделайте карту сайта. После изменений обновляйте ее. Пропишите в роботсе путь к карте.

Прогоните сайт по соц. закладкам. Получите несколько ссылок со сторонних сайтов. Это ускорит индексацию.

Подробнее эту тему можно почитать на форуме...

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Часть VI/2. Часто задаваемые вопросы по индексации страниц сайта

Автор: Delorean

Delorean:

В связи с большим количеством вопросов по индексации, решил создать FAQ – вопросы и ответы, надеюсь, он будет полезен тем, кто собирается задать свой вопрос. В этом ФАКе рассматриваем индексацию двух наиболее популярных систем – google и yandex

Что такое индексация?

Индексация - это обход поисковыми роботами интернет страниц и добавление их (страниц) в свою базу для последующей обработки, систематизации и вывода в результатах поиска.

Каков механизм индексации?

Механизм прост. Поисковой робот находит ссылку на ваш сайт, или на отдельную страницу, в интернете. Переходит по этой ссылки и начинает загружать страницы себе в базу. Робот будет переходить по ссылкам на вашем сайте и таким образом обойдет их все. Если страница или целый сайт недоступен, робот не будет задерживаться и пойдет дальше.

Как добавить мой сайт на индексацию?

Для индексации сайта, достаточно разместить ссылку на ваш сайт на уже проиндексированном ресурсе. Но, стоит добавить сайт, непосредственно в аддурилки (панель добавления новых сайтов) поисковых систем -

http://webmaster.yandex.ru/addurl.xml

http://www.google.ru/addurl/?continue=/addurl

Что такое робот поисковой системы?

Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.

Какие бывают индексирующие роботы

ВЯндексе есть несколько видов роботов, которые выполняют разные функции. Например, есть робот, который индексирует rss-ленту для поиска по блогам. Или робот, который индексирует только картинки. Самый важный — основной индексирующий робот, функция которого — поиск и индексирование информации для формирования базы основного поиска.

Впомощь основному есть быстрый робот — он предназначен для оперативного индексирования свежей, актуальной на данный момент информации. Если среди проиндексированных страниц своего сайта вы видите две копии какого-либо документа — скорее всего это означает, что помимо основного робота документ также был проиндексирован и быстрым роботом.

Взято из хелпа яндекса - http://help.yandex.ru/webmaster/?id=995324

С более полным списком роботов ПС и тем, как они представляются в логах можно ознакомиться тут -

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

http://www.tengy.ru/bot.html

Каково среднее время индексации сайта?

Время индексации сайта может варьироваться от нескольких часов, до нескольких недель и даже месяцев, тут все зависит от вас и вашего ресурса.

Как ускорить процесс индексации?

Для ускорения процесса индексации, нужно добавить свои ссылки в социальные закладки, которые любят ПС (поисковые системы) Приведу несколько наиболее любимых закладок у ПС:

http://memori.ru/ http://zakladki.yandex.ru/ http://bobrdobr.ru/ https://www.google.com/bookmarks/ http://www.delicious.com/

Другие закладки, можно посмотреть, например, ТУТ

Так же добавьте свой сайт в панели веб мастера ПС

http://webmaster.yandex.ru/

http://www.google.ru/webmasters/

Позже они вам пригодятся не только для индексации, но и для анализа.

Влияет ли качество хостинга на скорость индексации?

Да влияет, если ваш хостинг работает с перебоями и ваш сайт часто не работает, либо имеет длительное время отклика, то роботы ПС не смогу проиндексировать ваш сайт во время его недоступности. А это увеличивает время индексации сайта. Будьте внимательны и следите за постоянной доступностью сайта, ведь неизвестно, когда к вам заглянет робот.

Влияет ли имя домена на качество индексации?

Вопрос спорный, но лучше не извращаться и присваивать своим сайтам понятные и не сильно длинные имена.

Что такое Ап выдачи или когда ждать результатов индексации?

Ап - апгрейд, это обновление чего либо, в данном случае – это обновление результатов выдачи. После обработки загруженных роботом страниц при индексации, они появляются в поиске. Так вот, при каждом апе происходит обновления списка поисковой выдачи, списка ранжирования сайтов. У Яндекса такой ап происходит в определенные дни 1-2 раза в неделю. А другие дни поиск не обновляется. У гугла наоборот, ап происходит постоянно и в любое время ваши страницы могут быть проиндексированы и добавлены в поиск.

Что такое ЧПУ?

ЧеловекоПонятный урл, то есть ссылки вида - http://www.seobuilding.ru/seo-forum/indeksaciya_saita/ -

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

удобные для восприятия человеком. Эти ссылки помогают сайтам занимать более высокие места в поисковой выдачи, за счет дополнительного ключа в адресе страницы.

Страницы были проиндексированы, но я поменял контент и дизайн?

Ничего страшного, со временем, все страницы в поиске обновятся на новые, но у яндекса это может затянуться на несколько месяцев, с гуглом должно быть быстрее.

Почему поисковые системы не индексируют страницы сайта?

Тут несколько вариантов:

Flash и Java ссылки Запрет в Robots.txt

Слишком большое количество ссылок на странице Бан сайта поисковыми системами Запрет в мета-тегах Вход на страницы через заполнение форм Неуникальный контент

Что такое карта сайта и для чего она нужна?

Карта сайта (Sitemap) – это содержание нашего сайта, аналогично содержанию любой книги. В файле карты представлены все раздела и материалы сайта. И служит карта для быстрого и полного индексирования сайта, а так же для удобства навигации пользователей. Для разных CMS (систем управления сайтом) существуют разные карты сайта, например на WordPress существуют специальные плагины для простоты создания.

Подробнее о создании карты -

http://htmlweb.ru/analiz/sitemap.php

Как настроить robots.txt?

Robots.txt — специализированный файл, с его помощью мы ограничиваем доступ поисковым роботам к тому или другому разделу сайта. Любой поисковой робот сначала прочитает Robots.txt, а только потом начнет индексировать страницы сайта.

Так же с помощью файла robots.txt можно ограничить индексацию сайта, однако некоторые недобросовестные боты могут игнорировать наличие этого файла.

Тема довольно обширная, поэтому более подробно о robots.txt советую прочесть по этим ссылкам –

http://ktonanovenkogo.ru/seo/uluchshaem-indeksaciyu-sajta-poiskovikami-robots-txt-dlya-joomla-smf-wordpress-chast-2.html

http://www.stasv.ru/articles/robotstxt/

Как узнать когда был поисковой робот на моем сайте?

Можно посмотреть логи, если робот был на сайте, там это будет зафиксировано, как представляются роботы ПС смотрите тут - http://www.tengy.ru/bot.html

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

А можно пойти, на мой взгляд, по более простому пути, а именно, добавить свой сайт в панель вебмастера ПС

http://webmaster.yandex.ru/

http://www.google.ru/webmasters/

Что такое ранжирование?

Это процесс выстраивания найденных по запросу пользователя страниц в порядке наибольшего соответствия искомому запросу.

Как попасть в топ по поисковой выдаче?

Очень обширный вопрос, это исследует и изучает такое понятие как SEO. Ответ на этот вопрос – это комплекс мероприятий направленных на поисковую оптимизацию. На это влияет большой ряд факторов. Этому посвящено множество тем на этом форуме.

Что такое бан и за что его можно получить?

Своими словами на этот вопрос ответить не получится, потому как ПС банят за определенные провинности и для раскрытия этого вопроса обратимся к статье взятой из блога http://www.cavablog.pp.ua/seo/ban-sajta-ot-yandeksa-i-google/

Бан сайта – выброс сайта из индекса поисковой системы и невозможность добавления сайта в индекс ПС.

Давайте разберемся, с помощью, каких действий можно попасть в бан. Я собрал “данные правила” в виде тезисов.

За что можно получить бан от Яндекса

1.Клоакинг (подмена содержимого сайта при обращении к ней ПС и пользователя); 2.Высокая плотность ключевых слов (больше чем 7%); 3.Большое количество исходящих ссылок; 4.Низкий процент уникальности контента на сайте;

5.Бессмысленый текст (генерируется в автоматическом режиме); 6.Скрытый текст (текст, который совпадает с цветом фона); 7.Большое количество рекламы; 8.Участие сайта в линкфарме;

Выше были приведены основные правила, по которым происходит бан сайта от Яндекса.

За что можно получить бан от Google

1.Чужой контент; 2.Скрытый текст (белый текст на белом фоне довольно популярное явление);

3.Частое использование ключевиков;

4.Участие в линкфарме;

5.Клоакинг;

6.Исходящие ссылки в большом количестве;

7.Распостранение вирусов с вашего домена;

8.Спам с домена;

Только что привел основные “правила”, следуя которым можно получить бан сайта от яндекса и google. Разделение на бан от яндекса и google очень условное.

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

Вы ж понимаете, что это два топовых поисковика в RUS и UA.

Примечание* Линкфармы – сайты или группы сайтов, интенсивно ссылающиеся друг на друга

Что такое фильтры и какими они бывают?

Фильтры – это определенные алгоритмы, которые направлены на удаление из поиска ненужных страниц, хлама. Фильтром достаточно много, каждый я тут описывать не буду, а приведу лишь их названия, а описания уже прочтете по ссылкам.

Фильтры Яндекса:

Непот-фильтр Редирект фильтр

Фильтр плотности ключевых слов Фильтр «Ты последний» АГС-30 и АГС-17 Аффилирование

Фильтры Google:

"Песочница" (sandbox)

Фильтр "Дополнительные результаты"

Фильтр Bombing Фильтр Bowling

Фильтр "Возраст домена" Фильтр "Дублирующийся контент" Фильтр -30 Фильтр "Опущенные результаты"

Фильтр "Социтирование"

Фильтр "Links"

Фильтр "Много ссылок сразу" Фильтр "Чрезмерная оптимизация" Фильтр "Битые ссылки"

Общий фильтр "Степень доверия" (Google Trust Rank)

Подробно о фильтрах можно прочесть тут -

http://tytto.ru/Ссылки/2009-09-24-07-55-43.html

http://dlepro.com/310-filtry-ps-yandeks-i-google.html

Так же занимательный видео семинар по фильтрам -

http://rutube.ru/tracks/2573947.html?v=da0c25e363a81642bfeb53b3082aefa5

Что делать если ничего не помогает и мой сайт не индексируется яндексом?

Если вы все перепробовали и прошло уже достаточно времени, а ваш сайт так и не появился в поисковой выдаче Яндекса, остается одно – писать письмо Платону Щукину -

«SEO: Поисковая Оптимизация от А до Я» - Средний уровень => Глава VI. Индексация сайта

http://feedback.yandex.ru/?from=webmaster Подробно опишите суть вашей проблемы и вам в скором времени ответят и расскажут ваши дальнейшие действия.

Кто такой Платон Щукин?

Это очень хороший вопрос и конкретного ответа на него нет, многие считают что это команда саппорта яндекса, кто-то говорит, что это один человек. Прочтите вот эту статью - http://www.terehoff.com/platot-schukin-living-person.html может что-то проясниться для вас.

Если вы не нашли в этом сборнике ответ на ваш вопрос, пишите, с удовольствием ответим и добавим его сюда.

Подробнее эту тему вы можете почитать на форуме.