Индексация сайта

Для появления страниц ресурса в естественной выдаче они должны пройти процесс индексации поисковой системой. В ходе индексации ресурса робот последовательно посещает и анализирует страницы с последующим занесением полученных данных в поисковую базу.

Индексация продвигаемых страниц – необходимое условие раскрутки сайта. Естественным путем процесс происходит в течение периода от одной недели до нескольких месяцев. Специалисты по поисковому продвижению сайта имеют возможность привлечь робота на ресурс и, таким образом, ускорить индексацию страниц с помощью следующих приемов.

Ручное добавление ресурса. О созданном ресурсе робот может «узнать» благодаря ручному добавлению URL сайта через специальную форму поисковика. Таким образом, веб-мастер сообщает системе о новом ресурсе, адрес которого попадает в очередь на индексацию. В данном случае добавляется только главная страница, на остальные поисковые роботы перейдут по внутренним ссылкам.
Простановка внешних ссылок. Поисковые системы находят сайт самостоятельно в случае наличия внешних ссылок на его страницы. В данном случае ресурс индексируется от 2 дней до 2 недель. Быстрее остальных систем ресурсы добавляет Google.

Требования к сайту

Чтобы поисковые системы проанализировали ресурс полностью, при поисковой оптимизации сайта соблюдают следующие правила.

Любая внутренняя страница должна быть расположена не далее трех переходов от главной. Если структура ресурса этого не позволяет, создается карта сайта, указывающая роботам путь к вложенным подкаталогам.
Не используются идентификаторы сессий, затрудняющие работу поисковых ботов.
Обычно поисковые системы индексируют на странице до 100-200 Кб текста. В случае большего размера анализируется только часть материала. Если необходима полная индексация такой страницы, информация на ней сокращается или разбивается на несколько разделов.
Для управления действиями поисковых роботов заполниется файл robots.txt, в котором прописываются инструкции по запрету или разрешению индексации отдельных страниц или директорий сайта. Для этих же целей в процессе оптимизации под Google и Яндекс используется тег «NOINDEX» (поддерживается только российскими поисковиками).

Факторы, влияющие на индексацию

Поисковые базы данных регулярно обновляются, поэтому число проиндексированных страниц сайта может меняться. Переиндексация происходит тем быстрее, чем больше внешних ссылок на сайт. Для отслеживания процесса индексации анализируются лог-файлы сервера, в которые заносятся данные обо всех визитах поисковых ботов.