В современных условиях интернет-маркетинга от владельцев сайтов требуется не только понимание того, как заинтересовать потенциального заказчика или покупателя своим коммерческим предложением. Первоочередной становится задача привлечения таких пользователей, то есть необходимо получить SEO-трафик – продвинуть сайт в «Яндексе» и Google, сделав это быстрее и качественнее конкурентов.
Без знания технических нюансов, которые в конечном итоге влияют на продвижение сайта и успешность digital-маркетинга, просто не обойтись. Нужно иметь представление о том, как информация попадает в поисковую систему (ПС), что важно для того, чтобы индексация сайта прошла успешно, а впоследствии веб-ресурс целиком или частично не выпал из индекса. Именно по нему ПС ищет и выдает ссылки по запросам пользователей. Также необходимо понимать, почему качественная оптимизация страниц сайта способствует быстрой и максимально полной индексации.
Понятие индексации сайта
Под индексацией сайта в «Яндексе», «Гугле» или другой поисковой системе понимают сбор и систематизацию информации с его страниц в базах данных на серверах поисковых систем. Фактически сначала собирается вся информация с веб-ресурса, на ее основе строится подборка значимых ключевых слов, которые записываются и хранятся в базе данных для оптимизации полноты и скорости поиска ответов на запросы пользователя.
Очевидно, что с учетом динамики развития сети Интернет, постоянного появления новых сайтов и изменения информации на старых индексация предстает сложной задачей по сбору, переработке и анализу огромных объемов информации, которые физически не могут моментально попадать в поисковую выдачу.
Несмотря на постоянное развитие аппаратной и программной части поисковых систем, наблюдается устойчивая тенденция к увеличению временной задержки между публикацией новых сайтов и появлением их в индексе.
Чтобы понять, почему так происходит, рассмотрим процесс формирования поисковой базы в «Яндексе».
Как происходит индексация сайта
Для описания технологии формирования поискового индекса «Яндекса» принято использовать такие определения:
- «паук» – программное обеспечение, которое выкачивает содержимое страниц сайта в базу ПС для последующего анализа и обработки. Порядок посещения веб-ресурсов «пауком» определяется очередью, которая формируется из нескольких источников;
- основной робот – проходит по всему контенту сайта и собирает информацию для последующего добавления, анализа и публикации в основном индексе поисковой системы;
- быстрый робот – определяет новые страницы и довольно быстро (от нескольких часов до 2 дней) передает информацию с них в индекс поисковой системы;
- планировщик посещений – специальное программное обеспечение, которое определяет очередность обхода сайтов и их страниц поисковым «пауком», то есть формирует очередь посещений.
При публикации нового ресурса процесс его попадания в индекс можно представить в виде следующего алгоритма.
- Как только «Яндекс» узнает о существовании нового ресурса, быстрый поисковый робот собирает информацию со значимых страниц, после чего передает ее в индекс, а также ставит в очередь на обход основным роботом.
- Основной робот проходит по всем страницам сайта, полностью снимает его текстовое содержимое и сохраняет его в базе для последующего анализа.
- Собранная информация проверяется на соответствие критериям «Яндекса» и, если она им удовлетворяет, переносится в формируемую базу обновления индекса.
- После завершения подготовки обновленного индекса он становится основным, и результаты поиска актуализируются для пользователя. На этот процесс уходит от 2–3 дней до 2 недель, поэтому новые сайты появляются в поиске с довольно значительной задержкой.
- Далее процесс обхода сайта повторяется с определенной периодичностью. Во время повторных обходов «пауком» обнаруживаются новые страницы, а также изменения информации на тех страницах, которые уже находятся в индексе.
Очевидно, что для максимальной отдачи от веб-ресурса следует обеспечить индексирование сайта как можно быстрее, однако время попадания в основной индекс определяется множеством параметров. На ряд из них можно повлиять, а другая часть критериев обусловлена особенностями работы поисковой системы, и ускорить процесс невозможно.
Скорость попадания сайта в индекс
Если речь идет о сайте коммерческой направленности, нужно максимально ускорить процесс индексации и, следовательно, доступность такой интернет-рекламы для пользователей. От этого напрямую зависит время, через которое сайт начнет получать посетителей и давать прибыль, поэтому надо по максимуму обеспечить выполнение ряда действий.
- Сообщение поисковой системе о появлении нового сайта. Сделать этом можно путем публикации ссылок на других ресурсах и обязательно через регистрацию в «Яндекс.Вебмастере». Аналогично для индексации сайта в Google следует добавить его в сервис Search Console. В «Яндекс.Вебмастер» URL попадает через раздел «Переобход страниц». Также опция передачи на индексацию URL страниц возможна в «Яндекс.Метрике», установленной на сайт.
- Проверить сайт на доступность и отсутствие грубых ошибок в коде на сервисах валидации. Это необходимо для того, чтобы «паук» при наступлении очереди на обход не пропустил ее из-за недоступности сайта или наличия на нем большого числа технических ошибок. Если это произойдет, придется ждать следующего обхода.
- Создать две карты сайта. Одну в виде обычной страницы со ссылками на все страницы ресурса, вторую в виде служебного файла Sitemap.xml, который размещается в корне сайта на хостинге. Обе карты делаются для большинства современных систем управления контента в автоматическом режиме путем несложной настройки.
- Настроить файл Robots.txt в соответствии с рекомендациями для выбранной системы управления содержимым для исключения попадания в индекс одинаковых материалов, находящихся по разным адресам. Также в файле прописывается указание поисковым роботам на наличие и местоположение карты сайта Sitemap.
- При внутренней СЕО-оптимизации сайта использовать внутреннюю перелинковку, которая позволит роботам обнаружить адреса других страниц ресурса.
- Обеспечить систематическое добавление информации на сайт. Система будет считать этот ресурс часто обновляемым и полезным для посетителей.
Также следует позаботиться о соответствии качества контента сайта требованиям поисковой системы. В противном случае можно наблюдать ситуацию, когда сайт попадает в поиск после обхода быстрым роботом, а через некоторое время после сбора информации основным роботом и ее анализа часть страниц или даже весь ресурс целиком выпадает из поисковой выдачи. Это происходит потому, что качество контента не удовлетворяет правилам поисковой системы, например он может быть неуникален или перенасыщен ключевыми словами.
В этой связи отличия между поисковыми системами «Яндекс» и Google заключаются в том, что некачественная страница в «Яндексе» удаляется из индекса, а в Google значительно понижается в ранжировании, но в поиске обычно все же остается.
В некоторых случаях для исключения попадания информации в основной индекс требуется запретить индексирование. Для этого используют настройки файла Robots.txt и атрибуты noindex и nofollow, которые сообщают поисковой системе, что заключенный в них материал не нужно добавлять в индекс.
Какая информация попадает в индекс поисковой системы
Основу индекса поисковой системы составляют тексты на страницах сайта, однако роботы поисковых систем умеют получать содержимое и из документов в закрытом формате. Так, современные «пауки» способны получить содержимое:
- из PDF с текстовым слоем (Adobe Systems);
- определенных блоков flash-файлов (Adobe Systems);
- DOC/DOCX, PPT/PPTX, XLS/XLSX (MS Office);
- ODS, ODT, ODG, ODP (Open Office);
- TXT, RTF, XML.
Об этом стоит помнить, когда вы размещаете на сайте неуникальные документы, которые могут испортить общую картину сайта после анализа содержимого роботом поисковой системы.
Также следует обратить внимание на тот факт, что разные сайты обходятся роботами «Яндекса» с разной периодичностью. В связи с этим может возникнуть проблема кражи контента. Поисковая система считает уникальной копию, которую она обнаруживает первой, поэтому для защиты контента можно предупредить ПС о скором появлении оригинального текста. Для этого стоит воспользоваться возможностью добавления авторских текстов в специальном разделе «Яндекс.Вебмастера» «Оригинальные тексты» перед их публикацией.
Какие виды роботов используют поисковые системы
Технический арсенал поисковых систем не ограничивается только быстрым и основным роботами, которые собирают в индекс текстовый контент. Нужно помнить, что с сайта собирается и другая информация, дающая поисковым системам представление о его качестве и полезности для посетителей.
Среди таких «пауков» можно выделить роботов, собирающих данные:
- об изображениях на сайте. Они также должны быть уникальными и содержать необходимые атрибуты описания. В дальнейшем графическая информация отображается в сервисе «Яндекс.Картинки» или «Картинки Google»;
- работающих зеркалах веб-ресурса. Эту информацию можно прописать в файле Robots.txt, указав главное зеркало, чтобы избежать возможного неверного определения поисковой системой в автоматическом режиме;
- доступности сайта и его страниц. Следует внимательно отнестись к выбору быстрого и надежного хостинга, а также следить за тем, чтобы на сайте и в файлах карт не было несуществующих ссылок.
Кроме того, есть роботы, индексирующие видеофайлы, значки, «быстрый» контент на площадках типа «Яндекс.Новости» и др.
Использование счетчиков метрик поисковых систем
Дополнительные данные для поисковых систем можно передать через подключение к сервисам аналитики от «Яндекса» и Google. Это позволит также передавать информацию поисковым системам о добавлении новых страниц и ряде других параметров, позволяющих улучшить положение сайта в выдаче. Существует несколько противоречивых мнений о полезности подключения сервисов «Яндекс.Метрика» и Google Analytics на ранних этапах развития проекта. Однако если веб-ресурс предлагает действительно качественные материалы или товары на выгодных условиях, такая статистика активности позволит показать поисковым системам интерес посетителей к сайту, а именно этот фактор получает все большее влияние на ранжирование.
Как проверить наличие страниц сайта в выдаче
Чтобы знать точную статистику об индексировании сайта поисковыми системами, следует зарегистрировать ресурс в «Яндекс.Вебмастере» или Google Search Console. В «Личном кабинете» этих сервисов можно узнать общие статистические показатели, а также динамику изменений числа добавленных и удаленных страниц, полноту обработки карты сайта и ряд других параметров.
Также можно быстро проверить количество индексированных страниц сайта непосредственно через поисковую строку. Для этого следует ввести запрос вида:
- site:имя.сайта – для Google;
- host:имя.сайта – для «Яндекса».
Добавление сайта в «Яндекс.Вебмастер» или Google Search Console можно назвать оптимальным вариантом, который обеспечивает передачу поисковой системе необходимой информации. Но сделать процесс быстрее, чем минимально возможный, не получится ввиду огромных массивов данных, которые участвуют в построении индекса.
Как правило, скорость появления нового ресурса, качество которого удовлетворяет требованиям поисковой системы, может составлять 1–2 недели для «Яндекса» и 1 неделю для Google.
