Разработчики поисковых систем могут ограничивать максимальный объем сканируемого текста и глубину проникновения робота внутрь ресурса. Поэтому для эффективной раскрутки сайта эти параметры корректируют в соответствии с особенностями индексации страниц различными пауками.
Частота визитов, порядок обхода сайтов и критерии определения релевантности информации запросам пользователей задаются поисковыми алгоритмами. Если на продвигаемый ресурс ведет хотя бы одна ссылка с другого сайта, роботы со временем его проиндексируют (чем больше вес линка, тем быстрее). В обратном случае для ускорения раскрутки сайта его URL добавляют в базу данных поисковых систем вручную.
Виды пауков
В зависимости от назначения различают следующие виды поисковых роботов.
- национальные, или главные. Собирают информацию с одного национального домена, например, .ru или .su, и принятых к индексации сайтов;
- глобальные. Осуществляют сбор данных со всех национальных сайтов;
- индексаторы картинок, аудио и видео файлов;
- зеркальщики. Определяют зеркала ресурсов;
- ссылочные. Подсчитывают число ссылок на сайте;
- подсветчики. Оформляют результаты поисковых систем, например, выделяют в тексте запрашиваемые словосочетания;
- проверяющие. Контролируют наличие ресурса в базе данных поисковика и число проиндексированных документов;
- стукачи (или дятлы). Периодически определяют доступность сайта, страницы или документа, на который ведет ссылка;
- шпионы. Выполняют поиск ссылок на ресурсы, еще не проиндексированные поисковыми системами;
- смотрители. Запускаются в ручном режиме и перепроверяют полученные результаты;
- исследователи. Используются для отладки поисковых алгоритмов и изучения отдельных сайтов;
- быстрые роботы. В автоматическом режиме проверяют дату последнего обновления и оперативно индексируют новую информацию.
Обозначения
При поисковой оптимизации сайта часть контента закрывают от индексации роботами (личную переписку посетителей, корзины заказов, страницы с профилями зарегистрированных пользователей и т.д.). Для этого в файле robots.txt в поле User-agent прописывают имена роботов: для поисковой системы Яндекс — Yandex, для Google — Googlebot, для Rambler — StackRambler, для Yahoo — Yahoo! Slurp или Slurp, для MSN — MSNBot, для Alexa — ia_archiver и т.д.
Другие термины на букву «П»
Какие услуги тебе подходят
