HTTP-заголовки
В заголовке содержится ответ на запрос клиента и сопроводительная информация к документу. Его главной частью является код статуса. Если документ по данному URL найден и готов к отправке, передается код «200 ОК», в остальные случаях — статусы, сообщающие о дополнительных условиях передачи или ошибке.
Взаимодействие с поисковым роботом
В процессе поисковой оптимизации обмен данными с роботами происходит по той же схеме, что и с браузером. Единственное отличие заключается в том, что боты отправляют запросы только методом HEAD (получить один заголовок) или GET (получить документ). POST запросы, передающие информацию в форме, роботами не посылаются.
Гуглбот и яндексбот принимают любые (Accept:*/*) медиатипы и допускают сжатый gzip формат документов. Робот Google не запрашивает язык документа, Яндекс отдает предпочтение русским материалам, в меньшей степени украинским, белорусским и английским. Бот Рамблера изначально работает с контентом на русском языке, ограниченно — на английском. Кодировки и медиатипы распознаются автоматически.
Требования к HTTP заголовкам
Для эффективной раскрутки сайта необходимо, чтобы его CMS отдавал HTTP заголовок в соответствии со следующими требованиями.
- Передача заголовка выполняется перед телом документа. После начала трансляции html кода попытка отправки заголовка приведет к тому, что выполнение скрипта будет завершено по ошибке.
- Если для оформления страницы используется html шаблоны со вставками PHP кода, сервер не сможет вовремя отреагировать на запрос страниц, которых нет в базе данных сайта. Для решения данной проблемы применяют буферизацию вывода, что позволяет на любой стадии исполнения скрипта без отправки очистить буфер, передать код ошибки и выдать клиенту другую страницу.
- В заголовке должны присутствовать медиатип и кодировка документа. Эту информацию можно добавлять в виде тега http-equip. Он используется как эквивалент заголовка для статических html-страниц. Данные в мета-теге должны совпадать с указанными в заголовке. Для более результативного продвижения сайтов в заголовке также передают язык документов (Content-language), дату и время редакции страницы (атрибут Last-Modified).