Как работает поиск

Вывод сайта в топ поисковой выдачи – одна из задач digital-маркетинга, без решения которой нельзя говорить об оптимальном ведении интернет-рекламы. Чтобы обеспечить эффективное СЕО-продвижение сайта, необходимо понимать основные принципы, по которым поисковые системы «Яндекс» и Google формируют выдачу с момента ввода запроса пользователя до момента вывода результатов на странице браузера. Понимание принципов работы поисковиков при подготовке ответа на запрос пользователя необходимо применять при оптимизации страниц сайта. В этом случае можно получить качественный SEO-трафик от поисковых систем.

Алгоритм работы поисковых систем при подготовке результата на запрос

Когда пользователь вводит любой запрос, поисковая система «Яндекс» или «Гугл» выдает ответ практически мгновенно, при этом выполняется достаточно сложный алгоритм формирования выдачи с поиском по огромной базе проиндексированных сайтов. В общем случае кратко процесс можно представить следующим образом:

• получение запроса, сформулированного пользователем;
• лингвистический анализ, трактовка морфологии, снятие омонимии, дополнение синонимами, определение тематики запроса;
• поиск в индексе страниц с релевантным содержимым, которые подходят под тематику и ключевые слова запроса;
• построение порядка выдачи, то есть ранжирование с учетом множества факторов;
• передача готового результата поиска пользователю.

По такому принципу работает и «Яндекс», и Google. С точки зрения решения задачи SEO продвинуть сайт сложнее именно в «Яндексе», поскольку он больше ориентирован на русскоязычную аудиторию и более тщательно подходит к анализу семантики и ранжирования. Поэтому детальный разбор этапов формирования выдачи мы проведем именно на основе этой системы.

Поиск связанной по смыслу информации

После получения запроса пользователя сайта Yandex.ru поисковая система проводит детальный лингвистический анализ введенного текста.

1. Определение языка. Для удобства пользователей поисковая система определяет язык не только по применяемому алфавиту, но и по характерному сочетанию символов в запросе. Это позволяет получить верный результат даже тогда, когда пользователь не переключил раскладку клавиатуры.
2. Трактовка морфологии. Поисковая фраза расширяется морфологическими формами введенных пользователем ключей и дополняется синонимами для максимального охвата материалов, которые будут отобраны для выдачи. Однако при ранжировании отдается предпочтение точному вхождению ключевых слов.
3. Исключение омонимии. То есть учитываются одинаковые по написанию, но различные по смысловому значению слова. Определение омонимов выполняется на основе статистики одновременно используемых слов на базе Национального корпуса русского языка и собственных корпусов «Яндекса».
4. Расширение запроса. На данном этапе ищутся синонимы, аббревиатуры, написания на различных языках, например названий брендов, подбираются высокочастотные однокоренные слова.
5. Исключение синонимов наименований объектов. На этом этапе определяются, как правило, названия компаний, мест, имен собственных, для которых не требуется подбирать синонимы и расширять круг поиска. Также запрос прорабатывается на наличие грамматических и орфографических ошибок.

Благодаря высокой производительности оборудования, использованию распределенных вычислений эти операции проводятся за доли секунды, после чего формируется поисковый запрос для последующей обработки поисковой системой. Естественно, что он претерпевает значительные изменения для более полного охвата тематики и максимального удовлетворения интереса пользователя.

Язык формулирования запроса к поисковым машинам называется информационно-поисковым. В его составе логические операторы, морфология языка, регистр слов, префиксы обязательности, возможность учета расстояния между словами и расширенного поиска. Подобное представление запроса требуется для более быстрой выборки по обширным базам данных.

Принудительное сужение или расширение круга поиска при формировании запроса

Очевидно, что расширение поиска для пользователя нужно не всегда, и, если он помнит дословно фразу из нужного ему документа, вряд ли ему понравится то, что на первой странице выдачи появится релевантная информация, собранная по синонимам к запросу. Поэтому для поисковых систем существуют общие правила (с некоторыми нюансами для каждой из них) формирования запроса, при помощи которых ей можно указать, какая именно конкретика интересует пользователя.

Так, для сужения или, наоборот, расширения круга поиска в определенной области следует придерживаться таких правил формирования поискового запроса.

• Точное вхождение. Если поиск ведется по известной точной ключевой фразе, нескольким подряд стоящим словам, следует заключать такую фразу в кавычки – «"..."». В этом случае в выдачу попадут только точные совпадения без расширения поиска на синонимы и однокоренные слова.
• Объединение ключевых слов. Когда требуется найти документ, который в обязательном порядке имеет вхождение нескольких слов в любой части страницы, следует написать их после основного запроса через знак «плюс» – «+». Уточняющие слова позволят значительно сузить круг поиска.
• Исключение ключевых слов. Позволяет убрать из выдачи документы с вхождениями слов, стоящими после основной ключевой фразы через знак «минус» – «-». Это удобно, например, если нужно отсечь коммерческие тексты от информационных, например, указав после минуса типичные для первых слова: «цена», «купить», «недорого» и др.
• Варианты. Использование логического «ИЛИ» в запросах позволяет выполнить поиск в документах, где присутствует хотя бы одно слово из указанного набора. В «Яндексе» вариации слов перечисляются через «|», а Google требует использования служебного слова OR, которое нужно указывать между вариантами ключей в поисковой фразе.

Освоив на практике и немного потренировавшись с использованием этих правил формирования поискового запроса, можно быстрее находить нужный материал и избавить себя от просмотра информации, близкой по семантике, но не имеющей важности в конкретном случае.

Принципы ранжирования результатов поиска

После передачи запроса на выполнение поиска по индексу на его основе строится выборка из базы, содержащая ссылки на страницы, которые полностью удовлетворяют всем заданным условиям. Как правило, эта выборка весьма внушительна даже для продуманно составленных поисковых фраз и может содержать сотни и тысячи страниц. Выдать ее в таком необработанном виде пользователю – значит обречь его на сложный ручной поиск и анализ наиболее подходящего результата. Поэтому после формирования выдача ранжируется по достаточно сложной технологии.

Ранжирование, или сортировка ссылок на страницы в Интернете, в порядке убывания их полезности для пользователя – это достаточно сложный и постоянно совершенствующийся процесс. Его главная задача – дать потребителю максимально полезную информацию, которая полностью ответит на его запрос.

Именно технологии ранжирования оказывают максимальное влияние на интернет-маркетинг, напрямую определяя позицию сайта в поисковой выдаче. Стоит отметить, что применение таких технологий в «Яндексе» началось с 2009 года и постоянно развивается путем внедрения новых алгоритмов. Каждая модернизация может привести к резкой смене позиции сайта, особенно если предыдущая позиция была занята не благодаря качественному информационному наполнению, а путем использования исключительно технических методов SEO-продвижения.

Справка: с ноября 2009 года в «Яндексе» использовался метод машинного обучения «Матрикснет», запущенный в алгоритме «Снежинск». С 2012 года применяется платформа «Калининград», разработанная на основе «Матрикснета». В 2016 году появился алгоритм «Палех», в 2017-м – «Баден-Баден» и «Королев».

Современные алгоритмы ранжирования способны учитывать тысячи различных параметров, начиная от статистических характеристик текста и заканчивая поведенческими факторами на сайте и его смысловым наполнением.

Весь процесс сортировки страниц по соответствию поисковой фразе делится на два этапа:

1. Отбираются наиболее релевантные страницы сайта, информация с которого должна попасть в выдачу.
2. Выбранные страницы еще раз сортируются по релевантности запросу.

Такой подход обеспечивает попадание в конечную выдачу обычно не более одной страницы с веб-ресурса, что облегчает для пользователя задачу выбора наиболее интересного сайта из нескольких. В противном случае страницы с одного тематического ресурса могли бы заполнить всю выдачу. Однако в некоторых ситуациях пользователь может заметить в выдаче несколько страниц с одного сайта.

Конечное численное значение релевантности, которое используется в сортировке, определяется по сложным формулам и алгоритмам, которые в большей части известны только компании – владельцу поисковой системы. Также на ранжирование влияет и региональная принадлежность ресурса, что особенно актуально для коммерческих запросов.

После завершения предварительной сортировки отобранные страницы проходят еще через ряд более строгих фильтров, среди которых есть и система санкций, понижающих значимость страницы в выдаче. Санкции, или пессимизация, могут применяться как к ресурсам целиком, так и к отдельным страницам за нарушение правил публикации контента, плагиат, использование технологий накрутки и ряд других факторов.

После завершения всех этапов алгоритма определения релевантности найденные страницы сортируются от более релевантных к менее релевантным и отправляются пользователю на экран в виде выдачи поисковой системы.

Факторы ранжирования

Стоит отметить, что поисковые системы не раскрывают до конца все критерии ранжирования сайта и технологии определения релевантности. Даются лишь общие рекомендации, главная суть которых – улучшение качества контента, его содержательности и полезности для конечного пользователя. К числу основных факторов относятся следующие:

• внутренние – текст, его оформление, графические элементы, перелинковка внутри сайта;
• внешние – ссылки на страницы сайта с других ресурсов, активность в социальных сетях (лайки, ретвиты, репосты и др.);
• поведенческие – показатель отказов, время пребывания на сайте, глубина просмотра и т. д.

Тем не менее часто на первой странице выдачи можно наблюдать материалы, которые далеки от таких требований и занимают их благодаря использованию технологий «черного SEO». Однако такие ресурсы обычно исключаются из выдачи с применением санкций при очередной модернизации алгоритмов ранжирования. Впрочем, нередки и ситуации, когда внедрение нового алгоритма приводит к понижению позиций качественных ресурсов, что требует постоянного внимания к ним со стороны их владельцев и своевременного реагирования оптимизаторов на изменение ситуации, чтобы не допустить потери прибыли из-за снижения потока клиентов от поисковых систем.