При поиске интересной информации в сети Интернет, на каждый запрос пользователя поисковая система выдает определенное число результатов. Результатами поисковых систем являются ссылки на сайты или отдельные страницы, расположенные в порядке убывания релевантности, т.е. степени удовлетворения содержимого сайта или страницы искомому запросу. Рейтинг сайта в поисковой системе - его положение в результатах запроса по ключевому слову (ключевой фразе). Высоким позициям в этом рейтинге как правило способствует грамотное поисковое продвижение сайта.
По данным одной из самых популярных поисковых систем российской части интернета - Яндекс - количество уникальных документов в ее базе более 62 миллионов. При этом объем всей проиндексированной информации превышает отметку в 1 Тб. Известно, что подавляющее большинство пользователей просматривают только первую страницу результатов поиска (на каждой странице их обычно 10), поэтому важнейшей задачей владельцев web ресурсов является попадание именно в первую «десятку».
Как этого добиться – материал отдельной статьи. Однако не менее важно, чем попадание в десятку результатов запроса, осуществлять контроль за рейтингом ресурса в поисковых системах и удерживать занятые позиции, а еще лучше подниматься как можно выше. Таким образом, один раз зарегистрироваться в поисковой системе не достаточно – необходимо постоянно следить за положением и, по возможности, на него влиять.
Принцип работы поисковых систем
Не секрет, что результаты, выдаваемые поисковой системой на определенное ключевое слово/фразу, постоянно меняются. Этому способствует ряд факторов:
- В базу данных (Индекс) поисковой системы постоянно добавляются новые сайты и новые страницы уже имеющихся сайтов. Вполне вероятно, что вновь добавленные страницы и сайты будут иметь более высокую релевантность (т.е. степень соответствия запросу) нежели искомый.
- Разработчики, промоутеры, маркетологи и прочие it-специалисты постоянно анализируют и перерабатывают свои страницы и сайты, оптимизируя их содержимое для поисковых систем. Чаще всего их усилия приносят ощутимые результаты.
- Страницы, содержащие качественную информацию, пользуются все большей популярностью, что дает поисковой системе основание ставить их в результатах поиска выше конкурентов.
- Алгоритмы поисковых систем постоянно совершенствуются. В частности, алгоритм вычисления релевантности постоянно перерабатывается с целью достижения еще более высоких результатов поиска.
Очевидно, что эти факторы приводят к изменчивости рейтинга отдельно взятого сайта, именно поэтому положение сайта в поисковых системах необходимо контролировать.
Рассмотрим принципы работы поисковых систем
Обычно в состав поисковой системы входят: сборщик информации или «паук», индекс и механизм поиска.
Процесс сбора информации, т.е. скачивание страниц, осуществляется несколькими распределенными «пауками», обычно тремя. Каждый «паук» получает набор ссылок, по которым он должен закачать страницы от сервера ссылок, затем передает скачанные страницы серверу-хранилищу, который их архивирует и помещает в репозиторий. Каждой странице присваивается идентификационный номер. Каждая страница преобразуется в набор вхождений слов, которые называются хитами. Из хитов формируется индекс. Процесс индексации проходит в три этапа: разбор текста скачанной страницы, индексирование и сортировка полученной информации. Каждому слову присваивается идентификационный номер и для всех слов определяются размер шрифта, стиль и прочие параметры, которые понадобятся в дальнейшем для определения значимости отдельного слова по сравнению с остальными.
Сам механизм поиска работает по следующему принципу: разбирается строка запроса, каждое слово преобразуется в соответствующий идентификационный номер, затем сканируется индекс на предмет вхождения всех слов запроса на одной странице. Индекс сканируется до тех пор, пока не будут найдены все вхождения искомых слов либо до тех пор, пока количество найденных документов не достигнет определенного числа (например, 40-50 тысяч). Затем результаты поиска сортируются по определенному алгоритму в порядке убывания релевантности (степени соответствия страницы или сайта запросу) и выдаются пользователю.
Это общее описание принципа работы поисковой системы, однако, достаточное для целей данной статьи.
Цель данной работы – построить модель многоагентной системы, выполняющей функции контроля рейтинга сайта в поисковых системах.
Агентно-ориентированная парадигма программирования по праву считается наиболее значимым достижением в развитии теории программирования после создания ООП.
Под агентом будем понимать самостоятельную программную систему, способную принимать воздействие из внешней среды, определять свою реакцию на это воздействие и осуществлять это воздействие.
Основными атрибутами агентов принято считать:
- Автономность. Агенты могут действовать самостоятельно на протяжении длительного периода без вмешательства пользователя.
- Взаимодействие. При возникновении необходимости агенты взаимодействуют с другими агентами или людьми с целью получения или оказания помощи в решении задачи.
- Мобильность. Агенты способны перемещаться между различными узлами сети во время выполнения; агенты, не обладающие этим свойством, называются статическими.
Приведенные свойства агентов хорошо вписываются в требования к современным программным системам для работы в Интернет. Все программы, работающие в интернете, обязаны уметь перемещаться между узлами сети, взаимодействовать с другими программами. Многие программы совершают определенные действия без постоянного вмешательства пользователя.
Система контроля рейтинга сайта в поисковых системах (СК) может быть представлена в виде многоагентной системы следующим образом:
СК дает задания агентам контроля рейтинга в поисковой системе (АК) определить положение (рейтинг) некоего сайта по заданным ключевым словам. АК определяет рейтинг в поисковой системе (для каждой поисковой системы свой агент), «общаясь» с этой целью с агентом поиска (АП), имеющимся в поисковой системе. Собрав информацию от всех АК, СК передает ее агенту статистики (АС), который сохраняет ее, затем анализирует, сравнивая с предыдущими данными. При обнаружении каких-либо изменений в рейтинге сайта, АС формирует отчет об изменениях и отправляет его на e-mail владельца сайта.
Также существует система отчетов, ответственная за получение владельцем обширной статистики контроля рейтинга его сайта.
Агент исходных данных общается с пользователем и получает от него информацию об исследуемом сайте (полный URL сайта) и набор ключевых слов и фраз, по которым будет определяться рейтинг заданного сайта в поисковых системах. Пользователь может решать, в каких поисковых системах определять рейтинг сайта (по умолчанию – во всех поисковых системах, предусмотренных в СК). Вся информация сохраняется в базу данных, а пользователь в дальнейшем может редактировать список ключевых слов и фраз.
Все данные хранятся в единой базе данных.
Все АК имеют схожую структуру, отличаясь друг от друга лишь интерфейсом «общения» с АП. Эти различия обусловлены тем, что все поисковые системы работают по собственным правилам и имеют собственные форматы запросов и выдачи результатов поиска. При проектировании АК сразу была отброшена методология объектно-ориентированного программирования, следуя которой правильно было бы создать класс, в котором в зависимости от входных данных (поисковой системы) вызывались бы различные процедуры работы с АП. Заметим, что количество поисковых систем, с которыми может работать СК неограниченно, потому что на данный момент ей известны не все поисковые системы, причем постоянно появляются новые.
АК посылает запрос к АП. АП выдает постранично результат поиска. Здесь есть одно ограничение: страниц с результатами должно быть всегда конечное небольшое число, например, 6.
АК получает страницы с результатами от АП до тех пор, пока не обнаружит искомый сайт либо АП выдаст последнюю страницу.
Развитием системы контроля рейтинга сайта в интернете можно считать следующие решения:
- Создание дополнительного анализирующего агента, который будет способен анализировать содержимое страниц и сайтов, находящихся в рейтинге выше искомого сайта, и составлять набор рекомендаций по улучшению текста страниц исследуемого сайта. Кроме того, этот агент должен вычленять дополнительные ключевые слова из страниц, расположенных в рейтинге в непосредственной близости от исследуемого сайта, и пополнять список ключевых слов и фраз, полученных агентом исходных данных от пользователя.
- Создание дополнительного модуля, способного проводить сравнительный анализ рейтинга нескольких сайтов по заданным ключевым словам и фразам. Это позволит владельцам сайтов сравнить свои позиции с позициями основных конкурентов.
