Поисковым роботом («пауком», краулером) называют программу, предназначенную для индексации страниц и занесения полученной информации в базу данных.
Работает он по принципу браузера - оценивает содержимое страницы, сохраняет полученную информацию на сервере ПС и посещает другие разделы ресурса по гиперссылкам.
В разных поисковых системах может отличаться максимальный объем сканируемого текста, а также глубина проникновения поискового робота внутрь сайта. Для достижения высоких результатов при продвижении веб-ресурсов, данный параметр корректируется согласно особенностям индексации различными роботами. Порядок обхода страниц, частота визитов и критерии, по которым определяется степень релевантности информации запросам пользователей, контролируются поисковыми алгоритмами.
Виды поисковых роботов:
• Национальные (главные). Сканируют информацию с одного национального домена, к примеру .ru;
• Глобальные. Работают со всеми национальными сайтами;
• Индексаторы картинок, видео- и аудио-файлов;
• Ссылочные. Определяют количество ссылок на ресурсе;
• Подсветчики. Выделяют в тексте запрашиваемые слова и фразы;
• Проверяющие. Обеспечивают контроль присутствия сайтов в базе данных ПС и число проиндексированных страниц;
• «Дятлы» («стукачи»). Периодически определяют доступность документа, страницы, на которую ведет ссылка, ресурс в целом;
• Шпионы. Занимаются поиском ссылок на сайты, не проиндексированные ПС;
• Исследователи. Изучают отдельные ресурсы с целью улучшения поисковых алгоритмов;
• Зеркальщики. Вычисляют зеркала сайтов;
• Строители. Запуск таких роботов производится в ручном режиме и обеспечивает перепроверку имеющихся результатов;
• Быстрые роботы. Проверяют даты последних обновлений, индексируют новую информацию.
Работы проводятся в автоматическом режиме.
Оптимизаторы могут закрывать от роботов часть информации: личную переписку пользователей, страницы с профилями, корзины заказов.
