Яндекс.Боты — поисковые роботы Яндекса¶
Яндекс.Боты — семейство программных роботов (crawler/spider), разработанных компанией «Яндекс» для автоматического обхода, индексирования и анализа интернет-страниц с целью формирования поисковой базы поисковой системы Яндекс. Работа этих ботов определяет, какие страницы попадут в индекс поисковика, как часто они будут обновляться и как будут ранжироваться в результатах поиска.
¶Общие сведения
Поисковый робот — программа, которая переходит по ссылкам, скачивает содержимое страниц, передаёт его в индекс и участвует в дальнейшей обработке данных. Яндекс использует несколько десятков различных ботов, каждый из которых выполняет свою задачу: индексирование страниц, проверка обновлений, сбор данных для сервисов (карты, переводчик, новостная лента), тестирование качества выдачи и другие функции.
Идентификация ботов осуществляется по User-Agent — строке, которую программа передаёт серверу при запросе. Для Яндекс.Ботов характерны идентификаторы вида Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)`. Существует также обратный DNS-запрос (reverse DNS), по которому сервер может проверить, что запрос действительно исходит от легитимного робота Яндекса, а не от программы, маскирующейся под него.
¶Основные боты
| Бот | Назначение |
|---|---|
| YandexBot | Основной бот индексирования поисковой базы |
| YandexImages | Индексирование изображений для сервиса «Картинки» |
| YandexVideo | Индексирование видео для сервиса «Видео» |
| YandexNews | Сбор новостных материалов для Яндекс.Новостей |
| YandexMobileBot | Индексирование страниц с учётом мобильной версии |
| YandexAccessibilityBot | Проверка доступности сайтов (web accessibility) |
| YandexDirectBot | Обход сайтов для системы контекстной рекламы |
| YandexPageChecker | Проверка страниц на соответствие требованиям |
| YandexMetrika | Сбор статистики для системы веб-аналитики Яндекс.Метрика |
| YandexBot-Image/Video | Специализированные роботы для мультимедиа |
¶Как работает индексирование
Процесс работы Яндекс.Ботов состоит из нескольких этапов. Сначала робот переходит по ссылкам, обнаруженным на уже проиндексированных страницах или переданным через файл sitemap.xml и сервис Яндекс.Вебмастер. Затем скачивается содержимое страницы, анализируются заголовки, текст, метаданные, структура ссылок. Данные передаются в индекс — массив данных, на основе которого формируется выдача.
Частота обхода зависит от популярности сайта, скорости его ответа, частоты обновлений и общего «веса» ресурса. Крупные и активно обновляемые сайты посещаются ботами чаще, небольшие — реже.
¶Защита от нежелательных ботов
Сайты могут ограничивать доступ роботов с помощью файла robots.txt, размещаемого в корне домена. В нём перечисляются правила для каждого бота: какие разделы разрешено обходить, а какие запрещены, а также указывается адрес файла sitemap. Яндекс.Боты в общем случае соблюдают эти правила, хотя отдельные сервисные боты (например, Яндекс.Метрика) могут игнорировать часть ограничений согласно документации.
Для борьбы с нелегитимными программами, маскирующимися под поисковых роботов, используются CAPTCHA, ограничение частоты запросов (rate limiting), проверка по reverse DNS и другие методы.
¶Яндекс.Боты и вебмастера
Для владельцев сайтов взаимодействие с Яндекс.Ботами — ключевой элемент продвижения. Сервис Яндекс.Вебмастер позволяет отслеживать активность роботов, видеть ошибки индексирования, отправлять страницы на переобход и настраивать параметры обхода. Рекомендации Яндекса для вебмастеров включают обеспечение корректной работы сайта, наличие уникального контента, корректную разметку и отсутствие технических ошибок, мешающих индексации.
¶Интересные факты
- Объём индекса Яндекса оценивается в сотни миллиардов страниц.
- Яндекс публикует официальный список своих ботов и рекомендации по их идентификации.
- Существуют отдельные боты для проверки скорости сайтов и их соответствия требованиям мобильной индексации.
Источники:
- Документация Яндекса для вебмастеров (webmaster.yandex.ru)
- Справочник поисковых роботов Яндекса (yandex.com/support)
- Справочник поисковых роботов Google (developers.google.com)