Sitemap: структура и назначение файла¶
Sitemap (от англ. site — «сайт» и map — «карта») — это файл, содержащий список URL-адресов веб-сайта, предназначенный для информирования поисковых систем об организации структуры ресурса и частоте обновления его страниц. Файл позволяет поисковым роботам более эффективно обнаруживать и индексировать контент, особенно на крупных или сложно структурированных сайтах, где внутренние ссылки не обеспечивают полного охвата всех страниц.
¶Форматы и стандарты
Существует несколько форматов файлов Sitemap, различающихся по способу представления данных.
¶XML Sitemap
Наиболее распространённый формат, основанный на стандарте Sitemaps Protocol, разработанном компанией Google и представленном в 2005 году. Протокол был принят основными поисковыми системами (Google, Bing, Yahoo, а позднее и «Яндекс») как открытый стандарт.
Файл XML Sitemap строится на базе тегов:
<urlset>— корневой элемент, указывающий на использование стандарта;<url>— контейнер для каждого отдельного URL;<loc>— обязательный тег, содержащий абсолютный адрес страницы;<lastmod>— дата последнего изменения страницы в формате W3C (например, 2024-05-15);<changefreq>— предполагаемая частота изменения контента (always, hourly, daily, weekly, monthly, yearly, never);<priority>— приоритет страницы относительно других страниц сайта (значение от 0.0 до 1.0).
Пример фрагмента XML Sitemap:
`` <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">; <url> <loc>https://example.com/</loc>; <lastmod>2024-05-15</lastmod> <changefreq>daily</changefreq> <priority>1.0</priority> </url> </urlset> ``
¶Текстовый формат
Простой текстовый файл, в котором каждый URL указывается на отдельной строке. Не поддерживает дополнительные атрибуты, такие как дата обновления или приоритет. Требования: кодировка UTF-8, не более 50 000 строк, абсолютные адреса.
¶RSS / Atom
Используется преимущественно для новостных лент и блогов. Поисковые системы могут воспринимать RSS-канал как Sitemap, однако такой подход ограничен — обычно в ленту попадают только последние записи.
¶Sitemap для изображений и видео
Расширения стандарта, позволяющие передавать поисковым системам метаданные о медиафайлах: геолокацию съёмки, лицензию, длительность видео, название и описание. Эти данные помогают улучшить ранжирование в соответствующих поисковых разделах.
¶Ограничения и лимиты
Стандарт устанавливает жёсткие ограничения для файла Sitemap:
- не более 50 000 URL в одном файле;
- размер файла не должен превышать 50 МБ (до сжатия);
- допускается использование архивации gzip для уменьшения размера передаваемых данных.
При превышении лимитов рекомендуется разбивать файл на несколько частей и использовать индексный файл Sitemap, который ссылается на отдельные Sitemap-файлы.
¶Механизм работы
Владелец сайта размещает файл Sitemap в корневой директории или в любой доступной для скачивания папке. Для уведомления поисковых систем используется один из трёх способов:
- Файл robots.txt — в нём указывается директива
Sitemap:, содержащая полный URL к файлу. Этот способ поддерживается всеми основными поисковыми системами. - Инструменты для веб-мастеров — загрузка файла через панели Google Search Console, Яндекс Вебмастер, Bing Webmaster Tools.
- Ping-запрос — отправка HTTP-запроса на специальный адрес поисковой системы (например, для Google —
https://www.google.com/ping?sitemap=URL`). Способ считается устаревшим и ныне редко используется.
После обнаружения файла поисковый робот загружает его, анализирует перечень URL и начинает обход указанных страниц. При этом важно понимать: наличие адреса в Sitemap не гарантирует индексацию, а лишь даёт роботу сигнал о существовании страницы. Решение о включении в индекс принимается на основе множества факторов, включая качество контента и авторитетность сайта.
¶Практическое применение
Sitemap особенно полезен в следующих ситуациях:
- сайт имеет большое количество страниц, не связанных внутренними ссылками;
- контент создаётся динамически (интернет-магазины, каталоги);
- сайт содержит «изолированные» страницы, доступные только через формы поиска или сложные скрипты;
- ресурс молодой и имеет мало внешних ссылок.
В то же время для небольших сайтов с простой структурой, где все страницы связаны навигацией, использование Sitemap не является обязательным — поисковые роботы способны обнаружить контент через обычный обход ссылок.
¶Генерация файла
Создание Sitemap может выполняться вручную (для небольших ресурсов) или автоматически с помощью генераторов. Для динамических сайтов обычно используются специализированные скрипты и библиотеки, которые формируют файл на лету или по расписанию. Многие системы управления контентом (CMS), такие как WordPress, Drupal, 1С-Битрикс, имеют встроенные или подключаемые модули для автоматической генерации Sitemap при добавлении новых материалов.
¶Критика и ограничения
Sitemap не является средством скрытой оптимизации и не влияет напрямую на ранжирование страниц. Он лишь облегчает техническую индексацию. Некоторые эксперты отмечают, что для небольших сайтов файл бесполезен, а для крупных — не заменяет качественную внутреннюю перелинковку. Кроме того, в файл не рекомендуется включать служебные страницы (корзина, личный кабинет, результаты поиска), так как это может привести к нежелательной индексации дублирующего контента.
¶История
Протокол Sitemaps был анонсирован Google в июне 2005 года. В ноябре 2006 года компания объявила о поддержке стандарта поисковыми системами Ask.com, Microsoft Live Search и Yahoo. Впоследствии к инициативе присоединились и другие поисковые системы, включая «Яндекс». Стандарт остаётся открытым и не требует лицензионных отчислений.
BFOmetr — база данных и аналитика по компаниям России.
На главную BFOmetr →