W3Techs¶

W3Techs — это веб-сайт и аналитический сервис, специализирующийся на сборе, анализе и публикации статистических данных о технологиях, используемых на веб-сайтах по всему миру. Сервис предоставляет информацию о распространённости различных веб-технологий, включая системы управления контентом (CMS), языки программирования, веб-серверы, операционные системы, технологии кэширования, инструменты аналитики и хостинг-провайдеров.

¶История и развитие

W3Techs был основан в 2009 году. Проект создавался как независимый источник данных о технологическом ландшафте интернета, в отличие от более коммерчески ориентированных сервисов, таких как BuiltWith или SimilarTech. Основная цель заключалась в предоставлении максимально объективной и актуальной статистики, основанной на регулярном сканировании миллионов веб-сайтов.

С момента запуска сервис расширил свою базу данных и методологию. Изначально W3Techs фокусировался на определении CMS и веб-серверов, но со временем добавил десятки категорий технологий. Ключевым этапом развития стало внедрение системы «Trends» (тенденции), позволяющей отслеживать изменения в популярности технологий за определённые периоды времени. В отличие от многих конкурентов, W3Techs не раскрывает точные алгоритмы определения технологий, чтобы предотвратить манипуляции данными со стороны владельцев сайтов.

¶Методология сбора данных

Методология W3Techs основана на анализе HTTP-заголовков, HTML-кода, JavaScript-файлов и других технических сигналов, получаемых при запросе к веб-сайту. Сервис использует собственный краулер (веб-паук) для регулярного сканирования миллионов сайтов.

¶Выборка сайтов

W3Techs не анализирует все сайты в интернете. Вместо этого он использует выборку, основанную на рейтинге популярности. Основным источником для формирования выборки является список 10 миллионов самых посещаемых сайтов по данным Alexa Internet (до прекращения работы сервиса в 2022 году) и других аналогичных рейтингов. В настоящее время W3Techs использует собственные данные о трафике, а также данные от партнёров. Сервис заявляет, что его выборка репрезентативна для всего интернета, так как охватывает сайты с разной посещаемостью, от гигантов до небольших проектов.

¶Процесс анализа

1. Запрос: Краулер отправляет HTTP-запрос к главной странице сайта.
2. Сбор сигналов: Анализируются:

• HTTP-заголовки (Server, X-Powered-By, Set-Cookie и др.).
• HTML-код (мета-теги, комментарии, скрипты, стили).
• JavaScript-файлы (наличие характерных переменных, функций, библиотек).
• CSS-файлы (наличие классов, идентификаторов, характерных для определённых CMS).

1. Идентификация: На основе собранных сигналов система сопоставляет их с базой известных технологий. Если сигналы однозначно указывают на технологию, она считается обнаруженной.
2. Агрегация: Данные по всем просканированным сайтам агрегируются, и вычисляются доли рынка.

¶Ограничения методологии

• Не все сайты сканируются: Выборка ограничена, поэтому статистика может не отражать ситуацию на сайтах с очень низкой посещаемостью или на сайтах, недоступных для краулера.
• Не все технологии определяются: Некоторые технологии не оставляют характерных следов в коде или HTTP-заголовках. Например, серверная часть может быть написана на кастомном фреймворке, который не имеет публичных сигнатур.
• Динамический контент: W3Techs анализирует только главную страницу сайта. Технологии, используемые на внутренних страницах или в админ-панели, могут быть не обнаружены.
• Защита от обнаружения: Владельцы сайтов могут намеренно скрывать используемые технологии, удаляя заголовки или изменяя код, что искажает статистику.

¶Категории технологий

W3Techs классифицирует технологии по нескольким основным категориям. Каждая категория содержит десятки или сотни конкретных технологий.

¶Системы управления контентом (CMS)

Это одна из самых популярных и цитируемых категорий. W3Techs определяет, какие CMS используются на сайтах. В отчётах регулярно лидируют:

• WordPress: Занимает доминирующее положение (более 60% среди сайтов, использующих CMS, и более 40% всех сайтов в выборке).
• Shopify: Платформа для электронной коммерции.
• Joomla!: Ранее популярная, но теряющая долю рынка.
• Drupal: Используется для сложных, высоконагруженных проектов.
• Wix, Squarespace, Weebly: Конструкторы сайтов.

¶Веб-серверы

Анализируются HTTP-заголовки для определения типа веб-сервера. Основные игроки:

• Nginx: Занимает лидирующие позиции (более 30% рынка). Популярен благодаря высокой производительности и низкому потреблению ресурсов.
• Apache: Долгое время был лидером, но уступает Nginx. Используется на многих виртуальных хостингах.
• Cloudflare: Часто определяется как веб-сервер, хотя по сути является CDN и прокси-сервером.
• Microsoft IIS: Используется на серверах под управлением Windows.
• LiteSpeed: Коммерческий веб-сервер, известный высокой производительностью.

¶Языки программирования (серверные)

Определяются на основе HTTP-заголовков и расширений файлов.

• PHP: Доминирует благодаря популярности WordPress и других CMS.
• Java: Используется в корпоративных решениях (например, на платформе Java EE).
• Python: Растёт популярность, особенно в связке с Django и Flask.
• Ruby: Используется в Ruby on Rails.
• ASP.NET: Платформа от Microsoft.

¶Операционные системы (серверные)

Определяются по косвенным признакам, таким как заголовки Server.

• Linux: Доминирует на рынке веб-серверов (более 70%).
• Windows: Используется на серверах с IIS и ASP.NET.

¶Технологии для электронной коммерции

• Shopify, WooCommerce, Magento, PrestaShop, BigCommerce.

¶Инструменты аналитики и трекинга

• **Google Analytics, Yandex.Metrica, Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) Pixel (принадлежит компании Meta, признанной экстремистской и запрещённой в РФ), Hotjar, Matomo.**

¶Хостинг-провайдеры

W3Techs определяет, на каких хостингах размещены сайты, анализируя IP-адреса и AS-номера.

• Amazon Web Services (AWS), Google Cloud Platform, Microsoft Azure, Cloudflare, GoDaddy, Hetzner, OVHcloud.

¶Применение и значение

Статистика W3Techs широко используется в веб-разработке, маркетинге и аналитике.

• Выбор технологий: Разработчики и бизнес-аналитики используют данные для принятия решений о выборе CMS, языка программирования или хостинг-провайдера. Например, если компания планирует запустить интернет-магазин, она может посмотреть, какие платформы для электронной коммерции наиболее популярны и стабильны.
• Мониторинг трендов: W3Techs позволяет отслеживать, как меняется популярность технологий. Например, можно увидеть, как Nginx обогнал Apache, или как WordPress укрепил своё лидерство.
• Конкурентный анализ: Маркетологи могут использовать данные для понимания того, какие технологии используют конкуренты.
• Образование и исследования: Данные W3Techs часто цитируются в статьях, блогах и академических работах, посвящённых веб-технологиям.
• Планирование бюджета: Знание доли рынка технологий помогает оценить доступность специалистов и стоимость поддержки.

¶Критика

Несмотря на широкую популярность, W3Techs подвергается критике по нескольким направлениям.

• Прозрачность методологии: W3Techs не раскрывает полный список сигналов, используемых для идентификации технологий, а также точные критерии включения сайтов в выборку. Это затрудняет независимую проверку результатов.
• Смещение в сторону популярных сайтов: Выборка на основе рейтинга посещаемости может приводить к смещению в сторону более крупных и технологически сложных сайтов. Статистика может не отражать реальную картину для малого и среднего бизнеса.
• Ограниченная точность: Некоторые технологии могут быть ошибочно идентифицированы или не идентифицированы вовсе. Например, если сайт использует кастомную CMS, его могут отнести к категории «Неопределено» или ошибочно приписать к другой CMS.
• Зависимость от главной страницы: Анализ только главной страницы может не дать полной картины. Например, сайт может использовать одну CMS для фронтенда и другую для бэкенда, но W3Techs определит только ту, что видна на главной.

¶Интересные факты

• W3Techs часто публикует ежемесячные отчёты о доле рынка CMS, которые широко цитируются в IT-прессе.
• Сервис предоставляет бесплатный доступ к основным данным, но для получения более детальной информации (например, по конкретным URL) требуется платная подписка.
• В отличие от BuiltWith, W3Techs не предоставляет API для массового сканирования, что делает его менее удобным для автоматизированного сбора данных.

¶Источники

• Официальный сайт W3Techs (раздел «About» и «Methodology»).
• Статистические отчёты W3Techs (ежемесячные обзоры CMS, веб-серверов и т.д.).
• Публикации на сайтах W3Techs, объясняющие методологию (например, «How W3Techs determines the technologies used on a website»).
• Обсуждения на форумах и в блогах, посвящённых веб-разработке (например, на Hacker News, Reddit, Stack Overflow).