Kaggle — платформа соревнований по машинному обучению¶

Kaggle — интернет-платформа, объединяющая сообщество специалистов в области машинного обучения и анализа данных, предоставляющая сервисы для разработки, хранения и совместного использования наборов данных, а также организующая соревнования по предсказательному моделированию. Основана в 2010 году, с 2017 года принадлежит Google. Штаб-квартира расположена в Сан-Франциско (США).

¶История

Kaggle основали австралийский предприниматель и статистик Энтони Голдблум (Anthony Goldbloom) и программист Бен Хэмнер (Ben Hamner) в 2010 году. Идея платформы заключалась в том, чтобы использовать турнирный формат для решения аналитических задач: организации размещали на сайте задачу и призовой фонд, а участники со всего мира присылали модели, соревнуясь в качестве прогнозов.

Первым крупным соревнованием стал конкурс по предсказанию задержек авиарейсов, организованный совместно с компанией Travelers Insurance. Платформа быстро привлекла внимание: уже к 2011 году на Kaggle зарегистрировались десятки тысяч пользователей.

В 2017 году Google приобрёл Kaggle. Сумма сделки не была раскрыта официально, но, по оценкам СМИ, составила около 26 млн долларов. Приобретение вписывалось в стратегию Google по развитию облачных сервисов и инструментов для работы с данными: Kaggle был интегрирован с облачной платформой Google Cloud Platform (Google Colab), что позволило участникам соревнований запускать вычисления на удалённых GPU- и TPU-серверах.

¶Соревнования

Основной функцией платформы являются соревнования (competitions). Формат работы следующий: организатор публикует описание задачи, обучающую выборку данных и метрику качества, по которой будут оцениваться решения. Участники обучают модели, загружают файл с прогнозами и получают мгновенную оценку на публичном лидерборде. После завершения соревнования организатор проверяет лучшие решения на скрытой тестовой выборке (private leaderboard) и распределяет призовые фонды.

Соревнования делятся на несколько категорий:

• Featured — коммерческие конкурсы с денежными призами от компаний-заказчиков. Призовые фонды варьируются от нескольких тысяч до миллиона долларов. Наиболее известный пример — соревнование Netflix Prize (2006–2009) с призом 1 млн долларов, хотя оно проводилось до создания Kaggle и послужило одним из прообразов платформы.
• Research — некоммерческие конкурсы, часто связанные с научными исследованиями, с небольшими призовыми фондами или без них.
• Recruitment — соревнования, в которых лучшие участники получают приглашение на собеседование от компаний-заказчиков.
• Playground — учебные конкурсы без призовых фондов, предназначенные для практики.
• Getting Started — вводные соревнования для новичков с небольшими призами в виде мерча или кредитов.

Наиболее известными конкурсами Kaggle стали соревнования по распознаванию изображений ImageNet, предсказанию оттока клиентов, классификации токсичных комментариев (Toxic Comment Classification Challenge) и рекомендательным системам.

¶Наборы данных и ноутбуки

Помимо соревнований, Kaggle предоставляет крупнейшую публичную библиотеку наборов данных — на платформе размещено более 200 тысяч датасетов, которые пользователи загружают самостоятельно. Тематика охватывает социальные науки, геномику, геоданные, финансовые ряды и множество других областей.

Для работы с данными на платформе встроен сервис Kaggle Notebooks (ранее Kernel) — облачная среда, позволяющая писать и исполнять код на Python или R прямо в браузере. Ноутбуки интегрированы с датасетами платформы и могут публиковаться как публичные, так и приватные. Бесплатный доступ к GPU (NVIDIA Tesla K80, P100, T4) и TPU предоставляется с ограничением по времени работы сессии.

¶Образовательная экосистема

В 2018 году Kaggle запустил бесплатные курсы (Kaggle Learn), охватывающие основы Python, машинного обучения, глубокого обучения, SQL, анализа данных и инженерии признаков (feature engineering). Курсы построены на интерактивных ноутбуках и не требуют предварительной настройки окружения.

Платформа также ведёт публичный блог и организует соревнования-исследования (Kaggle Days), офлайн-мероприятия для сообщества.

¶Сообщество

На начало 2020-х годов на Kaggle зарегистрировано более 15 млн пользователей. Для ранжирования участников введена система рейтинга (karma) и уровней, присваиваемых за активность: от Novice до Grandmaster. Уровень Grandmaster присваивается за победы в соревнованиях или публикацию высокоцитируемых наборов данных и ноутбуков. Наличие высокого уровня на Kaggle стало в ряде технологических компаний альтернативой традиционному резюме при приёме на работу аналитика или data scientist.

¶Значение

Kaggle сыграл значительную роль в популяризации машинного обучения и формировании профессии data scientist. Платформа стандартизировала процесс решения прикладных задач, сделала методы анализа данных доступными широкой аудитории и стала одним из основных источников практики для начинающих специалистов. Многие алгоритмы и приёмы, впервые применённые на соревнованиях Kaggle, впоследствии находили применение в промышленных системах.

Источники:

• Официальный сайт Kaggle
• Статья об Энтони Голдблуме и истории Kaggle (TechCrunch)
• Материалы Google Cloud Blog о приобретении Kaggle
• Kaggle Documentation (документация платформы)