Яндекс.Толока

Яндекс.Толока — это краудсорсинговая платформа, разработанная компанией «Яндекс» для выполнения микрозадач, требующих участия человека. Платформа позволяет заказчикам (в основном разработчикам алгоритмов машинного обучения) привлекать большое количество исполнителей (толокеров) для разметки данных, проверки качества контента, сбора информации и других задач, которые сложно или невозможно автоматизировать с помощью программных средств. Взаимодействие происходит через веб-интерфейс или мобильное приложение, а оплата за выполненные задания производится по сдельной системе.

История

Платформа была запущена в 2014 году. Изначально она создавалась как внутренний инструмент «Яндекса» для разметки поисковых запросов, изображений и других данных, необходимых для обучения поисковых алгоритмов и нейросетей. Первоначально сервис назывался «Яндекс.Толока» и был доступен только для русскоязычных пользователей. В 2016 году платформа была открыта для внешних заказчиков, что позволило компаниям и частным разработчикам использовать её для своих проектов. В 2017 году «Яндекс» запустил англоязычную версию сервиса под названием Toloka AI, ориентированную на международный рынок. К 2020-м годам платформа стала одной из крупнейших в России и Восточной Европе, а также получила признание в глобальном сообществе специалистов по машинному обучению.

Принцип работы

Заказчики

Заказчики (разработчики, исследователи, компании) размещают на платформе задания, которые разбиваются на множество мелких однотипных микрозадач. Каждая микрозадача представляет собой, например, оценку релевантности поискового запроса, выделение объектов на фотографии, проверку правильности перевода или классификацию текста. Заказчик задаёт критерии качества, стоимость выполнения одной задачи и количество исполнителей, которые должны её выполнить.

Исполнители (толокеры)

Исполнители — это пользователи, зарегистрированные на платформе. Они выбирают доступные задания из пула, выполняют их и получают вознаграждение. Оплата начисляется за каждую отдельную задачу или за серию задач. Для контроля качества используется система «золотых заданий» (golden tasks) — контрольных задач с известным правильным ответом, которые незаметно вставляются в поток. Если исполнитель часто ошибается на «золотых заданиях», его рейтинг снижается, а доступ к более дорогим и сложным задачам может быть ограничен. Также применяется метод перекрёстной проверки: одна и та же задача выполняется несколькими разными исполнителями, и ответ считается верным, если совпадает у большинства.

Техническая реализация

Платформа предоставляет API для интеграции с внешними системами, что позволяет автоматизировать загрузку и выгрузку данных. Задания могут быть представлены в виде HTML-страниц с кастомным интерфейсом, что даёт заказчикам гибкость в дизайне. Для мобильных устройств существует приложение, оптимизированное под сенсорный ввод.

Типы заданий

Платформа поддерживает широкий спектр задач, которые можно разделить на несколько категорий:

• Разметка данных: выделение объектов на изображениях (например, автомобилей, людей, дорожных знаков), классификация фотографий по категориям, транскрибация аудио, разметка текста (поиск именованных сущностей, тональности).
• Сбор и верификация данных: поиск информации в интернете (например, адресов компаний, цен товаров), проверка актуальности данных на сайтах, оценка качества поисковой выдачи.
• Модерация контента: оценка изображений, видео и текстов на соответствие правилам (например, на предмет наличия запрещённого контента, оскорблений или спама).
• Оценка качества: сравнение результатов работы алгоритмов (например, машинного перевода или распознавания речи) с эталоном, ранжирование вариантов по предпочтительности.
• Голосование и опросы: сбор мнений пользователей о дизайне, интерфейсах, продуктах.

Экономика платформы

Для исполнителей

Доход толокера напрямую зависит от количества и сложности выполненных задач. Стоимость одной микрозадачи может варьироваться от нескольких копеек до нескольких рублей. Средний заработок, по оценкам пользователей, составляет от нескольких сотен до нескольких тысяч рублей в месяц при регулярной работе. Платформа не является основным источником дохода для большинства исполнителей, а используется как способ дополнительного заработка. Выплаты производятся на кошелёк в системе «Яндекс.Деньги» (теперь «ЮMoney»), на банковскую карту или на счёт мобильного телефона.

Для заказчиков

Стоимость размещения задания складывается из вознаграждения исполнителям и комиссии платформы (обычно около 10-20% от суммы вознаграждения). Заказчик может устанавливать бюджет на проект и ограничивать количество исполнителей. Платформа предоставляет инструменты для анализа статистики выполнения: время выполнения, процент правильных ответов, распределение ответов по исполнителям.

Применение в машинном обучении

Яндекс.Толока является ключевым инструментом для сбора размеченных данных, необходимых для обучения моделей машинного обучения. Без качественной разметки невозможно обучить нейронные сети для задач компьютерного зрения, обработки естественного языка, рекомендательных систем. Платформа используется как внутренними командами «Яндекса» (для улучшения поиска, «Алисы», «Яндекс.Карт», беспилотных автомобилей), так и внешними заказчиками — от стартапов до крупных корпораций. Например, Toloka AI используется для разметки данных для беспилотных автомобилей, для создания наборов данных для распознавания лиц, для оценки качества генеративных моделей.

Критика и ограничения

• Низкая оплата труда: многие исполнители жалуются на низкую стоимость задач и высокие требования к качеству, что делает заработок нестабильным и невысоким по сравнению с затраченным временем.
• Утомительность: выполнение однотипных микрозадач в течение длительного времени может приводить к снижению концентрации и ошибкам.
• Риск мошенничества: существует практика использования ботов для автоматического выполнения заданий, что искажает результаты и снижает качество данных. Платформа борется с этим с помощью контрольных заданий и анализа поведения.
• Отсутствие гарантий занятости: исполнители не являются сотрудниками «Яндекса» и не имеют социальных гарантий, больничных или отпусков. Платформа работает по модели «платформенной занятости», что вызывает критику со стороны профсоюзов и правозащитников.
• Зависимость от заказчиков: доход исполнителей напрямую зависит от объёмов заказов, которые могут резко сокращаться в периоды экономической нестабильности или при изменении приоритетов заказчиков.

Интересные факты

• Название «Толока» происходит от русского слова «толока» (устаревшее — «совместная работа, помощь»), что отражает суть краудсорсинга.
• В 2020 году платформа Toloka AI стала лауреатом премии «Технологический прорыв» в номинации «Лучшая платформа для сбора данных».
• В 2021 году «Яндекс» открыл исходный код библиотеки для создания заданий на платформе — Toloka-Kit, что позволяет разработчикам программно управлять процессом разметки.

Источники

• Официальный сайт платформы Яндекс.Толока
• Документация Toloka API
• Статья «Краудсорсинг в Яндексе: как устроена Толока» на Хабре
• Публикации исследовательского центра Яндекса по машинному обучению
• Отчёты о платформенной занятости в России (ЦСР, 2022)