ImageNet

ImageNet — это крупномасштабная иерархическая база данных изображений, созданная для использования в задачах компьютерного зрения и распознавания образов. Проект был основан на концепции семантической сети WordNet, где каждое понятие (синсет) иллюстрируется сотнями и тысячами фотографий, собранных вручную из открытых источников. ImageNet сыграла ключевую роль в развитии технологий глубокого обучения, в частности, сверточных нейронных сетей, и стала стандартным бенчмарком для оценки алгоритмов классификации изображений.

История создания

Проект ImageNet был инициирован в 2006 году китайско-американским учёным Фей-Фей Ли (Fei-Fei Li), работавшей в то время в Стэнфордском университете. Идея заключалась в создании базы данных, которая по масштабу и разнообразию превзошла бы все существовавшие на тот момент коллекции изображений. Основной целью было обеспечить исследователей в области машинного обучения данными, достаточными для обучения моделей, способных распознавать тысячи различных объектов.

Первоначальная версия ImageNet была представлена в 2009 году на конференции IEEE Conference on Computer Vision and Pattern Recognition (CVPR). В том же году была опубликована статья «ImageNet: A Large-Scale Hierarchical Image Database», в которой описывалась архитектура базы данных и методология сбора изображений.

Сбор данных осуществлялся с помощью краудсорсинга через платформу Amazon Mechanical Turk. Тысячи анонимных работников по всему миру отбирали и проверяли изображения, соответствующие каждому синсету WordNet. К 2010 году база данных содержала более 14 миллионов изображений, охватывающих более 20 тысяч категорий (синсетов). Каждое изображение было вручную проверено на соответствие категории и качество.

Структура и характеристики

Иерархическая организация

ImageNet организована в соответствии с иерархией WordNet — лексической базы данных английского языка. WordNet группирует слова в синонимические ряды (синсеты), каждый из которых представляет определённое понятие. Синсеты связаны между собой семантическими отношениями (гиперонимия, гипонимия, меронимия и др.). ImageNet наследует эту структуру, приписывая каждому синсету набор изображений.

Например, синсет «собака» (dog) является гиперонимом для синсетов «золотистый ретривер», «такса», «пудель» и т.д. В ImageNet для каждого из этих синсетов существует отдельный набор изображений.

Количество изображений и категорий

По состоянию на 2024 год, ImageNet содержит более 14 миллионов изображений, распределённых по 21 841 синсету. В среднем на один синсет приходится около 650 изображений. Для наиболее распространённых категорий (например, «кошка», «автомобиль», «самолёт») количество изображений может достигать нескольких тысяч.

Формат и доступность

Изображения в ImageNet хранятся в формате JPEG и имеют различное разрешение. База данных доступна для свободного скачивания в виде URL-ссылок на оригинальные изображения (по состоянию на 2024 год, часть ссылок может быть неактивна из-за изменений в веб-источниках). Для исследовательских целей также предоставляются предварительно обработанные версии, включая изображения фиксированного размера (например, 256×256 пикселей).

ImageNet Large Scale Visual Recognition Challenge (ILSVRC)

Наиболее известным применением ImageNet стал ежегодный конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC), проводившийся с 2010 по 2017 год. Целью конкурса была оценка алгоритмов классификации изображений и обнаружения объектов на основе подмножества ImageNet, содержащего 1000 категорий (так называемый «ImageNet-1k»).

Задачи ILSVRC

Конкурс включал несколько задач:

• Классификация изображений: алгоритм должен был отнести каждое изображение к одной из 1000 категорий.
• Обнаружение объектов: алгоритм должен был локализовать и классифицировать объекты на изображении, используя ограничивающие рамки.
• Обнаружение объектов из одного кадра: задача, близкая к обнаружению, но с более строгими требованиями к точности локализации.

Прорыв 2012 года

Ключевым событием в истории ILSVRC стала победа команды из Университета Торонто под руководством Джеффри Хинтона в 2012 году. Их модель, названная AlexNet, представляла собой глубокую свёрточную нейронную сеть (CNN) и показала значительно лучший результат по сравнению с традиционными методами машинного зрения. AlexNet достигла уровня ошибок top-5 (доля тестовых изображений, для которых правильный ответ не входил в пять наиболее вероятных предсказаний модели) около 15,3%, в то время как лучшие традиционные методы показывали около 26%.

Этот успех продемонстрировал потенциал глубокого обучения для задач компьютерного зрения и вызвал бурный рост интереса к этой области. В последующие годы все победители ILSVRC использовали глубокие нейронные сети, и уровень ошибок постоянно снижался. К 2017 году, когда конкурс был завершён, лучшие модели (например, SENet) достигли уровня ошибок top-5 менее 3%, что превосходит точность человеческого восприятия (по оценкам, около 5%).

Влияние на развитие компьютерного зрения

ImageNet и ILSVRC оказали огромное влияние на развитие компьютерного зрения и машинного обучения в целом.

Стандартизация бенчмарков

ImageNet стала де-факто стандартным набором данных для оценки алгоритмов классификации изображений. Исследователи по всему миру могли сравнивать свои модели с лучшими результатами, опубликованными в рамках ILSVRC, что стимулировало конкуренцию и ускорило прогресс.

Развитие архитектур нейронных сетей

Успех AlexNet вдохновил на создание множества новых архитектур CNN, таких как VGGNet, GoogLeNet (Inception), ResNet, DenseNet, EfficientNet и многих других. Каждая из них предлагала новые идеи для повышения точности и эффективности обучения. Например, ResNet (победитель ILSVRC 2015) ввёл концепцию остаточных связей, позволяющую обучать сети с сотнями слоёв, что ранее было затруднительно из-за проблемы затухания градиентов.

Предварительное обучение (Transfer Learning)

ImageNet широко используется для предварительного обучения (pre-training) моделей. Сеть, обученная на ImageNet-1k, может быть затем дообучена (fine-tuned) на меньшем наборе данных для решения конкретной задачи (например, медицинской диагностики или распознавания лиц). Такой подход значительно сокращает время и вычислительные ресурсы, необходимые для обучения с нуля. Многие современные модели, включая Vision Transformer (ViT) и CLIP, также используют ImageNet в качестве одного из этапов обучения.

Критика и ограничения

Несмотря на огромную пользу, ImageNet не лишена недостатков, которые стали предметом критики в научном сообществе.

Предвзятость и стереотипы

Исследования показали, что ImageNet содержит систематические предвзятости (bias). Например, изображения, связанные с определёнными профессиями, могут непропорционально часто изображать людей определённого пола или расы. Это может приводить к тому, что обученные на ImageNet модели будут воспроизводить и усиливать социальные стереотипы. В 2020 году проект был подвергнут критике за наличие изображений с уничижительными или оскорбительными метками.

Качество и актуальность данных

Изображения в ImageNet собирались из открытых интернет-источников, что приводит к неравномерному качеству. Некоторые изображения могут быть низкого разрешения, содержать водяные знаки или быть нерепрезентативными для своей категории. Кроме того, база данных не обновлялась с 2012 года, что делает её менее актуальной для современных задач, требующих более разнообразных или специализированных данных.

Этические вопросы

Сбор изображений без явного согласия владельцев авторских прав и изображённых на них людей вызывает этические вопросы. В 2021 году проект ImageNet был обновлён: были удалены некоторые категории, признанные проблемными, и улучшена документация. Однако фундаментальные проблемы, связанные с конфиденциальностью и согласием, остаются.

Современное состояние

После завершения ILSVRC в 2017 году ImageNet продолжает использоваться в качестве бенчмарка, хотя его роль постепенно снижается. Появляются новые, более специализированные наборы данных (например, COCO для обнаружения объектов, Places для распознавания сцен). Тем не менее, ImageNet остаётся важным историческим и практическим инструментом, а его влияние на развитие компьютерного зрения трудно переоценить.

В 2021 году была выпущена обновлённая версия ImageNet-21k, содержащая 14 миллионов изображений по 21 841 категории, с улучшенной чистотой меток и исправленными предвзятостями. Эта версия используется для предварительного обучения более мощных моделей, таких как ViT-22B и других.

Источники

• Deng, J., Dong, W., Socher, R., Li, L. J., Li, K., & Fei-Fei, L. (2009). ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition.
• Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems.
• Russakovsky, O., Deng, J., Su, H., et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision.
• Yang, K., Qinami, K., Fei-Fei, L., Deng, J., & Russakovsky, O. (2020). Towards fairer datasets: Filtering and balancing the distribution of the people subtree in the ImageNet hierarchy. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency.
• Официальный сайт проекта ImageNet: www.image-net.org