Глубокое обучение

Глубокое обучение (англ. deep learning) — это подмножество машинного обучения, представляющее собой совокупность методов построения и обучения искусственных нейронных сетей с большим количеством скрытых слоёв (глубоких нейронных сетей). В отличие от «мелких» нейронных сетей, имеющих один-два скрытых слоя, глубокие сети способны автоматически извлекать иерархические представления данных: от низкоуровневых признаков (например, края на изображении) до высокоуровневых абстракций (например, наличие объекта или лица). Глубокое обучение лежит в основе современных систем компьютерного зрения, обработки естественного языка, распознавания речи и генерации контента.

История

Предпосылки и первые шаги (1940–1980-е)

Основы искусственных нейронных сетей были заложены в 1943 году Уорреном Мак-Каллоком и Уолтером Питтсом, предложившими математическую модель нейрона. В 1958 году Фрэнк Розенблатт создал перцептрон — простейшую однослойную нейронную сеть, способную к линейной классификации. Однако в 1969 году Марвин Минский и Сеймур Пейперт в книге «Перцептроны» доказали фундаментальные ограничения однослойных сетей, что привело к первому «зимнему периоду» в исследованиях нейронных сетей.

В 1980-х годах интерес возродился благодаря разработке алгоритма обратного распространения ошибки (backpropagation), независимо предложенного несколькими исследователями, включая Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса (1986). Этот алгоритм позволил эффективно обучать многослойные сети, хотя на практике из-за ограниченных вычислительных мощностей и проблемы исчезающего градиента глубокие сети (с более чем 3–5 слоями) обучались плохо.

Эра глубокого обучения (2006–2010-е)

Переломный момент наступил в 2006 году, когда Джеффри Хинтон и Руслан Салахутдинов предложили метод предварительного обучения глубоких сетей с помощью ограниченных машин Больцмана (RBM). Это позволило преодолеть проблему исчезающего градиента на начальных этапах. В 2009 году группа под руководством Юргена Шмидхубера продемонстрировала, что глубокие нейронные сети (LSTM) превосходят традиционные методы в распознавании рукописного ввода.

Решающую роль сыграл рост вычислительных мощностей: появление графических процессоров (GPU) в середине 2000-х годов позволило ускорить обучение глубоких сетей в десятки раз. В 2012 году на конкурсе ImageNet команда Алекса Крижевского, Ильи Суцкевера и Джеффри Хинтона представила архитектуру AlexNet, которая с огромным отрывом выиграла соревнование по классификации изображений, снизив уровень ошибок с 26% до 15,3%. Этот момент считается началом массового внедрения глубокого обучения.

Современный этап (2014–настоящее время)

С 2014 года началось активное развитие генеративных моделей: генеративно-состязательные сети (GAN, Иэн Гудфеллоу и соавт.) и вариационные автокодировщики (VAE). В 2017 году исследователи Google представили архитектуру Transformer, которая стала основой для всех современных языковых моделей (BERT, GPT, T5). В 2020-х годах глубокое обучение интегрировалось в повседневные продукты: от поисковых систем и переводчиков до беспилотных автомобилей и медицинской диагностики.

Архитектуры глубоких нейронных сетей

Полносвязные сети (Fully Connected Networks, FCN)

Классические многослойные перцептроны (MLP), где каждый нейрон слоя соединён со всеми нейронами предыдущего слоя. Применяются для задач регрессии и классификации на табличных данных, но неэффективны для обработки изображений и последовательностей из-за огромного числа параметров.

Свёрточные нейронные сети (CNN)

Специализированы для анализа пространственных данных (изображений, видео). Основные компоненты:

• Свёрточные слои — применяют фильтры (ядра) для извлечения локальных признаков (грани, текстуры).
• Слои подвыборки (пулинг) — уменьшают размерность карт признаков, сохраняя важную информацию.
• Полносвязные слои — выполняют классификацию на основе извлечённых признаков.

Известные архитектуры: LeNet-5 (1998), AlexNet (2012), VGGNet (2014), GoogLeNet/Inception (2014), ResNet (2015), EfficientNet (2019). ResNet ввёл концепцию остаточных связей (skip connections), позволившую строить сети глубиной более 100 слоёв.

Рекуррентные нейронные сети (RNN)

Предназначены для обработки последовательностей (текст, речь, временные ряды). Базовые RNN страдают от проблемы исчезающего/взрывающегося градиента. Для её решения разработаны:

• LSTM (Long Short-Term Memory) — сети с долгой краткосрочной памятью (1997, Хохрейтер и Шмидхубер).
• GRU (Gated Recurrent Unit) — упрощённая версия LSTM (2014).

Трансформеры (Transformer)

Архитектура, предложенная в 2017 году в статье «Attention Is All You Need» (Васуани и соавт., Google). Основана на механизме самовнимания (self-attention), позволяющем модели учитывать зависимости между всеми элементами последовательности одновременно, а не последовательно, как RNN. Состоит из кодировщика (encoder) и декодировщика (decoder). Трансформеры стали основой для:

• Языковых моделей: BERT (2018, Google), GPT (2018, OpenAI), T5 (2019, Google), GPT-3 (2020), GPT-4 (2023).
• Моделей компьютерного зрения: Vision Transformer (ViT, 2020).

Генеративные модели

• GAN (Generative Adversarial Networks) — две сети (генератор и дискриминатор) соревнуются: генератор создаёт поддельные данные, дискриминатор пытается отличить их от настоящих. Применяются для синтеза изображений, видео, музыки.
• VAE (Variational Autoencoders) — вероятностная модель, обучающаяся сжимать данные в скрытое пространство и восстанавливать их. Используется для генерации и аномалий-детекции.
• Diffusion models — модели диффузии (с 2020 года) постепенно добавляют шум к данным и затем учатся восстанавливать исходное состояние. Лежат в основе DALL-E, Stable Diffusion, Midjourney.

Обучение глубоких сетей

Алгоритмы оптимизации

Основной метод — стохастический градиентный спуск (SGD) и его варианты:

• Adam (2014, Kingma and Ba) — адаптивный метод, учитывающий моменты градиента.
• RMSprop — адаптивная скорость обучения.
• SGD с моментом — ускоряет сходимость на пологих участках.

Регуляризация

Для борьбы с переобучением используются:

• Dropout (2014, Хинтон и соавт.) — случайное отключение части нейронов во время обучения.
• Batch normalization (2015, Иоффе и Сегед) — нормализация активаций внутри мини-батча, ускоряет обучение.
• L1/L2-регуляризация — добавление штрафа за большие веса.
• Data augmentation — искусственное расширение набора данных (повороты, сдвиги, шум).

Функции активации

• ReLU (Rectified Linear Unit) — f(x)=max(0,x), наиболее популярна с 2011 года.
• Sigmoid / Tanh — использовались ранее, но страдают от насыщения градиента.
• Leaky ReLU, ELU, Swish — модификации ReLU, решающие проблему «умирающих нейронов».

Применение

Компьютерное зрение

• Классификация изображений (ResNet, EfficientNet).
• Детекция объектов (YOLO, SSD, Faster R-CNN).
• Сегментация изображений (U-Net, Mask R-CNN).
• Генерация изображений (StyleGAN, DALL-E, Stable Diffusion).
• Обработка видео (распознавание действий, трекинг).

Обработка естественного языка (NLP)

• Машинный перевод (Google Translate на основе Transformer).
• Анализ тональности, извлечение сущностей.
• Генерация текста (GPT-4, ChatGPT, YandexGPT).
• Вопросно-ответные системы (BERT, T5).
• Синтез и распознавание речи (WaveNet, Whisper от OpenAI).

Медицина

• Анализ медицинских изображений (рентген, МРТ, КТ) — обнаружение опухолей, переломов.
• Прогнозирование заболеваний на основе электронных медицинских карт.
• Разработка лекарств (предсказание свойств молекул, генерация новых соединений).

Автономные системы

• Беспилотные автомобили (Tesla, Waymo) — распознавание дорожных знаков, пешеходов, планирование траектории.
• Робототехника — управление манипуляторами, навигация.

Наука и инженерия

• Предсказание структуры белков (AlphaFold от DeepMind, 2021).
• Моделирование климата, прогнозирование погоды.
• Оптимизация производственных процессов.

Ограничения и критика

Вычислительные ресурсы

Обучение больших моделей (GPT-3, PaLM) требует тысяч GPU/TPU и мегаватт-часов электроэнергии. По оценкам, обучение GPT-3 стоило около 4,6 млн долларов США только за вычислительные ресурсы.

Потребность в данных

Глубокое обучение требует огромных размеченных наборов данных. Для многих прикладных задач (медицина, редкие языки) сбор и разметка данных затруднены.

Интерпретируемость

Глубокие сети часто называют «чёрными ящиками»: сложно понять, на основании каких признаков модель приняла решение. Это критично для медицинской диагностики, кредитного скоринга, судебных систем.

Уязвимость к атакам

Модели глубокого обучения подвержены состязательным атакам (adversarial attacks): небольшие, незаметные для человека искажения входных данных могут полностью изменить предсказание модели.

Предвзятость и этические проблемы

Модели, обученные на исторических данных, могут воспроизводить и усиливать существующие социальные предрассудки (расовые, гендерные). Примеры: системы распознавания лиц с низкой точностью для людей с тёмным цветом кожи, языковые модели, генерирующие токсичный контент.

Перспективы

Основные направления развития включают:

• Энергоэффективные методы — квантование, прунинг (удаление незначительных весов), дистилляция знаний.
• Обучение с меньшим количеством данных — few-shot и zero-shot обучение, мета-обучение.
• Объяснимый ИИ (XAI) — разработка методов интерпретации решений нейронных сетей.
• Нейроморфные вычисления — аппаратное обеспечение, имитирующее структуру мозга (например, процессоры Intel Loihi).
• Мультимодальные модели — обработка одновременно текста, изображений, звука и видео (GPT-4V, Gemini от Google).

Источники

• Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
• LeCun, Y., Bengio, Y., Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444.
• Vaswani, A. et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30.
• Krizhevsky, A., Sutskever, I., Hinton, G. (2012). ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems, 25.
• He, K. et al. (2016). Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33.
• Jumper, J. et al. (2021). Highly accurate protein structure prediction with AlphaFold. Nature, 596, 583–589.