Машинное обучение и глубокое обучение¶
Машинное обучение (machine learning, ML) — раздел искусственного интеллекта, посвящённый методам построения алгоритмов, способных обучаться на данных без явного программирования правил. Глубокое обучение (deep learning, DL) — подраздел машинного обучения, основанный на многослойных нейронных сетях, который с начала 2010-х годов стал доминирующим подходом в решении задач распознавания изображений, обработки естественного языка и речи.
¶История
¶Ранний период
Идея машинного обучения восходит к работам Аланом Тьюрингом 1950 года, предложившим тест на способность машины демонстрировать интеллектуальное поведение. Термин «machine learning» ввёл в 1959 году Артур Сэмюэл, разработавший программу для игры в шахматы, которая улучшала игру за счёт опыта. В 1957 году Фрэнк Розенблатт представил перцептрон — простейшую нейросеть с обучением на основе ошибок, что стало отправной точкой для развития нейросетевых методов.
¶Развитие в 1980–1990-е годы
В 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс опубликовали алгоритм обратного распространения ошибки (backpropagation), позволивший обучать многослойные нейронные сети. В этот же период получили развитие методы опорных векторных машин (SVM), предложенные Владимиром Вапником и Алексеем Червоненкисом, а также деревья решений и случайные леса. К концу 1990-х годов алгоритмы машинного обучения применялись в спам-фильтрах, кредитном скоринге и рекомендательных системах.
¶Эпоха глубокого обучения
Прорыв произошёл в 2012 году, когда команда Алекса Крижевского, Ильи Суцкера и Джеффри Хинтона победила в конкурсе ImageNet с использованием глубокой свёрточной нейронной сети AlexNet, показав резкое превосходство над классическими методами компьютерного зрения. В 2017 году исследователи Google опубликовали архитектуру Transformer, положившую основу моделей обработки естественного языка, включая BERT (Google, 2018) и GPT (OpenAI, с 2018 года). В 2020-е годы появились крупные языковые модели и генеративные модели изображений.
¶Основные подходы
Машинное обучение классифицируют по типу задач:
| Подход | Описание | Примеры |
|---|---|---|
| Обучение с подкреплением | Агент учится действовать в среде, максимизируя награду | AlphaGo, обучение роботов |
| Обучение с учителем | Обучение на размеченных данных | Классификация изображений |
| Обучение без учителя | Поиск структуры в неразмеченных данных | Кластеризация, снижение размерности |
| Обучение с частичным подкреплением | Комбинация размеченных и неразмеченных данных | Полуобучение |
¶Ключевые архитектуры глубокого обучения
- Свёрточные нейронные сети (CNN) — применяются для обработки изображений; ключевые модели: LeNet, AlexNet, VGG, ResNet (Microsoft Research, 2015).
- Рекуррентные нейронные сети (RNN, LSTM) — учитывают последовательный характер данных; долгое время использовались для обработки текста и речи.
- Трансформеры — архитектура на механизме внимания (attention), ставшая основой современных языковых моделей.
- Генеративно-состязательные сети (GAN) — предложены Яном Гудфеллоу в 2014 году, используются для генерации изображений.
- Диффузионные модели — генеративные модели, ставшие основой систем Stable Diffusion и DALL-E.
¶Применение
Машинное обучение применяется в широком спектре областей: компьютерное зрение, распознавание речи, машинный перевод, диагностика заболеваний по медицинским снимкам, прогнозирование спроса, обнаружение мошенничества, автономное вождение. В России разработкой систем машинного обучения занимаются Яндекс, Сбер, МТС, а также исследовательские центры при вузах — МФТИ, ВШЭ, МГУ и Сколтех.
¶Инструменты и фреймворки
Основные библиотеки для разработки моделей — TensorFlow (Google), PyTorch (Meta), Keras, scikit-learn. Для обучения крупных моделей используются графические процессоры (GPU) и специализированные ускорители (TPU от Google, NPU от Huawei). Обучение современных языковых моделей требует значительных вычислительных ресурсов — от сотен до тысяч GPU.
¶Проблемы и ограничения
К числу актуальных проблем относятся: необходимость больших объёмов размеченных данных, «чёрный ящик» моделей (интерпретируемость), склонность к переобучению, уязвимость к adversarial-атакам, энергозатратность обучения крупных моделей. В России действует национальный проект «Искусственный интеллект», направленный на развитие соответствующих технологий и подготовку кадров.
¶Источники
- Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016.
- Russell S., Norvig P. Artificial Intelligence: A Modern Approach. Pearson, 2021.
- Krizhevsky A., Sutskever I., Hinton G. ImageNet Classification with Deep CNNs. NIPS, 2012.
- Vaswani A. et al. Attention Is All You Need. NeurIPS, 2017.
- Сборники статей конференций ICML, NeurIPS, ICLR.