Джон Лэнгфорд

Джон Лэнгфорд (англ. John Langford; род. 1974, США) — американский учёный в области компьютерных наук, специализирующийся на машинном обучении, теории обучения и искусственном интеллекте. Наиболее известен как создатель и главный разработчик библиотеки Vowpal Wabbit, а также как автор ряда фундаментальных работ по обучению с подкреплением, контекстным бандитам и снижению размерности данных. Внёс значительный вклад в развитие методов активного обучения и обучения с частичным привлечением учителя.

Биография

Джон Лэнгфорд родился в 1974 году в США. Получил степень бакалавра в области физики и математики в Калифорнийском технологическом институте (Caltech) в 1996 году. В 2002 году защитил докторскую диссертацию (Ph.D.) по компьютерным наукам в Университете Карнеги — Меллона под руководством Роберта Шапире. Тема диссертации была посвящена теоретическим основам обучения с подкреплением и анализу сложности обучения.

После защиты работал в исследовательском центре IBM T.J. Watson Research Center (2002–2005), где занимался разработкой алгоритмов машинного обучения для анализа данных и поисковых систем. В 2005 году перешёл в корпорацию Yahoo! в качестве старшего научного сотрудника, где возглавлял группу, занимавшуюся масштабируемыми методами машинного обучения для рекламных систем и рекомендательных сервисов.

В 2010 году Лэнгфорд присоединился к компании Microsoft Research (Нью-Йорк), где работает по настоящее время. В Microsoft он руководит группой, разрабатывающей библиотеку Vowpal Wabbit и исследующей методы обучения с подкреплением в реальном времени, а также алгоритмы для обработки больших объёмов данных.

Научные достижения

Vowpal Wabbit

Vowpal Wabbit (VW) — это быстрая, масштабируемая библиотека машинного обучения с открытым исходным кодом, созданная Лэнгфордом в 2007 году. Она предназначена для обучения на больших наборах данных (миллиарды примеров) с использованием методов стохастического градиентного спуска и онлайн-обучения. VW поддерживает различные алгоритмы, включая линейную регрессию, логистическую регрессию, метод опорных векторов, а также методы обучения с подкреплением (контекстные бандиты). Библиотека широко используется в промышленности и академических исследованиях.

Теория обучения с подкреплением

Лэнгфорд внёс важный вклад в теоретическое обоснование методов обучения с подкреплением. Совместно с другими исследователями он разработал алгоритмы, которые гарантированно сходятся к оптимальной стратегии при определённых условиях, а также методы оценки политики (policy evaluation) без необходимости многократного взаимодействия со средой. Его работы по анализу сложности обучения с подкреплением помогли лучше понять фундаментальные ограничения и возможности этого подхода.

Контекстные бандиты

Лэнгфорд является одним из ведущих специалистов по проблеме контекстных бандитов (contextual bandits) — модели обучения с частичным привлечением учителя, где на каждом шаге алгоритм выбирает действие, получает вознаграждение, но не знает, каким было бы вознаграждение для других действий. Он разработал алгоритмы, эффективно решающие эту задачу, и применил их в рекламных системах, рекомендательных сервисах и онлайн-экспериментах.

Снижение размерности и активное обучение

Лэнгфорд внёс вклад в методы снижения размерности данных, в частности, в разработку алгоритмов, которые позволяют эффективно обрабатывать данные с большим числом признаков (например, миллионы признаков в задачах классификации текстов). Он также работал над методами активного обучения, где алгоритм сам выбирает, какие примеры запрашивать для разметки, чтобы минимизировать затраты на обучение.

Основные публикации

Лэнгфорд является автором и соавтором более 100 рецензированных научных статей. Некоторые из наиболее цитируемых работ:

• «A Contextual Bandit Approach to Personalized News Article Recommendation» (2010, совместно с L. Li, W. Chu, R. Schapire) — описывает применение контекстных бандитов для персонализации новостных лент.
• «Efficient Learning by Reducing the Effective Number of Features» (2007, совместно с A. Strehl) — представляет метод снижения размерности признакового пространства.
• «The Epoch-Greedy Algorithm for Contextual Multi-armed Bandits» (2010, совместно с L. Li, W. Chu) — предлагает алгоритм, балансирующий между исследованием и эксплуатацией в задаче контекстных бандитов.
• «A Practical Algorithm for Active Learning» (2006, совместно с S. Dasgupta, A. Strehl) — описывает эффективный алгоритм активного обучения.

Признание и награды

• В 2012 году Лэнгфорд получил премию ACM SIGKDD Test of Time Award за работу, опубликованную в 2002 году, которая оказала значительное влияние на развитие машинного обучения.
• В 2015 году его работа по контекстным бандитам была удостоена Best Paper Award на конференции ICML (International Conference on Machine Learning).
• В 2020 году он был избран членом Ассоциации вычислительной техники (ACM Fellow) за вклад в масштабируемые алгоритмы машинного обучения и обучение с подкреплением.

Влияние на индустрию

Разработки Лэнгфорда активно используются в коммерческих продуктах. Библиотека Vowpal Wabbit применяется в рекламных системах Yahoo! и Microsoft, а также в рекомендательных сервисах Netflix, Amazon и других. Алгоритмы контекстных бандитов, созданные Лэнгфордом, лежат в основе многих современных систем онлайн-оптимизации, включая A/B-тестирование и динамическое ценообразование.

Критика и ограничения

Некоторые исследователи отмечают, что методы, разработанные Лэнгфордом, в первую очередь ориентированы на задачи с большими объёмами данных и могут быть неэффективны для малых выборок. Кроме того, библиотека Vowpal Wabbit, несмотря на свою мощность, имеет крутой порог входа для начинающих пользователей из-за специфического синтаксиса и необходимости настройки множества параметров.

Источники

• Langford, J. (2002). Reliable Reinforcement Learning. Ph.D. Thesis, Carnegie Mellon University.
• Li, L., Chu, W., Langford, J., & Schapire, R. E. (2010). «A Contextual Bandit Approach to Personalized News Article Recommendation». Proceedings of the 19th International Conference on World Wide Web.
• Strehl, A., & Langford, J. (2007). «Efficient Learning by Reducing the Effective Number of Features». Proceedings of the 24th International Conference on Machine Learning.
• Dasgupta, S., Langford, J., & Strehl, A. (2006). «A Practical Algorithm for Active Learning». Proceedings of the 23rd International Conference on Machine Learning.
• Официальный сайт Vowpal Wabbit: github.com/VowpalWabbit/vowpal_wabbit
• Профиль Джона Лэнгфорда на сайте Microsoft Research: microsoft.com/en-us/research/people/jcl