Томас Кавер

Томас Кавер (англ. Thomas Cover, 7 июля 1938, Сан-Бернардино, Калифорния — 26 марта 2012, Пало-Альто, Калифорния) — американский учёный в области теории информации, статистики и теории вероятностей. Наиболее известен как соавтор фундаментального учебника «Элементы теории информации» (Elements of Information Theory), а также как разработчик ряда ключевых концепций в области сжатия данных, теории игр и машинного обучения.

Биография

Ранние годы и образование

Томас Кавер родился 7 июля 1938 года в Сан-Бернардино, штат Калифорния. В 1960 году он получил степень бакалавра наук по физике в Массачусетском технологическом институте (MIT). Затем он продолжил обучение в Стэнфордском университете, где в 1964 году защитил докторскую диссертацию (Ph.D.) по электротехнике под руководством Нормана Абрамсона. Тема его диссертации была посвящена вопросам теории связи и статистической теории решений.

Академическая карьера

После получения докторской степени Кавер работал в исследовательской лаборатории компании Lockheed Missiles and Space Company, а затем — в Станфордском исследовательском институте (SRI International). В 1967 году он вернулся в Стэнфордский университет в качестве профессора кафедры электротехники и статистики. Он проработал в Стэнфорде до выхода на пенсию в 2008 году, оставаясь активным исследователем и преподавателем.

Кавер был членом редколлегий многих ведущих научных журналов, включая IEEE Transactions on Information Theory и Annals of Statistics. Он также был президентом Общества теории информации IEEE (IEEE Information Theory Society) в 1992–1993 годах.

Научные достижения

Теория информации

Основные работы Томаса Кавера лежат в области теории информации — математической дисциплины, изучающей количественные аспекты передачи, хранения и обработки информации. Он внёс вклад в понимание фундаментальных пределов сжатия данных и передачи информации по каналам с шумом.

Сжатие данных и энтропия

Кавер разработал концепцию энтропии по Каверу (Cover entropy), которая является обобщением классической энтропии Шеннона для последовательностей с памятью. Он также предложил алгоритм сжатия LZ77 (совместно с Джейкобом Зивом), который стал основой для многих современных архиваторов, включая ZIP, gzip и PNG. Этот алгоритм использует скользящее окно для поиска повторяющихся фрагментов данных и их кодирования ссылками на предыдущие вхождения.

Теория игр и машинное обучение

Кавер внёс значительный вклад в применение теории информации к теории игр. Он разработал теорему Кавера (Cover’s theorem), которая устанавливает условия, при которых случайное преобразование входных данных может сделать их линейно разделимыми в пространстве более высокой размерности. Эта теорема лежит в основе многих методов машинного обучения, включая метод опорных векторов (SVM) и нейронные сети.

Теория вероятностей и статистика

В области статистики Кавер известен работами по теории решений и байесовской оценке. Он разработал критерий Кавера (Cover’s criterion) для выбора между статистическими гипотезами на основе минимизации риска. Он также внёс вклад в теорию ранговых статистик и непараметрических методов.

Основные публикации

Учебник «Элементы теории информации»

Наиболее известная работа Томаса Кавера — учебник «Элементы теории информации» (Elements of Information Theory), написанный совместно с Джойсом Томасом. Первое издание вышло в 1991 году, второе — в 2006 году. Книга стала стандартным учебным пособием для студентов и аспирантов, изучающих теорию информации, и переведена на многие языки, включая русский. В ней излагаются основы теории информации: энтропия, взаимная информация, каналы с шумом, кодирование, сжатие данных, а также более сложные темы, такие как теория игр и машинное обучение.

Избранные статьи

Кавер является автором более 100 научных статей. Среди наиболее цитируемых:

• «A Proof of the Data Compression Theorem» (1975) — доказательство фундаментальной теоремы о сжатии данных.
• «The Relationship Between the Shannon and the Cover Entropy» (1982) — установление связи между энтропией Шеннона и энтропией по Каверу.
• «Elements of Information Theory» (1991) — первое издание учебника.
• «The Cover-Thomas Algorithm for Linear Programming» (1994) — алгоритм решения задач линейного программирования на основе теории информации.

Награды и признание

За свою научную деятельность Томас Кавер был удостоен ряда престижных наград:

• Премия Шеннона (IEEE Shannon Award) — высшая награда в области теории информации, присуждена в 1997 году.
• Премия Клода Шеннона (Claude E. Shannon Award) — присуждена в 2005 году.
• Медаль IEEE Ричарда Хэмминга (IEEE Richard W. Hamming Medal) — присуждена в 2001 году за вклад в теорию информации и сжатие данных.
• Член Национальной академии наук США (с 1998 года).
• Член Американской академии искусств и наук (с 2005 года).

Личная жизнь

Томас Кавер был женат на Мэри Энн Кавер, имел троих детей. Он увлекался альпинизмом и музыкой. Скончался 26 марта 2012 года в Пало-Альто, Калифорния, в возрасте 73 лет.

Память

В честь Томаса Кавера названа премия Кавера (Cover Award), ежегодно вручаемая Обществом теории информации IEEE за выдающиеся достижения в области теории информации. Также его имя носит стипендия Кавера для студентов Стэнфордского университета, занимающихся исследованиями в области теории информации и машинного обучения.

Источники

• Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
• IEEE Information Theory Society. Thomas M. Cover: A Biography. 2012.
• National Academy of Sciences. Thomas M. Cover: Memorial Tributes. 2013.
• Stanford University. In Memoriam: Thomas M. Cover. 2012.
• J. Ziv, A. Lempel. A Universal Algorithm for Sequential Data Compression. IEEE Transactions on Information Theory, 1977.