Наука о данных¶
Наука о данных (англ. data science) — междисциплинарная область, объединяющая методы статистики, математики, информатики и предметной экспертизы для извлечения знаний и полезных закономерностей из структурированных и неструктурированных данных. Включает сбор, очистку, хранение, анализ, визуализацию и интерпретацию данных, а также построение предсказательных моделей. Термин получил широкое распространение в 2010-х годах, когда объёмы генерируемых данных резко возросли, а вычислительные мощности стали доступны для их обработки.
¶История
Предпосылки научной дисциплины сформировались ещё в середине XX века. В 1962 году статистик Джон Тьюки в статье «Будущее анализа данных» (The Future of Data Analysis) предсказал появление отдельной области, объединяющей статистику и вычислительные методы. В 1977 году Международная ассоциация статистики (ISI) учредила секцию «Статистика и вычислительная техника». В 1990-е годы термин «data science» использовался редко и преимущественно в академическом контексте.
Ключевой точкой стал 2008 год, когда исследователи Джеффри Хаммербахер и Хилари Мейсон предложили использовать термин «data scientist» для специалистов, работающих на стыке статистики и программирования. В 2012 году журнал Harvard Business Review назвал профессию data scientist «самой сексуальной в XXI веке», что закрепило термин в массовом сознании. В России формирование отрасли началось в середине 2010-х годов: в 2014 году в МФТИ открылась первая в стране кафедра «Наука о данных», а в 2019 году — Институт науки о данных.
¶Методы и инструменты
Наука о данных опирается на несколько базовых дисциплин:
- Статистика — вероятностные модели, проверка гипотез, регрессионный анализ;
- Машинное обучение — алгоритмы, обучающиеся на данных (классификация, кластеризация, регрессия);
- Программирование — Python, R, SQL, Scala;
- Большие данные — фреймворки Hadoop, Apache Spark, системы хранения NoSQL;
- Визуализация — Matplotlib, Tableau, Power BI, D3.js.
Типичный рабочий процесс (data science pipeline) включает: постановку задачи, сбор данных, очистку и подготовку (часто занимающую до 80 % времени), исследовательский анализ (EDA), построение модели, оценку качества, развёртывание и мониторинг.
¶Образование
В России направление «Наука о данных» включено в федеральный перечень утверждённых специальностей высшего образования (код 09.03.04). Программы реализуют МФТИ, ВШЭ, СПбПУ, МГУ, НИУ ВШЭ и другие вузы. Обучение сочетает математическую подготовку, программирование и прикладные проекты. Дополнительно действуют программы переподготовки и онлайн-курсы.
¶Применение
Наука о данных применяется в широком спектре отраслей:
| Отрасль | Примеры задач |
|---|---|
| Финансы | Антифрод, скоринг, алгоритмическая торговля |
| Здравоохранение | Диагностика по снимкам, прогнозирование эпидемий |
| Ритейл | Рекомендательные системы, прогноз спроса |
| Промышленность | Предиктивное обслуживание оборудования |
| Госсектор | Анализ статистики, оптимизация услуг |
¶Критика
Критики отмечают размытость границ дисциплины: часть исследователей считает науку о данных продолжением прикладной статистики, а не самостоятельной областью. Высказываются опасения, что коммерциализация поля приводит к поверхностному обучению без глубокой математической подготовки. Дополнительно обсуждаются проблемы предвзятости алгоритмов и приватности данных.
Источники:
- Дж. Тьюки. Будущее анализа данных (1962)
- D. Conway. The Data Science Venn Diagram (2010)
- Harvard Business Review. Data Scientist: The Sexiest Job of the 21st Century (2012)
- В. Ф. Юдин. Наука о данных: введение в дисциплину (2020)