Биг дата — понятие и характеристики¶

Биг дата (англ. big data, «большие данные») — термин, обозначающий массивы данных, объём, скорость поступления и разнообразие структур которых выходят за пределы возможностей традиционных систем хранения и обработки реляционных баз данных. Ключевыми характеристиками больших данных считаются так называемые «три V»: объём (volume), скорость потока (velocity) и разнообразие форматов (variety). Позднее к ним добавили ещё два параметра: достоверность (veracity) и ценность (value).

¶Происхождение термина

Авторство термина big data приписывают Джону Мэсси, аналитику из НАСА, который использовал его в 1990-х годах для описания проблем, связанных с обработкой массивов спутниковых данных. Широкое распространение выражение получило в 2000-е годы, когда объёмы данных, генерируемых интернет-сервисами, социальными сетями и сенсорными системами, начали расти экспоненциально. В 2008 году журнал Nature посвятил больших данным отдельный тематический номер, а в 2011 году консалтинговая компания McKinsey Global Institute выпустила доклад, в котором биг дата был определён как «ключевой фактор роста» для экономики.

¶Характеристики

Классическая модель описывает больших данных через три параметра:

Дополнительные «V»: достоверность (veracity) — степень достоверности и качества данных; ценность (value) — практическая полезность извлечённой информации.

¶Технологии обработки

Для работы с большими данными применяется набор специализированных инструментов:

• Hadoop — открытый фреймворк, созданный в 2006 году на основе разработок Google (MapReduce и Google File System). Позволяет распределять вычисления и хранение по кластерам обычных серверов.
• Apache Spark — система обработки данных в памяти, более быстрая по сравнению с MapReduce для ряда задач.
• NoSQL-базы данных (MongoDB, Cassandra, HBase) — отказ от строгой реляционной схемы, горизонтальное масштабирование.
• Apache Kafka — платформа потоковой передачи данных, разработанная в компании LinkedIn.
• Облачные хранилища (Amazon S3, Google Cloud Storage, Yandex Object Storage) — виртуальное хранение петабайтных массивов.

¶Применение

Биг дата используется в широком спектре отраслей:

• Финансы — выявление мошеннических транзакций, скоринг клиентов, алгоритмическая торговля.
• Медицина — анализ медицинских записей, геномных данных, эпидемиологический мониторинг.
• Ритейл — анализ поведения покупателей, персонализация рекомендаций.
• Промышленность — предиктивное обслуживание оборудования на основе данных с датчиков (концепция «Индустрия 4.0»).
• Государственный сектор — обработка данных переписей, транспортных потоков, кадастровых систем.

¶Биг дата в России

В России развитие технологий больших данных связано с рядом факторов: масштабной географией, крупными телеком-операторами и активным внедрением цифровых сервисов. Среди российских компаний, работающих в этой области:

• Яндекс — обрабатывает поисковые запросы, данные карт, рекламных систем и такси.
• Ростелеком — облачные и аналитические сервисы для корпоративных клиентов и госсектора.
• Тинькофф (ныне Т-Банк) — аналитика поведения клиентов на основе транзакционных данных.
• Сбер — платформа SberData и аналитические продукты для бизнеса.

В 2014 году Правительство РФ утвердило программу «Цифровая экономика Российской Федерации», в которой обработка больших данных выделена как одно из ключевых направлений. Развиваются отраслевые центры компетенций, в вузах открыты программы по data science и анализу данных.

¶Этические и правовые вопросы

Работа с большими данными порождает ряд правовых и этических проблем:

• Персональные данные — в России сбор и обработка персональной информации регулируются Федеральным законом № 152-ФЗ «О персональных данных». Требование локализации баз данных на территории РФ действует с 2015 года.
• Приватность — проблема «цифрового следа» и объёмов информации, которую пользователи оставляют в сети.
• Дискриминация — риск принятия автоматизированных решений, основанных на неполных или смещённых данных.
• Информационная безопасность — крупные хранилища данных становятся мишенями для кибератак.

¶Критика

Некоторые исследователи указывают, что термин «биг дата» страдает размытостью и часто используется как маркетинговый ярлык. Статистик Натан Иезур в 2013 году опубликовал статью «Big Data: Opportunities and Challenges», в которой предостерегал от «культа данных» — убеждения, что объём сам по себе гарантирует качество выводов. Критики также отмечают проблему «грязных данных»: до 80 % времени аналитиков уходит на очистку и подготовку массивов, а не на сам анализ.

Источники:

• Mayer-Schönberger V., Cukier K. Big Data: A Revolution That Will Transform How We Live, Work, and Think. — London: John Murray, 2013.
• Davenport T. H. Big Data at Work: Dispelling the Myths, Uncovering the Opportunities. — Boston: Harvard Business Review Press, 2014.
• McKinsey Global Institute. Big Data: The Next Frontier for Innovation, Competition, and Productivity. — 2011.
• Nature. Special issue: Big Data. — 2008, Vol. 455.
• Федеральный закон РФ № 152-ФЗ «О персональных данных» (ред. 2024).
• Программа «Цифровая экономика Российской Федерации» (распоряжение Правительства РФ № 1632-р от 2017).