Большие данные — обработка и анализ массивов информации¶

Большие данные (англ. big data) — массивы данных, объём, скорость поступления и разнообразие которых выходят за пределы возможностей традиционных систем хранения и обработки. Термин описывает как сами данные, так и совокупность технологий, методов и инфраструктуры, предназначенных для их сбора, хранения, обработки и анализа.

¶Характеристики

Классическое определение больших данных основано на модели «3V», предложенной аналитиком Gartner Дугом Лейни в 2001 году:

• Объём (Volume) — данные измеряются петабайтами и эксабайтами. Социальные сети, датчики, транзакционные системы генерируют потоки, не помещающиеся в обычные реляционные базы данных.
• Скорость (Velocity) — данные поступают непрерывно и в реальном времени: потоки из мессенджеров, финансовых бирж, промышленных датчиков.
• Разнообразие (Variety) — данные бывают структурированными (таблицы), полуструктурированными (JSON, XML) и неструктурированными (тексты, изображения, видео, аудио).

Позднее к модели добавили ещё три характеристики: точность (Veracity) — достоверность и качество данных, ценность (Value) — практическая польза, и объём в смысле вариативности (Variability) — меняющиеся форматы и схемы потоков.

¶История

Понятие «больших данных» появилось в конце 1990-х годов. Термин в его современном употреблении закрепился в работах Джона Мэсни и Майкла Кокрелла (2001). Ключевую роль в становлении технологии сыграл проект Google File System (2000), а затем открытый фреймворк Apache Hadoop (2006), реализовавший распределённое хранение и обработку на кластерах из обычных серверов.

В России развитие технологий больших данных связано с деятельностью компаний «Яндекс», «Лаборатория Касперского», «Сбер», «Ростелеком», а также с государственными проектами в области информатизации. В 2014 году была принята государственная программа «Информационное общество», в которой обработка больших данных обозначена как приоритетное направление.

¶Технологии и инструменты

Для работы с большими данными используется набор специализированных технологий:

Apache Spark, созданный в Калифорнийском университете в Беркли в 2009 году, стал де-факто стандартом пакетной обработки, превзойдя MapReduce по производительности за счёт обработки данных в оперативной памяти.

¶Применение

Технологии больших данных используются в широком спектре отраслей:

• Финансы — выявление мошенничества при проведении транзакций, скоринг клиентов, алгоритмическая торговля.
• Медицина — анализ медицинских записей, геномных данных, эпидемиологический мониторинг.
• Промышленность — предиктивное обслуживание оборудования, оптимизация цепочек поставок.
• Розничная торговля — анализ поведения покупателей, персонализация рекомендаций.
• Государственный сектор — обработка данных переписей, транспортных потоков, кадастровых систем.
• Наука — обработка данных физических экспериментов, астрономических наблюдений, климатических моделей.

¶Проблемы и риски

Развитие технологий больших данных сопровождается рядом проблем:

• Приватность — сбор и анализ персональных данных повышают риск утечек и несанкционированного использования. В России сбор и обработка персональных данных регулируется Федеральным законом № 152-ФЗ «О персональных данных».
• Качество данных — «грязные» и неполные данные приводят к ошибочным выводам моделей.
• Хранение и стоимость — экспоненциальный рост объёмов требует постоянных инвестиций в инфраструктуру.
• Дефицит специалистов — нехватка инженеров данных и аналитиков остаётся острой проблемой для российского IT-рынка.

Источники:

• Дуг Лейни. 3D Data Management: Controlling Data Volume, Velocity and Variety. Gartner, 2001.
• Apache Software Foundation. Документация проектов Hadoop, Spark, Kafka.
• Федеральный закон РФ № 152-ФЗ «О персональных данных».
• Джон Мэсни, Майкл Кокрелл. Deriving Value from Big Data. 2011.
• Государственная программа «Информационное общество» (2014).