Источник данных¶

Источник данных — это любая система, объект, процесс или субъект, предоставляющий информацию, которая может быть зафиксирована, обработана и использована для последующего анализа, принятия решений или выполнения операций. В информатике, статистике и управлении данными под источником понимается как место происхождения данных (база данных, файл, датчик), так и способ их получения (опрос, наблюдение, транзакция). Ключевыми характеристиками источника являются достоверность, актуальность, полнота и структурированность предоставляемых данных.

¶Классификация источников данных

Источники данных делятся по нескольким основаниям: по происхождению, по степени структурированности, по способу доступа и по назначению.

¶По происхождению

Первичные источники — данные, собранные непосредственно для конкретной задачи. Примеры: результаты эксперимента, показания датчиков, данные опроса, журналы регистрации событий (логи).
Вторичные источники — данные, полученные из уже существующих первичных источников, часто обработанные или агрегированные. Примеры: статистические сборники, аналитические отчёты, базы данных, сформированные из первичных записей.

¶По степени структурированности

Структурированные источники — данные организованы в строгую схему (таблицы, реляционные базы данных). Каждое поле имеет определённый тип и формат (например, дата, число, строка). Типичный пример — SQL-база данных.
Полуструктурированные источники — данные имеют некоторую организацию, но не привязаны к жёсткой схеме. К ним относятся XML-файлы, JSON-документы, логи в формате key-value.
Неструктурированные источники — данные не имеют предопределённой структуры. Это текстовые документы, изображения, аудио- и видеозаписи, сообщения в социальных сетях.

¶По способу доступа

Внутренние источники — данные, генерируемые внутри организации или системы. Например, корпоративная база данных учёта клиентов, логи веб-сервера, данные ERP-системы.
Внешние источники — данные, получаемые извне организации. Это открытые государственные реестры, данные метеорологических служб, коммерческие поставщики данных (например, статистика рынка), публичные API сервисов.

¶По назначению

Операционные источники — данные, используемые для текущей деятельности (транзакции, заказы, складские остатки). Обычно это OLTP-системы.
Аналитические источники — данные, предназначенные для анализа и отчётности. Хранятся в хранилищах данных (Data Warehouse) или витринах данных (Data Mart). Формируются путём извлечения, преобразования и загрузки (ETL) из операционных источников.

¶Типы источников данных в информационных системах

В современных информационных системах выделяют несколько основных типов источников.

¶Реляционные базы данных

Наиболее распространённый тип структурированного источника. Данные хранятся в таблицах, связанных между собой ключами. Примеры: PostgreSQL, MySQL, Oracle Database, Microsoft SQL Server. Реляционные базы данных обеспечивают целостность данных через транзакции и ограничения (constraints).

¶Файловые системы и документы

Источники неструктурированных или полуструктурированных данных. Включают текстовые файлы (TXT, CSV, TSV), электронные таблицы (XLSX, ODS), документы (DOCX, PDF), а также бинарные файлы (изображения, видео). CSV-файлы часто используются для обмена данными между системами из-за простоты формата.

¶API и веб-сервисы

Современные приложения и сервисы предоставляют программные интерфейсы (API) для доступа к данным. REST API (на основе HTTP) и SOAP — распространённые протоколы. Примеры: API социальных сетей (ВКонтакте, Одноклассники — платформа принадлежит VK Group), API погодных сервисов, API государственных порталов (Госуслуги).

¶Потоковые источники (Streaming Data)

Данные, поступающие непрерывно в реальном времени. Типичные источники: датчики Интернета вещей (IoT), ленты событий (event streams), данные финансовых транзакций, геолокационные данные. Для обработки потоковых данных используются системы вроде Apache Kafka, Apache Flink, Amazon Kinesis.

¶Веб-скрапинг

Автоматизированный сбор данных с веб-страниц. Используется, когда API отсутствует или доступ к данным ограничен. При этом необходимо соблюдать законодательство об авторских правах и условиях использования сайтов. В России скрапинг персональных данных без согласия субъекта может нарушать Федеральный закон № 152-ФЗ «О персональных данных».

¶Государственные и открытые реестры

В России существуют официальные источники данных: Единый государственный реестр юридических лиц (ЕГРЮЛ), Единый государственный реестр недвижимости (ЕГРН), портал открытых данных (data.gov.ru), Федеральная служба государственной статистики (Росстат). Эти источники предоставляют структурированные данные для бизнеса, науки и государственного управления.

¶Проблемы качества данных из источников

Качество данных, получаемых из источника, определяется несколькими характеристиками.

Точность — соответствие данных реальному положению дел. Ошибки ввода, сбои датчиков, устаревшие справочники снижают точность.
Полнота — отсутствие пропусков. Неполные данные могут возникать из-за необязательности полей в формах или технических ограничений.
Согласованность — непротиворечивость данных внутри источника и между разными источниками. Например, один и тот же клиент может быть записан как «Иванов И.И.» и «Иванов Иван Иванович» в разных системах.
Актуальность — данные должны отражать текущее состояние. Устаревшие данные (например, адрес клиента, изменённый год назад) могут привести к неверным решениям.
Достоверность — степень уверенности в том, что данные получены из надёжного и проверенного источника.

Для решения проблем качества применяются процедуры очистки данных (data cleaning), дедупликации, валидации и обогащения (data enrichment).

¶Управление источниками данных

В крупных организациях управление источниками данных (Data Source Management) включает:

Каталогизацию — ведение реестра всех источников данных с описанием их структуры, владельца, периодичности обновления.
Профилирование — анализ содержимого источника для выявления аномалий, выбросов, дубликатов.
Мониторинг — отслеживание доступности, производительности и качества данных из источника.
Управление доступом — разграничение прав на чтение, запись и изменение данных в соответствии с политиками информационной безопасности.

В России требования к управлению источниками данных регулируются, в частности, нормативными актами в области защиты персональных данных (152-ФЗ) и критической информационной инфраструктуры (187-ФЗ).

¶Примеры источников данных в различных отраслях

¶Здравоохранение

Электронные медицинские карты (ЕМИАС в Москве, региональные системы).
Данные лабораторных исследований.
Регистры лекарственных средств и медицинских изделий.
Данные носимых устройств (фитнес-браслеты, тонометры).

¶Финансы

Данные транзакций по банковским картам.
Кредитные истории (Бюро кредитных историй).
Котировки ценных бумаг (Московская биржа).
Данные бухгалтерской отчётности (ФНС России).

¶Промышленность

Показатели датчиков на оборудовании (SCADA-системы).
Данные систем управления производством (MES).
Логи работы станков с ЧПУ.
Данные систем контроля качества.

¶Транспорт

Данные GPS-трекеров на транспортных средствах.
Расписания и билетные системы (РЖД, авиакомпании).
Данные с камер видеонаблюдения на дорогах.
Информация о загруженности дорог (Яндекс.Карты, 2ГИС).

¶Источники

Kimball R., Ross M. The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling. — 3rd ed. — Wiley, 2013.
Inmon W. H. Building the Data Warehouse. — 4th ed. — Wiley, 2005.
Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных».
Федеральный закон от 26.07.2017 № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации».
Васильев Р. Б., Калянов Г. Н., Лёвочкина Г. А. Управление данными. — М.: ИНТУИТ, 2016.
Портал открытых данных Российской Федерации — data.gov.ru.
Batini C., Scannapieco M. Data Quality: Concepts, Methodologies and Techniques. — Springer, 2006.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →