Источник данных

Источник данных — это любая система, объект, процесс или субъект, предоставляющий информацию, которая может быть зафиксирована, обработана и использована для последующего анализа, принятия решений или выполнения операций. В информатике, статистике и управлении данными под источником понимается как место происхождения данных (база данных, файл, датчик), так и способ их получения (опрос, наблюдение, транзакция). Ключевыми характеристиками источника являются достоверность, актуальность, полнота и структурированность предоставляемых данных.

Классификация источников данных

Источники данных делятся по нескольким основаниям: по происхождению, по степени структурированности, по способу доступа и по назначению.

По происхождению

• Первичные источники — данные, собранные непосредственно для конкретной задачи. Примеры: результаты эксперимента, показания датчиков, данные опроса, журналы регистрации событий (логи).
• Вторичные источники — данные, полученные из уже существующих первичных источников, часто обработанные или агрегированные. Примеры: статистические сборники, аналитические отчёты, базы данных, сформированные из первичных записей.

По степени структурированности

• Структурированные источники — данные организованы в строгую схему (таблицы, реляционные базы данных). Каждое поле имеет определённый тип и формат (например, дата, число, строка). Типичный пример — SQL-база данных.
• Полуструктурированные источники — данные имеют некоторую организацию, но не привязаны к жёсткой схеме. К ним относятся XML-файлы, JSON-документы, логи в формате key-value.
• Неструктурированные источники — данные не имеют предопределённой структуры. Это текстовые документы, изображения, аудио- и видеозаписи, сообщения в социальных сетях.

По способу доступа

• Внутренние источники — данные, генерируемые внутри организации или системы. Например, корпоративная база данных учёта клиентов, логи веб-сервера, данные ERP-системы.
• Внешние источники — данные, получаемые извне организации. Это открытые государственные реестры, данные метеорологических служб, коммерческие поставщики данных (например, статистика рынка), публичные API сервисов.

По назначению

• Операционные источники — данные, используемые для текущей деятельности (транзакции, заказы, складские остатки). Обычно это OLTP-системы.
• Аналитические источники — данные, предназначенные для анализа и отчётности. Хранятся в хранилищах данных (Data Warehouse) или витринах данных (Data Mart). Формируются путём извлечения, преобразования и загрузки (ETL) из операционных источников.

Типы источников данных в информационных системах

В современных информационных системах выделяют несколько основных типов источников.

Реляционные базы данных

Наиболее распространённый тип структурированного источника. Данные хранятся в таблицах, связанных между собой ключами. Примеры: PostgreSQL, MySQL, Oracle Database, Microsoft SQL Server. Реляционные базы данных обеспечивают целостность данных через транзакции и ограничения (constraints).

Файловые системы и документы

Источники неструктурированных или полуструктурированных данных. Включают текстовые файлы (TXT, CSV, TSV), электронные таблицы (XLSX, ODS), документы (DOCX, PDF), а также бинарные файлы (изображения, видео). CSV-файлы часто используются для обмена данными между системами из-за простоты формата.

API и веб-сервисы

Современные приложения и сервисы предоставляют программные интерфейсы (API) для доступа к данным. REST API (на основе HTTP) и SOAP — распространённые протоколы. Примеры: API социальных сетей (ВКонтакте, Одноклассники — платформа принадлежит VK Group), API погодных сервисов, API государственных порталов (Госуслуги).

Потоковые источники (Streaming Data)

Данные, поступающие непрерывно в реальном времени. Типичные источники: датчики Интернета вещей (IoT), ленты событий (event streams), данные финансовых транзакций, геолокационные данные. Для обработки потоковых данных используются системы вроде Apache Kafka, Apache Flink, Amazon Kinesis.

Веб-скрапинг

Автоматизированный сбор данных с веб-страниц. Используется, когда API отсутствует или доступ к данным ограничен. При этом необходимо соблюдать законодательство об авторских правах и условиях использования сайтов. В России скрапинг персональных данных без согласия субъекта может нарушать Федеральный закон № 152-ФЗ «О персональных данных».

Государственные и открытые реестры

В России существуют официальные источники данных: Единый государственный реестр юридических лиц (ЕГРЮЛ), Единый государственный реестр недвижимости (ЕГРН), портал открытых данных (data.gov.ru), Федеральная служба государственной статистики (Росстат). Эти источники предоставляют структурированные данные для бизнеса, науки и государственного управления.

Проблемы качества данных из источников

Качество данных, получаемых из источника, определяется несколькими характеристиками.

• Точность — соответствие данных реальному положению дел. Ошибки ввода, сбои датчиков, устаревшие справочники снижают точность.
• Полнота — отсутствие пропусков. Неполные данные могут возникать из-за необязательности полей в формах или технических ограничений.
• Согласованность — непротиворечивость данных внутри источника и между разными источниками. Например, один и тот же клиент может быть записан как «Иванов И.И.» и «Иванов Иван Иванович» в разных системах.
• Актуальность — данные должны отражать текущее состояние. Устаревшие данные (например, адрес клиента, изменённый год назад) могут привести к неверным решениям.
• Достоверность — степень уверенности в том, что данные получены из надёжного и проверенного источника.

Для решения проблем качества применяются процедуры очистки данных (data cleaning), дедупликации, валидации и обогащения (data enrichment).

Управление источниками данных

В крупных организациях управление источниками данных (Data Source Management) включает:

• Каталогизацию — ведение реестра всех источников данных с описанием их структуры, владельца, периодичности обновления.
• Профилирование — анализ содержимого источника для выявления аномалий, выбросов, дубликатов.
• Мониторинг — отслеживание доступности, производительности и качества данных из источника.
• Управление доступом — разграничение прав на чтение, запись и изменение данных в соответствии с политиками информационной безопасности.

В России требования к управлению источниками данных регулируются, в частности, нормативными актами в области защиты персональных данных (152-ФЗ) и критической информационной инфраструктуры (187-ФЗ).

Примеры источников данных в различных отраслях

Здравоохранение

• Электронные медицинские карты (ЕМИАС в Москве, региональные системы).
• Данные лабораторных исследований.
• Регистры лекарственных средств и медицинских изделий.
• Данные носимых устройств (фитнес-браслеты, тонометры).

Финансы

• Данные транзакций по банковским картам.
• Кредитные истории (Бюро кредитных историй).
• Котировки ценных бумаг (Московская биржа).
• Данные бухгалтерской отчётности (ФНС России).

Промышленность

• Показатели датчиков на оборудовании (SCADA-системы).
• Данные систем управления производством (MES).
• Логи работы станков с ЧПУ.
• Данные систем контроля качества.

Транспорт

• Данные GPS-трекеров на транспортных средствах.
• Расписания и билетные системы (РЖД, авиакомпании).
• Данные с камер видеонаблюдения на дорогах.
• Информация о загруженности дорог (Яндекс.Карты, 2ГИС).

Источники

1. Kimball R., Ross M. The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling. — 3rd ed. — Wiley, 2013.
2. Inmon W. H. Building the Data Warehouse. — 4th ed. — Wiley, 2005.
3. Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных».
4. Федеральный закон от 26.07.2017 № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации».
5. Васильев Р. Б., Калянов Г. Н., Лёвочкина Г. А. Управление данными. — М.: ИНТУИТ, 2016.
6. Портал открытых данных Российской Федерации — data.gov.ru.
7. Batini C., Scannapieco M. Data Quality: Concepts, Methodologies and Techniques. — Springer, 2006.