Связанные данные

Связанные данные (англ. Linked Data) — это набор принципов и методов публикации структурированных данных в интернете, позволяющий связывать между собой данные из разных источников и делать их доступными для машинной обработки. Концепция связанных данных является развитием идей семантической паутины (Semantic Web) и направлена на создание глобального информационного пространства, в котором данные не просто размещены на веб-страницах, но и имеют четко определённые взаимосвязи, понятные как людям, так и компьютерным программам.

Основные принципы

Концепция связанных данных была сформулирована Тимом Бернерсом-Ли, создателем Всемирной паутины, в 2006 году. Он выделил четыре ключевых правила, которым должны следовать издатели данных для включения в экосистему связанных данных:

Использование URI (Uniform Resource Identifier) в качестве имён для вещей. Каждый объект (сущность), будь то человек, место, событие или абстрактное понятие, должен иметь уникальный идентификатор в виде URI.
Использование HTTP URI, чтобы люди и программы могли находить и извлекать информацию об этих вещах. URI должны быть не просто уникальными метками, но и действующими адресами в интернете, по которым можно получить описание объекта.
Предоставление полезной информации об объекте при обращении к его URI с использованием стандартных форматов (RDF, SPARQL). При переходе по URI сервер должен возвращать структурированное описание объекта, обычно в формате RDF (Resource Description Framework — среда описания ресурсов).
Включение ссылок на другие URI, чтобы можно было обнаруживать новые связанные данные. Описание объекта должно содержать ссылки на URI других объектов, что позволяет переходить от одной сущности к другой и формировать единую информационную сеть.

Технологическая основа

RDF (Resource Description Framework)

Основным форматом представления связанных данных является RDF. Он описывает данные в виде триплетов «субъект — предикат — объект». Например, утверждение «Москва является столицей России» может быть записано как: субъект (Москва) — предикат (является столицей) — объект (Россия). Каждый элемент триплета идентифицируется URI. RDF-данные могут быть сериализованы в различных форматах, таких как RDF/XML, Turtle, JSON-LD и N-Triples.

SPARQL (SPARQL Protocol and RDF Query Language)

SPARQL — это язык запросов к RDF-данным, аналогичный SQL для реляционных баз данных. С помощью SPARQL можно извлекать, фильтровать и агрегировать данные, хранящиеся в виде триплетов. Многие наборы связанных данных предоставляют публичные SPARQL-эндпоинты, через которые разработчики и исследователи могут выполнять запросы.

Схемы и онтологии

Для обеспечения единообразного понимания данных используются схемы (словари) и онтологии. Они определяют типы объектов и отношений между ними. Наиболее известными являются:

RDFS (RDF Schema) — базовая схема для описания классов и свойств.
OWL (Web Ontology Language) — более мощный язык для построения сложных онтологий с логическими ограничениями.
FOAF (Friend of a Friend) — словарь для описания людей и их социальных связей.
Dublin Core — набор элементов для описания метаданных (автор, название, дата).
Schema.org — популярная схема, используемая поисковыми системами для разметки веб-страниц.

Пятизвёздочная модель открытых данных

Тим Бернерс-Ли также предложил систему оценки качества публикуемых данных, известную как «пятизвёздочная схема»:

★ Данные доступны в интернете в любом формате (например, PDF-документ), но с открытой лицензией.
★★ Данные опубликованы в структурированном, машиночитаемом формате (например, Excel-таблица).
★★★ Данные опубликованы в непатентованном, открытом формате (например, CSV).
★★★★ Данные опубликованы с использованием стандартов W3C (RDF, SPARQL) для идентификации объектов.
★★★★★ Данные соответствуют всем предыдущим уровням и содержат ссылки на другие связанные данные.

Примеры и применение

DBpedia

DBpedia — один из крупнейших и наиболее известных проектов связанных данных. Он извлекает структурированную информацию из инфобоксов и категорий Википедии и публикует её в виде RDF-данных. Каждая статья Википедии получает свой URI, и данные из DBpedia активно используются для построения семантических запросов и интеграции с другими источниками.

Wikidata

Wikidata — это свободная, совместно редактируемая база знаний, созданная Фондом Викимедиа. В отличие от DBpedia, которая является «зеркалом» Википедии, Wikidata изначально проектировалась как хранилище структурированных данных. Она предоставляет мощный SPARQL-эндпоинт и используется как центральный узел для связывания данных из множества проектов.

BBC

Британская вещательная корпорация (BBC) использует связанные данные для организации своего контента. Например, страницы, посвящённые музыкальным исполнителям или спортивным событиям, динамически формируются на основе связанных данных, объединяющих информацию из внутренних баз BBC и внешних источников (например, MusicBrainz или DBpedia).

Научные данные

В научной сфере связанные данные используются для публикации результатов исследований, связывания публикаций с наборами данных, описания биологических последовательностей и химических соединений. Например, проект UniProt предоставляет данные о белках в формате RDF.

Критика и ограничения

Несмотря на концептуальную привлекательность, связанные данные столкнулись с рядом проблем:

Сложность внедрения. Создание и поддержка RDF-данных требует специальных знаний и инструментов, что является барьером для многих организаций.
Качество данных. Данные из разных источников могут быть неполными, противоречивыми или устаревшими. Отсутствие единой системы контроля качества затрудняет их использование.
Масштабируемость. Обработка огромных объёмов RDF-данных и выполнение сложных SPARQL-запросов могут быть ресурсоёмкими.
Недостаток «критической массы». Несмотря на наличие крупных проектов, количество данных, опубликованных в соответствии с принципами связанных данных, остаётся относительно небольшим по сравнению с общим объёмом информации в интернете.
Проблемы с лицензированием. Не всегда ясно, какие лицензии распространяются на связанные данные, особенно если они агрегированы из нескольких источников.