Метаданные

Метаданные — это структурированная информация, которая описывает, объясняет, позволяет находить или иным образом облегчает работу с основным содержимым (данными). В отличие от самих данных (например, текста документа, изображения или звуковой дорожки), метаданные содержат сведения об этих данных: их происхождение, формат, автора, дату создания, права на использование и другие атрибуты. Термин происходит от греческой приставки «мета-» (μετά — «после», «за», «через»), означающей в данном контексте «о» или «сверх». Метаданные являются ключевым элементом систем управления информацией, цифровых библиотек, веб-технологий, научных исследований и многих других областей.

История

Концепция метаданных существовала задолго до появления компьютеров. В традиционных библиотеках каталогизационные карточки, содержащие сведения об авторе, названии, годе издания и тематике книги, выполняли роль метаданных. С развитием информационных технологий потребность в формализованном описании данных резко возросла.

Ранние этапы (1960–1980-е годы)

Первые компьютерные системы управления базами данных (СУБД) уже использовали схемы данных — описания структуры таблиц, полей и типов данных. В 1960-х годах для обмена библиотечными записями был разработан формат MARC (Machine-Readable Cataloging), ставший одним из первых стандартов метаданных в цифровой среде. В 1970–1980-х годах с распространением реляционных баз данных метаданные стали храниться в системных каталогах (словарях данных), описывающих таблицы, индексы и ограничения.

Развитие в эпоху интернета (1990-е годы)

Бурный рост Всемирной паутины в 1990-х годах привёл к необходимости описывать веб-страницы для поисковых систем. В 1995 году был создан стандарт Dublin Core — простой набор из 15 элементов метаданных (автор, название, дата, тема и т. д.), предназначенный для описания любых цифровых ресурсов. В том же году появился язык разметки HTML, который включил теги <meta (организация признана экстремистской, деятельность запрещена в РФ)> для указания ключевых слов и описания страниц. В 1998 году консорциум W3C представил язык RDF (Resource Description Framework) — основу для семантической паутины, позволяющую описывать ресурсы в виде триплетов «субъект — предикат — объект».

Современный этап (2000-е — настоящее время)

С 2000-х годов метаданные стали неотъемлемой частью многих технологий: цифровых изображений (EXIF), аудиофайлов (ID3), видео (XMP), научных публикаций (DOI, ORCID), геоданных (ISO 19115) и социальных сетей (Open Graph). В 2000-х годах начал активно развиваться подход Linked Data (связанные данные), основанный на RDF и URI, для интеграции данных из разных источников. В 2010-х годах метаданные приобрели критическое значение в области больших данных (Big Data) и машинного обучения, где они используются для описания наборов данных, их происхождения (provenance) и качества. В 2020-х годах вопросы приватности и управления метаданными стали предметом законодательного регулирования, в частности, в рамках Общего регламента по защите данных (GDPR) в Европейском союзе и Федерального закона «О персональных данных» в России.

Классификация

Метаданные принято классифицировать по нескольким основаниям: по типу описываемого ресурса, по уровню детализации и по функциональному назначению. Наиболее распространена функциональная классификация, выделяющая три основных типа.

По функциональному назначению

• Описательные метаданные (Descriptive metadata) — сведения, используемые для идентификации и поиска ресурса. Включают такие элементы, как название, автор, ключевые слова, аннотация, тематическая рубрика. Применяются в библиотечных каталогах, поисковых системах, системах управления контентом.
• Структурные метаданные (Structural metadata) — информация о внутренней организации ресурса. Для книги это могут быть сведения о главах, страницах, иллюстрациях; для базы данных — описание таблиц, связей между ними; для видео — информация о дорожках, субтитрах, временных метках.
• Административные метаданные (Administrative metadata) — сведения, необходимые для управления ресурсом. В свою очередь, делятся на подтипы:
• Технические метаданные: формат файла, размер, разрешение, кодек, способ сжатия.
• Метаданные о правах: информация об авторском праве, лицензии, условиях доступа.
• Метаданные о происхождении (Provenance): история создания, изменения, владельцы.

По уровню детализации

• Макрометаданные — описывают ресурс в целом (например, метаданные книги в каталоге).
• Микрометаданные — описывают отдельные части или элементы ресурса (например, метаданные отдельного абзаца текста или пикселя изображения).

По способу создания

• Автоматические — генерируются программным обеспечением (например, EXIF-данные фотоаппарата, системные атрибуты файла).
• Ручные — вводятся человеком (например, теги на фотохостинге, ключевые слова для статьи).
• Полуавтоматические — создаются с помощью алгоритмов, но требуют проверки человеком (например, автоматическое распознавание лиц на фотографиях с последующим подтверждением).

Стандарты и форматы

Для обеспечения интероперабельности (совместимости) метаданных разработано множество стандартов, применяемых в разных областях.

Общие стандарты

• Dublin Core — простой набор из 15 элементов (Title, Creator, Subject, Description, Publisher, Contributor, Date, Type, Format, Identifier, Source, Language, Relation, Coverage, Rights). Широко используется в цифровых библиотеках, музеях и веб-публикациях. Существует уточнённая версия (Qualified Dublin Core) с дополнительными элементами.
• RDF (Resource Description Framework) — модель данных для описания ресурсов в виде триплетов. Лежит в основе семантической паутины и связанных данных.
• XML (eXtensible Markup Language) — язык разметки, часто используемый для сериализации метаданных (например, в форматах MARCXML, METS, MODS).
• JSON-LD (JavaScript Object Notation for Linked Data) — формат для представления связанных данных в JSON, популярный в веб-разработке.

Отраслевые стандарты

• Библиотечное дело и архивоведение: MARC 21, EAD (Encoded Archival Description), MODS (Metadata Object Description Schema), PREMIS (Preservation Metadata: Implementation Strategies).
• Научные исследования: DataCite (для цитирования наборов данных), ISA (Investigation-Study-Assay) в протеомике и геномике, ISO 19115 (географическая информация).
• Мультимедиа: EXIF (Exchangeable Image File Format) для цифровых фотографий, ID3 для MP3-файлов, XMP (Extensible Metadata Platform) для документов Adobe, MPEG-7 для мультимедийного контента.
• Веб-технологии: Open Graph Protocol (Facebook), Schema.org (совместная разработка Google, Microsoft, Yahoo, Yandex) — словари для разметки веб-страниц, улучшающие отображение в поисковой выдаче и социальных сетях.

Применение

Метаданные играют критическую роль в самых разных сферах.

Информационный поиск

Поисковые системы (Google, Яндекс, Bing) активно используют метаданные для индексации и ранжирования страниц. Теги <meta name="description"> и <meta name="keywords"> (последний утратил значение для большинства поисковиков) исторически были основными элементами. Современные системы также анализируют метаданные изображений (ALT-тексты), видео (субтитры, описание) и структурированные данные (Schema.org) для создания расширенных сниппетов (рейтинги, цены, рецепты).

Цифровые библиотеки и архивы

Метаданные позволяют организовать коллекции цифровых объектов, обеспечивать их долговременное хранение (цифровое сохранение) и предоставлять доступ к ним. Стандарты, такие как Dublin Core и PREMIS, используются в проектах оцифровки культурного наследия (например, в Российской государственной библиотеке, Президентской библиотеке имени Б. Н. Ельцина).

Управление данными

В корпоративных информационных системах метаданные используются для управления базами данных, документооборотом, контентом веб-сайтов. Системы управления метаданными (Metadata Management Systems, MMS) помогают отслеживать происхождение данных, их качество и соответствие нормативным требованиям.

Научные исследования

В современной науке метаданные необходимы для воспроизводимости исследований. Описание методов сбора данных, используемых приборов, условий эксперимента и форматов файлов позволяет другим учёным проверить результаты. Репозитории научных данных (например, Zenodo, Figshare) требуют обязательного предоставления метаданных в формате DataCite.

Безопасность и разведка

Метаданные могут быть источником ценной разведывательной информации. Анализ метаданных файлов (например, EXIF фотографий, содержащих координаты GPS) позволяет установить место и время съёмки, тип устройства, программное обеспечение. Спецслужбы многих стран, включая Россию, используют метаданные для выявления связей между лицами, анализа передвижений и выявления скрытых каналов связи.

Социальные сети и коммуникации

Социальные сети (VK, Одноклассники, Telegram) активно собирают метаданные о действиях пользователей: время публикации, геолокация, устройство, IP-адрес, список друзей. Эти данные используются для таргетированной рекламы, рекомендаций и модерации контента. В России, согласно Федеральному закону «О связи» и «Об информации, информационных технологиях и о защите информации», операторы связи и организаторы распространения информации обязаны хранить метаданные о передаче сообщений и предоставлять их по запросу уполномоченных органов.

Проблемы и критика

Широкое использование метаданных порождает ряд проблем.

Приватность

Метаданные часто содержат конфиденциальную информацию. Например, метаданные телефонных звонков (кто, кому, когда, как долго) позволяют восстановить социальные связи человека. В 2013 году бывший сотрудник ЦРУ Эдвард Сноуден раскрыл информацию о программе PRISM, в рамках которой Агентство национальной безопасности США собирало метаданные о телефонных звонках и интернет-трафике американцев. В России аналогичные функции выполняет Система оперативно-розыскных мероприятий (СОРМ). Законодательство многих стран, включая Россию, требует от операторов хранить метаданные в течение определённого срока (обычно от 6 месяцев до 3 лет) и предоставлять их правоохранительным органам.

Качество и стандартизация

Метаданные могут быть неполными, неточными или устаревшими. Отсутствие единых стандартов в некоторых областях затрудняет интеграцию данных из разных источников. Проблема «мусорных метаданных» (garbage metadata) приводит к ошибкам в поиске и анализе.

Безопасность

Метаданные могут быть скомпрометированы. Злоумышленники могут изменить метаданные файла (например, подделать дату создания или автора) или использовать их для скрытой передачи данных (стеганография). Вредоносное ПО может собирать метаданные о системе пользователя для кражи информации.

Правовые аспекты

Вопросы авторского права на метаданные остаются спорными. В ряде стран (например, в США) метаданные могут не охраняться авторским правом, если они являются простыми фактами. В других юрисдикциях, включая Россию, метаданные могут рассматриваться как объект смежных прав или как часть базы данных, охраняемой законом.

Интересные факты

• Первые метаданные в истории человечества — это, вероятно, глиняные таблички с инвентарными номерами, найденные в шумерском городе Урук (около 3400 года до н. э.).
• Стандарт EXIF, используемый в цифровых фотоаппаратах, может содержать до 300 различных полей, включая информацию о фокусном расстоянии, выдержке, диафрагме и даже о том, была ли использована вспышка.
• В 2006 году компания AOL случайно опубликовала метаданные поисковых запросов 650 тысяч пользователей, что привело к серьёзному скандалу и судебным искам.
• Метаданные используются в криминалистике: анализ EXIF-данных фотографий, найденных на месте преступления, может помочь установить личность преступника или жертвы.
• В 2022 году в России вступили в силу поправки к закону «О персональных данных», обязывающие операторов обрабатывать метаданные пользователей в соответствии с требованиями о локализации данных на территории РФ.

Источники

• Gilliland, A. J. (2008). Setting the Stage: An Introduction to Metadata. In M. Baca (Ed.), Introduction to Metadata (3rd ed.). Getty Research Institute.
• National Information Standards Organization (NISO). (2004). Understanding Metadata. NISO Press.
• Pomerantz, J. (2015). Metadata. The MIT Press.
• Zeng, M. L., & Qin, J. (2016). Metadata (2nd ed.). ALA Neal-Schuman.
• Федеральный закон Российской Федерации от 27 июля 2006 г. № 152-ФЗ «О персональных данных».
• Федеральный закон Российской Федерации от 7 июля 2003 г. № 126-ФЗ «О связи».
• Рекомендации W3C по RDF (Resource Description Framework).