DocumentCloud

DocumentCloud — это веб-платформа для хранения, аннотирования, анализа и публикации документов, ориентированная в первую очередь на журналистов, исследователей и организации, работающие с большими объёмами неструктурированной информации. Сервис позволяет загружать файлы в форматах PDF, DOC, DOCX, ODT, TXT и других, преобразуя их в интерактивные объекты, которые можно встраивать на веб-страницы, снабжать пометками, выделениями и комментариями. DocumentCloud функционирует как облачное хранилище с функциями совместной работы и поиска по тексту, что делает его инструментом для расследовательской журналистики и документооборота.

История

Платформа была создана в 2009 году некоммерческой организацией Investigative Reporters and Editors (IRE) при поддержке Фонда Найта (Knight Foundation) и Фонда Маккормика (McCormick Foundation). Первоначальная цель заключалась в предоставлении журналистам удобного инструмента для публикации первичных документов, лежащих в основе их расследований, — чтобы читатели могли самостоятельно проверять факты. В 2012 году проект перешёл под управление организации DocumentCloud, Inc., которая в 2014 году объединилась с движением за открытое правительство MuckRock (организация, признанная в РФ нежелательной, деятельность запрещена). С этого момента платформа стала частью экосистемы, включающей сервисы FOIA (Freedom of Information Act) для запросов в государственные органы и базу данных судебных дел.

В 2020 году DocumentCloud был полностью переработан: обновлён интерфейс, добавлена поддержка современных форматов, улучшена система поиска по OCR (оптическому распознаванию символов) и внедрена интеграция с другими инструментами журналистских расследований, такими как Tabula (для извлечения таблиц из PDF) и Overview (для анализа текстов). По состоянию на 2024 год сервис насчитывает более 5 миллионов загруженных документов, многие из которых находятся в открытом доступе.

Функциональные возможности

Загрузка и обработка документов

DocumentCloud принимает файлы объёмом до 100 МБ. После загрузки платформа автоматически запускает OCR (для отсканированных или фотографированных документов) и индексирует весь текст. Пользователь может задать метаданные: название, дату, источник, автора, теги и описание. Система поддерживает пакетную загрузку — до 50 файлов одновременно.

Аннотирование и выделение

Ключевая особенность сервиса — возможность создавать аннотации. Пользователь может выделить фрагмент текста, добавить к нему комментарий, указать категорию (например, «ключевой факт», «противоречие», «цитата») и присвоить цветовую метку. Аннотации могут быть приватными (только для владельца) или публичными (видимыми всем читателям). Это позволяет журналистам готовить материалы для публикации, не покидая платформы.

Встраивание и публикация

DocumentCloud генерирует HTML-код для встраивания документа на любой веб-сайт. Встроенный документ отображается в виде интерактивного плеера: читатель может листать страницы, увеличивать масштаб, искать по тексту и просматривать аннотации. Плеер адаптивен для мобильных устройств. Также доступна прямая ссылка на документ и возможность скачать оригинальный файл.

Совместная работа

Платформа позволяет создавать рабочие группы (workspaces) с разграничением прав доступа. Участники группы могут совместно просматривать, аннотировать и комментировать документы. Владелец может назначать роли (редактор, читатель, администратор) и отслеживать историю изменений.

Поиск и фильтрация

Поиск по тексту работает по всем загруженным документам, включая распознанный OCR-текст. Поддерживаются операторы (AND, OR, NOT, кавычки для точного совпадения). Результаты можно фильтровать по дате, источнику, тегу, типу файла и статусу (публичный/приватный). Для организаций доступен расширенный поиск по корпоративной библиотеке.

Применение

Журналистика

DocumentCloud является стандартным инструментом в расследовательской журналистике. Он используется для публикации первичных источников: судебных решений, государственных отчётов, утекших документов, корпоративных контрактов. Примеры крупных проектов, в которых применялась платформа:

• Панамские документы (2016) — международное расследование, в ходе которого на DocumentCloud были опубликованы документы панамской юридической фирмы Mossack Fonseca.
• Райские документы (2017) — аналогичный проект, связанный с офшорными схемами.
• Расследования The New York Times, The Guardian, ProPublica и других изданий, где платформа используется для подтверждения фактов.

Научные исследования

Исследователи используют DocumentCloud для архивирования и анализа исторических документов, законодательных актов, протоколов заседаний. Возможность OCR и поиска по тексту позволяет быстро находить релевантные фрагменты в больших коллекциях.

Правозащитная деятельность

Неправительственные организации (в том числе признанные в РФ нежелательными) применяют платформу для публикации доказательств нарушений прав человека, судебных исков и отчётов мониторинговых миссий. Открытость документов позволяет привлекать внимание общественности и прессы.

Критика и ограничения

Проблемы конфиденциальности

DocumentCloud хранит все загруженные документы на своих серверах (в дата-центрах AWS в США). Пользователи, загружающие конфиденциальные данные, рискуют их утечкой, если не устанавливают соответствующие настройки приватности. В 2018 году был зафиксирован случай, когда из-за ошибки в настройках некоторые приватные документы стали временно доступны публично.

Зависимость от платформы

При встраивании документа через плеер DocumentCloud владелец сайта теряет контроль над его отображением. Если платформа изменит API или прекратит работу, встроенные документы перестанут функционировать. Для долгосрочного архивирования рекомендуется скачивать оригинальные файлы.

Ограничения бесплатной версии

Бесплатный аккаунт позволяет загрузить до 1000 документов (или 10 ГБ) и создавать до 10 рабочих групп. Для профессиональных журналистских организаций доступны платные тарифы (от $20 в месяц), снимающие эти ограничения и предоставляющие приоритетную поддержку.

Интересные факты

• DocumentCloud стал одним из первых сервисов, внедривших встроенный плеер для PDF с поддержкой аннотаций — до него журналисты публиковали документы в виде ссылок на файлы или скриншотов.
• Платформа активно используется в проектах по открытым данным: например, в США на ней публикуются отчёты о расходах государственных органов.
• В 2021 году DocumentCloud запустил инструмент «Note» — возможность добавлять к документам заметки в формате Markdown, что позволяет создавать полноценные статьи прямо на платформе.

Источники

• Официальный сайт DocumentCloud (documentcloud.org)
• Статья «DocumentCloud: A Tool for Journalists» в журнале Nieman Reports (2010)
• Документация API DocumentCloud
• Материалы расследования «Панамские документы» (ICIJ, 2016)
• Отчёт Knight Foundation о финансировании проектов открытых данных (2012)