Distributed Proofreaders

Distributed Proofreaders — это веб-платформа и волонтёрский проект, предназначенный для вычитки и подготовки электронных текстов, находящихся в общественном достоянии, с последующей публикацией в архиве Project Gutenberg. Проект основан на принципе распределённой проверки (краудсорсинга), где каждый доброволец выполняет небольшую часть работы по вычитке отсканированных страниц книг.

История

Проект был основан в 2000 году Чарльзом Франксом (Charles Franks) как независимая инициатива. Изначально он представлял собой набор скриптов для координации работы волонтёров по вычитке книг, отсканированных для Project Gutenberg. В 2002 году Distributed Proofreaders стал официальным партнёром Project Gutenberg, что позволило значительно увеличить объём обрабатываемых текстов. С тех пор через платформу прошли тысячи добровольцев, подготовивших десятки тысяч книг.

В 2006 году проект перешёл под управление некоммерческой организации Distributed Proofreaders Foundation. На момент 2024 года через платформу было обработано более 50 000 книг, что составляет значительную часть всех текстов, опубликованных в Project Gutenberg.

Устройство и принцип работы

Этапы обработки текста

Процесс подготовки книги состоит из нескольких последовательных этапов, каждый из которых выполняется разными волонтёрами:

1. Сканирование и распознавание (OCR). Исходная бумажная книга сканируется, и полученные изображения страниц проходят оптическое распознавание символов (OCR). Результатом является «сырой» текст с возможными ошибками.
2. Вычитка (Proofreading). Волонтёры сравнивают распознанный текст с изображением исходной страницы и исправляют ошибки OCR (например, «rn» вместо «m», «0» вместо «O»). Этот этап повторяется дважды на разных уровнях сложности (P1 и P2).
3. Форматирование (Formatting). На этом этапе в текст добавляется разметка: выделение жирного и курсивного начертания, заголовков, сносок, списков. Также выполняется два прохода (F1 и F2).
4. Финальная проверка (Post-Processing). Опытный волонтёр (пост-процессор) собирает все исправления, проверяет целостность текста, удаляет технические пометки, создаёт файл в формате, пригодном для Project Gutenberg (обычно UTF-8 с простой разметкой).
5. Сборка и публикация (Project Management). Менеджер проекта проверяет готовый файл, при необходимости вносит финальные правки и загружает его в архив Project Gutenberg.

Интерфейс и инструменты

Платформа предоставляет веб-интерфейс, в котором волонтёр видит изображение страницы книги (обычно в формате PNG или JPEG) и текстовое поле с распознанным текстом. Для удобства вычитки используются:

• Подсветка различий. Система автоматически выделяет слова, которые отличаются от эталонного словаря или содержат потенциальные ошибки.
• Специализированные редакторы. Встроенные инструменты для быстрой вставки спецсимволов (тире, кавычки, буквы с диакритикой).
• Система подсказок. Для каждой книги создаётся документ с проектом (Project Comments), где указаны особенности форматирования, используемый словарь и специальные инструкции.

Классификация участников

Участники проекта делятся на несколько категорий в зависимости от опыта и доверия:

• Новички (Beginners). Могут работать только на первом уровне вычитки (P1) и форматирования (F1).
• Опытные (Experienced). Получают доступ ко вторым уровням (P2, F2) после успешного выполнения определённого количества заданий.
• Пост-процессоры (Post-Processors). Волонтёры, прошедшие специальное обучение и имеющие право выполнять финальную сборку книги.
• Менеджеры проектов (Project Managers). Координируют работу по конкретной книге, контролируют сроки и качество.
• Администраторы (Administrators). Управляют технической стороной проекта, решают спорные вопросы.

Применение и значение

Distributed Proofreaders является основным поставщиком текстов для Project Gutenberg — крупнейшего в мире архива бесплатных электронных книг. Значение проекта заключается в:

• Обеспечении доступа к культурному наследию. Благодаря работе волонтёров, тысячи книг, ранее доступных только в бумажном виде, становятся бесплатно доступны в цифровом формате.
• Повышении качества. Многоуровневая система проверки позволяет достичь высокой точности текста, сравнимой с профессиональной корректурой.
• Экономии ресурсов. Использование краудсорсинга позволяет обрабатывать большие объёмы текстов без привлечения платных специалистов.
• Образовательной ценности. Участие в проекте позволяет волонтёрам развивать навыки внимательности, работы с текстом и знакомиться с классической литературой.

Примеры книг, подготовленных через Distributed Proofreaders

Через платформу были подготовлены многие известные произведения, в том числе:

• «Война и мир» Л. Н. Толстого (в разных переводах).
• «Преступление и наказание» Ф. М. Достоевского.
• «Улисс» Джеймса Джойса.
• «Энциклопедия Британника» (издания 1911 года).
• Собрания сочинений Уильяма Шекспира, Чарльза Диккенса, Марка Твена и других классиков.

Критика и ограничения

Несмотря на высокое качество, проект имеет ряд ограничений:

• Зависимость от волонтёров. Скорость обработки книг сильно варьируется в зависимости от активности участников. Некоторые книги могут ждать вычитки годами.
• Ограничения по тематике. Проект фокусируется на книгах, находящихся в общественном достоянии (обычно опубликованных до 1928 года в США). Современные произведения, защищённые авторским правом, не обрабатываются.
• Технические сложности. Книги с большим количеством иллюстраций, сложными таблицами или нестандартными шрифтами (например, готическим) требуют значительно больше времени и усилий.
• Проблемы с языками. Основной язык проекта — английский. Хотя обрабатываются книги на многих языках, включая русский, объём русскоязычных текстов невелик по сравнению с англоязычными.

Интересные факты

• В 2011 году Distributed Proofreaders обработал свою 20-тысячную книгу.
• Проект использует собственную систему рейтинга волонтёров, основанную на количестве и качестве выполненных страниц.
• Некоторые волонтёры работают в проекте более 15 лет, обработав тысячи страниц.
• Исходный код платформы является открытым (лицензия GNU GPL), что позволяет создавать аналогичные системы для других проектов.

Источники

1. Официальный сайт Distributed Proofreaders (dp.tech).
2. Project Gutenberg — официальный сайт (gutenberg.org).
3. «Distributed Proofreaders: A Community of Volunteers» — статья в журнале «Library Hi Tech» (2004).
4. «The Distributed Proofreaders Project: A Case Study in Open Source and Crowdsourcing» — исследование Университета штата Мичиган (2010).
5. Документация и FAQ на сайте Distributed Proofreaders.