DMOZ

DMOZ (сокращение от англ. Directory Mozilla, также известный как Open Directory Project, ODP) — это многоязычный, свободно редактируемый каталог веб-сайтов, поддерживавшийся сообществом волонтёров-редакторов. Основанный в 1998 году, DMOZ долгое время являлся крупнейшим и наиболее авторитетным веб-каталогом в мире, структурируя ссылки на интернет-ресурсы по тематическим рубрикам. Проект был закрыт в марте 2017 года.

История

Создание и развитие

DMOZ был основан в 1998 году американскими предпринимателями Ричем Скрентой и Бобом Труэлом. Изначально проект назывался Gnuhoo и задумывался как открытая альтернатива коммерческим веб-каталогам, таким как Yahoo! Directory. Название «Gnuhoo» отсылало к проекту GNU, разделявшему идеологию свободного программного обеспечения. Однако из-за претензий Фонда свободного программного обеспечения на использование торговой марки «GNU» проект был переименован в NewHoo, а затем, после покупки компанией Netscape Communications в ноябре 1998 года, получил окончательное название DMOZ (Directory Mozilla).

Под управлением Netscape, а затем её материнской компании AOL (с 1999 года), DMOZ стал ключевым источником данных для многих поисковых систем. В частности, Google использовал данные DMOZ для построения собственного каталога (Google Directory), который просуществовал до 2011 года. В 2000 году каталог содержал более 1,6 миллиона ссылок, а к 2010 году — уже более 5 миллионов.

Упадок и закрытие

С развитием алгоритмических поисковых систем (Google, Яндекс) и появлением социальных закладок (Delicious, Reddit) роль ручных веб-каталогов стала снижаться. DMOZ страдал от ряда проблем:

• Медленная модерация. Заявки на добавление сайта могли рассматриваться месяцами или годами.
• Закрытость сообщества. Редакторы часто не принимали новых участников, что вызывало критику.
• Злоупотребления. Некоторые редакторы использовали своё положение для продвижения собственных сайтов или удаления конкурентов.
• Устаревшая платформа. Техническая база DMOZ (на Perl) практически не обновлялась.

В 2014 году AOL объявила о заморозке проекта. Редакторы больше не могли добавлять новые ссылки, хотя существующий каталог оставался доступным для чтения. 17 марта 2017 года DMOZ был окончательно закрыт. На момент закрытия каталог содержал около 3,8 миллиона активных ссылок, распределённых по примерно 1 миллиону категорий.

Структура и принципы работы

Иерархическая система

DMOZ представлял собой иерархический каталог, где сайты группировались по тематическим категориям. Верхний уровень включал 16 основных разделов (например, «Искусство», «Бизнес», «Компьютеры», «Общество», «Наука»). Каждый раздел делился на подкатегории, которые, в свою очередь, могли иметь ещё более узкие подразделы. Например, путь к сайту мог выглядеть так: Top > Computers > Internet > Web Design and Development > HTML.

Редактирование

Основным отличием DMOZ от коммерческих каталогов была его открытость для редактирования любым желающим. Любой пользователь мог подать заявку на получение статуса редактора определённого раздела. После проверки (которая могла включать тестовое задание) волонтёр получал права на добавление, удаление и изменение ссылок в своей категории.

Редакторы руководствовались строгими правилами:

• Уникальность. Сайт должен был содержать оригинальный контент, а не быть зеркалом другого ресурса.
• Качество. Предпочтение отдавалось сайтам с полезной информацией, а не «пустым» страницам.
• Отсутствие саморекламы. Редакторам запрещалось добавлять собственные сайты в категории, которые они модерировали.

Метаданные

Для каждого сайта в каталоге хранились следующие данные:

• URL — адрес страницы.
• Title — заголовок сайта.
• Description — краткое описание (обычно 1-2 предложения).
• Category — путь к категории.

Эти данные распространялись в формате RDF (Resource Description Framework) и могли свободно использоваться сторонними сервисами.

Значение и влияние

Влияние на поисковые системы

DMOZ сыграл ключевую роль в развитии ранних поисковых систем. В эпоху, когда алгоритмы ранжирования были несовершенны, ссылки из авторитетного каталога служили важным сигналом качества. Google Directory, построенный на данных DMOZ, позволял пользователям искать не по всему интернету, а только по отобранным вручную сайтам. Это обеспечивало высокую релевантность результатов.

Многие SEO-специалисты (специалисты по поисковой оптимизации) считали попадание в DMOZ одним из ключевых факторов для продвижения сайта, хотя официально Google это не подтверждал.

Наследие

После закрытия DMOZ данные каталога были выложены в открытый доступ (дамп базы данных). На их основе были созданы несколько проектов-преемников, наиболее известным из которых является Curlie (работал с 2017 по 2023 год). Curlie пытался возродить концепцию открытого каталога, но также столкнулся с проблемами модерации и в итоге прекратил активное развитие.

Другим важным наследием DMOZ является формат RDF, который до сих пор используется некоторыми каталогами и базами знаний.

Критика

Несмотря на свою популярность, DMOZ подвергался серьёзной критике:

• Непрозрачность. Процесс принятия новых редакторов и отклонения заявок на добавление сайтов был непрозрачным. Редакторы не обязаны были объяснять свои решения.
• Бюрократия. Для добавления сайта в неспециализированную категорию часто требовалось пройти несколько уровней проверки, что занимало много времени.
• Злоупотребления властью. Некоторые редакторы, получив доступ к целым разделам, начинали продвигать свои проекты или удалять сайты конкурентов. Механизмов контроля за такими действиями было недостаточно.
• Неравномерное покрытие. Категории, связанные с технологиями и бизнесом, обновлялись активно, в то время как разделы по искусству или региональные каталоги часто были заброшены.

Интересные факты

• Название DMOZ расшифровывается как Directory Mozilla, что отражает связь с проектом Mozilla (браузер Netscape был основан на коде Mozilla).
• Несмотря на то, что DMOZ был «открытым» каталогом, его база данных распространялась по лицензии, которая не являлась свободной в полном смысле (требовалось указание авторства).
• Пик активности редакторов пришёлся на 2003-2005 годы, когда в проекте участвовало более 100 000 волонтёров.
• DMOZ был одним из немногих проектов, который успешно сочетал краудсорсинг (сбор контента от пользователей) с централизованной модерацией.

Источники

• История и архив проекта DMOZ (dmoz-odp.org, ныне неактивен).
• Статья «The Open Directory Project: A Historical Perspective» (журнал Internet Archive, 2017).
• Материалы конференции «Web Search and Data Mining» (WSDM), 2009 год.
• Официальный пресс-релиз AOL о закрытии DMOZ (март 2017 года).
• Данные дампа базы DMOZ (RDF-дамп, 2017 год).