Curlie

Curlie (ранее DMOZ, полное название Open Directory Project, ODP) — это многоязычный свободный каталог веб-ссылок, создаваемый сообществом редакторов-добровольцев. Каталог представляет собой иерархическую структуру тематических разделов, в которые включаются ссылки на интернет-ресурсы, соответствующие определённым критериям отбора. Проект является одним из старейших и крупнейших в мире каталогов веб-сайтов, управляемых людьми, и сыграл значительную роль в развитии раннего интернета, особенно в области поисковой оптимизации и веб-навигации.

История

Предыстория и создание (1998—2000)

Проект был основан в 1998 году американскими программистами Ричем Скрентой (Rich Skrenta) и Бобом Труэлем (Bob Truel). Первоначально он назывался Gnuhoo и задумывался как открытая альтернатива коммерческим каталогам, таким как Yahoo! Directory. В 1998 году проект был переименован в NewHoo, а затем, после приобретения компанией Netscape Communications Corporation в ноябре 1998 года, получил название Open Directory Project (ODP). Netscape передала управление проектом своей дочерней компании, а сам ODP стал доступен по открытой лицензии (Open Directory License).

Эпоха DMOZ (2000—2017)

После приобретения Netscape корпорацией AOL (America Online) в 1999 году, ODP стал частью её активов. В 2000 году проект получил домен dmoz.org, аббревиатуру от «Directory of Mozilla» (каталог Mozilla), хотя прямого отношения к браузеру Mozilla он не имел. В период с 2000 по 2010-е годы DMOZ был одним из самых авторитетных источников ссылок для поисковых систем, особенно для Google, который использовал данные каталога для оценки релевантности сайтов и формирования поисковой выдачи. В то время включение сайта в DMOZ считалось одним из наиболее эффективных способов улучшения его позиций в поисковой выдаче.

Упадок и закрытие (2017)

К середине 2010-х годов популярность DMOZ начала снижаться. Поисковые системы стали полагаться на собственные алгоритмы ранжирования, а не на данные каталогов. Кроме того, проект столкнулся с проблемами модерации: из-за огромного объёма заявок и недостатка активных редакторов многие разделы не обновлялись годами. В марте 2017 года компания AOL объявила о закрытии DMOZ. 17 марта 2017 года сайт dmoz.org был выключен. На момент закрытия в каталоге содержалось более 3,9 миллиона ссылок на более чем 1 миллион сайтов, распределённых по 1,1 миллиона категорий.

Возрождение как Curlie (2017 — настоящее время)

Вскоре после закрытия DMOZ группа бывших редакторов и энтузиастов запустила проект-преемник под названием Curlie. Название является игрой слов: «curlie» можно прочитать как «curly» (кудрявый) или как сокращение от «curated links» (курируемые ссылки). Curlie использует ту же базу данных и структуру категорий, что и DMOZ, но с обновлённым программным обеспечением и более открытой политикой модерации. Проект позиционируется как некоммерческий и поддерживается исключительно добровольцами. На начало 2024 года Curlie содержит более 3,7 миллиона ссылок и продолжает развиваться.

Структура и принципы работы

Иерархическая система категорий

Curlie построен по принципу иерархической таксономии. Все ссылки распределены по тематическим категориям (например, «Наука», «Искусство», «Спорт»), которые, в свою очередь, делятся на подкатегории. Глубина вложенности может достигать 10 и более уровней. Например, ссылка на сайт о разведении аквариумных рыбок может находиться в категории: Top: World: Russian: Дом: Аквариумистика: Рыбы.

Редакторы-добровольцы

Основой проекта являются редакторы — добровольцы, которые проверяют заявки на добавление сайтов, оценивают их соответствие критериям и размещают в нужные категории. Редакторы могут специализироваться на одной или нескольких категориях. Существует несколько уровней доступа: от редактора одной категории до администратора всего каталога. Процесс отбора редакторов достаточно строгий: кандидаты должны продемонстрировать знание тематики и правил проекта.

Критерии отбора ссылок

В Curlie (как и в DMOZ) действуют жёсткие критерии включения сайтов. Основные требования:

• Уникальность и полезность: сайт должен предоставлять уникальный контент, а не быть простым зеркалом или агрегатором.
• Информативность: предпочтение отдаётся сайтам с полезной информацией, а не чисто коммерческим или рекламным страницам.
• Отсутствие «мёртвых» ссылок: сайт должен быть доступен и функционировать.
• Соответствие категории: ссылка должна быть размещена в наиболее подходящей тематической категории.
• Запрет на спам и SEO-оптимизацию: сайты, созданные исключительно для продвижения в поисковых системах, как правило, отклоняются.

Значение и влияние

Роль в поисковой оптимизации (SEO)

В конце 1990-х — начале 2000-х годов DMOZ был одним из важнейших факторов ранжирования в поисковых системах, особенно в Google. Ссылка из DMOZ (так называемый «dofollow»-бэклинк) значительно повышала авторитет сайта в глазах поисковых алгоритмов. Кроме того, описание сайта из DMOZ часто использовалось поисковиками в качестве сниппета (краткого описания) в результатах поиска. С развитием алгоритмов Google (обновления Panda, Penguin и др.) влияние DMOZ/Curlie на ранжирование существенно снизилось, однако сам факт наличия ссылки в авторитетном каталоге по-прежнему может рассматриваться как положительный сигнал.

Вклад в веб-архивирование и навигацию

Curlie и DMOZ являются ценными архивами веб-пространства. Они фиксируют структуру интернета на определённый момент времени, что полезно для исследователей и историков веба. Для пользователей каталог остаётся удобным инструментом навигации, особенно в узкоспециализированных областях, где поисковые системы могут выдавать много спама или нерелевантных результатов.

Критика и ограничения

Проект неоднократно подвергался критике, в том числе:

• Закрытость и непрозрачность: в эпоху DMOZ процесс модерации был крайне непрозрачным. Редакторы могли отклонять заявки без объяснения причин, а сроки рассмотрения заявок иногда растягивались на годы.
• Неравномерность развития: некоторые категории были очень хорошо наполнены, в то время как другие оставались пустыми или содержали устаревшие ссылки.
• Субъективизм редакторов: решение о включении или отклонении сайта часто зависело от личных предпочтений редактора, что приводило к конфликтам.
• Устаревание: с закрытием DMOZ и замедлением развития Curlie, каталог всё чаще содержит ссылки на несуществующие или давно не обновляемые сайты.

Современное состояние

На сегодняшний день Curlie остаётся действующим проектом, но его аудитория и влияние значительно меньше, чем у DMOZ в его лучшие годы. Проект поддерживается сообществом энтузиастов, которые продолжают добавлять новые ссылки и чистить устаревшие. Основная ценность Curlie в настоящее время — это структурированный, проверенный людьми каталог качественных ресурсов, который может быть полезен как для пользователей, так и для исследователей интернета. В отличие от коммерческих каталогов, Curlie остаётся полностью бесплатным и некоммерческим проектом.

Источники

• Официальный сайт проекта Curlie (curlie.org)
• Архив новостей и обсуждений DMOZ на ресурсах Resource-Zone и WebmasterWorld (2000—2017)
• Статья «The Open Directory Project (DMOZ)» в энциклопедии «Wikipedia» (английская версия, раздел «History»)
• Публикации на сайте Search Engine Land о закрытии DMOZ и запуске Curlie (2017)
• Материалы конференций по веб-архивированию (IIPC, 2018—2020)