Gnuhoo

Gnuhoo — это раннее название проекта по созданию веб-каталога, который впоследствии стал известен как DMOZ (Open Directory Project). Проект был основан в 1998 году программистом Ричем Скреентой (Rich Skrenta) и Бобом Труэлем (Bob Truel) и задумывался как свободная, редактируемая добровольцами альтернатива коммерческим поисковым системам и каталогам, таким как Yahoo! Directory.

История

Предпосылки создания

К концу 1990-х годов интернет переживал бурный рост, и количество веб-сайтов стремительно увеличивалось. Основным инструментом навигации по сети были поисковые системы и веб-каталоги. Наиболее популярным каталогом был Yahoo! Directory, который модерировался сотрудниками компании. Однако его развитие шло медленно, а критерии включения сайтов были непрозрачными. Кроме того, Yahoo! был коммерческим проектом, что вызывало недовольство у сторонников открытого и свободного интернета.

Запуск и ребрендинг

Проект был запущен 5 июня 1998 года под названием Gnuhoo. Название отсылало к проекту GNU (GNU’s Not Unix) и слову «Yahoo», подчёркивая как идеологическую близость к движению свободного программного обеспечения, так и прямую конкуренцию с Yahoo!. Однако Фонд свободного программного обеспечения (Free Software Foundation) выразил возражения против использования префикса «GNU» в названии, поскольку проект Gnuhoo не был официально частью проекта GNU и не распространялся под лицензией GNU GPL. В результате уже через несколько недель после запуска название было изменено на NewHoo.

Переход под управление Netscape

В октябре 1998 года компания Netscape Communications Corporation, известная своим браузером Netscape Navigator, приобрела проект NewHoo. Причиной покупки стало стремление Netscape создать собственный портал и конкурировать с Yahoo! и AOL. После приобретения проект получил название Open Directory Project (ODP) и стал размещаться по адресу dmoz.org (сокращение от «Directory Mozilla» — в честь кодового имени проекта Netscape). Netscape предоставила проекту серверные мощности и официальную поддержку, но основная работа по наполнению и модерации каталога по-прежнему выполнялась добровольцами.

Развитие и расцвет

С 1999 по 2005 год DMOZ был крупнейшим и наиболее авторитетным веб-каталогом в мире. Его данные использовались десятками тысяч сайтов, включая ранние версии Google, AltaVista и Netscape Search. Каталог рос за счёт тысяч редакторов-добровольцев, которые добавляли и классифицировали сайты по иерархической системе категорий. К 2005 году база DMOZ содержала более 4 миллионов сайтов, распределённых по 590 000 категориям.

Упадок и закрытие

После 2005 года популярность DMOZ начала снижаться. Поисковые системы, особенно Google, стали полагаться на собственные алгоритмы ранжирования, а не на данные каталогов. Поддержка проекта со стороны AOL (которая приобрела Netscape в 1999 году) ослабела. Интерфейс и технологии DMOZ устарели, а приток новых редакторов сократился. В 2014 году AOL объявила о прекращении поддержки DMOZ, и 17 марта 2017 года сайт dmoz.org был окончательно закрыт. На момент закрытия в каталоге насчитывалось около 3,8 миллиона сайтов.

Устройство и принципы работы

Иерархическая структура

Основой Gnuhoo/DMOZ была иерархическая система категорий, напоминающая файловую систему. Каждая категория могла содержать подкатегории и списки сайтов. Например, категория «Top/World/Russian/Наука/Математика» включала сайты на русском языке, посвящённые математике. Такая структура позволяла пользователям легко находить информацию методом навигации, а не только через поиск.

Роль редакторов

В отличие от автоматизированных поисковых систем, все сайты в DMOZ добавлялись и проверялись людьми — редакторами-добровольцами. Редакторы могли подать заявку на модерацию определённой категории или группы категорий. Процесс отбора был строгим: кандидаты должны были продемонстрировать знание тематики и способность объективно оценивать сайты. Редакторы имели право добавлять, удалять и редактировать записи, а также создавать новые подкатегории. Система была основана на доверии, но существовали механизмы контроля, включая возможность обжалования решений.

Лицензия и распространение

Данные DMOZ распространялись по лицензии Open Directory License, которая разрешала любое использование при условии указания авторства. Это позволяло другим сайтам и поисковым системам бесплатно использовать содержимое каталога. Благодаря этому DMOZ стал основой для множества других проектов, включая ранние версии Google Directory и Яндекс.Каталог.

Критика и проблемы

Медлительность и бюрократия

Одной из главных претензий к DMOZ была медленная обработка заявок на добавление сайтов. Процесс мог занимать недели, месяцы, а иногда и годы. Это было связано с нехваткой активных редакторов в некоторых категориях и сложной процедурой утверждения.

Субъективность и злоупотребления

Хотя проект декларировал нейтральность, решения редакторов были субъективны. Известны случаи, когда редакторы удаляли сайты конкурентов или добавляли свои собственные в ущерб другим. Существовала проблема «захвата» категорий, когда редактор блокировал добавление любых сайтов, кроме тех, которые он считал нужными.

Устаревание технологий

Интерфейс для редакторов и пользователей практически не обновлялся с начала 2000-х годов. Отсутствовали современные инструменты поиска, фильтрации и управления контентом. Это делало работу с каталогом неудобной по сравнению с современными поисковыми системами.

Наследие

Несмотря на закрытие, Gnuhoo/DMOZ оставил значительное наследие. Он продемонстрировал, что крупномасштабный проект по систематизации знаний может быть реализован силами добровольцев. Многие принципы, заложенные в DMOZ, были впоследствии использованы в других краудсорсинговых проектах, включая Википедию. Данные каталога продолжают использоваться в архивных целях и для обучения алгоритмов классификации текстов. Проект Curlie (curlie.org), запущенный в 2015 году, является прямой попыткой возродить идею открытого веб-каталога, основанного на добровольном редактировании.

Интересные факты

• Рич Скреента, основатель Gnuhoo, ранее был известен как создатель компьютерного вируса для Apple II.
• Название «DMOZ» было выбрано как сокращение от «Directory of Mozilla», хотя проект никогда не был напрямую связан с браузером Mozilla.
• В разное время в DMOZ насчитывалось более 90 000 редакторов, но активных из них было значительно меньше.
• Данные DMOZ использовались в качестве основы для построения семантических сетей и онтологий в научных исследованиях.

Источники

• Skrenta, R. (1998). «Gnuhoo: An Open Directory Project». Сообщение в новостной группе Usenet.
• Netscape Communications Corporation. (1998). «Netscape Acquires NewHoo». Пресс-релиз.
• Open Directory Project. (2005). «About the Open Directory Project». Архивная версия сайта dmoz.org.
• Phelps, T. A. (2017). «The End of DMOZ». Информационный бюллетень Search Engine Land.
• Curlie.org. (2015). «About Curlie».