Freebase¶

Freebase — это крупная открытая база данных структурированных знаний, созданная и поддерживавшаяся компанией Metaweb Technologies (позднее приобретена Google), а затем закрытая в 2016 году. Проект представлял собой семантическую сеть, содержащую информацию о миллионах сущностей (людях, местах, организациях, событиях, понятиях) и связях между ними. Freebase была одной из ключевых инициатив в области Linked Data и послужила основой для создания современной базы знаний Google Knowledge Graph.

¶История

¶Создание и развитие

Проект Freebase был основан в 2005 году компанией Metaweb Technologies, которую возглавлял Дэнни Хиллис (один из пионеров вычислительной техники и основатель Thinking Machines). Изначально Freebase задумывалась как открытая, краудсорсинговая платформа для сбора и структурирования знаний, аналогичная Википедии, но с акцентом на машинно-читаемые данные, а не на текст. В отличие от Википедии, где информация представлена в виде статей, Freebase хранила данные в виде триплетов (субъект-предикат-объект), что позволяло легко извлекать и связывать факты.

В 2008 году Metaweb запустила публичную альфа-версию Freebase. Пользователи могли добавлять, редактировать и связывать данные через веб-интерфейс. Ключевой особенностью было использование уникальных идентификаторов (MID — Machine IDs) для каждой сущности, что обеспечивало однозначную ссылку на объект в разных контекстах.

¶Приобретение Google и интеграция

В июле 2010 года компания Google объявила о приобретении Metaweb Technologies. Сумма сделки не разглашалась, но оценивалась экспертами в десятки миллионов долларов. После покупки Freebase стала внутренним проектом Google, который активно использовался для построения Google Knowledge Graph — семантической базы знаний, запущенной в 2012 году. Knowledge Graph значительно улучшил поисковые возможности Google, позволяя отображать краткие факты о сущностях прямо в результатах поиска (например, даты рождения, столицы стран, рейтинги фильмов).

¶Закрытие и миграция в Викиданные

В 2014 году Google объявил о планах закрыть Freebase и перенести её данные в Викиданные (Wikidata) — открытый проект Фонда Викимедиа, который также является структурированной базой знаний. Процесс миграции занял около двух лет. В мае 2016 года Freebase была официально закрыта, и её данные были полностью интегрированы в Викиданные. На момент закрытия база содержала более 3 миллиардов фактов о 50 миллионах сущностей.

¶Структура и принципы

¶Модель данных

Freebase использовала реляционную модель данных, основанную на графах. Каждый факт представлял собой триплет: субъект (сущность, например, «Альберт Эйнштейн»), предикат (свойство или отношение, например, «дата рождения») и объект (значение или другая сущность, например, «14 марта 1879»). Для хранения этих триплетов использовались таблицы в реляционной базе данных, что позволяло выполнять сложные запросы.

¶Типы и свойства

Все сущности в Freebase были разделены на типы (types), которые определяли, какие свойства (properties) могут быть у данной сущности. Например, тип «Человек» имел свойства «дата рождения», «место рождения», «профессия», «супруг(а)» и т.д. Типы могли наследовать свойства друг от друга (например, «Учёный» наследовал свойства от «Человека»). Всего в Freebase было определено несколько тысяч типов и десятки тысяч свойств.

¶Идентификаторы

Каждая сущность в Freebase получала уникальный идентификатор — MID (Machine ID), например, /m/0c6m. Эти идентификаторы были стабильными и не зависели от названия сущности, что позволяло ссылаться на объект даже при изменении его имени. MID-идентификаторы до сих пор используются в некоторых проектах Google, например, в Google Knowledge Graph API.

¶Краудсорсинг и модерация

Freebase была открыта для редактирования всеми желающими, но имела систему модерации. Пользователи могли добавлять новые факты, исправлять ошибки и создавать новые типы и свойства. Однако, в отличие от Википедии, где правки видны сразу, в Freebase изменения проходили проверку модераторами, что снижало риск вандализма, но замедляло процесс обновления данных.

¶Применение

¶Google Knowledge Graph

Наиболее значимым применением Freebase стало использование её данных в Google Knowledge Graph. С помощью Freebase Google смог автоматически связывать поисковые запросы с конкретными сущностями, отображая факты, изображения и связанные объекты в боковой панели результатов поиска. Например, при поиске «Альберт Эйнштейн» пользователь видел не только ссылки на сайты, но и краткую биографию, дату рождения, место рождения, список открытий и связанных людей.

¶Исследования и анализ данных

Freebase активно использовалась в научных исследованиях в области обработки естественного языка, семантического анализа и машинного обучения. Данные Freebase применялись для обучения моделей извлечения фактов, разрешения сущностей (entity resolution) и построения графов знаний. Например, проект DBpedia (извлечение структурированных данных из Википедии) часто сравнивался с Freebase, а данные Freebase использовались в соревнованиях по разрешению сущностей (например, в задаче Entity Linking).

¶Сторонние сервисы и API

До закрытия Freebase предоставляла открытый API (MQL — Metaweb Query Language), который позволял разработчикам выполнять сложные запросы к базе данных. На основе этого API были созданы десятки приложений, включая сервисы для поиска людей, мест, фильмов и книг. После закрытия Freebase большинство этих сервисов перешли на использование Викиданных или Google Knowledge Graph API.

¶Критика и ограничения

¶Качество данных

Как и любой краудсорсинговый проект, Freebase страдала от неполноты и неточностей данных. Многие факты были добавлены без должной проверки, что приводило к ошибкам. Кроме того, данные часто были устаревшими, так как процесс модерации был медленным. Например, информация о текущих событиях (спортивные результаты, политические события) обновлялась с задержкой.

¶Закрытость после приобретения Google

Хотя Freebase изначально была открытым проектом, после приобретения Google её данные стали использоваться преимущественно для внутренних нужд компании. Google прекратил активную поддержку сообщества, а API перестал развиваться. Это вызвало критику со стороны сторонников открытых данных, которые опасались, что Google монополизирует структурированные знания.

¶Сложность модели данных

Модель данных Freebase была более сложной, чем у Википедии или Викиданных. Для добавления новых типов и свойств требовались определённые технические знания, что ограничивало круг участников. Кроме того, система идентификаторов (MID) была неинтуитивной для обычных пользователей, что затрудняло понимание структуры данных.

¶Наследие

Несмотря на закрытие, Freebase оказала значительное влияние на развитие семантических технологий. Она продемонстрировала возможность создания крупномасштабной базы знаний силами сообщества и стала прототипом для современных графов знаний. Данные Freebase продолжают жить в Викиданных, которые унаследовали многие принципы организации информации, а также в Google Knowledge Graph, который до сих пор использует часть данных Freebase. Проект также стимулировал развитие стандартов Linked Data и семантической разметки (например, Schema.org).

¶Источники

• Metaweb Technologies. «Freebase: A Shared Database of Structured Knowledge». (2007)
• Google. «Freebase Data Dump». (2016)
• Bizer, C., et al. «DBpedia — A Crystallization Point for the Web of Data». Journal of Web Semantics, 2009.
• Vrandečić, D., Krötzsch, M. «Wikidata: A Free Collaborative Knowledgebase». Communications of the ACM, 2014.
• Bollacker, K., et al. «Freebase: A Collaboratively Created Graph Database for Structuring Human Knowledge». SIGMOD, 2008.