База знаний

База знаний — это структурированная совокупность данных, правил и процедур, предназначенная для хранения, организации и предоставления информации о конкретной предметной области, а также для извлечения новых знаний с помощью логического вывода или алгоритмов машинного обучения. В отличие от обычных баз данных, база знаний содержит не только факты, но и метаданные, онтологии, семантические связи и механизмы рассуждений, что позволяет системе не просто отвечать на запросы, а генерировать выводы на основе заложенных закономерностей.

История развития

Предпосылки и ранние системы (1950–1970-е годы)

Первые концепции баз знаний возникли в рамках исследований по искусственному интеллекту. В 1956 году на Дартмутской конференции впервые прозвучал термин «искусственный интеллект», а в 1960-х годах началась разработка систем, способных хранить и обрабатывать знания в символьной форме. Одним из ранних примеров стала система DENDRAL (1965), созданная в Стэнфордском университете для идентификации химических соединений по данным масс-спектрометрии. Она сочетала базу фактов о молекулярных структурах с правилами логического вывода.

Экспертные системы (1970–1980-е годы)

Ключевым этапом стало появление экспертных систем — программных комплексов, которые имитировали рассуждения эксперта в узкой предметной области. Первой коммерчески успешной экспертной системой считается MYCIN (1976), разработанная для диагностики бактериальных инфекций и рекомендации антибиотиков. MYCIN содержала около 450 правил и базу фактов о симптомах, возбудителях и лекарствах. В 1980-х годах экспертные системы активно внедрялись в промышленности, медицине и военном деле: система XCON (1980) использовалась компанией Digital Equipment Corporation для конфигурации компьютерных систем, что позволило сократить количество ошибок на 95%.

Инженерия знаний и появление онтологий (1980–1990-е годы)

В 1980-х годах сформировалась дисциплина «инженерия знаний» (knowledge engineering), занимающаяся методами извлечения, структурирования и представления знаний. В 1989 году Тим Бернерс-Ли предложил концепцию семантической паутины (Semantic Web), которая предполагала создание машинно-читаемых метаданных и онтологий для связывания данных в интернете. В 1998 году был разработан язык OWL (Web Ontology Language), ставший стандартом для описания онтологий.

Современные базы знаний (2000-е — настоящее время)

С начала XXI века базы знаний стали неотъемлемой частью крупных интернет-сервисов. В 2001 году компания Google запустила проект Google Knowledge Graph — базу знаний, связывающую сущности (людей, места, события) и их атрибуты. В 2012 году Knowledge Graph был интегрирован в поисковую выдачу, позволяя показывать структурированные ответы на вопросы пользователей. В 2015 году компания Microsoft представила Microsoft Academic Graph — базу знаний научных публикаций, содержащую более 200 миллионов записей. В 2018 году российская компания «Яндекс» запустила «Яндекс.Знания» — сервис, агрегирующий факты из различных источников и предоставляющий их в виде кратких ответов на поисковые запросы.

Классификация баз знаний

По способу представления знаний

• Логические модели — знания представлены в виде формул исчисления предикатов или правил логического вывода (например, системы на основе Пролога).
• Продукционные модели — знания представлены в виде правил вида «ЕСЛИ — ТО» (например, экспертные системы MYCIN, CLIPS).
• Фреймовые модели — знания организованы в виде фреймов (структур данных, описывающих объекты и их свойства), предложенных Марвином Минским в 1975 году.
• Семантические сети — знания представлены в виде графа, где вершины — понятия, а рёбра — отношения между ними (например, WordNet — лексическая база знаний английского языка).
• Гибридные модели — комбинируют несколько подходов (например, онтологии, сочетающие фреймы и логику).

По области применения

• Предметно-ориентированные — содержат знания в одной узкой области (медицина, юриспруденция, химия). Пример: UMLS (Unified Medical Language System) — интегрированная база знаний по биомедицине.
• Универсальные (энциклопедические) — охватывают широкий круг тем. Пример: Википедия — крупнейшая коллективная база знаний, содержащая более 60 миллионов статей на 300 языках. DBpedia — структурированная версия Википедии, извлечённая в формате RDF.
• Корпоративные — используются внутри организаций для хранения внутренних регламентов, инструкций, опыта сотрудников. Пример: Confluence (Atlassian) — платформа для создания корпоративных баз знаний.

По типу доступа

• Открытые (публичные) — доступны всем пользователям (например, Wikidata, Freebase).
• Закрытые (частные) — доступны только авторизованным пользователям (например, базы знаний банков, страховых компаний).
• Гибридные — часть данных открыта, часть — защищена (например, корпоративные вики-системы).

Устройство и компоненты

Онтология

Онтология — это формальное описание понятий предметной области, их свойств и отношений. Она включает:

• Классы (категории сущностей, например, «Человек», «Организация»).
• Свойства (атрибуты, например, «дата рождения», «должность»).
• Отношения (связи между классами, например, «работает в», «является подклассом»).
• Аксиомы (ограничения и правила, например, «каждый человек имеет ровно одну дату рождения»).

Факты и правила

• Факты — конкретные утверждения о сущностях (например, «А. С. Пушкин родился в 1799 году»).
• Правила — логические конструкции, позволяющие выводить новые факты из существующих (например, «Если X — родитель Y, и Y — родитель Z, то X — дедушка Z»).

Логический вывод

Механизм логического вывода (инференс-движок) — программный компонент, который на основе правил и фактов генерирует новые знания. Различают:

• Прямой вывод (forward chaining) — от фактов к цели.
• Обратный вывод (backward chaining) — от цели к фактам.
• Дедуктивный вывод — строгое логическое следование.
• Абдуктивный вывод — поиск наиболее вероятных объяснений.

Интерфейсы

• API (программные интерфейсы) — для интеграции с другими системами (например, SPARQL-эндпоинты для запросов к RDF-хранилищам).
• Пользовательские интерфейсы — веб-интерфейсы, чат-боты, голосовые ассистенты (например, «Алиса» от «Яндекса» использует базу знаний для ответов на вопросы).

Применение

Поисковые системы и ассистенты

Крупнейшие поисковые системы (Google, Яндекс, Bing) используют базы знаний для отображения структурированных ответов (knowledge panels) на поисковых страницах. Например, при запросе «высота Эвереста» Google показывает карточку с числом 8848 метров, извлечённым из Knowledge Graph. Голосовые ассистенты (Siri, Google Assistant, Алиса) также опираются на базы знаний для ответов на фактологические вопросы.

Медицина и здравоохранение

Базы знаний применяются в системах поддержки принятия врачебных решений (СППВР). Пример: IBM Watson for Oncology (до 2022 года) использовал базу знаний медицинских публикаций и клинических рекомендаций для предложения вариантов лечения рака. В России действует система «Медицинская база знаний» (разработчик — компания «Медицина будущего»), содержащая более 100 тысяч клинических случаев и 50 тысяч протоколов лечения.

Промышленность и инженерия

В промышленности базы знаний используются для управления технической документацией, диагностики неисправностей и обучения персонала. Например, Siemens Knowledge Base содержит описания тысяч компонентов и процедур их обслуживания. В авиастроении базы знаний помогают техникам при ремонте двигателей: система Boeing Knowledge Base включает более 1 миллиона технических записей.

Образование

Базы знаний лежат в основе интеллектуальных обучающих систем (ITS). Пример: ALEKS (Assessment and LEarning in Knowledge Spaces) — адаптивная платформа для изучения математики, которая строит индивидуальную модель знаний ученика и подбирает задания. В российских школах и вузах используется «ЯКласс» — платформа, содержащая базу знаний по школьным предметам с более чем 10 миллионами заданий.

Юриспруденция

Юридические базы знаний содержат тексты законов, судебные прецеденты и комментарии. Пример: «КонсультантПлюс» — крупнейшая российская справочно-правовая система, включающая более 100 миллионов документов. Система ROSS Intelligence (США) использует искусственный интеллект для поиска релевантных судебных решений на основе базы знаний.

Примеры известных баз знаний

Wikidata

Wikidata — свободная, совместно редактируемая база знаний, запущенная в 2012 году Фондом Викимедиа. Содержит более 100 миллионов сущностей (люди, места, события, понятия) и 1,5 миллиарда утверждений. Данные структурированы в формате JSON и доступны через SPARQL-эндпоинт. Используется Википедией, Google, Apple и другими сервисами.

DBpedia

DBpedia — проект по извлечению структурированных данных из Википедии. Запущен в 2007 году. Содержит около 4,5 миллионов сущностей и 1 миллиард фактов. Данные представлены в формате RDF и доступны для скачивания.

Freebase

Freebase — крупная база знаний, запущенная в 2007 году компанией Metaweb (организация признана экстремистской и запрещена в РФ). В 2010 году была приобретена Google. Содержала около 50 миллионов сущностей. В 2016 году была закрыта, а её данные перенесены в Wikidata.

«Яндекс.Знания»

«Яндекс.Знания» — российская база знаний, запущенная в 2018 году. Содержит факты, извлечённые из более чем 1000 источников, включая Википедию, энциклопедии, словари и новостные ленты. Используется для формирования ответов в поисковой выдаче Яндекса и в голосовом ассистенте «Алиса».

Критика и ограничения

Проблема полноты и актуальности

Базы знаний часто содержат неполные или устаревшие данные. Например, исследования показывают, что Wikidata охватывает лишь около 30% фактов, доступных в Википедии. Обновление данных требует значительных усилий — по оценкам, ручное редактирование одной записи занимает в среднем 15 минут.

Проблема качества данных

Автоматическое извлечение фактов из текстов приводит к ошибкам. Например, в DBpedia около 5% утверждений содержат неточности (неверные даты, имена, связи). В 2020 году исследователи из Массачусетского технологического института (MIT) выявили, что в Wikidata около 8% утверждений о людях содержат неверные даты рождения.

Проблема предвзятости

Базы знаний могут отражать систематические искажения, связанные с неравномерным представлением различных групп. Например, в Wikidata доля статей о женщинах составляет около 20%, а о мужчинах — 80%. Аналогичная диспропорция наблюдается в отношении географических регионов: большинство данных относится к странам Европы и Северной Америки.

Проблема масштабирования

Построение и поддержка крупных баз знаний требуют огромных вычислительных и человеческих ресурсов. Например, ежегодное обслуживание Google Knowledge Graph обходится компании в десятки миллионов долларов. Для небольших организаций создание собственной базы знаний часто оказывается нерентабельным.

Источники

1. Russell S., Norvig P. Artificial Intelligence: A Modern Approach. — 4th ed. — Pearson, 2020. — 1136 p.
2. Gruber T. R. Toward Principles for the Design of Ontologies Used for Knowledge Sharing // International Journal of Human-Computer Studies. — 1995. — Vol. 43, № 5–6. — P. 907–928.
3. Vrandecic D., Krötzsch M. Wikidata: A Free Collaborative Knowledge Base // Communications of the ACM. — 2014. — Vol. 57, № 10. — P. 78–85.
4. Auer S. et al. DBpedia: A Nucleus for a Web of Open Data // Proceedings of the 6th International Semantic Web Conference. — 2007. — P. 722–735.
5. Bollacker K. et al. Freebase: A Collaboratively Created Graph Database for Structuring Human Knowledge // Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data. — 2008. — P. 1247–1250.
6. Документация «Яндекс.Знания» // Яндекс. — 2023. — URL: https://yandex.ru/dev/knowledge/ (дата обращения: 10.10.2023).
7. Heist N. et al. Knowledge Graphs on the Web: A Survey // Journal of Web Semantics. — 2020. — Vol. 64. — Article 100602.
8. Paulheim H. Knowledge Graph Refinement: A Survey of Approaches and Evaluation Methods // Semantic Web. — 2017. — Vol. 8, № 3. — P. 489–508.