Что хотят услышать интервьюеры:

При построении knowledge graph из неструктурированного текста основные риски связаны не с самим извлечением сущностей, а с качеством семантики, нормализации и связывания фактов. Важнее всего корректно обработать неоднозначность, синонимы, контекст и противоречия в источниках. Также критичны оценка качества, дедупликация и поддержание актуальности графа.

Определение:

Knowledge graph из неструктурированного текста — это граф знаний, который строится автоматически или полуавтоматически на основе текстов: статей, документов, писем, новостей, логов. Из текста извлекают сущности, связи, атрибуты и события, а затем приводят их к единой схеме и связывают с существующими узлами графа.

Подводные камни здесь — это типичные ошибки на этапах извлечения, нормализации и интеграции:

неоднозначность сущностей и отношений;
шум и ошибки NER/RE;
потеря контекста при разбиении текста;
дубли и несогласованность идентификаторов;
смешение фактов, гипотез и мнений;
трудно измеримое качество конечного графа.

Пример использования:

Например, из новостных статей строится граф о компаниях, людях и сделках. Из фразы «Apple купила стартап X» нужно понять, что Apple — это компания, X — стартап, а связь — именно acquired, а не просто «упомянуты вместе».

text = "Apple купила стартап X за 200 млн долларов. Позже Apple опровергла часть слухов."

# Ошибка: "Apple" может быть фруктом или компанией
# Ошибка: "купила" может быть не формальной сделкой, а журналистским пересказом
# Ошибка: "опровергла слухи" не добавляет новый факт о сделке, но влияет на доверие к источнику

# Псевдопайплайн:
# 1. NER: Apple -> ORG, X -> STARTUP
# 2. Relation Extraction: Apple -acquired-> X
# 3. Entity Linking: Apple -> apple_inc_001
# 4. Normalization: "купила", "приобрела" -> acquired
# 5. Confidence scoring + provenance

Пояснение кода:

Код показывает не реализацию, а типичный пайплайн и места, где возникают ошибки.

Сначала модель распознаёт сущности: Apple и X.
Затем извлекается отношение: покупка или приобретение.
Потом сущности связываются с каноническими идентификаторами, чтобы не создать дубликаты вроде Apple, Apple Inc., AAPL.
Далее отношения нормализуются: разные формулировки должны маппиться в один тип связи.
В конце каждому факту назначается доверие и источник, потому что текст может содержать слухи, цитаты, иронию или противоречия.

Ключевые моменты:

Главная проблема — не извлечь факт, а сохранить его корректный смысл, контекст и источник.
Неоднозначность сущностей и отношений — одна из самых частых причин плохого качества графа.
Без entity linking и нормализации граф быстро превращается в набор дублей и синонимов.
Из текста часто извлекаются вероятностные, а не точные факты, поэтому нужны confidence score и provenance.
Контекст, отрицания, временные маркеры и модальность критичны: «планирует», «опровергла», «не купила» — это разные типы утверждений.
Качество KG нужно измерять не только по точности извлечения, но и по полезности для downstream-задач: поиск, рекомендации, QA, аналитика.

Какие подводные камни при построении KG из неструктурированного текста?