Что такое distant supervision (NER из KB)?

Distant supervision (дистанционное обучение) в контексте Named Entity Recognition (NER) из Knowledge Base (KB) — это метод автоматической разметки данных для обучения моделей, когда разметка создаётся не вручную, а с помощью внешних источников знаний.

Идея в том, что имея базу знаний (например, список известных сущностей и их типов), можно автоматически сопоставить упоминания в тексте с этими сущностями и использовать такие сопоставления как обучающие примеры. Это позволяет получить большой объём размеченных данных без ручной работы.

Однако такой подход может приводить к шуму в данных, так как совпадения не всегда корректны (например, многозначность слов). Поэтому distant supervision часто комбинируют с методами слабого обучения (weak supervision) и активного обучения (active learning) для повышения качества разметки и модели.

Пример: если в KB есть запись, что "Apple" — это компания, то все упоминания "Apple" в тексте автоматически размечаются как организация, что даёт обучающие примеры для NER.