Wat is distant supervision (NER uit KB)?

Afstandsondersteuning (afstandsonderwijs) in de context van Named Entity Recognition (NER) uit Knowledge Base (KB) is een methode voor automatische gegevensannotatie voor het trainen van modellen, waarbij de annotatie niet handmatig wordt gedaan, maar met behulp van externe kennisbronnen.

Het idee is dat, met een kennisbasis (bijvoorbeeld een lijst van bekende entiteiten en hun types), men automatisch vermeldingen in de tekst kan koppelen aan deze entiteiten en dergelijke koppelingen kan gebruiken als trainingsvoorbeelden. Dit maakt het mogelijk om een grote hoeveelheid gelabelde gegevens te verkrijgen zonder handmatig werk.

Echter, deze aanpak kan ruis in de gegevens introduceren, omdat overeenkomsten niet altijd correct zijn (bijvoorbeeld, woorden met meerdere betekenissen). Daarom wordt afstandsondersteuning vaak gecombineerd met methoden van zwakke supervisie (weak supervision) en actief leren (active learning) om de kwaliteit van de annotatie en het model te verbeteren.

Voorbeeld: als in de KB staat dat "Apple" een bedrijf is, worden alle vermeldingen van "Apple" in de tekst automatisch gemarkeerd als organisatie, wat trainingsvoorbeelden voor NER oplevert.