Sobes.tech
Middle — Senior

Mis on kaugel järelevalve (NER KB-st)?

sobes.tech AI

Vastus AI-lt

Kaugseire (kaugtõpe) Knowledge Base (KB) kontekstis on automaatne andmete märgistamise meetod mudelite treenimiseks, kus märgistamine ei toimu käsitsi, vaid väliste teadmiste allikate abil.

Idee on see, et kui meil on teadmiste baas (näiteks nimeka teadaolevate üksuste ja nende tüüpide nimekiri), siis saame automaatselt seostada teksti mainimisi nende üksustega ja kasutada selliseid seoseid treeningnäidetena. See võimaldab saada suure hulga märgistatud andmeid ilma käsitööta.

Kuid selline lähenemine võib tekitada andmetes müra, kuna seosed ei ole alati täpsed (näiteks sõnade mitmetähenduslikkus). Seetõttu kombineeritakse kaugjärelevalvet sageli nõrga juhendamise (weak supervision) ja aktiivõppe (active learning) meetoditega, et parandada märgistamise ja mudeli kvaliteeti.

Näide: kui KB-s on kirje, et "Apple" on ettevõte, siis kõik "Apple" mainimised tekstis märgistatakse automaatselt organisatsioonina, mis annab treeningnäiteid NER jaoks.