Mis on POS-märgistus? Milliseid mudeleid on ajalooliselt kasutatud?

POS-märgistus (Part-Of-Speech tagging) on protsess, mille käigus määratakse automaatselt iga sõna grammatiline kategooria (nimisõna, tegusõna, omadussõna jne) tekstis.

Ajalooliselt on POS-märgistamiseks kasutatud järgmisi mudeleid:

• Sõnastikele ja grammatikareeglitele põhinevad reeglid — käsitsi loodud reeglid sõnade grammatiliste osade määramiseks.
• Statistilised mudelid — näiteks varjatud Markovi mudelid (HMM), mis kasutavad üleminekute tõenäosusi etikettide vahel.
• Kohalike juhuslike väljade (CRF) põhised mudelid — paindlikumad mudelid, mis arvestavad konteksti.
• Neuronaalsed võrgud — kaasaegsed lähenemised, kasutades rekurrentseid närvivõrke (RNN), LSTM ja teisendajaid, mis tagavad kõrge täpsuse.

Näide lihtsast POS-märgistamisest, kasutades NLTK teeki Pythonis:

import nltk
nltk.download('averaged_perceptron_tagger')

tekst = "I am learning POS tagging."
tokens = nltk.word_tokenize(tekst)
tags = nltk.pos_tag(tokens)
print(tags)

Tulemus — sõnade ja nende grammatiline kategooria märgistega loend.