Čo je POS-tagging? Aké modely sa historicky používali?

POS-označovanie (Part-Of-Speech tagging) je proces automatického určovania gramatickej kategórie (podstatné meno, sloveso, prídavné meno atď.) pre každé slovo v texte.

Historicky boli pre POS-označovanie používané nasledujúce modely:

• Pravidlá založené na slovníkoch a gramatických pravidlách — ručné vytváranie pravidiel na určenie gramatických kategórií.
• Štatistické modely — napríklad skryté Markovove modely (HMM), ktoré využívajú pravdepodobnosti prechodov medzi značkami.
• Modely založené na podmienených náhodných poliach (CRF) — flexibilnejšie modely, ktoré zohľadňujú kontext.
• Neurónové siete — moderné prístupy s použitím rekurentných neurónových sietí (RNN), LSTM a transformerov, ktoré poskytujú vysokú presnosť.

Príklad jednoduchého POS-označovania pomocou knižnice NLTK v Pythone:

import nltk
nltk.download('averaged_perceptron_tagger')

text = "I am learning POS tagging."
tokens = nltk.word_tokenize(text)
tags = nltk.pos_tag(tokens)
print(tags)

Výsledok — zoznam dvojíc (slovo, značka časti reči).