Mi az a POS-tagging? Milyen modelleket használtak történelmileg?

A POS-címkézés (Part-Of-Speech tagging) az a folyamat, amely automatikusan meghatározza egy szöveg minden szavának szófaját (főnév, ige, melléknév stb.).

Történelmileg a következő modelleket használták POS-címkézéshez:

• Szótárak és nyelvtani szabályokon alapuló szabályok — kézi szabályok létrehozása a szófajok meghatározására.
• Statisztikai modellek — például rejtett Markov-modellek (HMM), amelyek az átmeneti valószínűségeket használják az etikettek között.
• Feltételes véletlen mezők (CRF) alapú modellek — rugalmasabb modellek, amelyek figyelembe veszik a kontextust.
• Neurális hálózatok — modern megközelítések, RNN, LSTM és transzformátorok alkalmazásával, amelyek magas pontosságot biztosítanak.

Egyszerű POS-címkézés példája a NLTK könyvtár használatával Pythonban:

import nltk
nltk.download('averaged_perceptron_tagger')

szöveg = "I am learning POS tagging."
tokens = nltk.word_tokenize(szöveg)
tags = nltk.pos_tag(tokens)
print(tags)

Eredmény — szó és szófaj címkével ellátott tuple-ök listája.