POS-teqləmə nədir? Tarixən hansı modellər istifadə olunub?

POS-etiketleme (Part-Of-Speech tagging) — bu, hər bir söz üçün avtomatik olaraq nitq hissəsini (isim, fel, sifət və s.) müəyyən etmək prosesidir.

Tarixən, POS-etiketleme üçün aşağıdakı modellər istifadə olunmuşdur:

• Lüğətlər və qrammatik qaydalara əsaslanan qaydalar — nitq hissələrini müəyyən etmək üçün əl ilə qaydalar yaratmaq.
• Statistik modellər — məsələn, gizli Markov modelləri (HMM), keçid ehtimallarını istifadə edir.
• Şərti təsadüfi sahələr (CRF) əsaslı modellər — daha çevik modellər, konteksti nəzərə alır.
• Nöron şəbəkələri — müasir yanaşmalar, RNN, LSTM və transformatorlar istifadə edir və yüksək dəqiqlik təmin edir.

Python-da NLTK kitabxanası ilə sadə POS-etiketleme nümunəsi:

import nltk
nltk.download('averaged_perceptron_tagger')

mətn = "I am learning POS tagging."
tokens = nltk.word_tokenize(mətn)
tags = nltk.pos_tag(tokens)
print(tags)

Nəticə — söz və nitq hissəsi etiketi ilə tuple-lər siyahısı.