POS-teglar nima? Tarixan qanday modellardan foydalanilgan?

POS-taginlash (Part-Of-Speech tagging) — bu matndagi har bir so‘z uchun avtomatik tarzda so‘z turini (ot, fe‘l, sifat va boshqalar) aniqlash jarayonidir.

Tarixan, POS-taginlash uchun quyidagi modellardan foydalanilgan:

• Lug‘atlar va grammatik qoidalarga asoslangan qoidalar — so‘z turlarini aniqlash uchun qo‘lda qoidalar yaratish.
• Statistik modellari — masalan, yashirin Markov modellar (HMM), ular o‘tish ehtimollarini ishlatadi.
• Shartli tasodifiy maydonlar (CRF) asosidagi modellari — kontekstni hisobga oladigan yanada moslashuvchan modellardir.
• ** Neyron tarmoqlar** — zamonaviy yondashuvlar, RNN, LSTM va transformatorlarni ishlatadi va yuqori aniqlikni ta’minlaydi.

Python’da NLTK kutubxonasi yordamida oddiy POS-taginlash misoli:

import nltk
nltk.download('averaged_perceptron_tagger')

matn = "I am learning POS tagging."
tokens = nltk.word_tokenize(matn)
tags = nltk.pos_tag(tokens)
print(tags)

Natija — so‘zlar va ularning so‘z turi etiketlaridan iborat ro‘yxat.