Токендерді жіктеумен қатар, тізбекті жіктеудің айырмашылығы неде?

Token classification және sequence classification — мәтін өңдеу тапсырмалары, бірақ әртүрлі мақсаттармен:

• Token classification (токендерді жіктеу) — әрбір жеке токенге (сөз немесе қосалқы сөз бірлігіне) белгіні тағайындау тапсырмасы. Мысалы: Атаулы Есімдерді Танымдау (Named Entity Recognition), мұнда әр сөзге "аты", "орны", "ұйым" немесе "басқа" деген белгілер қойылады.

• Sequence classification (жолды жіктеу) — бүкіл жолға (мысалы, сөйлем немесе құжатқа) бір белгіні тағайындау тапсырмасы. Мысалы: мәтіннің тональдігін анықтау (оң/теріс пікір), тақырып бойынша жіктеу.

Қысқаша айтқанда, token classification жеке сөздер деңгейінде жұмыс істесе, sequence classification бүкіл мәтін деңгейінде жұмыс істейді.