Papaskinkite apie savo įdomiausią projektą NLP ir LLM srityje, įskaitant architektūrą ir sprendimo įvertinimą.

Viename iš mano NLP ir LLM projektų aš dirbau prie automatinės teksto analizės ir generavimo sistemos, skirtos klientų aptarnavimui. Architektūra apėmė keletą komponentų:

• Duomenų paruošimas: tekstų valymas ir normalizavimas.
• Modelis, pagrįstas transformatoriais (pavyzdžiui, GPT panaši architektūra), atsakymų generavimui.
• Kokybės vertinimo modulis, naudojant perplexity ir BLEU metrikas.

Modelio mokymui naudoti dideli dialogų korpusai ir specializuotos duomenų rinkiniai. Dėl to pavyko pagerinti atsakymų tikslumą ir sutrumpinti klientų užklausų apdorojimo laiką. Sprendimo vertinimas buvo atliktas tiek kiekybiškai (kokybės metrikos), tiek kokybiškai (vartotojų atsiliepimai).