Pastāstiet par savu interesantāko projektu NLP un LLM jomā, ieskaitot arhitektūru un risinājuma novērtējumu.

Vienā no maniem NLP un LLM projektiem es strādājis pie automātiskas teksta analīzes un ģenerēšanas sistēmas, kas paredzēta klientu atbalstam. Arhitektūra ietvēra vairākas komponentes:

• Datu iepriekšēja apstrāde: teksta tīrīšana un normalizēšana.
• Modelis, kas balstīts uz transformatoriem (piemēram, GPT līdzīga arhitektūra), atbilžu ģenerēšanai.
• Kvalitātes novērtēšanas modulis, izmantojot perplexity un BLEU metriku.

Modela apmācībai tika izmantoti lieli dialogu korpusi un specializēti datu komplekti. Rezultātā tika uzlabota atbilžu precizitāte un samazināts klientu pieprasījumu apstrādes laiks. Risinājuma novērtējums tika veikts gan kvantitatīvi (kvalitātes metriki), gan kvalitatīvi (lietotāju atsauksmes).