Rääkige oma kõige huvitavamast projektist NLP ja LLM valdkonnas, sealhulgas arhitektuurist ja lahenduse hindamisest.

Ühes minu NLP ja LLM projektiest töötasin automaatse teksti analüüsi ja generatsiooni süsteemil, mis oli mõeldud kliendituge pakkuma. Arhitektuur hõlmas mitmeid komponente:

• Andmete eelne töötlemine: tekstide puhastamine ja normaliseerimine.
• Mudel, mis põhineb transformaatoreid (näiteks GPT-sarnane arhitektuur), vastuste genereerimiseks.
• Vastuste kvaliteedi hindamise moodul, kasutades perplexity ja BLEU metrikat.

Mudelile treenimiseks kasutati suuri dialoogikorpuseid ja spetsialiseeritud andmekogusid. Selle tulemusena õnnestus parandada vastuste täpsust ja vähendada klientide päringute töötlemisaega. Lahenduse hindamine toimus nii kvantitatiivsete (kvaliteedi metrikad) kui ka kvalitatiivsete (kasutajate tagasiside) meetoditega.