Ce este un model de limbaj și ce sarcini rezolvă?

Modelul de limbaj (model lingvistic) este un model statistic sau bazat pe rețele neuronale, antrenat pentru a prezice probabilitatea unei secvențe de cuvinte sau caractere într-o limbă. Ajută la înțelegerea și generarea textului în limbaj natural.

Principalele sarcini pe care le rezolvă un model de limbaj:

• Predicția următorului cuvânt sau caracter dintr-un text.
• Traducere automată.
• Recunoaștere vocală.
• Generarea de text (de exemplu, răspunsuri la întrebări, redactarea de articole).
• Analiza și înțelegerea sensului textului.

Exemplu: modelul poate primi începutul unei propoziții "Astăzi vremea" și poate prezice că următorul cuvânt va fi probabil "frumoasă" sau "noros".