Ce este un model de limbaj?

Un model de limbaj este un model statistic sau bazat pe rețele neuronale, antrenat pentru a prezice probabilitatea unei secvențe de cuvinte sau caractere într-o limbă. Este utilizat pentru înțelegerea, generarea și analiza textului în limbaj natural. De exemplu, un model de limbaj poate prezice cuvântul următor într-o propoziție, ceea ce ajută la completarea automată sau traducerea automată.

Modelele moderne de limbaj, precum GPT, se bazează pe arhitecturi de transformatoare și sunt antrenate pe volume mari de date textuale, ceea ce le permite să țină cont de context și să creeze texte coerente.

Un exemplu de model de limbaj foarte simplu este modelul n-gram, care evaluează probabilitatea unui cuvânt ținând cont de cele n-1 cuvinte anterioare:

# Exemplu de numărare a bigramelor (2-gram) într-un text
from collections import defaultdict

text = "îmi place să învăț mașini și îmi place să programez"
words = text.split()
bigram = defaultdict(int)

for i in range(len(words)-1):
    bigram[(words[i], words[i+1])] += 1

print(bigram)