Čo je to jazykový model?

Jazykový model je štatistický alebo neurónový model, ktorý bol trénovaný na predpovedanie pravdepodobnosti sekvencie slov alebo znakov v jazyku. Používa sa na porozumenie, generovanie a analýzu textu v prirodzenom jazyku. Napríklad jazykový model môže predpovedať nasledujúce slovo vo vete, čo pomáha pri automatickom dopĺňaní alebo strojovom preklade.

Moderné jazykové modely, ako je GPT, sú založené na architektúrach transformerov a sú trénované na veľkých objemoch textových dát, čo im umožňuje brať do úvahy kontext a vytvárať koherentný text.

Príkladom veľmi jednoduchého jazykového modelu je n-gramový model, ktorý hodnotí pravdepodobnosť slova s ohľadom na predchádzajúcich n-1 slov:

# Príklad počítania bigramov (2-gramov) v texte
from collections import defaultdict

text = "mám rád strojové učenie a rád programovanie"
slová = text.split()
bigramy = defaultdict(int)

for i in range(len(slova)-1):
    bigramy[(slova[i], slova[i+1])] += 1

print(bigramy)