Co je to jazykový model?

Jazykový model je statistický nebo neuronový model, který byl natrénován tak, aby předpovídal pravděpodobnost sekvence slov nebo znaků v jazyce. Používá se k porozumění, generování a analýze textu v přirozeném jazyce. Například jazykový model může předpovědět následující slovo ve větě, což pomáhá při automatickém doplňování nebo strojovém překladu.

Moderní jazykové modely, jako je GPT, jsou založeny na architekturách transformerů a jsou trénovány na velkých objemech textových dat, což jim umožňuje brát v úvahu kontext a vytvářet koherentní text.

Příkladem velmi jednoduchého jazykového modelu je n-gramový model, který hodnotí pravděpodobnost slova s ohledem na předchozích n-1 slov:

# Příklad počítání bigramů (2-gramů) v textu
from collections import defaultdict

text = "mám rád strojové učení a rád programování"
slova = text.split()
bigramy = defaultdict(int)

for i in range(len(slova)-1):
    bigramy[(slova[i], slova[i+1])] += 1

print(bigramy)