Mi az a nyelvi modell?

Egy nyelvi modell egy statisztikai vagy neurális hálózat alapú modell, amelyet arra tanítottak, hogy előre jelezze egy nyelvben a szavak vagy karakterek sorozatának valószínűségét. A természetes nyelvi szöveg megértésére, generálására és elemzésére használják. Például egy nyelvi modell megjósolhatja a következő szót egy mondatban, ami segít az automatikus kiegészítésben vagy gépi fordításban.

A modern nyelvi modellek, mint például a GPT, transzformer architektúrákon alapulnak, és nagy mennyiségű szöveges adaton tanulnak, lehetővé téve számukra a kontextus figyelembevételét és összefüggő szöveg létrehozását.

Egy nagyon egyszerű nyelvi modell példája az n-gram modell, amely a korábbi n-1 szót figyelembe véve értékeli egy szó valószínűségét:

# Példa bigramok (2-gramok) számolására szövegben
from collections import defaultdict

szöveg = "szeretek gépi tanulást és szeretek programozni"
szavak = szöveg.split()
bigramok = defaultdict(int)

for i in range(len(szavak)-1):
    bigramok[(szavak[i], szavak[i+1])] += 1

print(bigramok)