Mis on keelemudel?

Keelamudel on statistiline või närvivõrkude mudel, mis on treenitud ennustama sõnade või märkide järjestuse tõenäosust keeles. Seda kasutatakse teksti mõistmiseks, genereerimiseks ja analüüsimiseks loomulikus keeles. Näiteks võib keelemudel ennustada järgmise sõna lauses, mis aitab automaatse täitmise või masintõlke protsessis.

Kaasaegsed keelemudelid, nagu GPT, põhinevad transformeri arhitektuuridel ja treenitakse suurte tekstandmete kogumitega, mis võimaldab neil arvestada konteksti ja luua sidusat teksti.

Väga lihtne keelemudeli näide on n-gramm, mis hindab sõna tõenäosust, arvestades eelnevaid n-1 sõna:

# Näide bigrammide (2-grammide) arvutamisest tekstis
from collections import defaultdict

tekst = "ma armastan masinõpet ja armastan programmeerida"
 sõnad = tekst.split()
bigramid = defaultdict(int)

for i in range(len(sõnad)-1):
    bigramid[(sõnad[i], sõnad[i+1])] += 1

print(bigramid)