Dil modeli nədir?

Bir dil modeli, statistik və ya neyron şəbəkəsinə əsaslanan modeldir və dil daxilində sözlərin və ya simvolların ardıcıllığının ehtimalını proqnozlaşdırmaq üçün öyrədilmişdir. Bu, təbii dildəki mətnləri anlamaq, yaratmaq və təhlil etmək üçün istifadə olunur. Məsələn, dil modeli cümlədə növbəti sözü proqnozlaşdıra bilər, bu da avtomatik tamamlama və ya maşın tərcüməsində kömək edir.

GPT kimi müasir dil modelləri transformator arxitekturasına əsaslanır və böyük mətn məlumatları üzərində öyrədilir, bu da konteksti nəzərə almağa və əlaqəli mətnlər yaratmağa imkan verir.

Ən sadə dil modeli nümunəsi n-gram modelidir, bu model əvvəlki n-1 sözləri nəzərə alaraq bir sözün ehtimalını qiymətləndirir:

# Mətndə bigramların (2-gramların) sayılması nümunəsi
from collections import defaultdict

mətn = "mən maşın öyrənməsini sevirəm və proqramlaşdırmağı sevirəm"
so'zlər = mətn.split()
bigramlər = defaultdict(int)

for i in range(len(so'zlər)-1):
    bigramlər[(so'zlər[i], so'zlər[i+1])] += 1

print(bigramlər)