Модели забон чист?

Модели забонӣ моделест статистикӣ ё нейронӣ, ки барои пешгӯии эҳтимолияти пайдарпайии калимаҳо ё аломатҳо дар забон омӯзонида шудааст. Он барои фаҳмидан, эҷод кардан ва таҳлили матни табиӣ истифода мешавад. Масалан, моделҳои забон метавонанд калимаи ояндаро дар ҷумла пешгӯӣ кунанд, ки дар автоматӣ пур кардани калима ё тарҷумаи мошин кӯмак мекунад.

Моделҳои забони муосир, монанди GPT, ба архитектураҳои трансформер асос ёфтаанд ва дар миқёси бузурги маълумоти матнӣ омӯзонида мешаванд, ки имкон медиҳад онҳоро ба контекст диққат диҳанд ва матни пайвандро эҷод кунанд.

Масалан, модели хеле соддае, ки n-грамм номида мешавад, арзёбӣ мекунад эҳтимолияти калима бо назардошти n-1 калимаи қаблӣ:

# Мисоли ҳисоб кардани биграмҳо (2-грамҳо) дар матн
from collections import defaultdict

матн = "ман муҳаббат мекунам ба мошин ва ман муҳаббат мекунам ба барномасозӣ"
калимаҳо = матн.split()
bigramҳо = defaultdict(int)

барои i дар диапазони (len(калимаҳо)-1):
    биграмҳо[(калимаҳо[i], калимаҳо[i+1])] += 1

print(биграмҳо)