Что такое языковая модель?

Языковая модель — это статистическая или нейросетевая модель, которая обучена предсказывать вероятность последовательности слов или символов в языке. Она используется для понимания, генерации и анализа текста на естественном языке. Например, языковая модель может предсказать следующее слово в предложении, что помогает в автодополнении или машинном переводе.

Современные языковые модели, такие как GPT, основаны на архитектуре трансформеров и обучаются на больших объемах текстовых данных, что позволяет им учитывать контекст и создавать связный текст.

Пример простейшей языковой модели — модель n-грамм, которая оценивает вероятность слова, учитывая предыдущие n-1 слов:

# Пример подсчёта биграмм (2-грамм) в тексте
from collections import defaultdict

text = "я люблю машинное обучение и люблю программировать"
words = text.split()
bigrams = defaultdict(int)

for i in range(len(words)-1):
    bigrams[(words[i], words[i+1])] += 1

print(bigrams)