O que é um modelo de linguagem?

Um modelo de linguagem é um modelo estatístico ou de redes neuronais treinado para prever a probabilidade de uma sequência de palavras ou caracteres numa língua. É utilizado para compreender, gerar e analisar texto em linguagem natural. Por exemplo, um modelo de linguagem pode prever a próxima palavra numa frase, o que ajuda na autocompletação ou na tradução automática.

Modelos de linguagem modernos, como o GPT, baseiam-se em arquiteturas de transformadores e são treinados com grandes volumes de dados de texto, permitindo-lhes considerar o contexto e criar textos coerentes.

Um exemplo de um modelo de linguagem muito simples é o modelo n-grama, que avalia a probabilidade de uma palavra considerando as n-1 palavras anteriores:

# Exemplo de contagem de bigramas (2-gramas) num texto
from collections import defaultdict

texto = "gosto de aprender máquina e gosto de programar"
palavras = texto.split()
bigramas = defaultdict(int)

for i in range(len(palavras)-1):
    bigramas[(palavras[i], palavras[i+1])] += 1

print(bigramas)