¿Qué es un modelo de lenguaje?

Un modelo de lenguaje es un modelo estadístico o de redes neuronales que ha sido entrenado para predecir la probabilidad de una secuencia de palabras o caracteres en un idioma. Se utiliza para comprender, generar y analizar texto en lenguaje natural. Por ejemplo, un modelo de lenguaje puede predecir la siguiente palabra en una oración, lo que ayuda en la autocompletación o en la traducción automática.

Los modelos de lenguaje modernos, como GPT, se basan en arquitecturas de transformadores y se entrenan con grandes volúmenes de datos de texto, lo que les permite tener en cuenta el contexto y crear textos coherentes.

Un ejemplo de un modelo de lenguaje muy simple es el modelo n-grama, que evalúa la probabilidad de una palabra considerando las n-1 palabras anteriores:

# Ejemplo de conteo de bigramas (2-gramas) en un texto
from collections import defaultdict

texto = "me gusta aprender máquina y me gusta programar"
palabras = texto.split()
bigramas = defaultdict(int)

for i in range(len(palabras)-1):
    bigramas[(palabras[i], palabras[i+1])] += 1

print(bigramas)