¿Qué es el muestreo negativo en el entrenamiento de word2vec y para qué sirve?

El muestreo negativo es una técnica de optimización utilizada en el entrenamiento del modelo word2vec para un aprendizaje eficiente en tareas con vocabularios muy grandes. En lugar de calcular la probabilidad para todas las palabras en el vocabulario (lo cual es muy costoso), el muestreo negativo selecciona varios ejemplos "negativos" (palabras que no son parte del contexto de la palabra dada) y entrena el modelo para distinguir entre pares de palabras reales (ejemplos positivos) y aleatorios (negativos).

Esto permite acelerar significativamente el entrenamiento y reducir los costos computacionales, manteniendo la calidad de las incrustaciones obtenidas. Al final, el modelo aprende a aumentar la probabilidad de palabras cercanas y a disminuir la probabilidad de palabras aleatorias.

Ejemplo: para un par (palabra, contexto) — ejemplo positivo, se seleccionan varias palabras aleatorias del vocabulario como negativas, y el modelo aprende a distinguirlas.

# Pseudocódigo de muestreo negativo
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — número de ejemplos negativos
    update_model(positive_pair, negative_samples)