¿Qué es la contaminación de los benchmarks y cómo se combate?

La contaminación de los benchmarks es una situación en la que los datos utilizados para entrenar el modelo se cruzan o coinciden con los datos en los que se evalúa (prueba). Esto conduce a resultados inflados, ya que el modelo ya está "familiarizado" con los ejemplos de prueba.

Cómo se combate esto:

• División clara de datos: separación estricta en conjuntos de entrenamiento, validación y prueba sin cruces.
• Verificación de cruces: búsqueda automática y eliminación de duplicados o ejemplos muy similares entre entrenamiento y prueba.
• Uso de nuevos conjuntos de datos independientes: para evaluar el modelo, se utilizan datos que no se usaron ni pudieron usarse durante el entrenamiento.
• Control de las fuentes de datos: seguimiento del origen de los datos para evitar que ejemplos de prueba se mezclen accidentalmente en el conjunto de entrenamiento.

En el contexto de grandes modelos de lenguaje (LLM), la contaminación es especialmente crítica, ya que los modelos se entrenan en enormes corpus, y los conjuntos de datos de prueba pueden terminar en el conjunto de entrenamiento por accidente, lo que distorsiona los resultados de la evaluación.