Что такое contamination бенчмарков и как с ним борются?

Contamination бенчмарков — это ситуация, когда данные, используемые для обучения модели, пересекаются или совпадают с данными, на которых проводится её оценка (тестирование). Это приводит к завышенным результатам, так как модель уже «знакома» с тестовыми примерами.

Как с этим борются:

• Чёткое разделение данных: строгое разделение на обучающую, валидационную и тестовую выборки без пересечений.
• Проверка на пересечения: автоматический поиск и удаление дубликатов или очень похожих примеров между обучением и тестом.
• Использование новых, независимых датасетов: для оценки модели применяют данные, которые не использовались и не могли использоваться при обучении.
• Контроль источников данных: отслеживание происхождения данных, чтобы избежать случайного попадания тестовых примеров в обучающую выборку.

В контексте больших языковых моделей (LLM) contamination особенно критична, так как модели обучаются на огромных корпусах, и тестовые датасеты могут случайно оказаться в обучающей выборке, что искажает результаты оценки.