O que é a contaminação de benchmarks e como combatê-la?

A contaminação de benchmarks é uma situação em que os dados utilizados para treinar o modelo se cruzam ou coincidem com os dados nos quais a avaliação (teste) é realizada. Isso leva a resultados inflacionados, pois o modelo já está "familiarizado" com os exemplos de teste.

Como combater isso:

• Divisão clara de dados: separação rigorosa em conjuntos de treino, validação e teste sem cruzamentos.
• Verificação de cruzamentos: busca automática e remoção de duplicados ou exemplos muito semelhantes entre treino e teste.
• Uso de novos conjuntos de dados independentes: para avaliar o modelo, usam-se dados que não foram utilizados nem poderiam ser utilizados durante o treino.
• Controle das fontes de dados: acompanhamento da origem dos dados para evitar que exemplos de teste acabem por acaso no conjunto de treino.

No contexto de grandes modelos de linguagem (LLM), a contaminação é especialmente crítica, pois os modelos são treinados em enormes corpora, e os conjuntos de dados de teste podem acabar por acaso no conjunto de treino, distorcendo os resultados da avaliação.