O que é o treino compute-optimal segundo o Chinchilla?

O treino compute-óptimo na Chinchilla é um conceito de distribuição ótima de recursos computacionais entre o tamanho do modelo (número de parâmetros) e a quantidade de dados de treino para alcançar o máximo desempenho com um orçamento de cálculo fixo.

No trabalho de Chinchilla (2022), mostra-se que muitos grandes modelos de linguagem estão subtreinados: eles têm parâmetros demais e dados de treino insuficientes. A estratégia ótima é reduzir o tamanho do modelo e aumentar o número de tokens de treino para aproveitar ao máximo o orçamento computacional.

Ideia principal:

• Com um número fixo de operações de treino (FLOPs), é melhor treinar um modelo menor com mais dados do que um maior com menos dados.

Isso leva a uma melhoria na qualidade do modelo e a um uso mais eficiente dos recursos.

Assim, o treino compute-óptimo é um equilíbrio entre o tamanho do modelo e a quantidade de dados que minimiza o erro dado um limite de cálculo.