Что такое compute-optimal обучение по Chinchilla?

Compute-optimal обучение по Chinchilla — это концепция оптимального распределения вычислительных ресурсов между размером модели (числом параметров) и количеством обучающих данных для достижения максимальной производительности при фиксированном бюджете вычислений.

В работе Chinchilla (2022) показано, что многие крупные языковые модели недообучены: они имеют слишком много параметров и недостаточно данных для обучения. Оптимальная стратегия — уменьшить размер модели и увеличить количество обучающих токенов, чтобы максимально использовать вычислительный бюджет.

Основная идея:

• При фиксированном количестве операций обучения (FLOPs) лучше обучать меньшую модель на большем объёме данных, чем большую модель на меньшем объёме данных.

Это приводит к улучшению качества модели и более эффективному использованию ресурсов.

Таким образом, compute-optimal обучение — это баланс между размером модели и количеством данных, который минимизирует ошибку при заданных вычислительных ограничениях.