Какво е compute-optimal обучение според Chinchilla?

Когнитивно-оптималното обучение в Chinchilla е концепция за оптимално разпределение на изчислителните ресурси между размера на модела (броя на параметрите) и количеството на обучаващите данни за постигане на максимална производителност при фиксиран бюджет за изчисления.

В работата на Chinchilla (2022) е показано, че много големи езикови модели са недообучени: те имат твърде много параметри и недостатъчно данни за обучение. Оптималната стратегия е да се намали размерът на модела и да се увеличи броят на обучаващите токени, за да се използва максимално бюджетът за изчисления.

Основната идея:

• При фиксиран брой операции за обучение (FLOPs), е по-добре да се обучава по-малък модел с повече данни, отколкото по-голям модел с по-малко данни.

Това води до подобряване на качеството на модела и по-ефективно използване на ресурсите.

Следователно, compute-оптималното обучение е баланс между размера на модела и количеството данни, който минимизира грешката при дадени изчислителни ограничения.