Что такое scaling laws (Kaplan, Chinchilla)? Как они связывают размер модели, данные и compute?

Scaling laws (законы масштабирования) — это эмпирические зависимости, описывающие, как качество моделей машинного обучения (например, языковых моделей) улучшается при увеличении ресурсов: размера модели, объёма данных и вычислительных мощностей (compute).

Исследования Kaplan et al. и Chinchilla показали, что:

• Ошибка модели уменьшается по степенному закону при увеличении количества параметров модели, объёма обучающих данных и вычислительных ресурсов.
• Есть оптимальное соотношение между размером модели и количеством данных: слишком большая модель при малом количестве данных переобучается, а слишком маленькая — не использует данные эффективно.
• Chinchilla показала, что для заданного бюджета вычислений лучше увеличить количество данных, чем размер модели, если данные ограничены.

Проще говоря, эти законы помогают понять, как правильно распределять ресурсы между размером модели и количеством данных, чтобы добиться максимального качества при заданном compute.

Формально, ошибка L примерно зависит от параметров так:

L(N, D) ≈ a * N^{-α} + b * D^{-β} + c * (compute)^{-γ}

где N — число параметров, D — количество данных, a,b,c,α,β,γ — эмпирические константы.

Это позволяет планировать обучение моделей, выбирая оптимальный баланс между размером, данными и вычислениями.