Что такое model soups (averaging weights) и зачем они работают?

Model soups — это техника объединения нескольких обученных моделей путём усреднения их весов (параметров). Идея в том, что разные модели, обученные на одном и том же или похожих наборах данных, могут иметь разные сильные стороны, и усреднение их весов может привести к более устойчивой и обобщающей модели.

Почему это работает:

• Усреднение весов помогает сгладить переобучение отдельных моделей.
• Комбинирует знания, полученные разными моделями, что улучшает обобщающую способность.
• Позволяет получить модель с производительностью, близкой к лучшей из исходных, без дополнительного обучения.

Пример применения — в компьютерном зрении, когда несколько моделей, обученных с разными инициализациями или гиперпараметрами, объединяются для повышения точности классификации.