Какие техники предотвращения catastrophic forgetting при дообучении?

Catastrophic forgetting — это проблема, когда нейросеть при дообучении на новых данных забывает ранее выученную информацию. Для её предотвращения применяют несколько техник:

• Elastic Weight Consolidation (EWC): добавляет к функции потерь штраф за изменение важных для старых задач параметров, вычисленных через информацию Фишера.
• Replay (Experience Replay): при дообучении смешивают новые данные со случайно выбранными примерами из старого датасета или сгенерированными с помощью генеративной модели.
• Progressive Networks: создают отдельные сети для новых задач, сохраняя старые без изменений и передавая знания через слои.
• Regularization-based methods: добавляют регуляризацию, ограничивающую изменение весов, важных для предыдущих задач.
• Parameter Isolation: выделяют отдельные параметры или подмножества сети для каждой задачи.

Пример EWC (упрощённо):

# loss = loss_new_task + lambda * sum(Fisher[i] * (theta[i] - theta_old[i])**2)

Таким образом, модель сохраняет знания, не забывая старые задачи при дообучении.