Czym są średnie kroczące EMA i gdzie są stosowane?

Średnia wykładnicza (EMA) wag jest wykładniczą średnią ruchomą stosowaną do wygładzania wartości wag modelu podczas treningu.

W uczeniu maszynowym EMA jest często używana do stabilizacji i poprawy jakości modelu, szczególnie w zadaniach wizji komputerowej i głębokiego uczenia. Pomysł polega na tym, że zamiast bezpośrednio używać aktualnych wag modelu, stosuje się ich wygładzoną wersję, która uwzględnia historię zmian z wykładniczym wygasaniem.

Formuła aktualizacji wag EMA ( \theta_t ):

[ \theta_t = \alpha \cdot \theta_t + (1 - \alpha) \cdot \theta_{t-1} ]

gdzie ( \alpha ) jest współczynnikiem wygładzania (zwykle bliskim 1).

Zastosowania:

• Poprawa zdolności generalizacji modelu.
• Użycie wag EMA podczas inferencji dla bardziej stabilnych prognoz.
• W algorytmach optymalizacji, takich jak Adam, gdzie EMA jest stosowana do gradientów i kwadratów gradientów.

W ten sposób, EMA wag pomaga zmniejszyć szum i wahania podczas treningu, zwiększając stabilność i jakość modelu.