Pastāstiet par Adam optimizatoru: no kā tas sastāv?

Adam optimizators (Elastīgs Momentu Novērtējums) apvieno divu meto idejas: Momentum un RMSProp. Tas izmanto eksponenciālo slīdošo vidējo, lai novērtētu pirmo momentu (vidējo gradientu) un otro momentu (gradienta kvadrātu).

Adam galvenās sastāvdaļas:

• m_t — pirmā momenta novērtējums (vidējais gradients), tiek atjaunināts kā eksponenciālais slīdošais vidējais gradientiem.
• v_t — otrā momenta novērtējums (gradienta kvadrāta vidējais), arī eksponenciālais slīdošais vidējais.
• Korekcija: tā kā m_t un v_t tiek inicializēti ar nulli, tiek piemērota korekcija, lai novērstu novirzi pirmajos soļos.

Parametru atjaunināšana notiek pēc formulas:

θ_t = θ_{t-1} - α * (m_t_hat / (sqrt(v_t_hat) + ε))

kur:

• α — mācīšanās ātrums,
• m_t_hat un v_t_hat — korektēti momentu novērtējumi,
• ε — mazs skaitlis, kas novērš dalīšanu ar nulli.

Adam ir piemērots lielu datu un parametru apjomu uzdevumiem, tas ātri konverģē un pielāgojas dažādām gradientu īpašībām.