Adam optimizatori haqida gapiring: u nimadan iborat?

Adam optimizatori (Mosning Mosmni Moslashtirish) ikki usul fikrlarini birlashtiradi: Momentum va RMSProp. U eksponentsial siljish o‘rtacha yordamida birinchi moment (o‘rtacha gradient) va ikkinchi moment (gradientning kvadrati)ni baholaydi.

Adamning asosiy komponentlari:

• m_t — birinchi momentning bahosi (o‘rtacha gradient), gradientlarning eksponentsial siljish o‘rtacha sifatida yangilanadi.
• v_t — ikkinchi momentning bahosi (gradientning kvadrati o‘rtachasi), ham eksponentsial siljish o‘rtacha.
• Nishabni tuzatish: m_t va v_t nol bilan boshlangani uchun, dastlabki bosqichlarda nishabni bartaraf qilish uchun tuzatish qo‘llaniladi.

Parametrlarni yangilash quyidagi formulaga muvofiq amalga oshiriladi:

θ_t = θ_{t-1} - α * (m_t_hat / (sqrt(v_t_hat) + ε))

bu yerda:

• α — o‘rganish tezligi,
• m_t_hat va v_t_hat — nishablarni tuzatgan baholar,
• ε — nolga bo‘linishni oldini olish uchun kichik raqam.

Adam katta ma’lumotlar va parametrlar bilan ishlash uchun mos, tez konvergentsiya qiladi va gradientlarning turli xususiyatlariga moslashadi.