Pre-LN və post-LN istiləşməsi nədir və təlimin başlanğıcında yaxınlaşma problemləri hansılardır?

Pre-LN və Post-LN, transformator arxitekturasında normalizasiya qatlamının (Layer Normalization) yerləşdirilməsi variantlarıdır və təlimin stabilliyi və yaxınlaşması üzərində təsir göstərir.

• Post-LN (qatlamadan sonra): normalizasiya diqqət və feed-forward blokundan sonra tətbiq olunur. Bu klassik yanaşmadır, lakin təlimin başlanğıcında gradientlərlə bağlı problemlər yarada bilər, bu da modelin yaxşı yaxınlaşmamasına səbəb olur.

• Pre-LN (qatlamadan əvvəl): normalizasiya diqqət və feed-forward blokundan əvvəl tətbiq olunur. Bu yanaşma gradientlərin stabilliyini artırır və yaxınlaşmanı sürətləndirir, xüsusən təlimin erkən mərhələlərində.

Warmup təlimin başlanğıcında öyrənmə sürətinin tədricən artırılmasıdır, bu da ani çəki yeniləmələrindən qaçmağa və yaxınlaşmanı yaxşılaşdırmağa kömək edir.

Başlanğıcda yaxınlaşma problemləri, warmup olmadan və Post-LN ilə gradientlərin çox böyük və ya çox kiçik olması ilə əlaqədardır, bu da effektiv öyrənməni çətinləşdirir. Pre-LN və warmup birlikdə bu problemləri yüngülləşdirir və transformerlərin daha stabilləşmiş və sürətli öyrənilməsini təmin edir.