ALBERT və onun qatlar arasında parametrik paylaşımı haqqında danışın.

ALBERT (A Lite BERT) — bu BERT modelinin yüngül versiyasıdır və onun ölçüsünü kiçiltmək və təlimi sürətləndirmək üçün hazırlanmışdır, əhəmiyyətli keyfiyyət itkisi olmadan.

ALBERT-in əsas xüsusiyyəti qatlar arasında parametr paylaşımıdır. Hər bir transformator qat üçün ayrıca parametr yerinə, ALBERT bütün qatlarda eyni parametrləri təkrar istifadə edir. Bu, modelin parametr sayını əhəmiyyətli dərəcədə azaldır.

Parametr paylaşımının üstünlükləri:

• Yaddaş və disk sahəsinin istifadəsini azaltmaq.
• Təlim və çıxış vaxtını qısaltmaq.
• Daha az parametr ilə overfitting riskini azaltmaq.

Bu şəkildə, ALBERT çox daha kiçik model ölçüsü ilə BERT-ə bənzər performans əldə edir, bu da məhdud resurslara malik tapşırıqlar üçün xüsusilə faydalıdır.