Дар бораи ALBERT ва тақсимоти параметрии он байни қабатҳои гап занед.

ALBERT (A Lite BERT) нусхаи сабуки модели BERT мебошад, ки барои кам кардани андоза ва суръат бахшидани омӯзиш бидуни талафоти назаррас дар сифат таҳия шудааст.

Хусусияти асосии ALBERT — тақсимоти параметрҳо (parameter sharing) байни қабатҳо мебошад. Ба ҷои он ки барои ҳар қабати трансформатор параметрҳои алоҳида дошта бошад, ALBERT ҳамон параметрҳоро дар тамоми қабатҳо такрор истифода мекунад. Ин шумораи параметрҳои моделиро ба таври назаррас кам мекунад.

Фоидаҳои тақсимоти параметрҳо:

• Кам кардани истифодаи хотира ва фазои диски.
• Кам кардани вақти омӯзиш ва inference.
• Кам кардани хавфи overfitting бо сабаби камтар будани параметрҳо.

Бинобар ин, ALBERT ба иҷрои баробар бо BERT бо андозаи модели хеле хурдтар мерасад, ки махсусан барои вазифаҳо бо захираҳои маҳдуд муфид аст.