Rääkige ALBERT-ist ja selle parameetrilisest jagunemisest kihtide vahel.

ALBERT (A Lite BERT) on kerge versioon BERT-mudelist, mis on loodud suuruse vähendamiseks ja koolituse kiirendamiseks ilma olulise kvaliteedi kaota.

ALBERTi peamine omadus on parameetrite jagamine (parameter sharing) kihtide vahel. Selle asemel, et iga transformatsiooni kihi jaoks oleks eraldi parameetrid, kasutab ALBERT samu parameetreid kõigis kihtides. See vähendab märkimisväärselt mudeli parameetrite arvu.

Parameetrite jagamise eelised:

• Mälu ja kettaruumi kasutamise vähendamine.
• Koolituse ja inferentsi aja lühendamine.
• Vähem parameetreid kasutades üleõppimise riski vähendamine.

Sel viisil saavutab ALBERT BERTiga võrdse jõudluse palju väiksema mudeli suurusega, mis on eriti kasulik piiratud ressurssidega ülesannete puhul.