Povedzte o ALBERT a jeho parametrickom zdieľaní medzi vrstvami.

ALBERT (A Lite BERT) je lahka verzija modela BERT, zasnovana na zmanjšanju velikosti in pospeševanju učenja brez pomembne izgube kakovosti.

Glavna značilnost ALBERT-a je delitev parametrov (parameter sharing) med plastmi. Namesto da ima ločene parametre za vsako plast transformatorja, ALBERT uporablja iste parametre večkrat v vseh plasteh. To znatno zmanjša število parametrov modela.

Prednosti delitve parametrov:

• Zmanjšanje porabe pomnilnika in prostora na disku.
• Skrajšanje časa učenja in inference.
• Manjše tveganje preučevanja zaradi manjšega števila parametrov.

Na ta način ALBERT doseže primerljivo zmogljivost z BERT-om pri precej manjšem velikosti modela, kar je še posebej uporabno za naloge z omejenimi viri.