Papaskokite apie ALBERT ir jo parametrinį pasidalijimą tarp sluoksnių.

ALBERT (A Lite BERT) yra lengvesnė BERT modelio versija, sukurta siekiant sumažinti dydį ir pagreitinti mokymąsi be reikšmingo kokybės praradimo.

Pagrindinė ALBERT savybė yra parametrų dalijimasis (parameter sharing) tarp sluoksnių. Vietoj to, kad turėtų atskirus parametrus kiekvienam transformatoriaus sluoksniui, ALBERT naudoja tuos pačius parametrus visose sluoksniuose. Tai žymiai sumažina modelio parametrų skaičių.

Parametrų dalijimosi privalumai:

• Atminties ir disko vietos sumažinimas.
• Mokymosi ir inferencijos laiko sutaupymas.
• Mažesnė per mokymąsi per daug prisitaikymo rizika dėl mažesnio parametrų skaičiaus.

Taip ALBERT pasiekia panašų našumą kaip BERT, bet su daug mažesniu modelio dydžiu, kas ypač naudinga ribotų išteklių užduotims.