Šta je Mixture of Experts (MoE) i koje su njegove prednosti i mane?

Мешавина експерата (MoE) је архитектура неуронских мрежа која се састоји од више специјализованих модела (експерата) и механизма рутирања (капија), који бира које експерте активирати за обраду одређеног улаза. Идеја је да се сваки експерт обучава на делу задатка, а капија динамички распоређује рачунања, што омогућава скалирање модела без пропорционалог раста рачунарских трошкова.

Плюсови:

• Ефикасност: Могу се користити веома велики модели активирањем само дела експерата за сваки захтев, што смањује рачунарску оптерећеност.
• Специјализација: Експерти могу бити специјализовани за различите аспекте података, побољшавајући квалитет.
• Масовност: Лако је додавати нове експерте без потпуног поновног тренирања.

Мане:

• Комплексност тренирања: Тешко је ефикасно тренирати капију да правилно распоређује захтеве.
• Неравномерна оптерећеност: Неки експерти могу бити пренатоварени, други да остану неактивни.
• Проблеми са генерализацијом: Ако капија направи грешку, квалитет може пасти.

Пример поједностављеног шема у псевдокоду:

experts = [Expert1(), Expert2(), Expert3()]
капия = GateNetwork()

input = get_input()
тежине = капия(input)  # вероватноће за сваког експерта
излаз = сума(w * експерт(input) за w, експерт у zip(тежине, експерти))

У савременим LLM моделима, MoE помаже у стварању веома великих модела са мањим трошковима ресурса.