Что хотят услышать интервьюеры:

Mixture of Experts — это архитектура, где не вся модель обрабатывает каждый запрос целиком, а только выбранные «эксперты» для конкретного входа. Это позволяет сильно увеличить число параметров модели без пропорционального роста вычислений на каждом токене. Основной компромисс — лучшее масштабирование и потенциально выше качество против усложнения обучения, маршрутизации и стабильности.

Определение:

Mixture of Experts (MoE) — это нейросетевая архитектура, в которой есть несколько специализированных подмоделей, называемых экспертами, и отдельный механизм маршрутизации, который выбирает, какие эксперты активировать для конкретного входа. Обычно на каждом шаге используется только небольшой поднабор экспертов, поэтому вычисления выполняются разреженно.

Идея в том, что разные эксперты могут лучше обрабатывать разные типы данных, паттерны или подзадачи. Вместо того чтобы увеличивать вычислительную стоимость пропорционально размеру модели, MoE позволяет увеличивать ёмкость модели почти «дешевле» по вычислениям на инференсе и иногда на обучении.

Пример использования:

В языковой модели один эксперт может лучше обрабатывать код, другой — естественный язык, третий — редкие факты или специализированные домены. Для каждого токена router выбирает 1–2 наиболее подходящих эксперта, а их выходы комбинируются.

import torch
import torch.nn as nn
import torch.nn.functional as F

class Expert(nn.Module):
    def __init__(self, d_model, d_hidden):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(d_model, d_hidden),
            nn.ReLU(),
            nn.Linear(d_hidden, d_model),
        )

    def forward(self, x):
        return self.net(x)

class MoE(nn.Module):
    def __init__(self, d_model, d_hidden, n_experts, top_k=2):
        super().__init__()
        self.experts = nn.ModuleList([Expert(d_model, d_hidden) for _ in range(n_experts)])
        self.router = nn.Linear(d_model, n_experts)
        self.top_k = top_k

    def forward(self, x):
        # x: [batch, d_model]
        logits = self.router(x)
        probs = F.softmax(logits, dim=-1)

        topk_probs, topk_idx = torch.topk(probs, self.top_k, dim=-1)

        expert_outputs = []
        for i, expert in enumerate(self.experts):
            expert_outputs.append(expert(x))  # [batch, d_model]
        expert_outputs = torch.stack(expert_outputs, dim=1)  # [batch, n_experts, d_model]

        mask = torch.zeros_like(probs)
        mask.scatter_(1, topk_idx, topk_probs)
        mask = mask.unsqueeze(-1)  # [batch, n_experts, 1]

        return (expert_outputs * mask).sum(dim=1)

Пояснение кода:

В примере есть отдельные сети-эксперты и router. Router вычисляет вероятности для каждого эксперта, затем выбираются top-k наиболее подходящих. После этого выходы всех экспертов взвешиваются по этим вероятностям и суммируются.

По шагам:

self.router(x) оценивает, какие эксперты лучше подходят для входа.
softmax превращает оценки в вероятности.
topk оставляет только несколько лучших экспертов.
Каждый эксперт считает свой выход.
Mask сохраняет только выбранные эксперты и их веса.
Итоговый ответ — взвешенная сумма выходов выбранных экспертов.

На практике MoE обычно реализуют эффективнее: не прогоняют вход через всех экспертов подряд, а отправляют только нужные токены нужным экспертам. Это и даёт выигрыш по вычислениям.

Ключевые моменты:

MoE увеличивает ёмкость модели без линейного роста вычислений на каждый вход.
Router решает, какие эксперты активировать, обычно top-1 или top-2.
Плюс MoE — хорошее масштабирование и специализация экспертов.
Минусы — сложность обучения, дисбаланс нагрузки между экспертами и более сложная инфраструктура.
Возможны проблемы со стабильностью маршрутизации, особенно если один эксперт начинает получать слишком много токенов.
Для LLM MoE особенно полезен, когда нужно сильно увеличить число параметров, сохранив приемлемую стоимость инференса.

Что такое Mixture of Experts (MoE) и какие у него плюсы и минусы?