Проектирайте многонаемна LLM услуга с ограничение на скоростта и квоти по абонамент.

За да проектирате многонаемна LLM услуга с ограничение на скоростта и квоти по абонамент, трябва да вземете предвид няколко ключови аспекта:

1. Мултиарендност:

   • На всеки клиент (наемател) се присвоява уникален идентификатор.
   • Данните и моделите са изолирани или логически разделени, за да се осигури сигурност и поверителност.

2. Аутентификация и авторизация:

   • Използвайте API ключове или OAuth за идентифициране на клиентите.
   • Проверявайте правата за достъп и абонаментите при всяка заявка.

3. Ограничаване на скоростта:

   • Ограничете броя на заявките за определен период за всеки клиент.
   • Може да използвате алгоритми като token-bucket или leaky bucket.
   • Съхранявайте състоянието на лимитите в бързо хранилище (например Redis).

4. Квоти по абонамент:

   • Определете лимити за използване (например, брой токени или заявки месечно) в зависимост от тарифата.
   • Следете потреблението и блокирайте или уведомявайте при превишаване.

5. Архитектура:

   • API Gateway за маршрутизиране и контрол на достъпа.
   • Микросервизи за обработка на заявки към LLM.
   • Хранилище за логове и метрики.

6. Мониторинг и логиране:

   • Следете използването, грешките и производителността.

Пример за опростена схема за ограничаване на скоростта в Node.js с Redis:

const rateLimit = require('express-rate-limit');
const RedisStore = require('rate-limit-redis');
const redisClient = require('./redisClient');

const limiter = rateLimit({
  store: new RedisStore({ client: redisClient }),
  windowMs: 60 * 1000, // 1 минута
  max: (req) => {
    // Вземете лимита от абонамента на потребителя
    return req.user.subscriptionLimit || 100;
  },
  keyGenerator: (req) => req.user.id,
  handler: (req, res) => {
    res.status(429).json({ error: 'Превишен лимит на заявки' });
  }
});

app.use('/api/llm', authenticateUser, limiter, llmHandler);

По този начин услугата осигурява изолация на клиентите, контролира натоварването и спазва ограниченията на абонаментите.