Navrhněte multi-tenant LLM službu s omezením rychlosti a kvótami podle předplatného.

Pro navrhování multi-tenant LLM služby s omezením rychlosti a kvótami podle předplatného je třeba vzít v úvahu několik klíčových aspektů:

1. Multi-tenancy:

   • Každému klientovi (nájemci) je přiřazen jedinečný identifikátor.
   • Data a modely jsou izolovány nebo logicky odděleny, aby byla zajištěna bezpečnost a soukromí.

2. Autentizace a autorizace:

   • Používat API klíče nebo OAuth k identifikaci klientů.
   • Kontrolovat práva přístupu a předplatné při každém požadavku.

3. Omezení rychlosti:

   • Omezit počet požadavků za určité časové období pro každého klienta.
   • Může se použít algoritmy jako token-bucket nebo leaky bucket.
   • Stav limitů ukládat do rychlého úložiště (například Redis).

4. Kvóty podle předplatného:

   • Určit limity využití (například počet tokenů nebo požadavků za měsíc) podle tarifu.
   • Sledovat spotřebu a blokovat nebo upozorňovat při překročení.

5. Architektura:

   • API Gateway pro směrování a kontrolu přístupu.
   • Mikroservisy pro zpracování požadavků na LLM.
   • Úložiště pro logy a metriky.

6. Monitoring a logování:

   • Sledovat využití, chyby a výkon.

Příklad zjednodušeného schématu rate limiting v Node.js s Redis:

const rateLimit = require('express-rate-limit');
const RedisStore = require('rate-limit-redis');
const redisClient = require('./redisClient');

const limiter = rateLimit({
  store: new RedisStore({ client: redisClient }),
  windowMs: 60 * 1000, // 1 minuta
  max: (req) => {
    // Získat limit z předplatného uživatele
    return req.user.subscriptionLimit || 100;
  },
  keyGenerator: (req) => req.user.id,
  handler: (req, res) => {
    res.status(429).json({ error: 'Překročen limit požadavků' });
  }
});

app.use('/api/llm', authenticateUser, limiter, llmHandler);

Tímto způsobem služba zajišťuje izolaci klientů, kontroluje zátěž a dodržuje omezení předplatného.