Zaprojektuj wielo-tenantowy serwis LLM z limitami przepustowości i kwotami na subskrypcję.

Aby zaprojektować wieloabonamentową usługę LLM z limitami prędkości i kwotami na subskrypcję, należy wziąć pod uwagę kilka kluczowych aspektów:

1. Multi-tenancy:

   • Każdemu klientowi (najemcy) przypisuje się unikalny identyfikator.
   • Dane i modele są izolowane lub logicznie oddzielone, aby zapewnić bezpieczeństwo i prywatność.

2. Uwierzytelnianie i autoryzacja:

   • Używać kluczy API lub OAuth do identyfikacji klientów.
   • Sprawdzać prawa dostępu i subskrypcje przy każdym żądaniu.

3. Limitowanie prędkości:

   • Ograniczać liczbę żądań w określonym czasie dla każdego klienta.
   • Można używać algorytmów takich jak token-bucket lub leaky bucket.
   • Przechowywać stan limitów w szybkim magazynie (np. Redis).

4. Kwoty subskrypcji:

   • Określać limity użytkowania (np. liczba tokenów lub żądań miesięcznie) w zależności od taryfy.
   • Monitorować zużycie i blokować lub powiadamiać przy przekroczeniu.

5. Architektura:

   • API Gateway do routingu i kontroli dostępu.
   • Mikrousługi do obsługi żądań do LLM.
   • Magazyn na logi i metryki.

6. Monitorowanie i logowanie:

   • Śledzić użycie, błędy i wydajność.

Przykład uproszczonego schematu limitowania prędkości w Node.js z Redis:

const rateLimit = require('express-rate-limit');
const RedisStore = require('rate-limit-redis');
const redisClient = require('./redisClient');

const limiter = rateLimit({
  store: new RedisStore({ client: redisClient }),
  windowMs: 60 * 1000, // 1 minuta
  max: (req) => {
    // Pobierz limit z subskrypcji użytkownika
    return req.user.subscriptionLimit || 100;
  },
  keyGenerator: (req) => req.user.id,
  handler: (req, res) => {
    res.status(429).json({ error: 'Przekroczono limit żądań' });
  }
});

app.use('/api/llm', authenticateUser, limiter, llmHandler);

W ten sposób usługa zapewnia izolację klientów, kontroluje obciążenie i przestrzega ograniczeń subskrypcji.