Хизматрасонии LLM-и бисёрҷавоб бо маҳдудиятҳои суръат ва квотҳо дар асоси обуна тарҳрезӣ кунед.

Барои тарҳрезии хидмати мулти-tenant LLM бо маҳдудиятҳои суръат ва квотаҳо дар асоси обуна, бояд чанд ҷиҳати калидиро ба назар гирифт:

1. Мулти-tenant:

   • Ба ҳар як муштарӣ (ҷавоҳир) як идентификатори беназир дода мешавад.
   • Маълумот ва моделҳо изолат ё логикӣ ҷудо карда мешаванд, то бехатарӣ ва махфият таъмин карда шавад.

2. Тасдиқ ва иҷозат:

   • API-ключҳо ё OAuth барои шенасоии муштариён истифода баред.
   • Ҳуқуқи дастрасӣ ва обунаҳоро дар ҳар дархост санҷед.

3. Маҳдудиятҳои суръат:

   • Суръати дархостҳоро дар давоми муайяншуда барои ҳар муштарӣ маҳдуд кунед.
   • Алгоритмҳо мисли token-bucket ё leaky bucket истифода бурда мешаванд.
   • Ҳолати маҳдудиятҳоро дар анбори зуд (масалан Redis) нигоҳ доред.

4. Квотаҳо дар асоси обуна:

   • Маҳдудиятҳои истифода (масалан, шумораи токенҳо ё дархостҳо дар моҳ) дар асоси тариф муайян кунед.
   • Истифодаи онро назорат кунед ва дар ҳолати зиёдшавӣ боздошт ё огоҳӣ диҳед.

5. Мақоми меъморӣ:

   • API Gateway барои роҳбарӣ ва назорати дастрасӣ.
   • Микросервисҳо барои коркарди дархостҳо ба LLM.
   • Анбор барои логҳо ва метрикҳо.

6. Мониторинг ва сабт:

   • Истифода, хатоҳо ва иҷроишро назорат кунед.

Масалан, схемаи соддакардашудаи маҳдудияти суръат дар Node.js бо Redis:

const rateLimit = require('express-rate-limit');
const RedisStore = require('rate-limit-redis');
const redisClient = require('./redisClient');

const limiter = rateLimit({
  store: new RedisStore({ client: redisClient }),
  windowMs: 60 * 1000, // 1 дақиқа
  max: (req) => {
    // Маҳдудиятро аз обунаи корбар гиред
    return req.user.subscriptionLimit || 100;
  },
  keyGenerator: (req) => req.user.id,
  handler: (req, res) => {
    res.status(429).json({ error: 'Маҳдудияти дархостҳо гузаштааст' });
  }
});

app.use('/api/llm', authenticateUser, limiter, llmHandler);

Бо ин роҳ, хидмат кафолат медиҳад, ки муштариён изолат ёфта, борро назорат мекунанд ва маҳдудиятҳои обунаро риоя мекунанд.