Obuna asosida rate limit va kvotalar bilan ko'p ijarali LLM-xizmatini loyihalashtiring.

Ko'p tenantli LLM-xizmatini loyihalash uchun rate limit va obuna bo'yicha kvotalar bilan, bir nechta muhim jihatlarni hisobga olish kerak:

1. Multi-tenancy:

   • Har bir mijozga (ijara oluvchiga) unikal identifikator beriladi.
   • Ma'lumotlar va modellarning izolyatsiyasi yoki mantiqan ajratilishi xavfsizlik va maxfiylikni ta'minlash uchun.

2. Autentifikatsiya va ruxsat berish:

   • Mijozlarni aniqlash uchun API kalitlari yoki OAuth-dan foydalanish.
   • Har bir so'rovda kirish huquqlari va obunalarni tekshirish.

3. Rate limiting:

   • Har bir mijoz uchun ma'lum vaqt ichida so'rovlar sonini cheklash.
   • Token-bucket yoki leaky bucket kabi algoritmlardan foydalanish mumkin.
   • Holatni tezkor saqlash joyida (masalan, Redis) saqlash.

4. Obuna kvotalari:

   • Foydalanish cheklovlarini belgilash (masalan, tokenlar yoki oyiga so'rovlar soni) tarifga qarab.
   • Foydalanuvchi iste'molini nazorat qilish va oshib ketganda bloklash yoki xabar berish.

5. Arxitektura:

   • API Gateway orqali marshrutlash va kirish nazorati.
   • LLM so'rovlarini qayta ishlash uchun mikroxizmatlar.
   • Loglar va metrikalar uchun saqlash.

6. Monitoring va log qilish:

   • Foydalanish, xatoliklar va ishlashni nazorat qilish.

Node.js va Redis bilan rate limitingning soddalashtirilgan sxemasi misoli:

const rateLimit = require('express-rate-limit');
const RedisStore = require('rate-limit-redis');
const redisClient = require('./redisClient');

const limiter = rateLimit({
  store: new RedisStore({ client: redisClient }),
  windowMs: 60 * 1000, // 1 daqiqa
  max: (req) => {
    // Foydalanuvchining obunasi limitini olish
    return req.user.subscriptionLimit || 100;
  },
  keyGenerator: (req) => req.user.id,
  handler: (req, res) => {
    res.status(429).json({ error: 'So'rovlar limiti oshdi' });
  }
});

app.use('/api/llm', authenticateUser, limiter, llmHandler);

Shu tarzda, xizmat mijozlarning izolyatsiyasini ta'minlaydi, yukni nazorat qiladi va obuna cheklovlariga amal qiladi.