Lze embeddings považovat za synchronní přímo na API endpointu? Co se stane, pokud spočítáme embeddings pro velký tok dokumentů na endpointu FastAPI?

Считать embeddings синхронно прямо в API endpoint технически возможно, но не всегда целесообразно. Если поток документов большой, то обработка будет блокировать endpoint, увеличивая время отклика и снижая пропускную способность сервиса.

В FastAPI, если вы вызываете вычисление embeddings синхронно, запрос будет ждать завершения операции, что может привести к таймаутам или ухудшению пользовательского опыта. Для больших объёмов лучше использовать асинхронную обработку, очереди задач (например, Celery или RabbitMQ) или выделенный сервис для генерации embeddings, чтобы не блокировать основной API.

Пример асинхронного подхода с FastAPI:

from fastapi import FastAPI, BackgroundTasks

app = FastAPI()

def compute_embeddings(documents):
    # длительная операция
    pass

@app.post("/embed")
async def embed_endpoint(documents: list, background_tasks: BackgroundTasks):
    background_tasks.add_task(compute_embeddings, documents)
    return {"status": "processing"}

Такой подход позволяет быстро отвечать клиенту и обрабатывать данные в фоне.