Machine Learning / AI

Wie entwirft man ein Speicher- und Suchsystem für 10.000 Telegram-Kanäle mit 300.000 Beiträgen pro Tag und einer Latenz von weniger als 2 Sekunden?

Wenn der Worker synchron ist, wird er batching haben?

Kann man Embeddings direkt im API-Endpunkt synchron betrachten? Was passiert, wenn man Embeddings für einen großen Dokumentenstrom in einem FastAPI-Endpunkt berechnet?

Wie entwirft man ein System zur automatischen Generierung von Inhalten für Telegram-Kanäle im Stil des Kanalautors?

Wie haben Sie das LoRA-Feinabstimmung validiert?

Können Sie mir von Ihrer Erfahrung mit RAG-Systemen erzählen und was Sie in Ihrem letzten Projekt gemacht haben?

Hast du das alles selbst gemacht (RAG, LoRA, Arbeit mit neuronalen Netzen) oder hast du jemandem geholfen?

Haben Sie jemals ein neuronales Netzwerk als Qualitätsmetrik verwendet?

Wann sollte man LoRA wählen und wann die Wiederherstellung durch ähnliche Beiträge? Wie viele Daten werden für jeden Ansatz benötigt?

Welchen Rang hast du für LoRA festgelegt und wovon hängt er ab?

In welche Schichten hast du LoRA eingefügt und was ist q_proj?

Welche Metriken haben Sie verwendet, um die Qualität des Systems zu bewerten, und wie haben Sie eine Verbesserung um 40 % erreicht?

Hast du neuronale Netze auf deinen Servern oder in der Cloud bereitgestellt?

Warum ist eine Vektordatenbank in dieser Architektur notwendig?

Warum kann LoRA auch bei einer kleinen Anzahl von Parametern überanpassen? Beeinflusst die Wahl des Rangs das Überanpassen?