Machine Learning / AI

Come progettare un sistema di archiviazione e ricerca per 10.000 canali Telegram con 300.000 post al giorno e una latenza inferiore a 2 secondi?

Se il worker è sincrono, avrà batching?

È possibile considerare gli embeddings in modo sincrono direttamente nell'endpoint API? Cosa succederà se si calcolano gli embeddings per un grande flusso di documenti in un endpoint FastAPI?

Come progettare un sistema per la generazione automatica di contenuti per canali Telegram nello stile dell'autore del canale?

Come hai validato il fine-tuning di LoRA?

Può parlarmi della sua esperienza con i sistemi RAG e cosa ha fatto nell'ultimo progetto?

Hai fatto tutto questo tu stesso (RAG, LoRA, lavoro con reti neurali) o hai aiutato qualcuno?

Hai mai utilizzato una rete neurale come metrica di valutazione della qualità?

Quando scegliere LoRA e quando il recupero tramite post simili? Quanti dati sono necessari per ogni approccio?

Quale livello hai assegnato a LoRA e da cosa dipende?

In quali strati hai inserito LoRA e cos'è q_proj?

Quali metriche hai utilizzato per valutare la qualità del sistema e come hai ottenuto un miglioramento del 40%?

Hai distribuito reti neurali sui tuoi server o nel cloud?

Perché è necessaria una base di dati vettoriale in questa architettura?

Perché LoRA può sovraddestrarsi anche con un numero ridotto di parametri? La scelta del rango influisce sul sovrallenamento?