Machine Learning / AI

Πώς σχεδιάζετε ένα σύστημα αποθήκευσης και αναζήτησης για 10.000 κανάλια Telegram με 300.000 αναρτήσεις την ημέρα, με καθυστέρηση μικρότερη από 2 δευτερόλεπτα;

Αν ο worker είναι συγχρονικός, θα έχει batching;

Μπορούν τα embeddings να θεωρηθούν συγχρονικά απευθείας στο endpoint του API; Τι θα συμβεί αν υπολογίσουμε embeddings για μια μεγάλη ροή εγγράφων σε ένα endpoint FastAPI;

Πώς σχεδιάζετε ένα σύστημα για την αυτόματη δημιουργία περιεχομένου για κανάλια Telegram στο στυλ του δημιουργού του καναλιού;

Πώς επικυρώσατε το fine-tuning του LoRA;

Έχετε χρησιμοποιήσει ποτέ νευρωνικό δίκτυο ως μέτρο αξιολόγησης ποιότητας;

Μπορείτε να μου πείτε για την εμπειρία σας με συστήματα RAG και τι κάνατε στο τελευταίο σας έργο;

Πότε να επιλέξετε LoRA και πότε ανάκτηση μέσω παρόμοιων δημοσιεύσεων; Πόσα δεδομένα χρειάζονται για κάθε προσέγγιση;

Έκανες εσύ ο ίδιος όλα αυτά (RAG, LoRA, εργασία με νευρωνικά δίκτυα) ή βοήθησες κάποιον;

Ποιο βαθμό έθεσες για το LoRA και από τι εξαρτάται;

Σε ποια στρώματα έβαλες το LoRA και τι είναι το q_proj;

Ποιες μετρήσεις χρησιμοποιήσατε για την αξιολόγηση της ποιότητας του συστήματος και πώς επιτύχατε βελτίωση 40%;

Έχεις αναπτύξει νευρωνικά δίκτυα στους δικούς σου διακομιστές ή στο cloud;

Γιατί χρειάζεται μια διανυσματική βάση δεδομένων σε αυτήν την αρχιτεκτονική;

Γιατί το LoRA μπορεί να υπερεκπαιδευτεί ακόμα και με λίγες παραμέτρους; Επηρεάζει η επιλογή του βαθμού την υπερεκπαίδευση;