Machine Learning / AI

Jak zaprojektować system przechowywania i wyszukiwania dla 10 000 kanałów Telegram z 300 000 postami dziennie i opóźnieniem poniżej 2 sekund?

Czy jeśli worker jest synchroniczny, będzie miał batching?

Czy można traktować osadzenia jako synchroniczne bezpośrednio w punkcie końcowym API? Co się stanie, jeśli obliczymy osadzenia dla dużego strumienia dokumentów w punkcie końcowym FastAPI?

Jak zaprojektować system do automatycznego generowania treści dla kanałów Telegram w stylu autora kanału?

Czy kiedykolwiek używałeś sieci neuronowej jako metryki oceny jakości?

Jak zweryfikowałeś dostrajanie LoRA?

Kiedy wybrać LoRA, a kiedy retrieval po podobnych postach? Ile danych jest potrzebnych dla każdego podejścia?

Czy może mi Pan/Pani opowiedzieć o swoim doświadczeniu z systemami RAG i co zrobił/a w ostatnim projekcie?

Jaką rangę ustawiłeś dla LoRA i od czego ona zależy?

Czy sam to wszystko robiłeś (RAG, LoRA, praca z sieciami neuronowymi), czy pomagałeś komuś?

W których warstwach wstawiłeś LoRA i czym jest q_proj?

Czy wdrażałeś sieci neuronowe na swoich serwerach lub w chmurze?

Jakie metryki użyłeś do oceny jakości systemu i jak osiągnąłeś poprawę o 40%?

Dlaczego LoRA może się przeuczać nawet przy małej liczbie parametrów? Czy wybór rangi wpływa na przeuczenie?

Dlaczego w tej architekturze potrzebna jest baza danych wektorowych?