Vai Python asinhronajā kodā var rasties sacensību stāvoklis?
Python
Cik dokumenti tika atgūti meklēšanas laikā? Vai bija re-ranking?
Kā novērtēja RAG sistēmas darba kvalitāti?
Kā darbojās semantiskā kešatmiņa Redis?
Kā jūs uzraudzījāt pakalpojuma darbu? Ko skatījāties Grafanā?
Ko vēl var optimizēt predict metodē? (katru reizi DataFrame izveide)
Kā optimizēt pakalpojumu, lai sinhronā CPU uzdevums (prognozes modelis) neapturētu FastAPI notikumu cilpu?
Kāpēc ir labāk izmantot POST, nevis GET šim endpointam?
Uzrakstiet FastAPI tīmekļa pakalpojumu, kas pieņem POST pieprasījumu ar datiem (ieņēmumi, vecums, kredīta apjoms) un atgriež ML modeļa prognozi (kredīta apstiprinājums)
Kas ir Singleton un kā to izmantot modeļa ielādei? Kādas ir Singleton trūkumi?
Pastāsti man par visu RAG sistēmas pipeline: kādi dokumenti tika izmantoti, kā tie tika ielādēti un apstrādāti?
Cik ilgi ilga visa RAG pipeline no pieprasījuma līdz atbildei?
Kā dokumenti tika ielādēti vektoru datu bāzē? Kā notika chunking?
Kāda ir problēma, ja asinhronā pakalpojumā tiek izmantots vietējais ML modelis (piemēram, reranker), kas tiek izsaukts sinhroni?
Kā tika iegūti embeddi? Ar kura modeļa un kā tas tika palaists?
Kā darbojas daudzvirzienu Python, ņemot vērā GIL? Kā atšķiras pavedieni no procesiem?