Kaip galima įvertinti incidentų stebėjimo/tyrimo sistemos darbo kokybę?
Machine Learning / AI
Kaip saugoti LangGraph būsenoje didelį kiekį informacijos, gautos per API, naudoti ją įrankio viduje, bet ne perduoti nereikalingų duomenų į LLM kontekstą? Pavyzdžiui, LLM mato tik specialistų ID ir vardus, o įrankis gauna jų tvarkaraštį ir papildomus duomenis.
Kaip praktiškai užtikrinti, kad modelis konkrečiame lauke generuotų tik trumpo sąrašo eilutės ID reikšmes ir jokių kitų simbolių?
Kaip išmokyti LLM neatsakyti, kai nėra informacijos kontekste?
Kaip perduoti modelio schemą struktūruotam išėjimui kodo lygyje?
Ką galima padaryti, jei išdėstytas agentas per ilgai atsako arba trūksta atminties LLM talpinimui?
Kaip įgyvendinote ir įdiegėte paslaugą pull request'ų apdorojimui?
Ar orkestratorius mato subagento įrankių skambučių rezultatus ar tik paties subagento galutinį išvestį?
Papaskinkite daugiau apie KV talpyklą: kaip ji veikia ir iš kur ji kyla, pradedant nuo Transformer architektūros.
Kokios kitos optimizacijos metodai gali būti naudojami inferencijos pagreitinimui arba bent jau modelio įkėlimui į 12 GB VRAM RTX 3090?
Kaip patikrinti, ar LLM-as-a-Judge teisingai įvertina kokybę ir kaip ją kalibruoti?
Kaip pasiekti formalizuotą, struktūruotą atsakymą, pavyzdžiui, naudojant struktūruotą išvestį?
Kaip sukonstruotas orkestratorius: kokia yra naudojama sistema ir architektūra, ką jis daro, ar jis vieno žingsnio ar gali kelis kartus mąstyti prieš atsakymą?
Kodėl nusprendėte palikti savo dabartinį darbą?
Kaip dialogo ir konteksto augimas įtakoja atsakymų apdorojimo greitį?
Kokios yra naujų žodžių ėmimo galimybės LLM?
Kas dalyvavo modelių derinime?
Koks yra jūsų dabartinės komandos sudėtis?