Kako oceniti kvalitet rada sistema za praćenje/istraživanje incidenata?
Machine Learning / AI
Kako sačuvati u stanju LangGraph velike količine informacija dobijenih putem API-ja, koristiti ih unutar alata, ali ne preneti suvišne podatke u kontekst LLM? Na primer, LLM vidi samo ID i imena stručnjaka, dok alat dobija njihov raspored i dodatne podatke.
Kako obučiti LLM da ne odgovara kada nema informacija u kontekstu?
Kako u praksi naterati model u određenom polju da generiše samo vrednosti iz kratke liste ID-ova u nizu i nijedne druge simbole?
Šta biste želeli da radite uopšteno?
Kako na nivou koda preneti šemu modela za strukturirani izlaz?
Pružite više informacija o KV kešu: kako funkcioniše i odakle potiče, počevši od arhitekture Transformer.
Šta možete učiniti ako implementovani agent odgovara predugo ili nema dovoljno memorije za smeštanje LLM?
Kako ste implementirali i rasporedili servis za obradu pull requestova?
Da li orkестратор vidi rezultate poziva alata subagenta ili samo završni output samog subagenta?
Koje još metode optimizacije mogu biti korišćene za ubrzanje inferenasa ili bar za smještanje modela u 12 GB VRAM RTX 3090?
Kako proveriti da li LLM-as-a-Judge tačno procenjuje kvalitet i kako ga kalibrisati?
Kako je orkestrator građen: koji okvir i arhitektura se koriste, šta radi, da li je jednostepeni ili može više puta razmišljati pre odgovora?
Kako postići formalizovan, strukturiran odgovor, na primer pri korišćenju strukturiranog izlaza?
Zašto ste odlučili da napustite svoj trenutni posao?
Koje su opcije uzorkovanja novih tokena u LLM?
Ko je bio uključen u podešavanje modela?
Ko je sastav vašeg trenutnog tima?