Hoe kan de kwaliteit van het werk van het monitorings-/onderzoekssysteem voor incidenten worden beoordeeld?
Machine Learning / AI
Hoe grote hoeveelheden informatie die via de API zijn verkregen, in de staat van LangGraph opslaan, deze binnen het hulpmiddel gebruiken, maar geen onnodige gegevens naar de LLM-omgeving sturen? Bijvoorbeeld, LLM ziet alleen de ID en namen van specialisten, terwijl het hulpmiddel hun planning en aanvullende gegevens ontvangt.
Hoe train je een LLM om niet te antwoorden wanneer er geen informatie in de context is?
Hoe maak je in de praktijk dat een model in een specifiek veld alleen waarden uit een korte lijst van string-ID's genereert en geen andere symbolen?
Wat zou je in het algemeen willen doen?
Hoe geef je op code-niveau een model schema door voor gestructureerde output?
Wat kun je doen als een uitgeruste agent te langzaam reageert of er niet genoeg geheugen is om een LLM te plaatsen?
Vertel ons meer over de KV-cache: hoe het werkt en waar het vandaan komt, te beginnen met de Transformer-architectuur.
Hoe hebt u de service voor het verwerken van pull requests geïmplementeerd en uitgerold?
Ziet de orchestrator de resultaten van de calls van de subagent tools of alleen de uiteindelijke output van de subagent zelf?
Welke andere optimalisatiemethoden kunnen worden gebruikt om de inferentie te versnellen of op zijn minst het model in 12 GB VRAM op een RTX 3090 te plaatsen?
Hoe te controleren of LLM-as-a-Judge de kwaliteit correct beoordeelt en hoe deze te kalibreren?
Hoe krijg je een geformaliseerde, gestructureerde reactie, bijvoorbeeld bij het gebruik van gestructureerde output?
Hoe is de orchestrator opgebouwd: welk framework en architectuur worden gebruikt, wat doet hij, is hij éénstaps of kan hij meerdere keren nadenken voordat hij antwoord geeft?
Wat zijn de opties voor het samplen van nieuwe tokens in LLM?
Waarom heb je besloten je huidige baan te verlaten?
Wie was betrokken bij het afstemmen van de modellen?
Wat is de samenstelling van je huidige team?