Comment peut-on évaluer la qualité du travail du système de surveillance/enquête sur les incidents?
Machine Learning / AI
Comment enregistrer dans l'état de LangGraph une grande quantité d'informations obtenues via l'API, les utiliser dans l'outil, mais sans transmettre d'informations superflues au contexte LLM ? Par exemple, le LLM ne voit que l'ID et les noms des spécialistes, tandis que l'outil reçoit leur emploi du temps et des données supplémentaires.
Comment entraîner un LLM à ne pas répondre en l'absence d'informations dans le contexte?
Comment faire en sorte qu'un modèle dans un champ spécifique génère uniquement des valeurs d'une courte liste d'ID de chaînes et aucun autre symbole en pratique?
Que aimeriez-vous faire en général?
Comment transmettre un schéma de modèle pour une sortie structurée au niveau du code?
Parlez-nous plus en détail du cache KV : comment il fonctionne et d'où il provient, en commençant par l'architecture Transformer.
Que peut-on faire si un agent déployé répond trop lentement ou s'il n'y a pas assez de mémoire pour héberger un LLM?
Comment avez-vous implémenté et déployé le service pour traiter les pull requests?
L'orchestrateur voit-il les résultats des appels aux outils du sous-agent ou seulement la sortie finale du sous-agent lui-même?
Quelles autres méthodes d'optimisation peuvent être utilisées pour accélérer l'inférence ou au moins faire tenir le modèle dans 12 Go de VRAM sur une RTX 3090?
Comment vérifier que LLM-as-a-Judge évalue correctement la qualité et comment la calibrer?
Comment est construit l'orchestrateur : quel cadre et architecture sont utilisés, que fait-il, est-il à un seul étape ou peut-il raisonner plusieurs fois avant de répondre ?
Comment obtenir une réponse formalisée et structurée, par exemple lors de l'utilisation de la sortie structurée?
Pourquoi avez-vous décidé de quitter votre emploi actuel?
Quelles sont les options d'échantillonnage de nouveaux tokens dans LLM?
Qui a participé à l'ajustement des modèles ?
Quelle est la composition actuelle de votre équipe ?