La plupart des piles d'agents excellent à transformer la sortie du modèle en action, mais échouent à garantir que les actions sont réellement autorisées. Un agent de support pourrait correctement choisir d'annuler un abonnement et d'extraire un ID de compte, mais annulerait tout de même le mauvais compte en raison d'un manque de vérifications d'autorité. La capacité (la capacité du LLM à sélectionner un outil et produire des arguments) est distincte de l'autorité (une politique de contrôle séparée et appliquée qui autorise une action limitée pour un principal identifié).
Les systèmes robustes traitent la capacité comme une proposition nécessitant une autorité avant l'effet. Les défis comme l'injection de prompts, l'intention ambiguë, le contexte périmé et les identifiants étendus peuvent transformer des appels d'outils valides en résultats nuisibles, comme le soulignent les risques des systèmes agentiques d'OWASP. La solution n'est pas plus d'instructions de prompt, mais un plan de contrôle déterministe.
Les systèmes agentiques sophistiqués s'organisent en trois plans : la planification (raisonnement du modèle et sélection d'outils), le contrôle (gouvernance : authentification, résolution de contexte, autorisation, évaluation de politiques et approbation), et l'exécution/observation (invocation d'actions, vérification et audit). Le plan de contrôle authentifie les principaux, valide les actions, évalue les risques, peut exiger une approbation exacte, délivre une autorité à portée limitée et persiste les preuves de décision. Cette séparation garantit une sécurité et une responsabilité au-delà de la validité syntaxique ou du succès HTTP.
Source: Towards Data Science · Résumé par HeadlinesBriefing