La mayoría de las pilas de agentes sobresalen en convertir la salida del modelo en acción, pero fallan en garantizar que las acciones realmente estén permitidas. Un agente de soporte podría elegir correctamente cancelar una suscripción y extraer un ID de cuenta, pero aún así cancelar la cuenta equivocada debido a la falta de verificaciones de autoridad. La capacidad (la habilidad del LLM para seleccionar una herramienta y producir argumentos) es distinta de la autoridad (una política de control separada que permite una acción limitada para un principal identificado).
Los sistemas robustos tratan la capacidad como una propuesta que requiere autoridad antes del efecto. Los desafíos como la inyección de prompts, la ambigüedad de intención, el contexto obsoleto y las credenciales amplias pueden convertir llamadas a herramientas válidas en resultados perjudiciales, como se destaca en los riesgos de sistemas agenticos de OWASP. La solución no es más instrucciones de prompt, sino una capa de control determinista.
Los sistemas agenticos sofisticados se organizan en tres planos: planificación (razonamiento del modelo y selección de herramientas), control (gobernanza: autenticación, resolución de contexto, autorización, evaluación de políticas y aprobación) y ejecución/observación (invocación de acciones, verificación y auditoría). La capa de control autentica a los principales, valida las acciones, evalúa riesgos, puede requerir aprobación exacta, emite autoridad con alcance limitado y persiste la evidencia de decisiones. Esta separación garantiza seguridad y responsabilidad más allá de la validez sintáctica o el éxito HTTP.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing