Un agent IA qui se contente de discuter présente peu de risques, car une mauvaise réponse peut simplement être redemandée. Dès que cet agent peut appeler des outils, en revanche, une erreur peut signifier un e-mail envoyé ou un paiement déplacé, et la solution habituelle, placer un second modèle devant pour vérifier le premier, ressemble à embaucher un stagiaire pour superviser un autre stagiaire.
Un cas simple illustre le problème. Un client est débité deux fois pour un achat de 12 dollars et demande un remboursement à un agent IA. L'agent choisit le bon outil et le bon client, mais prépare un montant de 120 000 cents au lieu de 1 200 cents par débit. L'identifiant client est valide, la valeur est un entier et le schéma l'accepte, donc rien ne semble cassé. Le montant est faussé d'un facteur cent, le type d'erreur qui apparaît lorsque des dollars sont convertis en cents deux fois. Un plafond simple de 500 dollars aurait bloqué la version à 1 200 dollars, mais pas une erreur de 120 dollars qui reste dix fois supérieure à ce que le client avait approuvé.
Cet écart a conduit l'auteur vers le modèle Jev de Type Safe AI, lancé le 15 septembre comme le premier de ce que l'entreprise appelle les System One Models. Il est en accès anticipé. Plutôt que de générer du texte, Jev reçoit l'état de l'application et une question bornée, puis renvoie une réponse probabiliste typée, une tâche différente de celle d'un modèle de chat classique. Les garde-fous pour les entrées et les sorties font partie de ses usages prévus.
L'auteur remarque que la validation de schéma gère les erreurs structurelles mais non sémantiques, comme envoyer un e-mail au mauvais destinataire alors que les deux adresses sont valides. Un modèle comme Jev pourrait trouver sa place comme couche de décision dans un système d'agents, même si l'article s'intéresse surtout à l'endroit où le placer et aux décisions auxquelles il ne faut pas lui faire confiance, plutôt qu'aux résultats de benchmarks.
Source: Towards Data Science · Résumé par HeadlinesBriefing