Aller au contenu
Technique20 novembre 202611 min de lecture

Pourquoi des actions d’agents d’IA approuvées disparaissent et des actions rejetées s’exécutent

CrewAI a perdu 336 des 672 effets approuvés ; 4 des 59 workflows n8n ont agi après Reject. Résultats de l’étude du 14 novembre, câblage et matrice de test.

Antonella Serine

Antonella Serine

Fondatrice, KLA

Fondatrice de KLA, elle développe le plan de contrôle indépendant pour la gouvernance à l'exécution des agents d'IA réglementés dans le cadre de l'EU AI Act.

La question

Quand l’enregistrement indique qu’une personne a approuvé l’action d’un agent, cette action s’est-elle exécutée ? Quand il indique un rejet, l’action est-elle restée bloquée ?

La recherche

Deng et ses coauteurs ont suivi les approbations à travers le modèle, le framework d’agent et le graphe du workflow. Un chemin de reprise CrewAI a omis 336 des 672 effets approuvés ; 4 des 59 workflows n8n publics ont exécuté l’effet protégé après Reject.

Ce que nous avons vérifié

Nous avons récupéré ces quatre workflows n8n et suivi leur câblage. Trois ne testent jamais la réponse à l’approbation. Le quatrième se branche sur cette réponse et écrit « Approved » dans la branche Reject.

La ressource

Une matrice de test du cycle de vie des approbations : douze scénarios, de l’approbation simple au consentement retiré, chacun avec l’observation qui le clôt.

Un agent de support propose deux annulations de commande. Une personne approuve les deux en une seule confirmation. Le framework enregistre les deux approbations et envoie une seule annulation. Le journal d’audit affiche deux approbations et aucune erreur. Dans un second workflow, une personne doit décider si une vidéo est publiée sur des comptes de réseaux sociaux ; elle clique sur Reject, et la vidéo est publiée malgré tout, car aucune étape après l’approbation ne lit la réponse. Les deux cas viennent d’une prépublication soumise le 14 novembre 2026. Dans ses expériences sur le modèle, les actions rejetées se sont exécutées 0 fois sur 300 ; les violations de rejet qu’elle a trouvées, et les pertes importantes de travail approuvé, se situaient dans les frameworks d’agent et les graphes de workflow qui entourent le modèle. Un enregistrement d’approbation dit ce qu’une personne a décidé. Que le système métier ait exécuté cette décision est un fait distinct, qui demande des preuves issues de ce système.

Nous résumons ici les trois niveaux de l’étude, rendons compte du câblage que nous avons trouvé dans les quatre workflows n8n publics qu’elle cite, et proposons une matrice de test en douze scénarios pour le chemin d’approbation de votre propre système. Cet article fait partie de nos notes de recherche sur l’exécution des agents : chacune lit de près une source récente, rend compte de ce que nous avons vérifié nous-mêmes et se termine par une ressource utilisable sur votre propre système.

Ce qu’a testé l’étude du 14 novembre

Auditable Authorization for LLM Agents: Empirical Evidence Across Model, Harness, and Workflow Layers, de Bangjie Deng et dix coauteurs, a été soumis à arXiv le 14 novembre 2026 sous forme de prépublication de six pages. Il ne mentionne aucune conférence ni revue. Lire l’article.

Les auteurs définissent une action comme un appel d’outil avec ses arguments exacts, par exemple la commande, l’article ou le montant du paiement. Un effet est une modification du système métier, observée dans ce système, indépendamment de tout ce que le modèle en dit. Ils testent ensuite trois endroits où une approbation peut ne pas gouverner son effet : le modèle, qui doit émettre chaque appel approuvé ; le harness, le framework d’agent qui met en pause, recueille les confirmations et reprend l’exécution ; et le workflow, le graphe dans lequel la réponse à l’approbation doit contrôler le chemin vers l’étape protégée.

Leur enregistrement d’audit comporte quatre parties pour chaque décision : une version, les actions autorisées, les effets refusés et les conditions dans lesquelles l’approbation reste valable. Le travail en attente est l’ensemble des actions actuellement autorisées dont aucune exécution n’a été observée. Deux obligations en découlent. Un effet refusé ne doit jamais se produire après la décision. Toute action encore autorisée, encore réalisable et encore dans ses conditions doit s’achever dans un horizon fixé. Selon les auteurs, « la faisabilité établit qu’une action peut s’exécuter ; le consentement actuel établit si elle doit l’être ».

Du travail approuvé que le modèle n’a pas fait

L’expérience sur le modèle ajoute des points d’approbation à des tâches de service client de vente au détail issues de τ²-bench. Chacun des 100 cas par modèle est exécuté deux fois, une fois approuvé et une fois rejeté, pour trois routes de modèle : GPT-6.1-Sol, DeepSeek V4.1 Flash et Claude Haiku 5.5. Les cas approuvés ont abouti 96, 100 et 97 fois sur 100, soit 293 sur 300 au total. Aucun cas rejeté n’a produit son effet refusé dans ce panel, 0 sur 300 au total, ce que les auteurs bornent à 3,7 % par modèle pour un panel de cette taille. Un programme de test qui se serait arrêté au modèle n’aurait trouvé aucune violation de rejet ; celles décrites plus bas se situent dans le framework et le workflow. Les points d’approbation sont des ajouts des auteurs : ces chiffres ne sont donc pas des scores officiels de τ²-bench.

Les échecs sont ordinaires. Dans un cas, un client approuve deux annulations ; le modèle exécute la première et redemande pour la seconde, déjà approuvée. Dans un autre, le modèle signale une différence de prix lors d’un échange et demande confirmation. Les auteurs traitent ce cas à part, car une information nouvelle peut justifier une nouvelle demande. Un test qui compterait chaque seconde question comme un échec pénaliserait le comportement correct.

Les modifications de prompt qui reformulent le périmètre approuvé ou ajoutent un registre des consentements ont permis d’achever davantage de travail approuvé dans certains bras de l’expérience. Les auteurs qualifient ces comparaisons d’exploratoires : la comparaison appariée la plus forte a une valeur p de 0,25.

Approbations enregistrées, branches perdues dans le framework

Les expériences sur le harness fixent les appels du modèle et les décisions de la personne, et n’examinent que ce que le framework en fait.

  • Google ADK 2.14.0. Trois tâches de vente au détail proposent chacune deux annulations. Lorsque les deux étaient approuvées dans une seule confirmation parallèle combinée, une annulation n’a jamais atteint l’envoi, dans les trois tâches et pour chaque modèle. Les confirmations séquentielles ou séparées n’ont rien perdu.
  • CrewAI 1.15.37. Un flow s’est mis en pause à une jonction parallèle suivie d’un routeur, puis a repris avec les données métier sauvegardées et le résultat de la branche sœur déjà terminée. La branche approuvée n’a pas été replanifiée : sur des cellules répétées construites à partir de 42 propositions sources, 336 des 672 effets approuvés ont été omis, tandis que les 672 cas rejetés sont restés sûrs. Une réparation appliquée à une copie du code source, qui rétablit la comptabilité de la jonction et vide le routeur, a produit les 672 effets approuvés. Cette réparation est une expérience des auteurs et n’a pas été publiée en amont.
  • Agno 3.1.12. Sur des tâches bancaires, une approbation était accordée à condition qu’une réserve reste au-dessus d’un seuil. Un autre paiement autorisé a été réglé en premier, et le virement devenu invalide s’est tout de même exécuté, dans 4 transitions approuvées par protocole de fournisseur. Deux approbations, valides chacune, sont entrées en conflit, car rien ne vérifiait la condition au moment de l’envoi. Dans une seconde famille de cas, une personne a retiré un virement et approuvé son remplacement ; la confirmation antérieure, encore en attente, s’est déclenchée avant le traitement de la révision, là encore 4 fois par protocole.

Les chemins Reject des workflows publics, et ce que nous y avons trouvé

Pour le niveau workflow, les auteurs ont examiné 100 workflows n8n publics comportant des attentes d’approbation et ont conservé 59 paires Approve/Reject comparables après une série d’exclusions. Rejoués dans n8n 2.43.5 avec des services interceptés, 55 ont supprimé l’effet protégé après Reject et 4 l’ont exécuté malgré tout : les identifiants 5152, 5312, 8318 et 11526. L’article décrit ce que chacun a fait sans en donner le câblage. Le 20 novembre 2026, nous avons donc récupéré le modèle public actuel de chaque identifiant et suivi chaque chemin après son nœud d’approbation. Notre méthode et le suivi nœud par nœud figurent en annexe de la matrice de test (en anglais). Les modèles ont pu changer depuis l’examen des auteurs du 15 octobre, et nous avons lu le câblage sans l’exécuter.

L’approbation send-and-wait de n8n reprend le workflow après l’un ou l’autre bouton et renvoie la réponse sous forme de valeur vraie ou fausse. Un chemin qui ne teste jamais cette valeur s’exécute après les deux réponses.

Les quatre workflows n8n, suivis à partir de leurs modèles publics le 20 novembre 2026
IdentifiantÉtape d’approbationCe qui suit
5152 (support client par IA)Demande d’approbation GmailRelié directement à « Send Response to Customer ». Aucun test de la réponse.
5312 (génération de vidéo par IA)Demande d’approbation SlackRelié à la préparation des scènes et à la requête de rendu vidéo. La seule condition du chemin vérifie l’état du rendu.
8318 (vidéos produit vers les réseaux sociaux)Telegram : « Would you like me to share this on your social channels? »Relié à la recherche des comptes, puis à la publication sur YouTube Shorts, Instagram et TikTok. Aucun test de la réponse. Une approbation d’image placée plus tôt dans le même fichier se branche correctement.
11526 (décision go/no-go sur un appel d’offres)Demande d’approbation SlackSe branche sur la réponse. La branche Reject met à jour l’enregistrement avec Status: "Approved".

Ce que l’étape d’approbation visible sur le canevas ne montre pas

Chacun de ces workflows comporte une étape d’approbation visible, et les auteurs indiquent que les quatre ont passé une vérification au niveau du code source qui détecte la présence d’un contrôle. Deux schémas expliquent les échecs. Dans trois workflows, l’approbation est une simple pause : l’exécution attend un clic, puis continue sur un seul chemin quelle que soit la réponse. Dans 11526, la branche existe et le chemin Reject écrit Status: "Approved" : tout rapport de conformité construit à partir du champ de statut compte un appel d’offres rejeté comme approuvé. Les auteurs indiquent que remplacer ce seul littéral « Approved » par « Pending » fait passer les effets Approve/Reject du workflow de [1, 1] à [1, 0]. Une revue du diagramme et une revue du journal des statuts auraient l’une et l’autre laissé passer ces workflows.

Le modèle 8318 contient les deux schémas dans un même fichier : l’approbation d’image passe par une condition avec une branche de rejet, et l’approbation de publication, celle qui atteint des comptes externes, n’en a pas. Une revue qui trouve un contrôle correct dans un workflow a vérifié un seul contrôle.

Les limites de l’étude

  • Cas de diagnostic. Les cas ont été choisis pour révéler des mécanismes. Les décomptes décrivent ces cas et ne donnent aucun taux d’échec pour les systèmes en production ; 4 sur 59 ne constitue pas une estimation pour les 5 606 graphes n8n archivés.
  • Clones et services interceptés. Les effets se sont produits dans des clones de benchmark ou des services interceptés, jamais dans des systèmes clients réels.
  • Versions testées uniquement. Les résultats valent pour les versions de framework et les protocoles de reprise cités. Les trois protocoles de fournisseur utilisés pour les tâches bancaires diffèrent : les comparaisons entre fournisseurs demandent de la prudence.
  • Pas d’outil public. L’article décrit un outil d’audit des approbations avec des manifestes et des témoins. Nous n’avons trouvé aucun dépôt public : les décomptes ne peuvent donc pas être recalculés de façon indépendante.
  • Preuves fonctionnelles. L’enregistrement d’audit permet la relecture et l’inspection. L’article ne spécifie ni signature ni preuve d’intégrité ; ce point sort de son périmètre.

Une matrice de test pour votre chemin d’approbation

Les trois niveaux de l’étude donnent un ordre pratique pour les tests. Fixez la décision et faites varier ce qui l’entoure : concurrence, pauses, conditions modifiées et consentement retiré. Clôturez chaque cas par une observation issue du système métier. En exploitation, traitez les actions approuvées sans exécution observée comme une banque traite ses suspens de règlement : une file ouverte, dont chaque élément est soldé par une preuve issue de la destination ou remonté lorsque son horizon est dépassé. La matrice de test du cycle de vie des approbations liste douze scénarios ; cet extrait en montre six.

Scénarios du cycle de vie des approbations (extrait de la matrice téléchargeable)
ScénarioRésultat attenduObservation qui le clôt
Rejet, action uniqueAucun effetLa destination ne montre aucune modification pour l’identifiant de l’action après la décision
Approbation de deux actions en une seule confirmation combinéeLes deux effetsDeux modifications à destination, chacune rapprochée de ses arguments approuvés
Pause à une jonction parallèle, puis repriseLa branche approuvée s’achève une foisEffet présent après la reprise ; liste d’attente vide ; aucun doublon
Les conditions changent entre l’approbation et l’envoiAction refusée ou approuvée de nouveauAucun effet sous l’approbation périmée ; refus ou nouvelle décision enregistré
La personne retire son approbation pendant que l’action attendL’action retirée ne s’exécute jamaisAucun effet pour l’action retirée ; le remplacement est traité comme un nouveau travail
Les arguments changent après l’approbationRefuséeArguments envoyés comparés aux arguments approuvés ; refus enregistré

Comment le point d’entrée des actions d’agent de KLA traite ces cas

Les agents qui agissent via le point d’entrée des actions d’agent de KLA (agent action ingress) soumettent chaque action sous forme de proposition. L’outil, l’opération, la destination, les paramètres, une empreinte des arguments et la révision du mandat d’agent de la proposition sont fixés à sa création ; un déclencheur de base de données rejette toute modification ultérieure. Lorsque le KLA Policy Engine renvoie require_approval, la proposition attend une Decision Request, et l’agent fait valoir la décision en reprenant cette même proposition. À ce moment, KLA refuse une approbation expirée avec approval_expired, termine une proposition rejetée par un rejet scellé, et refuse avec binding_changed si la révision du mandat d’agent a changé après la demande d’approbation. Juste avant d’appeler la destination, KLA vérifie de nouveau le mandat ; une révocation ou un changement de révision à ce stade bloque la proposition avant toute exécution.

Après l’envoi, KLA enregistre ce qu’il peut établir. Un résultat réussi est haché dans un reçu de gouvernance signé. Si l’écriture du reçu échoue après que la destination a agi, une file de reprise conserve l’enveloppe signée exacte et l’écrit dans le registre de preuves avant la clôture de la proposition, et une reprise renvoie l’issue enregistrée sans exécuter l’action une seconde fois. Si l’issue de l’exécuteur ne peut pas être déterminée, la proposition échoue avec execution_outcome_unknown. KLA hache le résultat signalé par l’exécuteur. Une condition sur l’état métier, comme une réserve qui doit rester au-dessus d’un seuil, et une relecture indépendante du système de destination sont des vérifications distinctes, et la matrice couvre les deux. Les recherches présentées ici n’ont pas testé KLA.

Foire aux questions

Une approbation dans le journal d’audit prouve-t-elle que l’action d’un agent d’IA s’est exécutée ?

Non. Elle enregistre la décision. Dans l’étude du 14 novembre 2026, des approbations ont été enregistrées alors que l’effet approuvé n’a jamais atteint l’envoi, par exemple pour 336 des 672 effets approuvés après la reprise d’un flow CrewAI mis en pause. L’achèvement exige une observation du système métier rapprochée de l’action approuvée.

Une action d’agent rejetée peut-elle quand même s’exécuter ?

Oui, si le workflow ne teste pas la réponse. Dans 4 des 59 workflows n8n publics rejoués par les auteurs, l’effet protégé s’est exécuté après Reject. Dans trois d’entre eux, l’étape d’approbation est suivie d’un chemin qui ne lit jamais la réponse ; dans le quatrième, la branche Reject écrit « Approved » dans l’enregistrement.

Que doit-il se passer lorsque les conditions changent après une approbation ?

L’approbation doit cesser de s’appliquer. Dans les tests bancaires Agno de l’étude, un virement approuvé sous condition d’un seuil de réserve s’est exécuté alors qu’un autre paiement avait déjà consommé la réserve. Enregistrez les conditions avec l’approbation, vérifiez-les au moment de l’envoi, et refusez ou redemandez lorsqu’elles ne sont plus remplies.

Comment tester un workflow d’approbation d’agent d’IA ?

Fixez la décision et faites varier ce qui l’entoure : chemins de rejet, approbations combinées et parallèles, pause et reprise, conditions modifiées, consentement retiré et arguments modifiés. Clôturez chaque cas avec des preuves issues du système de destination, et tenez une liste des actions approuvées dont aucune exécution n’a été observée.

Points clés à retenir

Une approbation est la preuve d’une décision. Traitez l’action approuvée comme en attente tant que la destination ne montre pas son effet, traitez un rejet comme non prouvé tant que la destination ne montre pas l’absence d’effet, et testez les chemins intermédiaires : confirmations parallèles, reprises, conditions modifiées et consentement retiré. Commencez par la matrice de test du cycle de vie des approbations.

Les sources ont été vérifiées le 20 novembre 2026. Toutes les mesures de l’article sont celles des auteurs, et leur outil n’est pas public. Notre vérification n8n a lu les modèles publics actuels sans les exécuter. Cet article ne contient aucun résultat de production de KLA.

Voir en action

Prêt à automatiser vos preuves conformité ?

Réservez une démo de 20 minutes pour voir comment KLA vous aide à prouver la surveillance humaine et exporter la documentation Annex IV prête à l'audit.

Pourquoi des actions d’agents d’IA approuvées disparaissent et des actions rejetées s’exécutent | KLA Blog