Coupe-circuit d'agent

Un coupe-circuit d'agent (kill switch) est le contrôle qu'un opérateur utilise pour arrêter un agent d'IA rapidement et complètement. Une seule commande doit annuler les exécutions en cours de l'agent, refuser toute nouvelle action qu'il propose, révoquer les identifiants qu'il utilise et enregistrer la réponse de chaque composant du système. Le terme recouvre une séquence de contrôles, qu'un simple interrupteur couvre rarement en entier.

Le EU AI Act pose l'exigence pour les systèmes d'IA à haut risque à l'article 14, paragraphe 4, point e) : les personnes chargées du contrôle humain doivent pouvoir « intervenir dans le fonctionnement du système d'IA à haut risque ou interrompre le système au moyen d'un bouton d'arrêt ou d'une procédure similaire permettant au système de s'arrêter de manière sécurisée ». Pour un agent, un arrêt sécurisé signifie qu'aucun effet de bord n'est laissé à moitié accompli : un paiement est envoyé ou ne l'est pas, et l'enregistrement indique lequel des deux.

Un coupe-circuit doit agir en plusieurs points, car un agent peut se trouver au milieu d'une tâche quand la commande arrive. L'annulation à l'exécution arrête le workflow avant son étape suivante. Le refus avant exécution rejette tout appel d'outil proposé dans le périmètre concerné. La révocation des identifiants désactive l'identité de l'agent et ses jetons, pour qu'aucun autre chemin ne reste ouvert. La preuve enregistre l'heure de la commande, les contrôles qui l'ont prise en compte et le dernier effet de bord achevé avant l'arrêt.

Un coupe-circuit ne peut pas annuler une action déjà achevée dans un système externe. Un e-mail envoyé ou un virement réglé appelle sa propre action corrective. Testez le coupe-circuit lors d'exercices, mesurez le délai entre la commande et la dernière action refusée, et définissez qui peut réactiver l'agent et à quelles conditions. Dans notre propre environnement de développement, une première version de la commande de gel a échoué sans explication, parce que l'incident qui la déclenchait portait l'identifiant d'une exécution sans agent associé. La commande retrouve désormais l'agent à partir de l'exécution et renvoie une erreur explicite lorsqu'elle n'y parvient pas. Faites l'exercice depuis chaque type de déclencheur qu'un opérateur peut utiliser.

Dans KLA Control Plane, l'API d'annulation envoie un signal kill à une exécution du tenant à l'état PENDING, RUNNING ou GATED et l'enregistre comme CANCELLED. Le workflow vérifie ce signal avant de démarrer l'étape suivante, et une exécution en attente d'une Decision Request s'arrête sans reprendre l'action proposée.