Explicabilité

L'explicabilité est la mesure dans laquelle des personnes peuvent comprendre comment un système d'IA a produit une sortie ou une décision, et l'expliquer à d'autres. Elle a deux faces : l'interprétabilité technique, qui porte sur le fonctionnement interne du modèle, et l'explication au niveau de la décision, qui dit à un réviseur ou à une personne concernée pourquoi un cas donné a abouti à ce résultat.

Trois dispositions de l'EU AI Act en dépendent. L'article 13 exige que le fonctionnement des systèmes d'IA à haut risque soit « suffisamment transparent pour permettre aux déployeurs d'interpréter les sorties d'un système et de les utiliser de manière appropriée », avec une notice d'utilisation qui décrit les capacités et les limites du système. L'article 14, paragraphe 4, point c), exige que les personnes chargées du contrôle humain puissent interpréter correctement les sorties du système. L'article 86 donne à toute personne concernée par une décision prise par un déployeur sur la base des sorties d'un système d'IA à haut risque mentionné à l'annexe III, et qui produit des effets juridiques ou l'affecte significativement de façon similaire, le droit d'obtenir « des explications claires et pertinentes sur le rôle du système d'IA dans la procédure décisionnelle et sur les principaux éléments de la décision prise ».

L'explication doit être adaptée à son public. Un validateur de modèles peut recourir à des méthodes d'attribution comme SHAP ou LIME. Un réviseur qui approuve l'action d'un agent a besoin des faits sur lesquels repose la décision, de la règle ou du seuil appliqué et de ce que l'agent proposait de faire. Un client concerné a besoin des principales raisons, exprimées simplement.

Pour les agents fondés sur de grands modèles de langage, le récit que le modèle donne de son propre raisonnement peut être faux. Les explications au niveau de la décision sont plus fiables lorsqu'elles proviennent des enregistrements : les données lues par l'agent, la version de la politique et la règle qui a produit le résultat, et la décision humaine lorsqu'elle était requise. Décrivez l'approche retenue dans la documentation technique prévue à l'annexe IV : méthodes utilisées, informations conservées pour chaque décision et personnes qui y ont accès.

Dans KLA, chaque résultat de politique est enregistré avec la règle qui l'a produit, et le Lineage Explorer montre les appels d'outils et les données d'entrée d'une exécution. Lors de nos propres cycles de recette avec des agents de test, les résultats étaient plus faciles à examiner lorsque chacun portait la raison énoncée par la règle, ainsi que la version exacte et l'empreinte de la politique.