Explicabilité

L'explicabilité désigne le degré auquel des humains peuvent comprendre et articuler le raisonnement derrière les sorties, prédictions ou décisions d'un système d'IA. Elle couvre à la fois l'interprétabilité technique (comprendre les mécanismes internes du modèle) et la transparence pratique (communiquer des décisions aux personnes concernées dans des termes accessibles).

Le EU AI Act fait de l'explicabilité un pilier de l'IA digne de confiance via les exigences de transparence de l'article 13. Les systèmes d'IA à haut risque doivent être conçus pour permettre aux utilisateurs d'interpréter les sorties et de comprendre le comportement du système de manière appropriée. Ce n'est pas seulement une case technique, mais un prérequis à la supervision humaine : on ne peut pas superviser de manière meaningful des décisions que l'on ne comprend pas. Pour des systèmes qui prennent des décisions lourdes de conséquences (crédit, recrutement), l'explicabilité devient à la fois une exigence réglementaire et un impératif éthique. Le règlement reconnaît qu'une « transparence suffisante » n'exige pas de rendre interprétable chaque poids algorithmique ; il impose plutôt des explications proportionnées au niveau de risque et compréhensibles par l'audience visée, qu'il s'agisse d'un responsable conformité ou d'une personne affectée.

Les organisations qui déploient des systèmes à haut risque doivent implémenter l'explicabilité à plusieurs niveaux. Au niveau du modèle, cela peut impliquer des techniques comme les valeurs SHAP, LIME ou la visualisation de l'attention pour comprendre l'importance des variables et les chemins décisionnels. Au niveau des décisions, les systèmes devraient générer des explications lisibles par des humains pour chaque sortie, afin d'être revues dans des workflows de supervision humaine ou fournies aux personnes concernées sur demande.

Le défi consiste à équilibrer explicabilité, performance du modèle et efficacité opérationnelle. Les organisations devraient documenter leur approche de l'explicabilité dans la documentation technique de l'annexe IV, en précisant quelles méthodes sont utilisées, quelles informations sont capturées par décision et comment les explications sont rendues accessibles aux parties prenantes pertinentes.