Aperçu du modèle (extrait)
Faites défiler pour voir toutes les colonnes
Section 4 : indicateurs de performance
4.1 Indicateurs de performance technique
| Indicateur | Définition | Seuil | Niveau d’alerte |
|---|---|---|---|
| [Exactitude] | [% de prédictions correctes] | [>95%] | [Critique si <90%] |
4.2 Indicateurs de dérive
| Indicateur | Méthode de calcul | Seuil | Fréquence de contrôle |
|---|---|---|---|
| [Dérive des caractéristiques] | [PSI ou divergence KL] | [PSI <0.1] | [Quotidien] |
Section 5 : alertes et escalade
5.1 Niveaux de gravité des alertes
| Niveau | Critères | Délai de réponse |
|---|---|---|
| Critique | [Risque immédiat, violation de conformité] | [15 minutes] |
| Élevé | [Dégradation importante] | [4 heures] |
Voir l’exemple détaillé
Niveaux de gravité des alertes :
| Niveau | Critères | Délai de réponse |
|---|---|---|
| Critique | Système indisponible, exactitude <90 %, résultat discriminatoire | 15 minutes |
| Élevé | Exactitude <95 %, seuil de dérive dépassé | 4 heures |
| Moyen | Seuil approché, schéma inhabituel | 24 heures |
| Faible | Variation mineure d’un indicateur, information | Jour ouvré suivant |
Avant de commencer
Pour les équipes de conformité, de gestion des risques, produit et ML ops qui mettent en production des Processes agentiques dans des environnements réglementés.
L’article 72 de l’EU AI Act exige des fournisseurs de systèmes d’IA à haut risque qu’ils établissent et documentent un système de surveillance post-commercialisation. Cette obligation est impérative. Il s’agit d’une exigence de conformité assortie de prescriptions précises sur la surveillance des systèmes d’IA après leur déploiement.
Ce modèle propose une approche structurée en 8 sections couvrant l’identification du système, les objectifs de surveillance, la collecte des données, les indicateurs de performance, les alertes, les procédures de revue, la réponse aux incidents et la documentation.
Quand utiliser cette ressource
- Vous déployez un agent dans un Process réglementé (crédit, sinistres, KYC/AML, RH).
- Vous devez prouver la qualité, la sécurité et la conformité aux politiques continues après la mise en production.
- Vous préparez un dossier Annexe IV ou une revue de préparation à l’audit.
Informations à recueillir
- Identification du système avec classification réglementaire et références à l’Annexe IV.
- Objectifs de surveillance reliés au registre des risques avec des critères de réussite.
- Sources de données, fréquence de collecte, exigences de qualité et considérations de confidentialité.
- Seuils de performance (technique, dérive, équité) avec niveaux de gravité.
- Configuration des alertes avec matrice d’escalade et couverture en dehors des heures ouvrées.
- Procédures de revue (continue, par échantillonnage, périodique) intégrées à la gouvernance.
- Procédures de réponse aux incidents, y compris le signalement réglementaire au titre de l’Article 73.
Liste de contrôle de revue
Utilisez ces contrôles lors de la revue avec le responsable de votre système. Confirmez les exigences applicables et joignez les preuves relatives aux décisions de votre équipe.
- L’identification du système est reliée à la classification réglementaire et à la documentation de l’Annexe IV.
- Les objectifs de surveillance sont reliés aux risques identifiés par des critères de réussite clairs.
- La collecte des données couvre toutes les sources avec des exigences de qualité et des considérations de confidentialité.
- Les indicateurs de performance incluent des seuils techniques, de dérive et d’équité avec des niveaux de gravité.
- Les alertes définissent les niveaux de gravité, la matrice de notification et les procédures d’escalade.
- Les procédures de revue incluent une surveillance continue, un échantillonnage et des revues de gouvernance périodiques.
- La réponse aux incidents couvre la définition, la réponse immédiate, l’enquête et le signalement au titre de l’Article 73.
- La documentation et le stockage des preuves garantissent une conservation avec détection des altérations et une préparation à l’audit.
Contrôles opérationnels et preuves
- Gouverner
Points de contrôle policy-as-code qui bloquent ou exigent une revue pour les actions à haut risque.
Gestion des changements versionnée pour les mises à jour du modèle/prompt/politique/Process.
- Assurer
Revues par échantillonnage selon le niveau de risque (référence + renforcement pendant les incidents ou après les changements).
Suivi des quasi-incidents (étapes bloquées ou presque bloquées) comme signal de contrôle mesurable.
- Prouvez
Calendriers de conservation configurables, vérification de l’intégrité et piste d’audit append-only.
Bundles d’export Evidence Room (manifeste + checksums) permettant aux auditeurs de vérifier de manière indépendante.
Questions sur cette ressource
Qu’est-ce que la « surveillance post-commercialisation » en termes simples ?
C’est ainsi que vous prouvez que le système reste sûr et adapté à sa finalité après sa mise en production : ce que vous mesurez, la manière dont vous examinez les échantillons et votre réponse aux incidents et aux changements.
Que requiert l’article 72 ?
Article 72 exige la collecte active de données sur les performances du système, l’identification des besoins d’actions correctives et la documentation des activités de surveillance. Ce modèle couvre les trois exigences.
Quelle est la différence entre les alertes et la réponse aux incidents ?
Les alertes détectent les problèmes et préviennent les bonnes personnes. La réponse aux incidents définit les actions après détection : évaluation, confinement, investigation, résolution et documentation.
Qu’est-ce qui déclenche le signalement réglementaire de l’article 73 ?
Les incidents graves impliquant des systèmes d’IA à haut risque doivent être signalés immédiatement aux autorités de surveillance du marché dès qu’ils sont connus. Le modèle inclut une section de signalement réglementaire.
Comment garantir l’intégrité des preuves ?
Utilisez un stockage à preuve de falsification (registre en ajout uniquement avec intégrité cryptographique), une capture complète aux points de décision, la journalisation des accès et des audits d’intégrité réguliers.
Que rejettent le plus souvent les auditeurs ?
Des plans génériques. Les auditeurs veulent des responsables nommés, des seuils précis, des procédures d’escalade claires et des preuves exportables et vérifiables indépendamment.
Langue du fichier téléchargé : anglais