Vista previa de la plantilla (extracto)
Desplácese para ver todas las columnas
Sección 4: Métricas de rendimiento
4.1 Métricas técnicas de rendimiento
| Métrica | Definición | Umbral | Nivel de alerta |
|---|---|---|---|
| [Precisión] | [% de predicciones correctas] | [>95%] | [Crítico si <90%] |
4.2 Métricas de deriva
| Métrica | Método de cálculo | Umbral | Frecuencia de verificación |
|---|---|---|---|
| [Deriva de características] | [PSI o divergencia KL] | [PSI <0.1] | [Diario] |
Sección 5: Alertas y escalado
5.1 Niveles de gravedad de las alertas
| Nivel | Criterios | Tiempo de respuesta |
|---|---|---|
| Crítico | [Riesgo inmediato, incumplimiento normativo] | [15 minutos] |
| Alto | [Degradación significativa] | [4 horas] |
Ver el ejemplo trabajado
Niveles de gravedad de las alertas:
| Nivel | Criterios | Tiempo de respuesta |
|---|---|---|
| Crítico | Sistema caído, precisión <90%, resultado discriminatorio | 15 minutos |
| Alto | Precisión <95%, umbral de deriva superado | 4 horas |
| Medio | Acercándose al umbral, patrón inusual | Horas 24 |
| Bajo | Movimiento métrico menor, informativo | Siguiente día hábil |
Antes de comenzar
Para equipos de operaciones de cumplimiento, riesgo, productos y ML que ponen en funcionamiento procesos de agentes en entornos regulados.
El EU AI Act Artículo 72 requiere que los proveedores de sistemas AI de alto riesgo establezcan y documenten un sistema de seguimiento posterior a la comercialización. Esto no es opcional. Es un requisito de cumplimiento con mandatos específicos sobre cómo monitorear los sistemas AI después de la implementación.
Esta plantilla proporciona un enfoque estructurado de secciones 8 que cubre la identificación del sistema, objetivos de monitoreo, recopilación de datos, métricas de desempeño, alertas, procedimientos de revisión, respuesta a incidentes y documentación.
Cuándo utilizar este recurso
- Está implementando un agente en un proceso regulado (crédito, reclamaciones, KYC/AML, recursos humanos).
- Debe demostrar la calidad, la seguridad y el cumplimiento continuo de las políticas después de la puesta en funcionamiento.
- Está preparando un expediente Anexo IV o una revisión de preparación para la auditoría.
Información para recopilar
- Identificación del sistema con clasificación regulatoria y referencias Anexo IV.
- Objetivos de seguimiento conectados al registro de riesgos con criterios de éxito.
- Fuentes de datos, frecuencia de recopilación, requisitos de calidad y consideraciones de privacidad.
- Umbrales de desempeño (técnico, deriva, equidad) con niveles de severidad.
- Configuración de alertas con matriz de escalamiento y cobertura fuera de horario.
- Procedimientos de revisión (continua, muestral, periódica) con integración de gobernanza.
- Procedimientos de respuesta a incidentes, incluidos los informes regulatorios Artículo 73.
Revisar la lista de verificación
Utilice estas comprobaciones en la revisión con el propietario de su sistema. Confirme los requisitos aplicables y adjunte evidencia de las decisiones que toma su equipo.
- Enlaces de identificación del sistema a clasificación regulatoria y documentación Anexo IV.
- Los objetivos de seguimiento se conectan con los riesgos identificados con criterios de éxito claros.
- La recopilación de datos cubre todas las fuentes con requisitos de calidad y consideraciones de privacidad.
- Las métricas de rendimiento incluyen umbrales técnicos, de deriva y de equidad con niveles de gravedad.
- Las alertas definen los niveles de gravedad, la matriz de notificaciones y los procedimientos de escalamiento.
- Los procedimientos de revisión incluyen monitoreo continuo, muestreo y revisiones periódicas de la gobernanza.
- La respuesta a incidentes cubre la definición, la respuesta inmediata, la investigación y los informes Artículo 73.
- El almacenamiento de documentación y evidencia garantiza una retención a prueba de manipulaciones con preparación para auditorías.
Controles operativos y evidencia.
- Gobernar
Puntos de control de políticas como código que bloquean o requieren revisión para acciones de alto riesgo.
Control de cambios versionado para actualizaciones de modelo/solicitud/política/proceso.
- Asegurar
Revisiones de muestreo por niveles de riesgo (línea de base + explosión durante incidentes o después de cambios).
Seguimiento de cuasi accidentes (pasos bloqueados/casi bloqueados) como señal de control medible.
- Probar
Programas de retención configurables, verificación de integridad y un Audit Trail de solo anexado.
Paquetes de exportación Evidence Room (manifiesto + sumas de verificación) para que los auditores puedan verificar de forma independiente.
Preguntas sobre este recurso
¿Qué es el "seguimiento poscomercialización" en lenguaje sencillo?
Así es como usted demuestra que el sistema permanece seguro y apto para su propósito después de su puesta en funcionamiento: qué mide, cómo revisa las muestras y cómo responde a los incidentes y cambios.
¿Qué requiere Artículo 72?
Artículo 72 requiere la recopilación activa de datos sobre el rendimiento del sistema, la identificación de necesidades de acciones correctivas y la documentación de las actividades de monitoreo. Esta plantilla cubre los tres requisitos.
¿Cuál es la diferencia entre alerta y respuesta a incidentes?
Las alertas detectan problemas y notifican a las personas adecuadas. La respuesta a incidentes define lo que sucede después de la detección: evaluación, contención, investigación, resolución y documentación.
¿Qué desencadena los informes regulatorios de Artículo 73?
Los incidentes graves que involucren sistemas AI de alto riesgo deben informarse a las autoridades de vigilancia del mercado inmediatamente después de tener conocimiento. La plantilla incluye una sección de informes regulatorios.
¿Cómo garantizamos la integridad de la evidencia?
Utilice almacenamiento a prueba de manipulaciones (libro mayor de solo anexo con integridad criptográfica), captura completa en puntos de decisión, registros de acceso y auditorías de integridad periódicas.
¿Qué es lo que los auditores rechazan con mayor frecuencia?
Planes que son genéricos. Los auditores quieren propietarios designados, umbrales específicos, procedimientos de escalamiento claros y evidencia que pueda exportarse y verificarse de forma independiente.
Idioma de descarga del archivo: inglés