La parte responsable de un agente de IA es la persona que tiene autoridad para aprobar su propósito comercial, establecer sus límites operativos, aceptar sus resultados y detener su uso. En la mayoría de las empresas, ese es el propietario del proceso comercial responsable. Los roles técnicos, de modelos, de datos, de seguridad, de herramientas, de políticas, de aprobación, de operaciones, de cumplimiento, de auditoría y de proveedores tienen responsabilidades definidas en torno a ese propietario. La responsabilidad sigue los límites de autoridad y control a través de cada acción, lanzamiento, incidente, cambio y dependencia externa.
¿Quién es responsable de un agente de IA en producción?
Asigne un propietario del proceso empresarial responsable del uso de la producción y sus resultados. El patrocinador ejecutivo posee el apetito por el riesgo empresarial, la financiación y la autoridad de escalamiento. El agente del producto o propietario técnico posee la integridad técnica y las emisiones controladas. Todos los demás roles poseen una decisión, control, artefacto o conclusión independiente específicos. Un contrato de proveedor cambia la distribución del trabajo, mientras que el propietario de la empresa sigue siendo responsable del Proceso operado bajo la autoridad de la empresa.
Trace la responsabilidad a través de cuatro límites: quién autoriza el propósito, quién puede cambiar el sistema, quién puede permitir o detener una acción y quién acepta el impacto comercial resultante. Registre cada límite con una persona designada, autoridad delegada, criterios de decisión, fuente de evidencia, ruta de escalada y fechas de vigencia. Los comités compartidos pueden asesorar y aprobar dentro de un estatuto; Cada decisión todavía necesita un rol responsable designado.
Utilice el [marco de auditoría de agentes de IA empresarial] (/blog/how-to-audit-ai-agent-system) para probar esta matriz como parte de un sistema de producción más amplio. La [Evaluación de preparación para la auditoría del agente] (/tools/agent-audit-readiness) verifica si la propiedad, la autoridad, los controles y la evidencia están listos para una revisión independiente.
- Propósito y resultados: el propietario del proceso empresarial aprueba el uso previsto, las personas afectadas, las medidas de resultados, la aceptación de riesgos y la jubilación.
- Crear y cambiar: los propietarios técnicos, de modelos, datos, identidades, herramientas y políticas aprueban los componentes y los límites dentro de sus mandatos.
- Autoridad de acción: los propietarios de políticas definen reglas de enrutamiento, los aprobadores humanos designados deciden los casos importantes y las operaciones pueden contener la ejecución.
- Aseguramiento: las funciones de segunda línea desafían dentro de sus mandatos, mientras que auditoría interna elige su alcance y proporciona una conclusión independiente.
Matriz de responsabilidad del agente de IA predeterminada a lo largo del ciclo de vida
Utilice esta matriz predeterminada cuando una empresa opere un agente dentro de un proceso de negocio. Responsable significa autoridad de decisión final para la actividad enumerada. Responsable significa controlar la operación y entrega. Los roles consultados proporcionan experiencia o desafío formal. Los roles informados reciben la decisión y sus condiciones. Cada fila tiene un rol responsable para su alcance de decisión definido.
La matriz es un control inicial. Las variaciones del modelo operativo que aparecen a continuación reemplazan asignaciones específicas en las que la arquitectura, el abastecimiento, la propiedad de las herramientas o la aprobación humana obligatoria cambian los límites de la autoridad.
| Etapa del ciclo de vida | Responsable | Responsable | Consultado / cuestionado por | Informado | Pruebas de responsabilidad |
|---|---|---|---|---|---|
| Diseño | Propietario responsable del proceso empresarial | Agente product/technical propietario; propietario del modelo o garantía de IA; propietarios de datos, IAM/seguridad, catálogo de herramientas y políticas/control | Cumplimiento/legal/privacidad; propietario externo de/vendor; operaciones | Patrocinador ejecutivo; auditoría interna a través del universo de auditoría | Aprobación de propósito y límites, arquitectura, evaluaciones de impacto y riesgo, estatuto de funciones, especificación de control |
| Aprobación | Propietario responsable del proceso empresarial | El propietario del agente product/technical y el propietario de la política/control ensamblan el paquete de decisiones | Garantía de modelo o IA; datos; IAM/seguridad; cumplimiento/legal/privacidad; operaciones | Patrocinador ejecutivo; propietarios de controles afectados; auditoría interna a través de informes de riesgos | Decisión de uso de producción, condiciones aceptadas, excepciones, identidad del aprobador, justificación fechada |
| Liberar | Agente product/technical propietario | Propietarios de ingeniería, modelos, datos, IAM/seguridad, herramientas y políticas/control | Propietario del proceso de negocio; modelo o garantía de IA; operaciones; cumplimiento/legal/privacy | Patrocinador ejecutivo; aprobadores humanos nombrados; tercero/vendor propietario | Manifiesto de lanzamiento, resultados de pruebas, política Simulación, revisión de permisos, resultado de reversión, aprobación |
| Tiempo de ejecución | Propietario responsable del proceso empresarial | Operaciones; propietario de la política/control; aprobador humano nombrado; propietarios técnicos, de datos, de identidad y de herramientas | Garantía de modelo o IA; cumplimiento/legal/privacidad; tercero/vendor propietario | Patrocinador ejecutivo; auditoría interna a través de informes acordados | Solicitudes de decisiones, veredictos de políticas, recibos de herramientas, registros de linaje, conciliaciones de resultados, revisiones de control |
| Incidente | Comandante de operaciones e incidentes. | Respondedores técnicos, de IAM/seguridad, datos, herramientas, políticas/control, proveedores y comunicaciones | Propietario del proceso de negocio; cumplimiento/legal/privacidad; modelo o garantía de IA | Patrocinador ejecutivo; aprobadores humanos nombrados; auditoría interna según protocolo | Registro de comando de incidentes, población de casos afectados, contención, notificaciones, recuperación, causa raíz, nueva prueba |
| Cambiar | Propietario responsable del proceso empresarial | Agente propietario de product/technical y todos los propietarios cuyos límites cambian | Garantía de modelo o IA; operaciones; cumplimiento/legal/privacidad; tercero/vendor propietario | Patrocinador ejecutivo; aprobadores humanos nombrados; auditoría interna a través de informes de riesgos | Cambiar clasificación, diferencia de dependencia, reevaluación, resultados de regresión, condiciones, aprobación de versión |
| Jubilación | Propietario responsable del proceso empresarial | Agente product/technical propietario; operaciones; propietarios de datos, identidad, herramientas, políticas y proveedores | Cumplimiento/legal/privacidad; propietario de registros; modelo o garantía de IA | Patrocinador ejecutivo; usuarios; auditoría interna a través del universo de auditoría | Decisión de jubilación, revocación de acceso, cierre de dependencia, disposición de datos, evidencia retenida, conciliación de resultados |
Cartas de roles para todos los roles de gobierno de agentes de IA de 13
El nombre de un rol se vuelve útil cuando conlleva cinco deberes completos: decisiones que se poseen, controles operados, evidencia producida, eventos de escalada y un límite que el rol conserva. Coloque una persona nombrada, un delegado, una fecha de vigencia y un respaldo en cada fila. Las vacantes y asignaciones superpuestas son excepciones de control hasta que el propietario del proceso empresarial responsable las resuelva.
Una persona puede desempeñar varios roles en una organización más pequeña. Las pruebas aún deben mostrar qué papel ejerció la persona en cada decisión y dónde se aplican las salvaguardias de independencia.
| Role | Decisiones que poseen | Controles que operan | Pruebas que deben presentar | Eventos que requieren escalada | Límite que no pueden delegar |
|---|---|---|---|---|---|
| Patrocinador ejecutivo | Apetito de riesgo empresarial, financiación, prioridad estratégica, límite máximo de excepción ejecutiva y parada del programa | Foro de gobierno ejecutivo, límites de aceptación de riesgos, asignación de recursos e informes de la junta directiva | Mandato aprobado, apetito de riesgo, decisiones de financiación, decisiones de excepción y actualizaciones de los órganos rectores | Incumplimiento del apetito por el riesgo, daño material, falla del control sistémico, propiedad no resuelta o recursos inadecuados | Responsabilidad ejecutiva por el mandato, los recursos y la escalada dentro del estatuto del patrocinador. |
| Propietario responsable del proceso empresarial | Uso previsto, aprobación de producción, criterios de resultados, condiciones operativas, aceptación de riesgos, prioridad de remediación y retiro | Controles de procesos, revisión de resultados, restricciones de uso, control de excepciones y recertificación del propietario | Declaración de propósito, mapa de procesos, aprobación, matriz de responsabilidades, revisión de resultados, aceptación de riesgos y evidencia de cierre. | Impacto inesperado en la persona afectada, incumplimiento del umbral, omisión de control, desviación del propósito, incidente o vacancia del propietario | Responsabilidad por el Proceso, sus decisiones, impacto en el cliente o empleado y uso de proveedores. |
| Agente propietario del producto/technical | Arquitectura, componentes aprobados, aceptación técnica, contenido de la versión, condiciones de implementación, recomendación de reversión y corrección técnica | Control de versiones, puertas de compilación y lanzamiento, controles de integración, gestión de configuración, observabilidad y contención técnica. | Arquitectura y flujos de datos, manifiesto de lanzamiento, resultados de pruebas, inventario de dependencias, runbook y registro de reversión. | Componente no aprobado, umbral fallido, comportamiento inestable, dependencia oculta, falta de evidencia o implementación insegura | Integridad técnica, precisión del inventario, reproducibilidad y divulgación veraz de las limitaciones. |
| Propietario del modelo o garantía de IA | Método de evaluación, conjuntos de datos, umbrales, conclusión de validación, limitaciones, alcance de nueva prueba y excepción de garantía | Evaluación independiente, formación de equipos rojos, pruebas de regresión y subgrupos, revisión de deriva y seguimiento de hallazgos | Plan de evaluación, conjunto de datos y registro de versión, resultados, limitaciones, conclusión de validación y evidencia de nueva prueba | Fallo de umbral, deriva de material, diseño de prueba no válido, nuevo modo de fallo, cobertura débil o limitación no resuelta | Integridad, alcance, métodos, limitaciones e independencia de la conclusión de aseguramiento. |
| Propietario de los datos | Fuentes aprobadas, propósito permitido, umbrales de calidad, acceso al campo, linaje, retención, corrección y disposición | Calidad de los datos, procedencia, límites de los datos, minimización, retención, corrección y conciliación de fuentes. | Inventario de origen, aprobación de datos, resultados de calidad, linaje, registro de acceso, cronograma de retención e historial de correcciones | Fuente no autorizada, incumplimiento de calidad, brecha de procedencia, exposición de datos confidenciales, datos obsoletos o conflicto de eliminación | Idoneidad, uso permitido, procedencia y ciclo de vida de los datos dentro del dominio del propietario |
| Propietario de IAM/security | Diseño de identidad, patrón de delegación, acceso efectivo, excepciones de seguridad, ciclo de vida de credenciales, revocación y acceso de emergencia. | Identidades únicas, privilegios mínimos, autenticación, autorización, límites de sesión, manejo de secretos, detección y revocación. | Registros de identidad, instantáneas de autoridad, revisiones de acceso, modelo de amenazas, pruebas de seguridad, excepciones y eventos de revocación. | Identidad compartida o huérfana, escalada de privilegios, credencial comprometida, concesión tóxica, omisión o explotación activa | Integridad de la identidad, autoridad delegada, postura de seguridad y revocación oportuna |
| Propietario del catálogo de herramientas | Admisión de herramienta, asignación de propietario, acciones aprobadas, estado de interfaz y versión, contrato de evidencia, suspensión y eliminación | Integridad del catálogo, certificación de herramientas, esquemas de acción, asignación de permisos, revisión de versiones, estado de salud y desactivación. | Entrada al catálogo de herramientas, aprobación del propietario, definición de acción y alcance, historial de versiones, resultados de pruebas, recibos y registro de suspensión. | Herramienta no registrada, propietario vacante, desviación del esquema, versión no compatible, falta de recibo, acción excesiva o dependencia insegura | Integridad y estado actual del inventario de herramientas regulado y su contrato de evidencia. |
| Propietario de Policy/control | Objetivo de control, reglas de política, umbrales, enrutamiento de decisiones, criterios de excepción, prueba de control y aceptación de remediación. | Creación de políticas, simulación, flujo de trabajo de aprobación, evaluación del tiempo de ejecución, vencimiento de excepciones, monitoreo de control y recertificación. | Especificación de control, versión de política, resultados de simulación, veredictos, excepciones, revisiones y pruebas de remediación. | Omisión de políticas, regla obsoleta, regla conflictiva, veredicto inexplicable, vencimiento de excepción o falla de control | Intención de control, precisión de las reglas, criterios de decisión y contabilidad completa de las excepciones. |
| Aprobador humano designado | Aprobar, negar, devolver o escalar cada decisión consecuente asignada dentro de la autoridad documentada. | Revisión de evidencia, verificación de conflictos, verificación de autoridad, captura de fundamentos, manejo de plazos y escalamiento. | Solicitud de decisión, evidencia presentada, resumen de autoridad, decisión, justificación, marca de tiempo y registro de escalamiento | Pruebas insuficientes, conflicto de autoridad, sospecha de manipulación, conflicto de políticas, riesgo de plazo o impacto más allá del mandato | Ejercicio personal del juicio y fundamento contemporáneo de la decisión asignada |
| Comandante de operaciones e incidentes | Intervención en tiempo de ejecución, clasificación de incidentes, secuencia de contención, restricción del servicio, recuperación y regreso a operación. | Monitoreo, clasificación de alertas, respuesta de guardia, procedimientos de eliminación y revocación, conciliación, recuperación y ejercicios de casos afectados. | Revisión operativa, historial de alertas, cronograma de incidentes, decisiones de comando, población afectada, pruebas de recuperación y lecciones aprendidas. | Ejecución incontenida, servicio material o impacto en el resultado, alerta repetida, pérdida de evidencia, recuperación fallida o activación de notificación | Comando de incidentes, contabilidad de contención, criterios de recuperación y comunicación de estado precisa |
| Cumplimiento/legal/privacidad | Criterios aplicables, posición legal y de privacidad, necesidad de evaluación, garantías contractuales, obligaciones de notificación y asesoramiento de presentación formal. | Inventario regulatorio, mapeo de controles, revisión de impacto y privacidad, monitoreo de cambios legales, flujo de trabajo de notificaciones y desafío de problemas | Memorándum de criterios, evaluaciones, mapeo de control, términos de contrato, asesoramiento, notificaciones, presentaciones y registro de cambios legales. | Cambio de ley o guía, nueva jurisdicción o propósito, impacto en los derechos, incidente de privacidad, contacto con el regulador o interpretación disputada | Asesoramiento profesional, notificaciones formales, decisiones de privilegio y escalamiento dentro del mandato asignado. |
| Auditoría interna | Universo de auditoría, alcance del compromiso, criterios, muestreo, confiabilidad, calificación de hallazgos, conclusiones, informes y verificación de seguimiento. | Planificación independiente, solicitudes de evidencia, pruebas de población, muestreo, repetición, revisión de documentos de trabajo, informes y seguimiento. | Evaluación de riesgos, plan de auditoría, registro de población y muestra, papeles de trabajo, excepciones, informe y cierre verificado. | Limitación del alcance, anulación de la gestión, falla en la integridad de la evidencia, hallazgo importante, amenaza a la independencia o reparación atrasada | Alcance, procedimientos, conclusiones y ruta directa de presentación de informes de la auditoría independiente y objetiva |
| Propietario de/vendor de terceros | Selección de proveedores, debida diligencia, controles contractuales, aceptación del servicio, respuesta de desempeño, acceso, salida y reemplazo de evidencia. | Inventario de proveedores, diligencia debida, revisión de contratos y SLA, revisión de servicios, seguimiento de problemas, recopilación de pruebas y pruebas de salida | Due diligence, cronograma de contratos y responsabilidades, informes de servicio, incidentes, evidencias de control, avisos de cambios y registro de salida. | Fallo de control del proveedor, subprocesador opaco, cambio de servicio, rechazo de evidencia, incidente, incumplimiento de SLA, riesgo de concentración o terminación | Relación comercial, cumplimiento de contratos, responsabilidad del proveedor y una ruta de salida ejecutable |
Variar la matriz para cuatro modelos operativos de agentes de IA
Una RACI universal enmascara diferencias materiales en control y autoridad. Registre una anulación específica del escenario junto a la matriz predeterminada, identifique cada celda modificada y apruebe la variación antes de su uso en producción. El propietario responsable del proceso empresarial firma la versión completa.
Los cuatro patrones siguientes cubren límites de producción comunes. Cada patrón preserva la responsabilidad nombrada mientras traslada la responsabilidad técnica, de herramientas, de proveedores o de decisiones de casos al rol con control real.
| Modelo operativo | Patrón de rendición de cuentas | Cambios de responsabilidad | evidencia requerida | Límite a preservar |
|---|---|---|---|---|
| Agente creado internamente | El propietario del proceso empresarial es propietario del propósito y los resultados; el propietario del agente product/technical posee la arquitectura y los lanzamientos | Los propietarios de modelos internos, datos, IAM/seguridad, herramientas, políticas y operaciones operan toda la pila de control; el propietario del proveedor cubre modelos o servicios externos únicamente | Procedencia de origen y construcción, arquitectura, inventario de componentes, pruebas, aprobación de lanzamiento, modelo de autoridad, registros de tiempo de ejecución y prueba de reversión | La empresa retiene el control directo del diseño, acceso, liberación, operación, evidencia y retiro. |
| Agente proveedor integrado en un proceso empresarial | El propietario del proceso empresarial es propietario del uso y los resultados; el tercero propietario de/vendor es propietario de la relación con el proveedor; el proveedor es propietario del alcance del sistema contratado | La empresa configura el propósito, los datos, el acceso, las herramientas, la política, la revisión humana, el monitoreo, los incidentes y la salida; El proveedor proporciona controles técnicos contratados, avisos de cambio y evidencia. | Evaluación de roles específicos de hechos, cronograma de responsabilidades, inventario de sistemas y subprocesadores, registros de configuración, evidencia de servicio, incidentes, avisos de cambios y pruebas de salida. | La empresa conserva la autoridad sobre el despliegue, las decisiones de las personas afectadas, las condiciones operativas, la contención y la aceptación del proveedor. |
| Proceso multiagente con varios propietarios de herramientas | Un propietario del proceso empresarial es dueño del resultado final; un agente propietario de product/technical posee la orquestación; cada propietario de herramienta posee su límite de acción | Los propietarios de agentes emisores y receptores aseguran cada transferencia; Los propietarios de Tool Catalog e IAM/security concilian identidades, permisos, versiones, recibos y límites delegados en todo el gráfico. | Gráfico de dependencia, propietarios de agentes y herramientas, transferencias autenticadas, propagación de propósitos, instantáneas de autoridad, recibos de herramientas, contención de fallas y viaje de un extremo a otro. | Los subagentes y las herramientas reciben autoridad limitada; el resultado final se concilia con cada acción contribuyente y propietario. |
| Decisión consecuente con aprobación humana obligatoria | El propietario del proceso empresarial es propietario del proceso y el marco de resultados; el aprobador humano designado es el propietario de la persona que aprueba, deniega, devuelve o escala la decisión | El propietario de Policy/control enruta todos los casos dentro del alcance; el propietario técnico impide la ejecución antes de una decisión válida; operaciones monitorea colas, autoridad, vencimiento e intentos de omisión | Solicitud de decisión, evidencia presentada, versiones de política y autoridad, identidad del revisor, justificación, marca de tiempo, recepción de la acción final e historial de anulación | El aprobador designado conserva el criterio del caso; El propietario del proceso de negocio conserva la política, el personal, la calidad de los resultados y la responsabilidad de la remediación. |
Ejemplo resuelto: responsabilidad de un viaje de decisión de préstamo regulado
Supongamos que un banco minorista de la UE utiliza un agente para recopilar datos de solicitudes, llamar a un modelo de riesgo crediticio, aplicar una política de préstamos, enviar cada recomendación a un asegurador para su aprobación obligatoria y redactar el resultado final. Un sistema de inteligencia artificial destinado a evaluar la solvencia de una persona física o establecer una puntuación crediticia figura en el punto 5(b) del anexo III de la Ley de IA de la UE y se presume de alto riesgo con arreglo al artículo 6(2), sujeto a las normas del artículo 6(3); la elaboración de perfiles en un uso del anexo III sigue siendo de alto riesgo.
Este ejemplo trata al proveedor del modelo y agente como proveedor y al banco como implementador según los hechos indicados. La tabla sigue el mismo recorrido utilizado en el marco de auditoría empresarial y cambia la lente del procedimiento de auditoría a la responsabilidad designada. Cada paso termina en un artefacto y una condición de escalada.
| Paso del viaje | Decisión responsable | Ejecución responsable | Consultado / cuestionado por | Evidencia | Condición de escalada |
|---|---|---|---|---|---|
| 1. Aprobar propósito y límites | El propietario del proceso empresarial aprueba el uso del crédito, los clientes, los resultados, los límites y la aprobación obligatoria | El propietario del agente product/technical documenta el sistema y los límites del proceso. | Patrocinador ejecutivo; aseguramiento del modelo; cumplimiento/legal/privacidad; datos; IAM/security | Aprobación de fines, bases de clasificación, mapa de procesos, matriz de responsabilidades y condiciones. | Propósito poco claro, clasificación no respaldada, impacto en los derechos, propietario desaparecido o riesgo residual inaceptable |
| 2. Aceptar el sistema del proveedor | El propietario externo de/vendor acepta al proveedor dentro de la autoridad comercial aprobada | El propietario del proveedor coordina la diligencia debida; Los propietarios técnicos y de garantía prueban el servicio. | Propietario del proceso de negocio; cumplimiento/legal/privacidad; IAM/seguridad; datos; aseguramiento del modelo | Evaluación de funciones, diligencia debida, cronograma de contratos, evidencia de proveedores, lista de subprocesadores y plan de salida | Rechazo de pruebas, brecha de control no resuelta, dependencia opaca, brecha sustancial en el contrato o prueba de salida fallida |
| 3. Vincular identidad, datos y herramientas | Los propietarios de datos, IAM/seguridad y catálogo de herramientas aprueban sus respectivos límites | El propietario técnico configura las identidades aprobadas, los límites de datos y las acciones de la herramienta. | Propietario de Policy/control; cumplimiento/legal/privacidad; operaciones | Instantáneas de identidad y autoridad, aprobación de datos, entradas del catálogo de herramientas, versiones, alcances y pruebas | Exceso de privilegios, fuente no aprobada, herramienta no registrada, propietario faltante o recibo incompleto |
| 4. Aprobar la versión | El propietario del agente product/technical aprueba la versión técnica | Los propietarios de ingeniería y componentes crean, prueban y organizan la versión. | Propietario del proceso de negocio; aseguramiento del modelo; datos; IAM/seguridad; herramienta; política; operaciones | Manifiesto de lanzamiento, evaluación, simulación de políticas, revisión de acceso, prueba de evidencia y resultado de reversión | Umbral fallido, propósito modificado, excepción no resuelta, falta de evidencia o reversión fallida |
| 5. Armar la aplicación | El propietario del proceso empresarial es propietario del control de entrada de casos. | Los propietarios técnicos y de datos operan la recuperación dentro de los límites aprobados. | IAM/seguridad; cumplimiento/legal/privacidad; operaciones | ID de viaje, referencias de origen, hashes de consulta y origen, versión de límites y registro de redacción | Caso faltante o duplicado, datos prohibidos, discrepancia de límites, fuente obsoleta o brecha de procedencia |
| 6. Invocar modelo y aplicar política | El propietario de Policy/control es propietario del veredicto de enrutamiento; El propietario técnico posee la integridad de la ejecución. | Los propietarios técnicos, de modelos, datos y herramientas ejecutan versiones aprobadas y capturan recibos. | Garantía del modelo; IAM/seguridad; propietario del proceso de negocio | ID de modelo y versión, hashes de entrada y salida, versión de política, reglas coincidentes, veredicto y marcas de tiempo | Versión no aprobada, omisión de políticas, conflicto de reglas, exceso de acción de herramienta o incumplimiento de umbral |
| 7. Decidir el caso consecuente | El aprobador humano designado es dueño de la decisión del caso; El propietario del proceso de negocio es dueño del marco de resultados. | El asegurador revisa la evidencia y aprueba, niega, devuelve o escala dentro de la autoridad | Propietario de Policy/control; cumplimiento/legal/privacidad; aseguramiento del modelo | Solicitud de decisión, evidencia mostrada, resumen de autoridad, decisión, justificación y tiempo de decisión | Evidencia insuficiente, conflicto entre revisores, autoridad vencida, señal de manipulación o impacto más allá del mandato |
| 8. Comprometerse y comunicar el resultado | El propietario del proceso de negocio es propietario del resultado final del proceso. | Los propietarios de operaciones y herramientas técnicas redactan la decisión aprobada y emiten la comunicación requerida. | Aprobador humano nombrado; cumplimiento/legal/privacidad; propietario de la política/control | Referencia de aprobación, solicitud y respuesta de herramienta, estado antes y después, aviso y ruta de revisión | Los resultados no coinciden, los efectos secundarios adicionales, el aviso fallido, la ruta de revisión interrumpida o el recibo faltante |
| 9. Monitorear y responder | El comandante de operaciones e incidentes es dueño de las decisiones sobre incidentes. | Los propietarios de operaciones, técnicos, IAM/seguridad, datos, herramientas, políticas y proveedores investigan y contienen | Propietario del proceso de negocio; aseguramiento del modelo; cumplimiento/legal/privacy | Monitoreo de resultados, alertas, lista de casos afectados, cronograma de incidentes, contención, recuperación y repetición de pruebas. | Desvío de material, excepción repetida, impacto en los derechos, exposición de datos, acción incontrolada o pérdida de evidencia |
| 10. Cambiar o retirarse | El propietario del proceso empresarial aprueba el cambio de uso o el retiro; El propietario técnico aprueba la versión. | Los propietarios de controles técnicos y todos los afectados reevalúan, liberan, revocan, archivan o desmantelan | Patrocinador ejecutivo; aseguramiento del modelo; cumplimiento/legal/privacidad; propietario del proveedor; operaciones | Evaluación de cambios, nueva matriz, pruebas, aprobaciones, revocaciones, disposición de datos y evidencia retenida | Cambio de propósito, modificación sustancial, pérdida de dependencia, reevaluación fallida o cierre incompleto |
Responsabilidad del proveedor y del implementador en el ejemplo del préstamo
La [Ley de IA de la UE] (https://eur-lex.europa.eu/eli/reg/2024/1689/oj) define proveedor y implementador a través de los hechos. Según el artículo 3(3), un proveedor desarrolla o hace desarrollar un sistema de inteligencia artificial y lo comercializa o lo pone en servicio con su propio nombre o marca. Según el artículo 3(4), un implementador utiliza un sistema de inteligencia artificial bajo su autoridad fuera de la actividad personal no profesional. En este ejemplo, el vendedor es el proveedor y el banco es el implementador del sistema suministrado y el uso declarado.
El artículo 25 puede cambiar el rol de proveedor de un sistema de alto riesgo cuando un implementador u otro tercero aplica su propio nombre o marca registrada, realiza una modificación sustancial o cambia el propósito previsto para que el sistema se vuelva de alto riesgo. Los deberes del artículo 26 se aplican a los implementadores de sistemas de alto riesgo y cubren el uso de acuerdo con las instrucciones, la asignación de supervisión humana competente y autorizada, el monitoreo operativo, la acción y la presentación de informes cuando surge un riesgo o un incidente grave, y la retención de registros generados automáticamente bajo el control del implementador durante al menos seis meses, a menos que otra ley aplicable disponga lo contrario.
| Límite o evento | Proveedor como proveedor en este ejemplo | Banco como implementador en este ejemplo | Evidencia a retener | Base jurídica |
|---|---|---|---|---|
| Clasificación de roles | Desarrolla o hace desarrollar el sistema y lo suministra bajo el nombre o marca comercial del proveedor. | Utiliza el sistema bajo autoridad bancaria para el proceso de crédito. | Evaluación de funciones, identidad del sistema, finalidad prevista, nombres y marcas comerciales, contrato y aprobación. | Artículo 3(3)–(4) |
| Instrucciones y condiciones de funcionamiento | Define el alcance del sistema suministrado, las instrucciones, las limitaciones declaradas y la configuración admitida. | Utiliza el sistema de alto riesgo de acuerdo con las instrucciones y documenta cualquier condición operativa o excepción. | Instrucciones y versión, configuración del banco, procedimiento operativo, excepciones y aprobación del propietario. | Artículo 26(1) |
| Supervisión humana | Proporciona la capacidad del sistema de alto riesgo para una supervisión efectiva dentro del diseño suministrado. | Asigna supervisión a personas con la competencia, la capacitación, la autoridad y el apoyo necesarios. | Diseño de supervisión, asignación de roles, capacitación, autoridad, solicitudes de decisión, fundamentos y anulaciones. | Artículos 14(1)–(4) y 26(2) |
| Seguimiento, riesgo e incidente grave | Recibe y actúa sobre informes bancarios dentro del alcance del proveedor y contractual. | Supervisa la operación y toma las medidas necesarias y los pasos para informar cuando surge un riesgo o un incidente grave. | Revisión de monitoreo, registros de riesgos e incidentes, notificación de proveedores, respuesta, contención y seguimiento. | Artículo 26(1)–(6) |
| Registros bajo el control de cada parte | Conserva los registros del sistema de alto riesgo generados automáticamente bajo el control del proveedor durante al menos seis meses, sujeto a otras leyes aplicables. | Conserva los registros generados automáticamente bajo el control del implementador durante al menos seis meses, sujeto a otras leyes aplicables. | Inventario de registros, mapeo de controles, cronograma de retención, anulación legal, registro de acceso y evidencia de eliminación | Artículos 19(1) y 26(6) |
| Cambio de marca, modificación sustancial o cambio de propósito | La posición del proveedor original cambia para el sistema específico de acuerdo con las condiciones y reglas de cooperación del artículo 25. | El banco puede convertirse en proveedor del sistema de alto riesgo si se cumplen las condiciones del artículo 25(1) | Evaluación de cambios, registro de marcas y propósitos, análisis de modificaciones, acuerdo escrito, acceso técnico y aprobación de nuevos roles | Artículo 25(1)–(5) |
Mantener la situación jurídica vigente adjunta al registro de responsabilidad.
El Reglamento (UE) 2024zzurlAzz es ley vigente y se aplica por fases. El Ómnibus Digital sobre IA lo modifica como Reglamento (UE) 2026/1744, que establece 2 diciembre 2027 para el artículo 6(2)/Annex III sistemas autónomos de alto riesgo y 2 agosto 2028 para el artículo 6(1)/Annex I sistemas integrados en productos.
El Parlamento aprobó el texto el 16 de junio de 2026, el Consejo lo adoptó el 29 de junio de 2026 y el acto se firmó el 8 de julio de 2026. Se publicó en el Diario Oficial el 24 de julio de 2026 (DO L, 2026/1744, 24.7.2026) y entra en vigor el 27 de julio de 2026, el tercer día después de su publicación. Registre ambos instrumentos en el registro de responsabilidad y lea las fechas modificadas del texto consolidado del Reglamento (UE) 2024zzurlAzz antes de utilizarlos en una conclusión legal.
Mantener la auditoría interna independiente de la responsabilidad de la dirección
El [Modelo de Tres Líneas del IIA] (https://www.theiia.org/en/resources/statements-of-position#threelines) asigna la propiedad y la gestión del riesgo a los roles de primera línea, la experiencia, el apoyo, el seguimiento y el desafío a los roles de segunda línea, y la garantía y el asesoramiento independientes y objetivos a la auditoría interna. Las líneas describen roles y pueden abarcar varios departamentos.
La gerencia conserva el diseño, la aprobación, la operación, la propiedad del control, la aceptación de riesgos y la remediación del agente. La auditoría interna establece su propio alcance, criterios, muestreo, procedimientos, calificaciones de hallazgos, conclusiones, ruta de presentación de informes y seguimiento. El trabajo de asesoramiento necesita salvaguardias documentadas siempre que pueda afectar a la independencia posterior.
| grupo de roles | posee | produce | Límite para la confianza en la auditoría interna |
|---|---|---|---|
| Gestión de primera línea | Resultados comerciales, operación de agentes, diseño y operación de controles, incidentes, aceptación de riesgos y remediación. | Aprobaciones, registros de tiempo de ejecución, revisiones de control, incidentes, resultados, excepciones y evidencia de remediación | La evidencia de gestión está sujeta a pruebas de integridad, integridad y eficacia operativa. |
| Roles de segunda línea | Experiencia, estándares, soporte, monitoreo y desafíos dentro de los mandatos de riesgo, cumplimiento, seguridad, privacidad y garantía de modelos. | Evaluaciones, registros de impugnaciones, seguimiento, excepciones, opiniones y escalamientos | El grado de objetividad, competencia, alcance, período y confiabilidad de la fuente determina la confianza. |
| Auditoría interna | Plan de auditoría independiente, alcance, criterios, procedimientos, conclusiones, informes y seguimiento verificado. | Registros de población y muestra, papeles de trabajo, hallazgos, informes y verificación de cierre. | La auditoría interna preserva la independencia y evita la aprobación de la dirección o la propiedad del control del sistema bajo auditoría. |
Asignar responsabilidad a la evidencia operativa en KLA
Una matriz de responsabilidad se vuelve operativa cuando cada propietario designado puede señalar un control actual y un artefacto de fuente de verdad. El siguiente mapeo de productos conecta la decisión de propiedad, la acción en tiempo de ejecución, el registro de reconstrucción, la revisión continua y la evidencia retenida sin cambiar la responsabilidad subyacente.
| Necesidad de responsabilidad | superficie KLA | Registro operativo |
|---|---|---|
| Nombre la propiedad del agente, las autorizaciones aprobadas, el estado y el proceso responsable. | Registro de agentes | Propietario del agente, historial de lanzamientos, estado de aprobación, límites operativos y estado de retiro |
| Nombra el propietario de cada herramienta y rige las acciones, alcances, versiones y estado. | Catálogo de herramientas | Propietario de la herramienta, contrato de acción, límite de permiso, versión, requisito de recepción y estado de suspensión |
| Definir objetivos de control, reglas, umbrales, enrutamiento y excepciones. | Creador de políticas | Propietario de la política, versión aprobada, resultados de la simulación, reglas, umbrales y ciclo de vida de la excepción |
| Enrutar los casos consecuentes a una persona designada con autoridad actual | Mesa de decisiones | Solicitud de decisión, evidencia presentada, autoridad del revisor, decisión, fundamento y marca de tiempo |
| Reconstruir el Viaje e inspeccionar el registro de control cronológico | Explorador de Lineage + Registro de auditoría | Identidad, entradas, llamadas de modelos y herramientas, veredictos de políticas, decisiones humanas, efectos y eventos correlacionados. |
| Revisar el estado del control, la deriva, los resultados, las alertas y la corrección | Centro de aseguramiento | Alerta de aseguramiento, revisión del propietario, población afectada, plan de remediación, nueva prueba y cierre |
| Conserve artefactos listos para revisión y paquetes verificables de forma independiente | Sala de pruebas | Matriz de responsabilidad, aprobaciones, evaluaciones, manifiestos, metadatos de integridad, informes y evidencia de casos retenida |
Pruebe si la responsabilidad del agente de IA es real
Una junta, un regulador o un auditor interno pueden hacer estas preguntas y exigir un propietario designado más un artefacto contemporáneo para cada respuesta. Un organigrama, el nombre de un comité o una afirmación de un proveedor por sí solos dejan sin demostrar la responsabilidad.
- 1. ¿Un propietario de proceso empresarial designado es responsable del propósito del agente, el uso de producción, los resultados, los incidentes, los cambios y el retiro?
- 2. ¿Puede ese propietario detener al agente, restringir sus límites operativos, financiar la remediación y explicar cada excepción aceptada?
- 3. ¿Cada versión, política, fuente de datos, identidad, herramienta y dependencia de proveedor tiene un propietario actual con autoridad de aprobación?
- 4. ¿Puede la organización rastrear cada acción consecuente hasta el agente, el principal patrocinador, el veredicto de la política, la decisión humana nombrada, el efecto de la herramienta y el resultado comercial?
- 5. ¿Aparecen las cuatro variaciones relevantes del modelo operativo en la matriz aprobada, con cada asignación modificada y límite retenido documentado?
- 6. ¿Puede cada aprobador humano nombrado demostrar la autoridad actual, la evidencia revisada, el estado del conflicto, la decisión, el fundamento y el momento del caso?
- 7. ¿Puede el comandante del incidente identificar a toda la población afectada, revocar la autoridad, contener la ejecución, recuperarse de manera segura, notificar a las partes requeridas y demostrar la repetición de las pruebas?
- 8. ¿Cada cambio de modelo de material, aviso, política, permiso, herramienta, datos, proceso o proveedor desencadena una reevaluación y una nueva decisión de aprobación?
- 9. ¿Están documentadas las funciones del proveedor y del implementador a partir del nombre real, la autoridad, el propósito, la modificación y los hechos operativos, con los cambios del artículo 25 reevaluados?
- 10. ¿Tiene la auditoría interna acceso independiente a poblaciones completas, registros de origen, especialistas, informes de los órganos rectores y evidencia de seguimiento?
Preguntas frecuentes
¿Quién es responsable cuando un agente de IA comete un error?
El propietario del proceso empresarial responsable es propietario del uso de la producción y del resultado empresarial. El comandante del incidente es dueño de las decisiones de contención y recuperación, mientras que los propietarios técnicos, de modelos, datos, seguridad, herramientas, políticas, aprobaciones y proveedores responden por sus controles definidos. El registro de incidentes debe identificar el límite fallido, el propietario responsable, la población afectada, la remediación y el escalamiento ejecutivo.
¿Cuál es la diferencia entre responsabilidad del proveedor y del implementador?
Según el artículo 3 de la [Ley de IA de la UE] (https://eur-lex.europa.eu/eli/reg/2024/1689/oj), un proveedor desarrolla o hace desarrollar un sistema y lo comercializa o lo pone en servicio con su nombre o marca; un implementador utiliza un sistema bajo su autoridad fuera de la actividad personal no profesional. El artículo 25 puede cambiar la función del proveedor después de un cambio de marca, una modificación sustancial o un cambio de propósito que haga que el sistema sea de alto riesgo. El artículo 26 asigna tareas operativas condicionales a los implementadores de sistemas de alto riesgo.
¿Se puede delegar la responsabilidad de un agente de IA a un proveedor?
Un proveedor puede ser propietario de las responsabilidades contratadas de diseño, servicio, control, incidentes, cambios y evidencia. El propietario del proceso empresarial empresarial conserva la responsabilidad del uso del agente dentro del proceso empresarial, incluidas las condiciones operativas, las decisiones de las personas afectadas, la revisión de resultados, la autoridad de contención, la aceptación del proveedor y la salida. Poner ambos alcances en el contrato y en la matriz de responsabilidad interna.
¿Qué aporta la auditoría interna a los agentes de IA?
La auditoría interna es dueña de su universo de auditoría, alcance del trabajo, criterios, muestreo, decisiones de confianza, procedimientos, hallazgos, conclusiones, informes y verificación de seguimiento. La gerencia es propietaria del agente, los controles, las aprobaciones, la aceptación de riesgos, la operación, los incidentes y la remediación. Esta separación respalda la función de aseguramiento independiente y objetivo descrita por el [Modelo de Tres Líneas del IIA] (https://www.theiia.org/en/resources/statements-of-position#threelines).
¿Quién aprueba una decisión importante de un agente de IA?
Un aprobador humano designado decide el caso individual dentro de una autoridad documentada cuando la aprobación humana es obligatoria. El propietario del proceso empresarial es propietario del marco de decisión, la dotación de personal, la calidad de los resultados y la remediación. El propietario de la política/control posee los criterios de enrutamiento y el propietario técnico garantiza que la ejecución espere un registro de decisión válido.
¿Cómo debería funcionar la responsabilidad en un sistema multiagente?
Nombre un propietario del proceso empresarial para el resultado final y un propietario técnico para la orquestación. Asigne un propietario a cada agente, herramienta, identidad, límite de datos, política y dependencia de proveedor. Autentique cada transferencia, propague el propósito y los límites delegados, conserve los recibos de acción, contenga fallas en cascada y concilie el viaje final con cada propietario y efecto contribuyente.
Conclusiones clave
La responsabilidad de los agentes de IA se vuelve defendible cuando un propietario de proceso empresarial tiene autoridad sobre los resultados y cada decisión del ciclo de vida, control del tiempo de ejecución, artefacto, escalamiento y límite retenido tiene un propietario designado. Aplique la variación específica del escenario, rastree un viaje consecuente, documente los hechos del proveedor y del implementador, y preserve la independencia de la auditoría interna. Utilice el marco de auditoría de agentes de IA empresarial para realizar un trabajo de campo completo y la Evaluación de preparación para la auditoría de agentes para identificar propiedad, autoridad, controles y evidencia faltantes.