Explicabilidad

La explicabilidad es el grado en que las personas pueden entender cómo un sistema de IA llegó a un resultado o una decisión y explicarlo a otros. Tiene dos caras: la interpretabilidad técnica, que se ocupa del funcionamiento interno del modelo, y la explicación de cada decisión, que indica a un revisor o a una persona afectada por qué un caso concreto terminó como terminó.

Tres disposiciones del EU AI Act dependen de ella. El artículo 13 exige que los sistemas de IA de alto riesgo funcionen «con un nivel de transparencia suficiente para que los responsables del despliegue interpreten y usen correctamente sus resultados de salida», con instrucciones de uso que describan las capacidades y limitaciones del sistema. El artículo 14, apartado 4, letra c), exige que las personas a quienes se encomienda la supervisión humana puedan interpretar correctamente los resultados de salida. El artículo 86 reconoce a toda persona afectada por una decisión que el responsable del despliegue adopte basándose en los resultados de salida de un sistema de IA de alto riesgo del anexo III, y que produzca efectos jurídicos o le afecte considerablemente del mismo modo, el derecho a obtener «explicaciones claras y significativas acerca del papel que el sistema de IA ha tenido en el proceso de toma de decisiones y los principales elementos de la decisión adoptada».

La explicación debe ajustarse a su destinatario. Quien valida un modelo puede usar métodos de atribución como SHAP o LIME. Un revisor que aprueba la acción de un agente necesita los hechos en los que se basó la decisión, la regla o el umbral aplicado y lo que el agente proponía hacer. Un cliente afectado necesita los motivos principales en lenguaje sencillo.

En los agentes basados en grandes modelos de lenguaje, el relato que el modelo hace de su propio razonamiento puede ser erróneo. Las explicaciones de cada decisión son más fiables cuando proceden de los registros: los datos que leyó el agente, la versión de la política y la regla que produjo el resultado, y la decisión humana cuando era necesaria. Describa el enfoque en la documentación técnica del anexo IV: los métodos utilizados, lo que se registra de cada decisión y quién puede consultarlo.

En KLA, cada resultado de política se registra con la regla que lo produjo, y el Lineage Explorer muestra las llamadas a herramientas y los datos de entrada de una ejecución. En nuestras propias rondas de QA con agentes de prueba, los resultados eran más fáciles de revisar cuando cada uno incluía el motivo indicado por la regla y la versión exacta y el hash de la política.