Spiegabilità

La spiegabilità è la misura in cui le persone possono capire come un sistema di IA è arrivato a un output o a una decisione e spiegarlo ad altri. Ha due aspetti: l'interpretabilità tecnica, che riguarda il funzionamento interno del modello, e la spiegazione della singola decisione, che dice a un revisore o a una persona interessata perché un determinato caso ha avuto quell'esito.

Tre disposizioni dell'EU AI Act dipendono da essa. L'articolo 13 richiede che il funzionamento dei sistemi di IA ad alto rischio sia «sufficientemente trasparente da consentire ai deployer di interpretare l'output del sistema e utilizzarlo adeguatamente», con istruzioni per l'uso che descrivano capacità e limiti del sistema. L'articolo 14, paragrafo 4, lettera c), richiede che le persone a cui è affidata la sorveglianza umana possano interpretare correttamente l'output. L'articolo 86 riconosce a qualsiasi persona interessata da una decisione adottata dal deployer sulla base dell'output di un sistema di IA ad alto rischio elencato nell'allegato III, che produca effetti giuridici o incida in modo analogo significativamente su di essa, il diritto di ottenere «spiegazioni chiare e significative sul ruolo del sistema di IA nella procedura decisionale e sui principali elementi della decisione adottata».

La spiegazione deve adattarsi a chi la riceve. Chi valida un modello può usare metodi di attribuzione come SHAP o LIME. Un revisore che approva l'azione di un agente ha bisogno dei fatti su cui si è basata la decisione, della regola o della soglia applicata e di ciò che l'agente proponeva di fare. Un cliente interessato ha bisogno dei motivi principali, espressi in linguaggio semplice.

Per gli agenti basati su modelli linguistici di grandi dimensioni, il resoconto che il modello dà del proprio ragionamento può essere sbagliato. Le spiegazioni delle singole decisioni sono più affidabili quando derivano dalle registrazioni: i dati letti dall'agente, la versione della policy e la regola che ha prodotto l'esito, e la decisione umana quando era necessaria. Descrivete l'approccio nella documentazione tecnica dell'allegato IV: metodi utilizzati, informazioni registrate per ogni decisione e chi può consultarle.

In KLA, ogni esito di policy viene registrato con la regola che lo ha prodotto, e il Lineage Explorer mostra le chiamate agli strumenti e i dati di input di un'esecuzione. Nei nostri cicli di QA con agenti di prova, gli esiti erano più facili da esaminare quando ciascuno riportava il motivo indicato dalla regola, insieme alla versione esatta e all'hash della policy.