Come sottoporre ad audit un sistema di agenti AI: un framework aziendale per la produzione

Il framework di audit degli agenti AI aziendali in 12 domini¶

Utilizzare questa tabella per impostare l'universo di controllo, assegnare richieste di prove e scrivere procedure. Ogni riga necessita di una popolazione definita, di un proprietario denominato, di un controllo verificabile, di un record della fonte di verità e di una condizione di errore esplicita prima dell'inizio del lavoro sul campo.

Definire il confine del sistema prima dell'attività di campionamento¶

Inizia con il risultato aziendale e procedi verso l'interno. Il confine include ogni componente che può influenzare un'azione o la sua prova: configurazione dell'agente, modello, versioni di prompt e orchestrazione, memoria, origini di recupero, identità di utenti e servizi, delega, policy, strumenti, sistemi a valle, revisori umani, monitoraggio, processi di incidente e archivi di prove. Includere subagenti e terze parti ogni volta che i loro risultati possono modificare la decisione finale, l'autorità disponibile o la completezza del record.

Costruisci una popolazione che possa essere riconciliata. Il NIST AI RMF 1.0 è un quadro volontario finale per l'intelligenza artificiale in generale e GOVERN 1.6 supporta il mantenimento di un inventario dei sistemi di intelligenza artificiale per la gestione del rischio. Per il lavoro sul campo di audit, estendi tale inventario a versioni, implementazioni, tipi di decisione, ambienti, strumenti, origini dati, proprietari, livelli di rischio, cronologia degli incidenti e posizioni delle prove.

Scrivere la dichiarazione dei confini come artefatto di audit e ottenere l'approvazione del proprietario dell'azienda. Una dichiarazione utile nomina il processo controllato, gli eventi di inizio e fine, gli agenti e i rilasci inclusi, il periodo di produzione, la popolazione decisionale, le giurisdizioni, i componenti esclusi con le ragioni, i dati a monte, le azioni a valle, i ruoli umani e ogni dipendenza esterna. Le modifiche all'ambito durante il lavoro sul campo richiedono una modifica datata e una valutazione d'impatto per il campione.

• Chiavi di popolazione: ID agente, ID versione, ambiente, ID processo, tipo di decisione, risultato, livello di rischio e intervallo di date.
• Confini dell'autorità: entità sponsor, identità dell'agente, ambiti delegati, strumenti consentiti, limiti delle risorse, scopo, durata e soglie di approvazione.
• Limite di esecuzione: ogni chiamata modello, chiamata strumento, trasferimento tra agenti, verdetto politico, richiesta di decisione, modifica di stato, notifica ed esito aziendale.
• Confine delle prove: sistema di registrazione per ogni artefatto, classe di conservazione, metodo di sigillatura, verificatore, conservazione legale e lacuna di raccolta nota.

Stabilire la responsabilità e separare quattro discipline di garanzia¶

Assegnare un imprenditore responsabile per il sistema di agenti e i suoi risultati. Nominare i proprietari tecnici dell'agente, del modello, delle integrazioni, dell'identità, dei dati e dell'infrastruttura delle prove; nominare i proprietari del controllo per policy, approvazione, monitoraggio, risposta agli incidenti e conservazione. Ogni proprietario necessita dell'autorità per interrompere un'implementazione, accettare un rischio definito entro i limiti delegati, finanziare la riparazione e rispondere a un'eccezione.

Il modello delle tre linee IIA assegna la proprietà e la gestione del rischio ai ruoli di prima linea, le competenze e le sfide ai ruoli di seconda linea e la garanzia indipendente e obiettiva all'audit interno. Applica questi ruoli all'audit dell'agente senza trasformarli in tre dipartimenti fissi. L’audit interno preserva l’indipendenza evitando la proprietà del controllo e le decisioni di approvazione della direzione per il sistema che successivamente controlla.

Quattro discipline forniscono prove diverse. Il loro lavoro può essere riutilizzato quando l’ambito, il periodo, i criteri, la competenza e l’indipendenza sono documentati. Le loro conclusioni rimangono distinte.

Esegui procedure in fase di progettazione, rilascio, runtime e periodiche¶

Trattare il programma di audit come un ciclo di vita. Il NIST Generative AI Profile volontario finale suggerisce di conservare la cronologia dei test, delle valutazioni, delle convalide e delle verifiche, utilizzando criteri di rilascio misurabili, documentando l'approvazione, conducendo valutazioni continue e definendo procedure di disattivazione. Applica le pratiche in cui l'agente utilizza l'intelligenza artificiale generativa, quindi aggiungi identità, delega, strumento, policy, approvazione e procedure multi-agente specifiche dell'agente.

Il IMDA Model AI Governance Framework for Agentic AI v1.5 è una guida di vita volontaria pubblicata. Supporta la definizione dei limiti operativi e delle policy di autorizzazione prima della distribuzione, la valutazione dei componenti e del comportamento end-to-end, il monitoraggio dopo la distribuzione, la gestione degli incidenti e la rivalutazione delle modifiche a modelli, strumenti, autorizzazioni e processi.

Seleziona i campioni per rischio, tipo di decisione, anomalia, percorso di approvazione e modifica del sistema¶

Stabilire la completezza prima di scegliere i casi. Riconcilia eventi aziendali originari, esecuzioni di agenti, decisioni politiche, richieste di decisione, effetti a valle e record di prove sigillate. Le differenze diventano eccezioni o limitazioni di portata; non possono scomparire attraverso la selezione del campione.

Utilizzare un campione riproducibile e basato sul rischio con una linea di base casuale. Registra la query sulla popolazione, il tempo di estrazione, i sistemi di origine, i filtri, il seed casuale, la logica di selezione, le sostituzioni e il revisore. Conserva la popolazione congelata con hash in modo che un secondo revisore possa rigenerare lo stesso campione.

• Rischio: include i casi di impatto, valore, privilegio, sensibilità, irreversibilità e persone colpite con il maggiore impatto.
• Tipo di decisione: copre ogni materiale consentito, negato, riassegnato, ignorato, ripristinato e esito di non azione.
• Anomalia: include bypass dei controlli, rifiuti di policy seguiti da esecuzione, tentativi ripetuti, sequenze di strumenti insolite, avvisi di deviazione, picchi di latenza ed esiti anomali.
• Percorso di approvazione: include azioni autonome, approvazioni ordinarie, riassegnazioni, sostituzioni, utilizzo break-glass, richieste scadute e riassegnazione del revisore.
• Modifica del sistema: include il primo e l'ultimo caso relativo alle modifiche a modello, prompt, policy, autorizzazione, strumento, dati, orchestratore, versione e implementazione.
• Base di riferimento casuale: seleziona dalla popolazione rimanente per rilevare i guasti ordinari che i filtri di rischio potrebbero non rilevare.

Audit di esempio: un’azione di un agente regolamentato per le decisioni sui prestiti¶

Supponiamo che una banca al dettaglio dell'UE utilizzi un agente per raccogliere i dati della richiesta, richiamare un modello di rischio di credito, applicare la politica di prestito, inoltrare i casi limite a un sottoscrittore e scrivere l'esito dell'approvazione o del rifiuto. Un sistema di IA destinato a valutare l'affidabilità creditizia di una persona fisica o a stabilire un punteggio di credito rientra nell'allegato III, punto 5(b) della legge dell'UE sull'AI ed è presunto ad alto rischio ai sensi dell'articolo 6(2), soggetto alle norme specifiche dell'articolo 6(3); la profilazione in un uso di cui all'allegato III rimane ad alto rischio. L'audit registra il ruolo di distributore specifico della banca e il ruolo di fornitore del modello di fornitore ai sensi dell'articolo 3,, quindi verifica i controlli applicabili di ciascuna parte.

Per un sistema ad alto rischio, l'articolo 12 della [legge dell'UE sull'intelligenza artificiale] (https://eur-lex.europa.eu/eli/reg/2024/1689/oj) richiede capacità tecniche per la registrazione automatica degli eventi durante la vita del sistema per supportare la tracciabilità, il monitoraggio post-commercializzazione e le indagini. L'articolo 14 richiede un'efficace capacità di supervisione umana proporzionata al rischio, all'autonomia e al contesto, mentre l'articolo 26(2) richiede che chi implementa la supervisione assegni la supervisione a persone con la competenza, la formazione, l'autorità e il supporto necessari. La procedura dettagliata converte tali obblighi condizionali in prove di prova per una decisione.

Carta di lavoro compilata: un’azione dal permesso all’esito¶

La carta di lavoro che segue applica il walkthrough a tre esecuzioni campionate di decisioni sul credito presso una banca fittizia. Banca, persone, identificativi, importi e rilievi sono tutti sintetici. Il campione S-01 è il record di esecuzione completo pubblico, quindi ogni osservazione può essere verificata su un file pubblicato. S-02 e S-03 sono casi inventati con gli stessi nomi di campo: un’approvazione che non corrispondeva più all’azione eseguita e una chiamata a uno strumento che non ha restituito alcun risultato.

Ogni esecuzione è verificata in sette aree: perimetro, autorità delegata, versione della policy, decisione umana, risultato dello strumento, esito di business e limiti delle evidenze. I nomi dei campi vengono dallo schema di audit log per agenti AI, dallo schema delle decisioni di policy e dallo schema degli eventi di approvazione. Scaricate la carta di lavoro completa in formato CSV, con colonne per obiettivo di controllo, campione, risultato atteso, risultato osservato, riferimento all’evidenza, limite e rilievo, oppure in formato Markdown.

Due righe vengono dal nostro lavoro. La carta di lavoro si apre con la riconciliazione della popolazione perché, in un walkthrough interno di uno dei nostri tenant di test nel giugno 2026, Decision Desk elencava 31 decisioni sigillate mentre Lineage Explorer non mostrava alcuna esecuzione per lo stesso tenant. Le decisioni venivano da dati di seed, e il seed corrispondente della lineage non era mai stato eseguito. Ciascuna vista sembrava completa da sola, e solo il confronto dei due conteggi ha mostrato la lacuna. Il caso del risultato mancante riflette una scelta progettuale fatta per un processo di rilascio dei pagamenti trattenuti preparato per un briefing con analisti: approvazione e regolamento sono record separati, e il pagamento risulta completato solo dopo che Payments Operations registra uno stato e un riferimento di regolamento confermati.

• Approvazione non corrispondente (F-02): vincolate ogni approvazione al digest degli argomenti della richiesta vista dal revisore, e rivalutate la policy quando un campo vincolato cambia prima dell’esecuzione.
• Risultato mancante (F-03): contrassegnate un’esecuzione con un risultato dello strumento non risolto come esito sconosciuto e riconciliatela con il sistema di riferimento prima di chiuderla.
• Limiti delle evidenze: una firma valida mostra che un record non è cambiato dalla firma; un replay corrispondente mostra che la decisione discende dagli input registrati. Nessuno dei due prova un effetto esterno. Replay deterministico delle decisioni degli agenti AI descrive questo confine, e come dimostrare che cosa ha letto un agente AI tratta i test sugli input.

Matrice di responsabilità per la proprietà del controllo e la garanzia indipendente¶

Mantenere la matrice compatta e specifica per la decisione. Un imprenditore responsabile firma l'ambito, l'accettazione del rischio e il piano di riparazione. I proprietari responsabili tecnici e di controllo gestiscono i controlli. Le funzioni di rischio, conformità, sicurezza, privacy, legale e rischio modello mettono alla prova i loro mandati. L'audit interno stabilisce il proprio ambito, esegue procedure indipendenti e riferisce le conclusioni all'organo di governo appropriato.

Schema di prova minimo per log di controllo, riproduzione e prova dell'azione dell'agente AI¶

Un percorso riproducibile necessita di identificatori stabili, contesto con versione, risultati di controllo, autorità umana, effetti aziendali e metadati di integrità. Lo schema del registro di controllo dell'agente AI scaricabile fornisce il contratto della macchina indipendente dal fornitore ed esempi firmati. La guida agli audit trail degli agenti AI spiega i livelli di prova, la metodologia di prova di manomissione copre l'integrità e l'esempio di Evidence Room mostra la forma di esportazione.

Archivia valori sensibili in base ai controlli di privacy e sicurezza approvati. Lo schema di controllo può conservare un valore protetto, un riferimento stabile o un hash a seconda dello scopo del campo. Il revisore verifica se la rappresentazione supporta l'asserzione dichiarata e può essere risolta mediante revisione autorizzata.

Testare i diritti di accesso, la delega e le dipendenze multi-agente¶

L'AI Agent Standards Initiative del NIST è una tabella di marcia attiva che copre standard, protocolli, identità, autorizzazione, sicurezza, interoperabilità e valutazione. Non è uno standard definitivo. Il relativo documento concettuale sull'identità e l'autorizzazione dell'NCCoE rimane una bozza e studia l'identità non umana, la delega con ambito, il privilegio minimo, la registrazione delle azioni, la provenienza, il non ripudio e i record a prova di manomissione. Usalo per affinare le domande di audit ed etichettare i criteri come controlli definiti dall'organizzazione.

Testare l'intera catena di autorità: il principale umano o organizzativo sponsor, l'identità dell'agente, l'ambito delegato, lo scopo, la finestra temporale, la capacità dello strumento, i limiti di risorse e azioni, le soglie di approvazione, il percorso delle eccezioni, il percorso di revoca e l'autorità effettivamente osservata durante l'esecuzione. La guida alle autorizzazioni dell'agente AI fornisce il modello di controllo più approfondito.

Per i sistemi multi-agente, autentica e autorizza ogni trasferimento, preserva le identità di invio e ricezione, convalida l'integrità e la semantica dei messaggi, propaga scopo e vincoli, limita la delega dei sub-agenti e riconcilia il risultato finale con ogni componente che contribuisce. OWASP Top 10 for Agentic Applications 2026 contiene una guida per i professionisti pubblicata e una tassonomia di sicurezza; copre l'abuso di identità e privilegi, l'uso improprio degli strumenti, la memoria, la comunicazione tra agenti, i guasti a cascata e gli agenti non autorizzati. Non si tratta di uno standard o di una certificazione formale.

• Test di identità: ogni attore non umano è unico, attivo, posseduto e distinguibile dalle persone e dagli agenti paritari.
• Test di delega: l'autorità delegata è collegata a un'entità, uno scopo, un ambito, una durata e un evento di revoca approvati.
• Test di accesso effettivo: le sovvenzioni alla fonte, i vincoli delle policy, l'applicazione degli strumenti e le azioni osservate si riconciliano al timestamp dell'evento.
• Test di terze parti: contratti, inventario dei servizi, versioni, percorsi di accesso, compiti in caso di incidente, disponibilità delle prove e controlli di risoluzione coprono la dipendenza.
• Test multi-agente: ogni messaggio contiene mittente autenticato, destinatario previsto, prove di integrità, limiti di contesto e correlazione con il percorso finale.

Imposta la cadenza dell'audit e la garanzia continua in base al trigger¶

Il rapporto finale del NIST [Challenges to the Monitoring of Deployed AI Systems] (https://doi.org/10.6028/NIST.AI.800-4) spiega che il monitoraggio post-implementazione può rilevare problemi di affidabilità, deviazioni e conseguenze indesiderate, mentre gli obiettivi e i metodi di monitoraggio dipendono dal sistema, dal contesto, dai segnali disponibili e dagli attori. Non prescrive una cadenza, uno schema minimo o una soglia universale. Imposta la cadenza in base a impatto, autonomia, volume, tasso di cambiamento, cronologia degli incidenti, rilevabilità, obblighi legali e qualità delle prove.

La garanzia continua fornisce segnali di controllo dell'intera popolazione al management e popolazioni mirate ai team di seconda linea e di audit interno. L’audit interno convalida ancora la completezza della fonte, la progettazione del controllo, la logica di allarme, la revisione del proprietario, la correzione e l’indipendenza prima di fare affidamento su tali segnali. La guida al monitoraggio post-market fornisce la struttura di monitoraggio più approfondita.

Applicare criteri normativi e standard con lo stato attuale¶

Nessuno standard finale di verificabilità end-to-end, specifico per l'agente, è stato verificato a partire dalla revisione della fonte 14 di luglio 2026. NIST AI RMF 1.0 è un quadro volontario definitivo per la gestione del rischio dell'IA in tutte le tecnologie e i settori. La NIST AI Agent Standards Initiative è una tabella di marcia e il suo lavoro su identità e autorizzazione rimane una bozza di documento concettuale. I team di audit necessitano quindi di una serie di criteri documentati adattati al sistema e all’impegno.

Il IMDA Model AI Governance Framework for Agentic AI v1.5 è una guida di vita volontaria pubblicata. L'OWASP Agentic Top 10 è una guida pubblicata per i professionisti sulla sicurezza e una tassonomia dei rischi. Entrambi forniscono utili criteri specifici per l'agente e nessuno dei due è uno standard di certificazione.

ISO/IEC 42001:2023 specifica i requisiti per un sistema di gestione dell'intelligenza artificiale organizzativa. Un audit di certificazione può valutare la conformità degli OBIETTIVI nell'ambito dichiarato. Il certificato non certifica un singolo modello, agente, decisione, output o set di dati come sicuro, accurato, giusto, protetto, etico o legale; verificare l'organismo di certificazione, l'accreditamento, i siti, le esclusioni, la validità e la dichiarazione di applicabilità.

La legge dell'UE sull'AI si applica in base al ruolo dell'operatore, allo scopo previsto e alla classificazione del rischio. Fornitore e distributore sono ruoli distinti e dipendenti dai fatti ai sensi dell'articolo 3, e l'articolo 25 può trasferire la responsabilità del fornitore dopo il rebranding, una modifica sostanziale o un cambiamento di scopo che rende un sistema ad alto rischio. Gli agenti IA non sono automaticamente ad alto rischio; applicare l’articolo 6 e l’allegato I o III al sistema, allo scopo e ai fatti reali.

Per i sistemi ad alto rischio, l'articolo 12 richiede capacità tecniche per la registrazione automatica degli eventi durante la vita del sistema. L'articolo 19 impone ai fornitori di conservare i registri generati automaticamente sotto il loro controllo per almeno sei mesi, a meno che un'altra legge applicabile non disponga diversamente. L'articolo 26(6) offre agli operatori la stessa regola di sei mesi per i tronchi sotto il loro controllo, mentre l'articolo 26 copre anche il rispetto delle istruzioni, l'assegnazione di una supervisione competente e autorizzata, il monitoraggio delle operazioni e l'azione in caso di rischi o incidenti gravi. Questi obblighi non creano una regola di conservazione universale di sei mesi per ogni agente o ogni registro.

Il Digital Omnibus sull'IA è stato pubblicato come regolamento (UE) 2026/1744 il 24 luglio 2026 ed è entrato in vigore il 27 luglio 2026, dopo l'approvazione definitiva del Consiglio il 29 giugno 2026 (comunicato del Consiglio). Fissa al 2 dicembre 2027 l'applicazione ai sistemi ad alto rischio autonomi dell'articolo 6, paragrafo 2, e dell'allegato III, e al 2 agosto 2028 quella ai sistemi integrati nei prodotti dell'articolo 6, paragrafo 1, e dell'allegato I. Gli obblighi di trasparenza dell'articolo 50 hanno mantenuto la data del 2 agosto 2026. Gli articoli 12, 19 e 26, paragrafo 6, si applicano a un agente dalla data in cui si applicano i suoi obblighi ad alto rischio.

Gestire le prove incomplete e qualificare la conclusione dell'audit¶

La sufficienza delle prove richiede pertinenza, affidabilità, completezza, integrità, tempestività e tracciabilità per la popolazione e l’asserzione. Documentare quale parte ha prodotto ciascun artefatto, quale sistema è autorevole, come è stato estratto, se può essere modificato, come il campione si lega alla popolazione e se un revisore indipendente può ripetere la procedura.

Classificare ogni lacuna prima di concludere: un errore di controllo, un record mancante, un errore di integrità, un artefatto di terze parti non disponibile, una scadenza di conservazione, una limitazione della popolazione o un'esclusione dall'ambito di audit. Eseguire procedure alternative in cui affrontano la stessa asserzione. Gli esempi includono la riesecuzione del sistema di origine, la riconciliazione dello stato a valle, la convalida indipendente della firma, la conferma da parte di un soggetto esterno o il test su una popolazione interessata più ampia.

Dichiarare la limitazione nel rapporto indicando il dominio interessato, il periodo, la popolazione, l'asserzione, le alternative tentate, l'incertezza residua, il rischio, il proprietario responsabile, la riparazione e la data di scadenza. Una conclusione qualificata identifica le aree affidabili e il confine esatto attorno alla garanzia non supportata. Una dichiarazione di non responsabilità o una dichiarazione della direzione non possono sostituire le evidenze operative mancanti.