Audit a livello aziendale di responsabilità, autorità, esecuzione, supervisione e prove nei sistemi di agenti IA. Un audit di produzione segue l'intero sistema operativo attorno a un agente: scopo aziendale, modello e orchestrazione, identità umane e non umane, autorità delegata, dati e strumenti, decisioni politiche, approvazioni, cambiamenti di stato, risultati aziendali, monitoraggio, incidenti, rilasci, rollback, conservazione e verifica indipendente. Il metodo seguente fornisce ai team di audit interno, conformità, rischio modello, sicurezza e operazioni un'unica struttura di lavoro sul campo preservando le loro responsabilità separate.
Il framework di controllo degli agenti AI aziendali del dominio 12-
Utilizzare questa tabella per impostare l'universo di controllo, assegnare richieste di prove e scrivere procedure. Ogni riga necessita di una popolazione definita, di un proprietario denominato, di un controllo verificabile, di un record della fonte di verità e di una condizione di errore esplicita prima dell'inizio del lavoro sul campo.
| Dominio di controllo | La domanda del revisore dei conti | Proprietario responsabile | Controllo da testare | Prove richieste | Segnale di guasto | Dove in KLA / guida più approfondita |
|---|---|---|---|---|---|---|
| 1. Inventario e ambito | Quali agenti, versioni, ambienti, processi, decisioni e dipendenze sono presenti nella popolazione? | Imprenditore | Riconciliazione dell'inventario e approvazione dei confini | Inventario degli agenti, mappa dei processi, flusso di dati, registro delle dipendenze, conteggi della popolazione | Agente sconosciuto, ambiente scomparso, popolazione non riconciliata | Registro degli agenti; guida alla conformità |
| 2. Responsabilità e responsabilità | Chi possiede i risultati, le operazioni di controllo, l’accettazione del rischio e le azioni correttive? | Imprenditore | Proprietà nominata e autorità di approvazione | Matrice di responsabilità, carte dei ruoli, approvazioni, proprietari dei problemi | Responsabilità condivisa, ruolo vacante, proprietario senza autorità | Registro degli agenti; Mappatura dei controlli |
| 3. Identità e delega | Ogni azione può essere vincolata ad un agente, a un mandante sponsor e ad una delega? | Proprietario dell'identità | Identità univoca e delega con ambito | Record di identità, attestazioni di token, catena di delega, ambito della sessione | Credenziali condivise, identità orfana, entità non associata | Registro degli agenti; guida alle autorizzazioni |
| 4. Autorizzazioni, strumenti e limiti dei dati | L'agente potrebbe leggere o modificare le risorse oltre lo scopo approvato? | Proprietario dell'applicazione | Politica del privilegio minimo al momento dell'azione | Sovvenzioni effettive, voce del catalogo degli strumenti, confini dei dati, verdetti politici | Ampio campo di applicazione, bypass diretto, strumento non registrato, combinazione di sovvenzioni tossiche | Catalogo degli strumenti; Confini dei dati; Motore delle politiche dell'KLA |
| 5. Classificazione del rischio e garanzia di pre-produzione | L'uso è stato classificato e testato rispetto al suo impatto e al contesto effettivi? | Proprietario del rischio | Classificazione documentata e cancello di rilascio | Valutazione dell'impatto, modello di minaccia, piano di valutazione, soglie di accettazione | Classificazione non supportata, test mancante, soglia non superata rinunciata | Mappatura dei controlli; Centro di assicurazione |
| 6. Applicazione dei criteri di runtime | La politica approvata è stata valutata prima di ogni azione consequenziale? | Proprietario del controllo | Consentire, negare o intensificare la decisione in linea | Versione della policy, regole abbinate, richiesta di decisione, ricezione di azioni | L’azione precede il verdetto, la politica stantia, l’aggiramento dell’applicazione | Costruttore di politiche; Motore delle politiche dell'KLA; Traccia di controllo; guida a governare-un-agente |
| 7. Approvazione umana ed escalation | Un revisore autorizzato ha ricevuto prove sufficienti ed ha esercitato giudizio? | Proprietario delle operazioni | Approvazione ed escalation basate sul rischio | Richiesta di decisione, istantanea dell'autorità, prove mostrate, motivazione, timestamp | Timbro, autorizzazione scaduta, approvazione tardiva, motivazione mancante | Banco Decisionale; autonomia responsabile |
| 8. Linearità di esecuzione e risultati aziendali | L’auditor è in grado di tracciare l’intento attraverso gli effetti degli strumenti e il risultato finale? | Titolare del processo | Correlazione end-to-end e riconciliazione dei risultati | Registrazione del lignaggio, viaggio, chiamate degli strumenti, stato prima/dopo, registrazione dei risultati | Correlazione interrotta, effetto collaterale non registrato, mancata corrispondenza dei risultati | Esploratore del lignaggio; guida agli audit trail |
| 9. Garanzia continua e gestione del cambiamento | I cambiamenti hanno innescato una rivalutazione, un monitoraggio e un'implementazione controllata? | Titolare dell'ingegneria | Approvazione del rilascio, rilevamento della deriva, test innescati da modifiche | Differenze di rilascio, risultati dei test, record di implementazione, avvisi di garanzia, soluzioni correttive | Cambiamento non approvato, deriva silenziosa, controllo mancato irrisolto | agenti; Centro di assicurazione; guida al monitoraggio |
| 10. Risposta all'incidente, revoca e rollback | L'organizzazione potrebbe contenere l'agente e annullare le azioni interessate? | Proprietario dell'incidente | Procedura di eliminazione, revoca, contenimento, notifica e rollback | Cronologia dell'incidente, revoca delle credenziali, rollback, elenco dei casi interessati | Esecuzione continuata, ambito incompleto, rollback non riuscito | Centro di sicurezza; agenti; Sala delle prove |
| 11. Integrità, conservazione e verifica indipendente delle prove | Le prove sono complete, a prova di manomissione, conservate e verificabili in modo indipendente? | Proprietario dei record | Riconciliazione della popolazione, sigillatura, ritenzione, test del verificatore | Manifesto, hash, firme, catena di custodia, politica di conservazione, conservazione legale | Errore hash, record mancante, origine modificabile, conservazione scaduta | Sala delle prove; Pacchetto di prove sigillate; Pacchetto di controllo; evidenza di manomissione; pacchetto campione |
| 12. Dipendenze multi-agente e di terze parti | Gli agenti delegati, i modelli, gli strumenti, i protocolli e i fornitori si trovano all'interno dei confini dell'audit? | Proprietario del servizio | Approvazione della dipendenza e trasferimento autenticato | Inventario dei fornitori, contratti, versioni, messaggi tra agenti, report di controllo | Agente secondario opaco, messaggio non autenticato, componente non supportato | Registro degli agenti; Catalogo degli strumenti; Attraversamento pedonale OWASP |
Definire il confine del sistema prima dell'attività di campionamento
Inizia con il risultato aziendale e procedi verso l'interno. Il confine include ogni componente che può influenzare un'azione o la sua prova: configurazione dell'agente, modello, versioni di prompt e orchestrazione, memoria, origini di recupero, identità di utenti e servizi, delega, policy, strumenti, sistemi a valle, revisori umani, monitoraggio, processi di incidente e archivi di prove. Includere subagenti e terze parti ogni volta che i loro risultati possono modificare la decisione finale, l'autorità disponibile o la completezza del record.
Costruisci una popolazione che possa essere riconciliata. Il NIST AI RMF 1.0 è un quadro volontario finale per l'intelligenza artificiale in generale e GOVERN 1.6 supporta il mantenimento di un inventario dei sistemi di intelligenza artificiale per la gestione del rischio. Per il lavoro sul campo di audit, estendi tale inventario a versioni, implementazioni, tipi di decisione, ambienti, strumenti, origini dati, proprietari, livelli di rischio, cronologia degli incidenti e posizioni delle prove.
Scrivere la dichiarazione dei confini come artefatto di audit e ottenere l'approvazione del proprietario dell'azienda. Una dichiarazione utile nomina il processo controllato, gli eventi di inizio e fine, gli agenti e i rilasci inclusi, il periodo di produzione, la popolazione decisionale, le giurisdizioni, i componenti esclusi con le ragioni, i dati a monte, le azioni a valle, i ruoli umani e ogni dipendenza esterna. Le modifiche all'ambito durante il lavoro sul campo richiedono una modifica datata e una valutazione d'impatto per il campione.
- Chiavi di popolazione: ID agente, ID versione, ambiente, ID processo, tipo di decisione, risultato, livello di rischio e intervallo di date.
- Confini dell'autorità: entità sponsor, identità dell'agente, ambiti delegati, strumenti consentiti, limiti delle risorse, scopo, durata e soglie di approvazione.
- Limite di esecuzione: ogni chiamata modello, chiamata strumento, trasferimento tra agenti, verdetto politico, richiesta di decisione, modifica di stato, notifica ed esito aziendale.
- Confine delle prove: sistema di registrazione per ogni artefatto, classe di conservazione, metodo di sigillatura, verificatore, conservazione legale e lacuna di raccolta nota.
Stabilire la responsabilità e separare quattro discipline di garanzia
Assegnare un imprenditore responsabile per il sistema di agenti e i suoi risultati. Nominare i proprietari tecnici dell'agente, del modello, delle integrazioni, dell'identità, dei dati e dell'infrastruttura delle prove; nominare i proprietari del controllo per policy, approvazione, monitoraggio, risposta agli incidenti e conservazione. Ogni proprietario necessita dell'autorità per interrompere un'implementazione, accettare un rischio definito entro i limiti delegati, finanziare la riparazione e rispondere a un'eccezione.
Il modello delle tre linee IIA assegna la proprietà e la gestione del rischio ai ruoli di prima linea, le competenze e le sfide ai ruoli di seconda linea e la garanzia indipendente e obiettiva all'audit interno. Applica questi ruoli all'audit dell'agente senza trasformarli in tre dipartimenti fissi. L’audit interno preserva l’indipendenza evitando la proprietà del controllo e le decisioni di approvazione della direzione per il sistema che successivamente controlla.
Quattro discipline forniscono prove diverse. Il loro lavoro può essere riutilizzato quando l’ambito, il periodo, i criteri, la competenza e l’indipendenza sono documentati. Le loro conclusioni rimangono distinte.
| Disciplina | Obiettivo primario | Procedura | Prova | Conclusione |
|---|---|---|---|---|
| Valutazione del modello | Misurare il comportamento rispetto a compiti definiti e criteri di rischio | Test di benchmark, scenario, team rosso, sottogruppo e regressione | Set di dati/versione, metodo, soglie, risultati, limitazioni | Prestazioni per condizioni testate |
| Test di sicurezza | Trova percorsi sfruttabili attraverso obiettivi, strumenti, identità, memoria, codice e dipendenze | Modellazione delle minacce, test contraddittori, revisione della configurazione, convalida degli exploit | Modello di minaccia, casi di test, traccia dell'exploit, gravità, nuovo test di riparazione | Esposizione alla sicurezza per l'ambito testato |
| Audit di conformità | Valutare i criteri legali, normativi, contrattuali e politici definiti | Test di progettazione, campione di efficacia operativa, ispezione delle prove, riesecuzione | Matrice dei criteri, popolazione, campione, documenti di lavoro, eccezioni, risposta della direzione | Conformità o eccezione rispetto ai criteri stabiliti |
| Garanzia operativa | Verificare che i controlli continuino a funzionare durante il cambiamento di produzione | Segnali continui, avvisi di soglia, riconciliazioni, revisione mirata, monitoraggio delle soluzioni | Eventi di controllo, avvisi di garanzia, revisione del proprietario, prove di chiusura del problema | Stato attuale del controllo ed esposizione irrisolta |
Esegui procedure in fase di progettazione, rilascio, runtime e periodiche
Trattare il programma di audit come un ciclo di vita. Il NIST Generative AI Profile volontario finale suggerisce di conservare la cronologia dei test, delle valutazioni, delle convalide e delle verifiche, utilizzando criteri di rilascio misurabili, documentando l'approvazione, conducendo valutazioni continue e definendo procedure di disattivazione. Applica le pratiche in cui l'agente utilizza l'intelligenza artificiale generativa, quindi aggiungi identità, delega, strumento, policy, approvazione e procedure multi-agente specifiche dell'agente.
Il IMDA Model AI Governance Framework for Agentic AI v1.5 è una guida di vita volontaria pubblicata. Supporta la definizione dei limiti operativi e delle policy di autorizzazione prima della distribuzione, la valutazione dei componenti e del comportamento end-to-end, il monitoraggio dopo la distribuzione, la gestione degli incidenti e la rivalutazione delle modifiche a modelli, strumenti, autorizzazioni e processi.
| Palcoscenico | Procedure richieste | Popolazione delle prove | Criterio di superamento |
|---|---|---|---|
| Tempo di progettazione | Confini, scopo, proprietà, classificazione del rischio, valutazione dell'impatto, modello di minaccia, modello di identità, confini degli strumenti e dei dati, progettazione dell'approvazione, schema delle prove | Documenti di progettazione e specifiche di controllo approvate | Ogni rischio materiale è associato a un campo proprietario, controllo, test e prova |
| Tempo di rilascio | Test di regressione e contraddittorio, simulazione di policy, revisione dei permessi, revisione delle dipendenze, test di completezza delle prove, prove di rollback, approvazione | Release candidate, suite di test, eccezioni, approvazioni | Le soglie passano; le eccezioni accettate sono autorizzate, datate e limitate |
| Tempo di esecuzione | Applicazione di policy in linea, routing delle decisioni, associazione di identità, acquisizione di prove, rilevamento di anomalie, limiti di velocità e valore, contenimento | Tutte le azioni di produzione e gli eventi di controllo | Le azioni consequenziali comportano un verdetto preventivo e un registro completo del lignaggio |
| Periodico | Riconciliazione della popolazione, campione basato sul rischio, ricertificazione dell'accesso, revisione della qualità dell'approvazione, analisi della deriva e dei risultati, follow-up degli incidenti, test di conservazione e verifica | Periodo definito più tutti gli strati di eccezioni obbligatorie | Le eccezioni vengono quantificate, riconosciute, risolte e riflesse nella conclusione dell'audit |
Seleziona i campioni per rischio, tipo di decisione, anomalia, percorso di approvazione e modifica del sistema
Stabilire la completezza prima di scegliere i casi. Riconcilia eventi aziendali originari, esecuzioni di agenti, decisioni politiche, richieste di decisione, effetti a valle e record di prove sigillate. Le differenze diventano eccezioni o limitazioni di portata; non possono scomparire attraverso la selezione del campione.
Utilizzare un campione riproducibile e basato sul rischio con una linea di base casuale. Registra la query sulla popolazione, il tempo di estrazione, i sistemi di origine, i filtri, il seed casuale, la logica di selezione, le sostituzioni e il revisore. Conserva la popolazione congelata con hash in modo che un secondo revisore possa rigenerare lo stesso campione.
- Rischio: include i casi di impatto, valore, privilegio, sensibilità, irreversibilità e persone colpite con il maggiore impatto.
- Tipo di decisione: copre ogni materiale consentito, negato, riassegnato, ignorato, ripristinato e esito di non azione.
- Anomalia: include bypass dei controlli, rifiuti di policy seguiti da esecuzione, tentativi ripetuti, sequenze di strumenti insolite, avvisi di deviazione, picchi di latenza ed esiti anomali.
- Percorso di approvazione: include azioni autonome, approvazioni ordinarie, riassegnazioni, sostituzioni, utilizzo break-glass, richieste scadute e riassegnazione del revisore.
- Modifica del sistema: include il primo e l'ultimo caso relativo alle modifiche a modello, prompt, policy, autorizzazione, strumento, dati, orchestratore, versione e implementazione.
- Base di riferimento casuale: seleziona dalla popolazione rimanente per rilevare i guasti ordinari che i filtri di rischio potrebbero non rilevare.
Audit lavorato: un'azione regolamentata dell'agente decisionale sul prestito
Supponiamo che una banca al dettaglio dell'UE utilizzi un agente per raccogliere i dati della richiesta, richiamare un modello di rischio di credito, applicare la politica di prestito, inoltrare i casi limite a un sottoscrittore e scrivere l'esito dell'approvazione o del rifiuto. Un sistema di IA destinato a valutare l'affidabilità creditizia di una persona fisica o a stabilire un punteggio di credito rientra nell'allegato III, punto 5(b) della legge dell'UE sull'AI ed è presunto ad alto rischio ai sensi dell'articolo 6(2), soggetto alle norme specifiche dell'articolo 6(3); la profilazione in un uso di cui all'allegato III rimane ad alto rischio. L'audit registra il ruolo di distributore specifico della banca e il ruolo di fornitore del modello di fornitore ai sensi dell'articolo 3,, quindi verifica i controlli applicabili di ciascuna parte.
Per un sistema ad alto rischio, l'articolo 12 della [legge dell'UE sull'intelligenza artificiale] (https://eur-lex.europa.eu/eli/reg/2024/1689/oj) richiede capacità tecniche per la registrazione automatica degli eventi durante la vita del sistema per supportare la tracciabilità, il monitoraggio post-commercializzazione e le indagini. L'articolo 14 richiede un'efficace capacità di supervisione umana proporzionata al rischio, all'autonomia e al contesto, mentre l'articolo 26(2) richiede che chi implementa la supervisione assegni la supervisione a persone con la competenza, la formazione, l'autorità e il supporto necessari. La procedura dettagliata converte tali obblighi condizionali in prove di prova per una decisione.
| Fare un passo | Controllo previsto | Artefatto | Procedura di revisione | Condizione di fallimento |
|---|---|---|---|---|
| 1. Stabilisci il caso | L'applicazione entra nel processo di prestito approvato e riceve un ID di viaggio univoco | Evento dell'applicazione, ID del viaggio, codice scopo, tipo di decisione, livello di rischio | Traccia l'evento aziendale nella popolazione degli agenti e nel registro sigillato | Caso mancante, ID duplicato, scopo non corrispondente |
| 2. Lega identità e autorità | L'identità dell'agente, l'entità sponsor, la sessione e la delega sono attuali e hanno ambito | Rivendicazioni di identità, record di delega, snapshot di autorità, scadenza | Rieseguire l'autorizzazione effettiva al timestamp dell'evento | Identità condivisa, sovvenzione scaduta, ambito in eccesso |
| 3. Recupera i dati consentiti | I confini dei dati limitano fonti, record, campi, geografia e scopo | Riferimenti di origine, hash della query, ID/versione del limite, record di redazione | Confronta i record a cui si accede con il limite approvato e i registri di origine | Fonte non approvata, campo in eccesso, provenienza mancante |
| 4. Richiama modello e strumenti | Le versioni approvate di modello, prompt, orchestratore e strumento vengono eseguite con input limitati | ID di rilascio, hash di input/output, versioni del catalogo degli strumenti, ricevute di invocazione | Risolvere ogni versione e confrontare la sequenza di chiamate con la Release approvata | Versione non approvata, strumento nascosto, input modificabile |
| 5. Applica norma | KLA Policy Engine valuta l'azione prima dell'esecuzione | ID/versione policy, regole corrispondenti, verdetto consenti/nega/riassegna, timestamp | Rieseguire la decisione politica con gli input e la versione registrati | Il verdetto segue l'azione, la mancata corrispondenza delle regole, l'aggiramento |
| 6. Ottieni una decisione umana | I casi limite o eccezionali vengono indirizzati a un sottoscrittore autorizzato | Richiesta di decisione, prove presentate, autorità del revisore, motivazione, momento della decisione | Ispezionare la sufficienza delle prove e convalidare in modo indipendente l'autorità del revisore | Timbro di gomma, motivazione mancante, revisore non autorizzato |
| 7. Conferma il risultato | L'azione dello strumento approvato corrisponde alla politica e alla decisione umana | Richiesta/risposta dello strumento, hash di stato prima/dopo, riferimento al sistema di prestito | Traccia la scrittura finale nel sistema bancario e confronta importo, termini e stato | Il risultato è diverso, effetto collaterale aggiuntivo, ricevuta mancante |
| 8. Notifica e preserva rimedio | L'avviso richiesto, il percorso di revisione, l'escalation e il percorso di correzione rimangono collegati al caso | Record di avviso, codici motivo, evento di ricorso o revisione manuale, record di correzione | Ispezionare la consegna e tracciare qualsiasi problema successivo fino alla risoluzione | Avviso non consegnato, percorso di revisione interrotto, correzione non risolta |
| 9. Sigilla e verifica le prove | Evidence Room sigilla la documentazione completa e verifica l'integrità dei test | Pacchetto di prove sigillate, manifest, hash, firma, catena di custodia | Ricalcola gli hash, convalida la firma e riconcilia il manifest con gli eventi di origine | Errore hash, artefatto omesso, chiave sconosciuta |
| 10. Riproduci la decisione | Lineage Explorer risolve versioni, input, policy, approvazione ed effetti | Record di riproduzione, archivio di versioni, risultati deterministici o tolleranza documentata | Rieseguire la sequenza delle policy e degli strumenti in un ambiente controllato | Versione mancante, divergenza inspiegabile, effetto collaterale vivo non sicuro |
Matrice di responsabilità per la proprietà del controllo e la garanzia indipendente
Mantenere la matrice compatta e specifica per la decisione. Un imprenditore responsabile firma l'ambito, l'accettazione del rischio e il piano di riparazione. I proprietari responsabili tecnici e di controllo gestiscono i controlli. Le funzioni di rischio, conformità, sicurezza, privacy, legale e rischio modello mettono alla prova i loro mandati. L'audit interno stabilisce il proprio ambito, esegue procedure indipendenti e riferisce le conclusioni all'organo di governo appropriato.
| Attività | Responsabile | Responsabile | Consultato/sfidato da | Prova di responsabilità |
|---|---|---|---|---|
| Approvare lo scopo, la propensione al rischio e l'utilizzo della produzione | Imprenditore | Proprietari di prodotto e processo | Rischio, conformità, legale, sicurezza | Approvazione e condizioni d'uso firmate |
| Agente di progettazione, modello, strumenti e controlli dei dati | Proprietario tecnico | Ingegneria, modello, identità, dati, proprietari di piattaforme | Rischio, sicurezza, privacy, proprietari di controllo | Specifiche di progettazione e controllo approvate |
| Gestire politiche, approvazioni, monitoraggio e incidenti | Proprietario delle operazioni | Controlla i proprietari e i team di guardia | Rischio, conformità, operazioni di sicurezza | Controllare gli eventi, rivedere i registri, i record degli incidenti |
| Approva rilascio, implementazione, eccezione e rollback | Imprenditore | Responsabile del rilascio e titolare tecnico | Proprietari di controllo, rischio, sicurezza, convalida del modello | Registro delle decisioni con risultati e condizioni dei test |
| Conservare e verificare le prove | Proprietario dei record | Proprietari della piattaforma di prova e del sistema di origine | Legale, privacy, controlli interni | Programma di conservazione, risultati del verificatore, conservazioni legali |
| Fornire conclusioni di audit indipendenti | Direttore responsabile della revisione contabile o delegato del comitato di revisione contabile | Team di incarico per l'audit interno | Specialisti in materia con garanzie di indipendenza | Piano di audit, documenti di lavoro, rapporto, follow-up approvati |
Schema di prova minimo per log di controllo, riproduzione e prova dell'azione dell'agente AI
Un percorso riproducibile necessita di identificatori stabili, contesto con versione, risultati di controllo, autorità umana, effetti aziendali e metadati di integrità. Lo schema del registro di controllo dell'agente AI scaricabile fornisce il contratto della macchina indipendente dal fornitore ed esempi firmati. La guida agli audit trail degli agenti AI spiega i livelli di prova, la metodologia di prova di manomissione copre l'integrità e l'esempio di Evidence Room mostra la forma di esportazione.
Archivia valori sensibili in base ai controlli di privacy e sicurezza approvati. Lo schema di controllo può conservare un valore protetto, un riferimento stabile o un hash a seconda dello scopo del campo. Il revisore verifica se la rappresentazione supporta l'asserzione dichiarata e può essere risolta mediante revisione autorizzata.
| Gruppo sul campo | Campi minimi | Prova di controllo |
|---|---|---|
| Registrazione e correlazione | record_id, occurred_at, environment, tenant_id, process_id, journey_id, correlation_id | Unicità, ordinamento timestamp, riconciliazione delle popolazioni |
| Agente e liberatoria | agent_id, agent_release_id, model_id, model_version, orchestrator_version, prompt_template_version | Risolvi ogni versione in un artefatto immutabile approvato |
| Preside e delega | agent_identity_id, sponsoring_principal_id, delegated_by, session_id, authority_snapshot_id, expires_at | Rieseguire l'autorità effettiva al momento dell'evento |
| Scopo e rischio | purpose_code, decision_type, risk_tier, regulatory_classification, classification_basis_version | Confrontare lo scopo e la classificazione con l'ambito approvato |
| Provenienza dei dati | input_reference[], source_hash[], retrieval_query_hash, data_boundary_id, redaction_profile_id | Tracciare ogni input materiale fino a una fonte e un confine consentiti |
| Azione dello strumento | tool_id, tool_version, action, resource_scope, requested_args_hash, response_hash, effect_id | Abbina l'autorità richiesta, la chiamata effettiva, la risposta e l'effetto collaterale |
| Decisione politica | policy_id, policy_version, policy_decision, matched_rule_ids[], exception_id, evaluated_at | Rieseguire il verdetto e confermarlo prima dell'esecuzione |
| Decisione umana | decision_request_id, reviewer_id, reviewer_role, presented_evidence_hash, decision, rationale, decided_at | Convalidare l'autorità, le prove presentate, i tempi e la logica |
| Risultato e recupero | outcome, before_state_hash, after_state_hash, external_reference, incident_id, rollback_id, revocation_event_id | Riconciliare i risultati registrati con il sistema aziendale e la cronologia dei recuperi |
| Integrità e fidelizzazione | evidence_hash, previous_record_hash, bundle_manifest_hash, signature_key_id, sealed_at, retention_class, legal_hold_id | Ricalcola gli hash, convalida la firma e la catena, controlla la conservazione e il blocco |
Testare i diritti di accesso, la delega e le dipendenze multi-agente
L'AI Agent Standards Initiative del NIST è una tabella di marcia attiva che copre standard, protocolli, identità, autorizzazione, sicurezza, interoperabilità e valutazione. Non è uno standard definitivo. Il relativo documento concettuale sull'identità e l'autorizzazione dell'NCCoE rimane una bozza e studia l'identità non umana, la delega con ambito, il privilegio minimo, la registrazione delle azioni, la provenienza, il non ripudio e i record a prova di manomissione. Usalo per affinare le domande di audit ed etichettare i criteri come controlli definiti dall'organizzazione.
Testare l'intera catena di autorità: il principale umano o organizzativo sponsor, l'identità dell'agente, l'ambito delegato, lo scopo, la finestra temporale, la capacità dello strumento, i limiti di risorse e azioni, le soglie di approvazione, il percorso delle eccezioni, il percorso di revoca e l'autorità effettivamente osservata durante l'esecuzione. La guida alle autorizzazioni dell'agente AI fornisce il modello di controllo più approfondito.
Per i sistemi multi-agente, autentica e autorizza ogni trasferimento, preserva le identità di invio e ricezione, convalida l'integrità e la semantica dei messaggi, propaga scopo e vincoli, limita la delega dei sub-agenti e riconcilia il risultato finale con ogni componente che contribuisce. OWASP Top 10 for Agentic Applications 2026 contiene una guida per i professionisti pubblicata e una tassonomia di sicurezza; copre l'abuso di identità e privilegi, l'uso improprio degli strumenti, la memoria, la comunicazione tra agenti, i guasti a cascata e gli agenti non autorizzati. Non si tratta di uno standard o di una certificazione formale.
- Test di identità: ogni attore non umano è unico, attivo, posseduto e distinguibile dalle persone e dagli agenti paritari.
- Test di delega: l'autorità delegata è collegata a un'entità, uno scopo, un ambito, una durata e un evento di revoca approvati.
- Test di accesso effettivo: le sovvenzioni alla fonte, i vincoli delle policy, l'applicazione degli strumenti e le azioni osservate si riconciliano al timestamp dell'evento.
- Test di terze parti: contratti, inventario dei servizi, versioni, percorsi di accesso, compiti in caso di incidente, disponibilità delle prove e controlli di risoluzione coprono la dipendenza.
- Test multi-agente: ogni messaggio contiene mittente autenticato, destinatario previsto, prove di integrità, limiti di contesto e correlazione con il percorso finale.
Imposta la cadenza dell'audit e la garanzia continua in base al trigger
Il rapporto finale del NIST [Challenges to the Monitoring of Deployed AI Systems] (https://doi.org/10.6028/NIST.AI.800-4) spiega che il monitoraggio post-implementazione può rilevare problemi di affidabilità, deviazioni e conseguenze indesiderate, mentre gli obiettivi e i metodi di monitoraggio dipendono dal sistema, dal contesto, dai segnali disponibili e dagli attori. Non prescrive una cadenza, uno schema minimo o una soglia universale. Imposta la cadenza in base a impatto, autonomia, volume, tasso di cambiamento, cronologia degli incidenti, rilevabilità, obblighi legali e qualità delle prove.
La garanzia continua fornisce segnali di controllo dell'intera popolazione al management e popolazioni mirate ai team di seconda linea e di audit interno. L’audit interno convalida ancora la completezza della fonte, la progettazione del controllo, la logica di allarme, la revisione del proprietario, la correzione e l’indipendenza prima di fare affidamento su tali segnali. La guida al monitoraggio post-market fornisce la struttura di monitoraggio più approfondita.
| Trigger o intervallo | Procedura | Proprietario principale | Evidenze di audit |
|---|---|---|---|
| Prima del primo utilizzo in produzione | Progettazione completa del dominio 12- e revisione della preparazione | Titolari commerciali e tecnici | Confini approvati, controlli, test, prove, Rollback |
| Ogni rilascio di materiale o cambiamento di confine | Regressione, simulazione di policy, revisione di permessi e dipendenze, test di evidenza | Rilascia il proprietario | Differenze di rilascio, risultati dei test, approvazione, condizioni di implementazione |
| Runtime continuo | Segnali di politica, approvazione, identità, anomalia, risultato e integrità delle prove | Controlla i proprietari | Eventi di controllo, avvisi di garanzia, collegamento agli incidenti |
| Revisione delle operazioni settimanale o mensile | Eccezioni, sostituzioni, modelli di rifiuto, avvisi non risolti, rollback | Proprietario delle operazioni | Esaminare la documentazione, le decisioni, i piani di riparazione |
| Revisione trimestrale del rischio | Accedi a ricertificazioni, analisi dei risultati, test a campione, modifiche ai fornitori | Proprietari d'impresa e di rischio | Ricertificazione, campioni di documenti di lavoro, accettazione del rischio |
| Ciclo di audit annuale o basato sul rischio | Ambito indipendente, test di progettazione e di efficacia operativa, follow-up | Controllo interno | Piano di audit, documenti di lavoro, relazione, chiusura verificata |
| Incidente o errore nel controllo del materiale | Contenimento, popolazione colpita completa, causa principale, rollback, nuovo test di controllo | Proprietario dell'incidente | File dell'incidente, elenco dei casi interessati, prove di recupero e ripetizione del test |
Applicare criteri normativi e standard con lo stato attuale
Nessuno standard finale di verificabilità end-to-end, specifico per l'agente, è stato verificato a partire dalla revisione della fonte 14 di luglio 2026. NIST AI RMF 1.0 è un quadro volontario definitivo per la gestione del rischio dell'IA in tutte le tecnologie e i settori. La NIST AI Agent Standards Initiative è una tabella di marcia e il suo lavoro su identità e autorizzazione rimane una bozza di documento concettuale. I team di audit necessitano quindi di una serie di criteri documentati adattati al sistema e all’impegno.
Il IMDA Model AI Governance Framework for Agentic AI v1.5 è una guida di vita volontaria pubblicata. L'OWASP Agentic Top 10 è una guida pubblicata per i professionisti sulla sicurezza e una tassonomia dei rischi. Entrambi forniscono utili criteri specifici per l'agente e nessuno dei due è uno standard di certificazione.
ISO/IEC 42001:2023 specifica i requisiti per un sistema di gestione dell'intelligenza artificiale organizzativa. Un audit di certificazione può valutare la conformità degli OBIETTIVI nell'ambito dichiarato. Il certificato non certifica un singolo modello, agente, decisione, output o set di dati come sicuro, accurato, giusto, protetto, etico o legale; verificare l'organismo di certificazione, l'accreditamento, i siti, le esclusioni, la validità e la dichiarazione di applicabilità.
La legge dell'UE sull'AI si applica in base al ruolo dell'operatore, allo scopo previsto e alla classificazione del rischio. Fornitore e distributore sono ruoli distinti e dipendenti dai fatti ai sensi dell'articolo 3, e l'articolo 25 può trasferire la responsabilità del fornitore dopo il rebranding, una modifica sostanziale o un cambiamento di scopo che rende un sistema ad alto rischio. Gli agenti IA non sono automaticamente ad alto rischio; applicare l’articolo 6 e l’allegato I o III al sistema, allo scopo e ai fatti reali.
Per i sistemi ad alto rischio, l'articolo 12 richiede capacità tecniche per la registrazione automatica degli eventi durante la vita del sistema. L'articolo 19 impone ai fornitori di conservare i registri generati automaticamente sotto il loro controllo per almeno sei mesi, a meno che un'altra legge applicabile non disponga diversamente. L'articolo 26(6) offre agli operatori la stessa regola di sei mesi per i tronchi sotto il loro controllo, mentre l'articolo 26 copre anche il rispetto delle istruzioni, l'assegnazione di una supervisione competente e autorizzata, il monitoraggio delle operazioni e l'azione in caso di rischi o incidenti gravi. Questi obblighi non creano una regola di conservazione universale di sei mesi per ogni agente o ogni registro.
I colegislatori dell'UE hanno adottato il Digital Omnibus sull'IA nel giugno 2026: il Parlamento europeo ha approvato il testo il 16 giugno 2026 e il Consiglio ha dato l'approvazione definitiva il 29 giugno 2026, registrato nell'avviso di adozione finale del Consiglio. Il testo finale adottato imposta 2 dicembre 2027 per i sistemi ad alto rischio autonomi dell'articolo 6(2)/allegato III e 2 agosto 2028 per i sistemi integrati nel prodotto dell'articolo 6(1)/allegato I. Gli obblighi di trasparenza dell'articolo 50 mantengono la data 2 agosto 2026.
Gestire le prove incomplete e qualificare la conclusione dell'audit
La sufficienza delle prove richiede pertinenza, affidabilità, completezza, integrità, tempestività e tracciabilità per la popolazione e l’asserzione. Documentare quale parte ha prodotto ciascun artefatto, quale sistema è autorevole, come è stato estratto, se può essere modificato, come il campione si lega alla popolazione e se un revisore indipendente può ripetere la procedura.
Classificare ogni lacuna prima di concludere: un errore di controllo, un record mancante, un errore di integrità, un artefatto di terze parti non disponibile, una scadenza di conservazione, una limitazione della popolazione o un'esclusione dall'ambito di audit. Eseguire procedure alternative in cui affrontano la stessa asserzione. Gli esempi includono la riesecuzione del sistema di origine, la riconciliazione dello stato a valle, la convalida indipendente della firma, la conferma da parte di un soggetto esterno o il test su una popolazione interessata più ampia.
Dichiarare la limitazione nel rapporto indicando il dominio interessato, il periodo, la popolazione, l'asserzione, le alternative tentate, l'incertezza residua, il rischio, il proprietario responsabile, la riparazione e la data di scadenza. Una conclusione qualificata identifica le aree affidabili e il confine esatto attorno alla garanzia non supportata. Una dichiarazione di non responsabilità o una dichiarazione della direzione non possono sostituire le evidenze operative mancanti.
| Condizione di prova | Procedura alternativa | Trattamento conclusivo |
|---|---|---|
| La popolazione non si riconcilia | Ricostruire dai sistemi originari e a valle; testare tutti i casi senza corrispondenza | Limitazione dell'ambito sulla completezza fino alla riconciliazione |
| Politica o versione di rilascio non disponibile | Esamina l'archivio, l'artefatto di distribuzione, il manifest firmato e la cronologia dell'origine | Nessuna conclusione relativa alla riesecuzione per i casi interessati se la versione rimane irrisolta |
| Manca la motivazione o l'autorità di approvazione | Ispeziona i record di identità, la cronologia del Decision Desk e la conferma del revisore | Eccezione di controllo; la sola conferma non dimostra il giudizio contemporaneo |
| La convalida dell'hash, della firma o della catena non riesce | Ricalcola da artefatti autorevoli e ispeziona la cronologia delle chiavi e della custodia | Eccezione di integrità nel bundle o nel segmento di catena interessato |
| Prove del sub-agente di terze parti non disponibili | Ispeziona il contratto, il rapporto indipendente, i record del gateway, le ricevute di input/output e la riconciliazione dei risultati | Conclusione con riserva sulla dipendenza opaca e sulle asserzioni interessate |
| La conservazione è scaduta prima dell'audit | Ispezionare la pianificazione approvata, le conservazioni legali, i record di origine sopravvissuti e i risultati a valle | Limitazione del periodo più rilevamento del controllo di conservazione laddove i criteri richiedevano la conservazione |
Domande frequenti
Cosa copre un audit dell'agente AI?
Copre l'intero sistema di produzione attorno all'agente: inventario, proprietari responsabili, identità, delega, autorizzazioni, dati e strumenti, classificazione dei rischi, test di rilascio, policy di runtime, decisioni umane, linea di esecuzione, risultati, modifiche, incidenti, integrità delle prove, conservazione e terze parti. L’audit verifica sia la progettazione del controllo che l’efficacia operativa su una popolazione riconciliata.
Come posso verificare e riprodurre le decisioni degli agenti IA utilizzando i registri dati aziendali?
Correla eventi aziendali, versioni di agenti e modelli, riferimenti a dati, chiamate a strumenti, verdetti di policy, approvazioni e modifiche dello stato downstream con ID stabili. Congelare le versioni e i riferimenti di input, verificare il manifest delle prove, ripetere la decisione politica e riprodurre gli effetti dello strumento in un ambiente controllato; il flusso di lavoro di Lineage Explorer mostra la sequenza governata.
Come posso creare audit trail per le azioni dell'agente AI?
Acquisisci i record in modo sincrono in occasione di eventi di identità, recupero, policy, approvazione, strumento, risultato, incidente e rollback. Sigillali in un manifest con hash, firme, dati della catena di custodia e metadati di conservazione, quindi riconcilia ogni azione con i sistemi di origine e a valle; consultare la guida agli audit trail degli agenti AI.
Di quali audit trail ho bisogno per garantire la conformità degli agenti IA ai sensi della legge UE sull'IA?
Il requisito dipende dal ruolo e dalla classificazione. Per i sistemi ad alto rischio, l'articolo 12 della legge dell'UE sull'IA richiede capacità tecniche per la registrazione automatica degli eventi durante la vita del sistema; Gli articoli 19 e 26(6) impongono rispettivamente ai fornitori e agli utilizzatori di conservare i registri generati automaticamente sotto il loro controllo per almeno sei mesi, a meno che un'altra legge applicabile non disponga diversamente. Questa regola non si applica universalmente a ogni agente AI o a ogni registro.
Come posso verificare e certificare i diritti di accesso dell'agente AI?
Controllare il principale sponsor, l'identità dell'agente, la delega, le sovvenzioni effettive, i limiti degli strumenti e delle risorse, lo scopo, la durata, le condizioni di approvazione, l'uso osservato, la revoca e le prove di ricertificazione. Il documento di identità e autorizzazione del NIST rimane una bozza e ISO/IEC 42001 certifica un sistema di gestione organizzativa con ambito attraverso un organismo di certificazione; nessuno dei due fornisce un certificato universale per i diritti di accesso di un singolo agente.
Con quale frequenza dovrebbe essere controllato un sistema di agenti AI?
Audit prima del primo utilizzo in produzione, dopo modifiche ai materiali, su un ciclo periodico basato sul rischio e dopo incidenti o errori nel controllo dei materiali. La garanzia continua dovrebbe monitorare l'intera popolazione tra gli audit; il rapporto di monitoraggio del NIST finale conferma che il monitoraggio dipende dal contesto del sistema e non prescrive una cadenza universale.
Cosa succede quando le prove di audit dell'agente AI sono incomplete?
Classificare il divario, quantificare la popolazione interessata, eseguire procedure alternative e registrare l'incertezza residua. La relazione dovrebbe qualificare l'asserzione, il periodo o la dipendenza interessati e assegnare la riparazione; la rappresentazione gestionale non sostituisce l'evidenza operativa contemporanea.
Punti chiave
Un audit difendibile dell'agente IA inizia con un confine e una popolazione completi, assegna un imprenditore responsabile, testa i controlli durante tutto il ciclo di vita, campiona azioni consequenziali e anomale, riproduce la linea di esecuzione e qualifica ogni conclusione priva di prove sufficienti. Utilizza la valutazione della preparazione all'audit dell'agente per assegnare un punteggio ai domini 12, quindi ispeziona il pacchetto di prove sigillate di esempio per confrontare i tuoi record con un pacchetto di prove verificabili in modo indipendente.