La parte responsabile di un agente AI è la persona che ha l'autorità di approvarne lo scopo aziendale, stabilirne i limiti operativi, accettarne i risultati e interromperne l'utilizzo. Nella maggior parte delle aziende, questo è il responsabile del processo aziendale. I ruoli tecnici, di modello, di dati, di sicurezza, di strumenti, di policy, di approvazione, di operazioni, di conformità, di audit e di fornitore hanno responsabilità definite attorno a quel proprietario. La responsabilità segue l'autorità e il confine di controllo attraverso ogni azione, rilascio, incidente, cambiamento e dipendenza esterna.
Chi è responsabile di un agente AI in produzione
Assegnare un responsabile del processo aziendale per l'utilizzo della produzione e i suoi risultati. Lo sponsor esecutivo possiede la propensione al rischio aziendale, i finanziamenti e l’autorità di escalation. Il prodotto agente o il proprietario tecnico possiede l'integrità tecnica e le versioni controllate. Ogni altro ruolo possiede una decisione, un controllo, un artefatto o una conclusione indipendente specifici. Un contratto con il fornitore modifica la distribuzione del lavoro mentre il proprietario dell'impresa mantiene la responsabilità del processo gestito sotto l'autorità dell'impresa.
Tracciare la responsabilità attraverso quattro confini: chi autorizza lo scopo, chi può modificare il sistema, chi può consentire o interrompere un'azione e chi accetta l'impatto aziendale risultante. Registra ogni confine con una persona nominata, autorità delegata, criteri decisionali, fonte di prova, percorso di escalation e date di entrata in vigore. I comitati condivisi possono consigliare e approvare all'interno di una carta; ogni decisione necessita ancora di un ruolo responsabile nominato.
Utilizza il framework di controllo degli agenti AI aziendali per testare questa matrice come parte del sistema di produzione più ampio. La valutazione della preparazione all'audit dell'agente verifica se la proprietà, l'autorità, i controlli e le prove sono pronti per una revisione indipendente.
- Scopo e risultati: il proprietario del processo aziendale approva l'uso previsto, le persone interessate, le misure dei risultati, l'accettazione del rischio e il ritiro.
- Costruisci e modifica: i proprietari di aspetti tecnici, modelli, dati, identità, strumenti e policy approvano i componenti e i limiti entro i loro mandati.
- Autorità di azione: i proprietari delle policy definiscono le regole di instradamento, gli approvatori umani nominati decidono i casi consequenziali e le operazioni possono contenere l'esecuzione.
- Garanzia: le funzioni di seconda linea si confrontano nell'ambito dei loro mandati, mentre l'audit interno sceglie il proprio ambito e fornisce una conclusione indipendente.
Matrice di responsabilità dell'agente AI predefinita durante tutto il ciclo di vita
Utilizzare questa matrice predefinita quando un'impresa gestisce un agente all'interno di un processo aziendale. Responsabile significa autorità decisionale finale per l'attività elencata. Responsabile significa controllare il funzionamento e la consegna. I ruoli consultati forniscono competenze o sfide formali. I ruoli informati ricevono la decisione e le sue condizioni. Ogni riga ha un ruolo responsabile per l'ambito decisionale definito.
La matrice è un controllo iniziale. Le variazioni del modello operativo riportate di seguito sostituiscono incarichi specifici laddove l'architettura, l'approvvigionamento, la proprietà degli strumenti o l'approvazione umana obbligatoria modificano i confini dell'autorità.
| Fase del ciclo di vita | Responsabile | Responsabile | Consultato/sfidato da | Informato | Prova di responsabilità |
|---|---|---|---|---|---|
| Progetto | Titolare responsabile del processo aziendale | Proprietario prodotto/tecnico dell'agente; titolare del modello o della garanzia AI; dati, IAM/sicurezza, catalogo degli strumenti e proprietari di policy/controlli | Conformità/legale/privacy; proprietario di terze parti/venditore; operazioni | Sponsor esecutivo; audit interno attraverso l’universo di audit | Approvazione di scopi e confini, architettura, valutazioni di impatto e rischio, carta dei ruoli, specifiche di controllo |
| Approvazione | Titolare responsabile del processo aziendale | Il proprietario del prodotto/tecnico dell'agente e il proprietario della politica/del controllo assemblano il pacchetto decisionale | Garanzia del modello o dell'intelligenza artificiale; dati; IAM/sicurezza; conformità/legale/privacy; operazioni | Sponsor esecutivo; proprietari di controllo interessati; audit interno attraverso il reporting del rischio | Decisione sull'uso produttivo, condizioni accettate, eccezioni, identità dell'approvatore, motivazione datata |
| Pubblicazione | Proprietario tecnico/prodotto dell'agente | Proprietari di progettazione, modello, dati, IAM/sicurezza, strumento e policy/controllo | Titolare del processo aziendale; garanzia del modello o dell’intelligenza artificiale; operazioni; conformità/legale/privacy | Sponsor esecutivo; approvatori umani nominati; proprietario di terze parti/venditore | Manifesto di rilascio, risultati dei test, simulazione delle policy, revisione delle autorizzazioni, risultato del rollback, approvazione |
| Tempo di esecuzione | Titolare responsabile del processo aziendale | Operazioni; proprietario della politica/controllo; nominato approvatore umano; proprietari di dati tecnici, identità e strumenti | Garanzia del modello o dell'intelligenza artificiale; conformità/legale/privacy; proprietario di terze parti/venditore | Sponsor esecutivo; audit interno attraverso reporting concordato | Richieste decisionali, verdetti politici, ricevute di strumenti, record di discendenza, riconciliazioni di risultati, revisioni di controllo |
| Incidente | Comandante delle operazioni e dell'incidente | Risponditori tecnici, IAM/sicurezza, dati, strumenti, policy/controllo, fornitori e comunicazioni | Titolare del processo aziendale; conformità/legale/privacy; modello o garanzia dell’intelligenza artificiale | Sponsor esecutivo; approvatori umani nominati; audit interno secondo il protocollo | Record del comando dell'incidente, popolazione dei casi interessati, contenimento, notifiche, ripristino, causa principale, nuovo test |
| Modifica | Titolare responsabile del processo aziendale | Proprietario tecnico/prodotto dell'agente e ogni proprietario il cui confine cambia | Garanzia del modello o dell'intelligenza artificiale; operazioni; conformità/legale/privacy; proprietario di terze parti/venditore | Sponsor esecutivo; approvatori umani nominati; audit interno attraverso il reporting del rischio | Modifica classificazione, differenza di dipendenza, rivalutazione, risultati di regressione, condizioni, approvazione del rilascio |
| Pensione | Titolare responsabile del processo aziendale | Proprietario prodotto/tecnico dell'agente; operazioni; proprietari di dati, identità, strumenti, policy e fornitori | Conformità/legale/privacy; proprietario dei documenti; modello o garanzia dell’intelligenza artificiale | Sponsor esecutivo; utenti; audit interno attraverso l’universo di audit | Decisione di pensionamento, revoca dell'accesso, chiusura delle dipendenze, disposizione dei dati, prove conservate, riconciliazione dei risultati |
Carte dei ruoli per tutti i ruoli di governance degli agenti AI 13
Un nome di ruolo diventa utile quando svolge cinque compiti completi: decisioni possedute, controlli eseguiti, prove prodotte, eventi di escalation e un confine mantenuto dal ruolo. Inserisci una persona nominata, un delegato, una data di validità e un backup in ogni riga. I posti vacanti e le assegnazioni sovrapposte costituiscono eccezioni di controllo finché il responsabile del processo aziendale non le risolve.
Una persona può ricoprire diversi ruoli in un'organizzazione più piccola. Le prove devono comunque dimostrare quale ruolo la persona ha esercitato per ciascuna decisione e dove si applicano le garanzie di indipendenza.
| Ruolo | Decisioni che possiedono | Controlli che operano | Prove che devono produrre | Eventi che richiedono un'escalation | Confine che non possono delegare |
|---|---|---|---|---|---|
| Sponsor esecutivo | Propensione al rischio aziendale, finanziamenti, priorità strategica, tetto delle eccezioni esecutive e interruzione del programma | Forum di governance esecutiva, limiti di accettazione del rischio, allocazione delle risorse e reporting del consiglio di amministrazione | Mandato approvato, propensione al rischio, decisioni di finanziamento, decisioni sulle eccezioni e aggiornamenti dell'organo di governo | Violazione della propensione al rischio, danno materiale, fallimento del controllo sistemico, proprietà irrisolta o risorse inadeguate | Responsabilità esecutiva per mandato, risorse ed escalation all'interno della carta dello sponsor |
| Proprietario responsabile del processo aziendale | Uso previsto, approvazione della produzione, criteri di risultato, condizioni operative, accettazione del rischio, priorità di riparazione e ritiro | Controlli dei processi, revisione dei risultati, restrizioni all'uso, governance delle eccezioni e ricertificazione del proprietario | Dichiarazione di scopo, mappa dei processi, approvazione, matrice di responsabilità, revisione dei risultati, accettazione del rischio ed evidenza di chiusura | Impatto imprevisto sulla persona interessata, superamento della soglia, aggiramento del controllo, deviazione dello scopo, incidente o posto vacante del proprietario | Responsabilità per il processo, le sue decisioni, l'impatto sui clienti o sui dipendenti e l'utilizzo dei fornitori |
| Agente prodotto/proprietario tecnico | Architettura, componenti approvati, accettazione tecnica, contenuto della versione, condizioni di implementazione, raccomandazione di rollback e riparazione tecnica | Controllo delle versioni, controlli di creazione e rilascio, controlli di integrazione, gestione della configurazione, osservabilità e contenimento tecnico | Architettura e flussi di dati, manifesto di rilascio, risultati dei test, inventario delle dipendenze, runbook e record di rollback | Componente non approvato, soglia non riuscita, comportamento instabile, dipendenza nascosta, lacuna nelle prove o implementazione non sicura | Integrità tecnica, accuratezza dell'inventario, riproducibilità e divulgazione veritiera delle limitazioni |
| Titolare del modello o della garanzia AI | Metodo di valutazione, set di dati, soglie, conclusione della convalida, limitazioni, ambito del nuovo test ed eccezione di garanzia | Valutazione indipendente, red teaming, test di sottogruppo e di regressione, revisione della deriva e follow-up | Piano di valutazione, set di dati e record della versione, risultati, limitazioni, conclusione della convalida e prove di ripetizione del test | Guasto della soglia, deriva del materiale, progettazione del test non valida, nuova modalità di fallimento, copertura debole o limitazione irrisolta | Integrità, ambito, metodi, limitazioni e indipendenza della conclusione di garanzia |
| Proprietario dei dati | Fonti approvate, scopo consentito, soglie di qualità, accesso al campo, derivazione, conservazione, correzione e disposizione | Qualità dei dati, provenienza, confini dei dati, minimizzazione, conservazione, correzione e riconciliazione della fonte | Inventario di origine, approvazione dei dati, risultati di qualità, derivazione, record di accesso, programma di conservazione e cronologia delle correzioni | Fonte non autorizzata, violazione della qualità, divario di provenienza, esposizione di dati sensibili, dati non aggiornati o conflitto di eliminazione | Idoneità, uso consentito, provenienza e ciclo di vita dei dati all'interno del dominio del proprietario |
| IAM/proprietario della sicurezza | Progettazione dell'identità, modello di delega, accesso effettivo, eccezioni di sicurezza, ciclo di vita delle credenziali, revoca e accesso di emergenza | Identità univoche, privilegio minimo, autenticazione, autorizzazione, limiti di sessione, gestione dei segreti, rilevamento e revoca | Record di identità, snapshot delle autorità, revisioni degli accessi, modello di minaccia, test di sicurezza, eccezioni ed eventi di revoca | Identità condivisa o orfana, escalation di privilegi, credenziali compromesse, concessione tossica, bypass o exploit attivo | Integrità dell'identità, autorità delegata, atteggiamento di sicurezza e revoca tempestiva |
| Proprietario del catalogo strumenti | Ammissione dello strumento, assegnazione del proprietario, azioni approvate, stato dell'interfaccia e della versione, contratto di prova, sospensione e rimozione | Completezza del catalogo, attestazione dello strumento, schemi di azioni, mappatura delle autorizzazioni, revisione della versione, stato di integrità e disabilitazione | Voce nel catalogo degli strumenti, approvazione del proprietario, definizione di azioni e ambito, cronologia delle versioni, risultato del test, ricevute e record di sospensione | Strumento non registrato, posto vacante del proprietario, deriva dello schema, versione non supportata, intervallo di ricevute, azione in eccesso o dipendenza non sicura | Completezza e stato attuale dell'inventario degli strumenti disciplinati e del relativo contratto di prova |
| Proprietario della policy/controllo | Obiettivo di controllo, regole della policy, soglie, percorso decisionale, criteri di eccezione, test di controllo e accettazione della correzione | Creazione di policy, simulazione, flusso di lavoro di approvazione, valutazione runtime, scadenza delle eccezioni, monitoraggio dei controlli e ricertificazione | Specifica di controllo, versione della policy, risultati della simulazione, verdetti, eccezioni, revisioni e test di correzione | Aggiramento delle policy, regola obsoleta, regola in conflitto, verdetto inspiegabile, scadenza dell'eccezione o fallimento del controllo | Controlla l'intento, l'accuratezza delle regole, i criteri decisionali e la contabilità completa delle eccezioni |
| Approvatore umano nominato | Approvare, negare, restituire o intensificare ciascuna decisione consequenziale assegnata nell'ambito dell'autorità documentata | Revisione delle prove, controllo dei conflitti, controllo dell'autorità, acquisizione delle motivazioni, gestione delle scadenze ed escalation | Richiesta di decisione, prove presentate, istantanea dell'autorità, decisione, motivazione, timestamp e registrazione dell'escalation | Prove insufficienti, conflitto di autorità, sospetta manipolazione, conflitto di politiche, rischio di scadenza o impatto oltre il mandato | Esercizio personale di giudizio e motivazione contemporanea della decisione assegnata |
| Comandante delle operazioni e dell'incidente | Intervento in fase di esecuzione, classificazione degli incidenti, sequenza di contenimento, limitazione del servizio, ripristino e ritorno al funzionamento | Monitoraggio, triage di allerta, risposta su chiamata, procedure di eliminazione e revoca, riconciliazione dei casi interessati, recupero ed esercitazioni | Revisione operativa, cronologia degli allarmi, cronologia degli incidenti, decisioni di comando, popolazione interessata, prove di recupero e lezioni apprese | Esecuzione non contenuta, servizio materiale o impatto sui risultati, avviso ripetuto, perdita di prove, ripristino non riuscito o attivazione di notifica | Comando dell'incidente, contabilità del contenimento, criteri di ripristino e comunicazione accurata dello stato |
| Conformità/legale/privacy | Criteri applicabili, posizione legale e privacy, necessità di valutazione, garanzie contrattuali, obblighi di notifica e consulenza formale in materia di archiviazione | Inventario normativo, mappatura dei controlli, revisione della privacy e dell'impatto, monitoraggio delle modifiche legali, flusso di lavoro delle notifiche e sfida dei problemi | Memo dei criteri, valutazioni, mappatura dei controlli, termini contrattuali, consulenza, notifiche, archivi e record di modifiche legali | Modifica della legge o delle linee guida, nuova giurisdizione o scopo, impatto sui diritti, incidente sulla privacy, contatto con l'autorità di regolamentazione o interpretazione contestata | Consulenza professionale, avvisi formali, decisioni sui privilegi ed escalation nell'ambito del mandato assegnato |
| Audit interno | Universo di audit, ambito dell'incarico, criteri, campionamento, affidamento, valutazione dei risultati, conclusione, reporting e verifica di follow-up | Pianificazione indipendente, richieste di prove, test sulla popolazione, campionamento, riesecuzione, revisione delle carte di lavoro, reporting e follow-up | Valutazione del rischio, piano di audit, registro della popolazione e del campione, documenti di lavoro, eccezioni, rapporto e chiusura verificata | Limitazione dell’ambito, forzatura da parte della direzione, mancata integrità delle prove, riscontro materiale, minaccia all’indipendenza o riparazione tardiva | Ambito, procedure, conclusioni e percorso di reporting diretto indipendenti e oggettivi dell'audit |
| Proprietario fornitore/terze parti | Selezione dei fornitori, due diligence, controlli contrattuali, accettazione del servizio, risposta alle prestazioni, accesso alle prove, uscita e sostituzione | Inventario dei fornitori, due diligence, revisione di contratti e SLA, revisione del servizio, monitoraggio dei problemi, raccolta di prove e test di uscita | Due diligence, pianificazione contrattuale e di responsabilità, rapporti di servizio, incidenti, prove di controllo, avvisi di modifica e record di uscita | Mancato controllo del fornitore, subresponsabile opaco, modifica del servizio, rifiuto delle prove, incidente, violazione dello SLA, rischio di concentrazione o risoluzione | Rapporto commerciale, applicazione del contratto, responsabilità del fornitore e percorso di uscita eseguibile |
Variare la matrice per quattro modelli operativi dell'agente AI
Una RACI universale maschera differenze materiali nel controllo e nell’autorità. Registra una sostituzione specifica dello scenario accanto alla matrice predefinita, identifica ogni cella modificata e approva la variazione prima dell'uso in produzione. Il responsabile del processo aziendale firma la versione completa.
I quattro modelli seguenti coprono i confini di produzione comuni. Ogni modello preserva la responsabilità nominativa spostando la responsabilità tecnica, dello strumento, del fornitore o della decisione sul caso al ruolo con controllo effettivo.
| Modello operativo | Modello di responsabilità | La responsabilità cambia | Prove richieste | Confine da preservare |
|---|---|---|---|---|
| Agente creato internamente | Il titolare del processo aziendale possiede lo scopo e i risultati; il proprietario del prodotto/tecnico dell'agente possiede l'architettura e le versioni | I proprietari di modelli interni, dati, IAM/sicurezza, strumenti, policy e operazioni gestiscono l'intero stack di controllo; il proprietario del venditore copre solo modelli o servizi esterni | Provenienza di origine e creazione, architettura, inventario dei componenti, test, approvazione del rilascio, modello di autorità, record di runtime e prova di rollback | L'impresa mantiene il controllo diretto su progettazione, accesso, rilascio, funzionamento, prove e ritiro |
| Agente fornitore incorporato in un processo aziendale | Il proprietario del processo aziendale è proprietario dell'utilizzo e dei risultati; il proprietario del fornitore/terza parte è titolare del rapporto con il fornitore; il fornitore possiede l'ambito del sistema contrattato | L'impresa configura scopo, dati, accesso, strumenti, policy, revisione umana, monitoraggio, incidenti e uscita; il fornitore fornisce controlli tecnici contrattuali, avvisi di modifica e prove | Valutazione del ruolo specifico per i fatti, pianificazione delle responsabilità, inventario del sistema e dei sub-responsabili del trattamento, record di configurazione, prove del servizio, incidenti, avvisi di modifica e test di uscita | L'impresa mantiene l'autorità sull'implementazione, sulle decisioni delle persone interessate, sulle condizioni operative, sul contenimento e sull'accettazione dei fornitori |
| Processo multi-agente con diversi proprietari di strumenti | Un proprietario del processo aziendale possiede il risultato finale; un proprietario del prodotto/tecnico dell'agente possiede l'orchestrazione; ogni proprietario dello strumento possiede il proprio confine di azione | I proprietari degli agenti di invio e di ricezione proteggono ogni trasferimento; Il catalogo degli strumenti e i proprietari IAM/sicurezza riconciliano identità, autorizzazioni, versioni, ricevute e limiti delegati nel grafico | Grafico delle dipendenze, proprietari di agenti e strumenti, trasferimenti autenticati, propagazione dello scopo, istantanee delle autorità, ricevute degli strumenti, contenimento degli errori e percorso end-to-end | I subagenti e gli strumenti ricevono un'autorità limitata; il risultato finale si riconcilia con ogni azione concorrente e proprietario |
| Decisione consequenziale con approvazione umana obbligatoria | Il proprietario del processo aziendale possiede il quadro del processo e dei risultati; l'approvatore umano nominato possiede la decisione individuale di approvare, negare, restituire o intensificare | Il proprietario della politica/controllo instrada ogni caso nell'ambito; il titolare tecnico impedisce l'esecuzione prima di una decisione valida; le operazioni monitorano le code, l'autorizzazione, la scadenza e i tentativi di bypass | Richiesta di decisione, prove presentate, versioni di policy e autorità, identità del revisore, motivazione, timestamp, ricevuta dell'azione finale e cronologia di override | L'approvatore nominato mantiene il giudizio sul caso; il proprietario del processo aziendale si assume la responsabilità delle politiche, del personale, della qualità dei risultati e delle soluzioni correttive |
Esempio pratico: responsabilità per un viaggio di decisione di prestito regolamentato
Supponiamo che una banca al dettaglio dell’UE utilizzi un agente per raccogliere i dati delle richieste, richiamare un modello di rischio di credito, applicare la politica di prestito, inoltrare ogni raccomandazione a un sottoscrittore per l’approvazione obbligatoria e scrivere il risultato finale. Un sistema di IA destinato a valutare l'affidabilità creditizia di una persona fisica o a stabilire un punteggio di credito è elencato nell'allegato III punto 5(b) della legge UE sull'AI ed è presunto ad alto rischio ai sensi dell'articolo 6(2), nel rispetto delle norme dell'articolo 6(3); la profilazione in un uso di cui all'allegato III rimane ad alto rischio.
Questo esempio considera il fornitore del modello e dell'agente come fornitore e la banca come distributore in base ai fatti dichiarati. La tabella segue lo stesso percorso utilizzato nel quadro di audit aziendale e cambia la lente dalla procedura di audit alla responsabilità nominata. Ogni passaggio termina con un artefatto e una condizione di escalation.
| Passo del viaggio | Decisione responsabile | Esecuzione responsabile | Consultato/sfidato da | Prova | Condizione di escalation |
|---|---|---|---|---|---|
| 1. Approva scopo e confine | Il proprietario del processo aziendale approva l'utilizzo del credito, i clienti, i risultati, i limiti e l'approvazione obbligatoria | Il proprietario tecnico/del prodotto dell'agente documenta il confine del sistema e del processo | Sponsor esecutivo; garanzia del modello; conformità/legale/privacy; dati; IAM/sicurezza | Approvazione dello scopo, base di classificazione, mappa dei processi, matrice di responsabilità e condizioni | Scopo poco chiaro, classificazione non supportata, impatto sui diritti, proprietario mancante o rischio residuo inaccettabile |
| 2. Accetta il sistema del fornitore | Il proprietario del fornitore/terza parte accetta il fornitore nell'ambito dell'autorità commerciale approvata | Il proprietario del venditore coordina la due diligence; i proprietari tecnici e di garanzia testano il servizio | Titolare del processo aziendale; conformità/legale/privacy; IAM/sicurezza; dati; garanzia del modello | Valutazione del ruolo, due diligence, pianificazione del contratto, prove del fornitore, elenco dei subresponsabili e piano di uscita | Rifiuto delle prove, lacuna di controllo irrisolta, dipendenza opaca, lacuna contrattuale materiale o test di uscita fallito |
| 3. Associa identità, dati e strumenti | I proprietari di dati, IAM/sicurezza e Catalogo strumenti approvano i rispettivi limiti | Il proprietario tecnico configura le identità approvate, i limiti dei dati e le azioni dello strumento | Titolare della politica/controllo; conformità/legale/privacy; operazioni | Istantanee di identità e autorità, approvazione dei dati, voci del catalogo degli strumenti, versioni, ambiti e test | Privilegio eccessivo, fonte non approvata, strumento non registrato, proprietario mancante o ricevuta incompleta |
| 4. Approva la liberatoria | Il proprietario tecnico/del prodotto dell'agente approva la versione tecnica | I proprietari dei componenti e dell'ingegneria costruiscono, testano e mettono in scena la versione | Titolare del processo aziendale; garanzia del modello; dati; IAM/sicurezza; attrezzo; politica; operazioni | Manifesto di rilascio, valutazione, simulazione delle policy, revisione dell'accesso, test delle prove e risultato del rollback | Soglia non riuscita, scopo modificato, eccezione non risolta, lacuna di prove o rollback non riuscito |
| 5. Assembla l'applicazione | Il proprietario del processo aziendale possiede il controllo dell'immissione del caso | I proprietari tecnici e dei dati gestiscono il recupero entro i limiti approvati | IAM/sicurezza; conformità/legale/privacy; operazioni | ID del percorso, riferimenti di origine, query e hash di origine, versione limite e record di redazione | Caso mancante o duplicato, dati vietati, mancata corrispondenza dei confini, fonte obsoleta o lacuna di provenienza |
| 6. Richiama il modello e applica la policy | Il proprietario della politica/controllo possiede il verdetto di instradamento; il proprietario tecnico possiede l'integrità dell'esecuzione | I proprietari di tecnici, modelli, dati e strumenti eseguono versioni approvate e acquisiscono le ricevute | Garanzia del modello; IAM/sicurezza; Titolare del Processo aziendale | ID di modello e versione, hash di input e output, versione della policy, regole corrispondenti, verdetto e timestamp | Versione non approvata, aggiramento delle policy, conflitto di regole, azione eccessiva dello strumento o violazione della soglia |
| 7. Decidi il caso consequenziale | L'approvatore umano nominato possiede la decisione del caso; Il proprietario del processo aziendale possiede il quadro dei risultati | Il sottoscrittore esamina le prove e le approva, nega, restituisce o intensifica le proprie azioni all'interno dell'autorità | Titolare della politica/controllo; conformità/legale/privacy; garanzia del modello | Richiesta di decisione, prove mostrate, istantanea dell'autorità, decisione, motivazione e tempo della decisione | Prove insufficienti, conflitto tra i revisori, autorità scaduta, segnale di manipolazione o impatto oltre il mandato |
| 8. Impegnati e comunica il risultato | Il proprietario del processo aziendale possiede il risultato finale del processo | I proprietari delle operazioni e degli strumenti tecnici scrivono la decisione approvata e rilasciano la comunicazione richiesta | Nominato approvatore umano; conformità/legale/privacy; proprietario della politica/controllo | Riferimento all'approvazione, richiesta e risposta dello strumento, stato prima e dopo, avviso e percorso di revisione | Mancata corrispondenza del risultato, effetto collaterale aggiuntivo, notifica non riuscita, percorso di revisione interrotto o ricevuta mancante |
| 9. Monitora e rispondi | Il comandante delle operazioni e degli incidenti è responsabile delle decisioni sugli incidenti | I proprietari di operazioni, tecnici, IAM/sicurezza, dati, strumenti, policy e fornitori indagano e contengono | Titolare del processo aziendale; garanzia del modello; conformità/legale/privacy | Monitoraggio dei risultati, avvisi, elenco dei casi interessati, cronologia degli incidenti, contenimento, recupero e nuovo test | Deriva materiale, eccezione ripetuta, impatto sui diritti, esposizione dei dati, azione incontrollata o perdita di prove |
| 10. Cambia o ritirati | Il proprietario del processo aziendale approva il cambiamento d'uso o il ritiro; il proprietario tecnico approva la Liberatoria | I tecnici e tutti i proprietari dei controlli interessati rivalutano, rilasciano, revocano, archiviano o disattivano | Sponsor esecutivo; garanzia del modello; conformità/legale/privacy; proprietario del venditore; operazioni | Valutazione delle modifiche, nuova matrice, test, approvazione, revoche, disposizione dei dati e prove conservate | Cambiamento di scopo, modifica sostanziale, perdita di dipendenza, rivalutazione fallita o chiusura incompleta |
Responsabilità del fornitore e dell'operatore nell'esempio del prestito
La legge dell'UE sull'AI definisce il fornitore e l'operatore attraverso i fatti. Ai sensi dell’articolo 3(3), un fornitore sviluppa o fa sviluppare un sistema di intelligenza artificiale e lo immette sul mercato o lo mette in servizio con il proprio nome o marchio. Ai sensi dell'articolo 3(4), un operatore utilizza un sistema di intelligenza artificiale sotto la sua autorità al di fuori dell'attività personale non professionale. In questo esempio, il fornitore è il fornitore e la banca è l'installatore del sistema fornito e dell'uso dichiarato.
L'articolo 25 può spostare il ruolo di fornitore di un sistema ad alto rischio quando un distributore o un terzo applica il proprio nome o marchio, apporta una modifica sostanziale o cambia lo scopo previsto in modo che il sistema diventi ad alto rischio. I doveri dell'articolo 26 si applicano agli operatori di sistemi ad alto rischio e coprono l'uso secondo le istruzioni, l'assegnazione di supervisione umana competente e autorizzata, il monitoraggio operativo, l'azione e la segnalazione in caso di rischio o un incidente grave e la conservazione dei registri generati automaticamente sotto il controllo dell'operatore per almeno sei mesi, a meno che altre leggi applicabili non dispongano diversamente.
| Confine o evento | Venditore come fornitore in questo esempio | Banca come deployer in questo esempio | Prove da conservare | Base giuridica |
|---|---|---|---|---|
| Classificazione dei ruoli | Sviluppa o fa sviluppare il sistema e lo fornisce con il nome o il marchio del fornitore | Utilizza il sistema sotto autorità bancaria per il processo di credito | Valutazione del ruolo, identità del sistema, scopo previsto, nomi e marchi, contratto e approvazione | Articolo 3(3)–(4) |
| Istruzioni e condizioni operative | Definisce l'ambito del sistema fornito, le istruzioni, le limitazioni dichiarate e la configurazione supportata | Utilizza il sistema ad alto rischio secondo le istruzioni e documenta qualsiasi condizione operativa o eccezione | Istruzioni e versione, configurazione della banca, procedura operativa, eccezioni e approvazione del proprietario | Articolo 26(1) |
| Supervisione umana | Fornisce la capacità del sistema ad alto rischio per una supervisione efficace all'interno del progetto fornito | Assegna la supervisione a persone dotate della competenza, della formazione, dell'autorità e del supporto necessari | Progettazione della supervisione, assegnazione dei ruoli, formazione, autorità, richieste decisionali, motivazioni e sostituzioni | Articoli 14(1)–(4) e 26(2) |
| Monitoraggio, rischio e incidente grave | Riceve e agisce sui rapporti bancari nell'ambito del fornitore e dell'ambito contrattuale | Monitora il funzionamento e intraprende le azioni necessarie e segnala le misure in caso di rischio o incidente grave | Revisione del monitoraggio, registrazioni di rischi e incidenti, notifica ai fornitori, risposta, contenimento e follow-up | Articolo 26(1)–(6) |
| Registri sotto il controllo di ciascuna parte | Conserva i registri di sistema ad alto rischio generati automaticamente sotto il controllo del fornitore per almeno sei mesi, in conformità ad altre leggi applicabili | Conserva i log generati automaticamente sotto il controllo del distributore per almeno sei mesi, in conformità ad altre leggi applicabili | Registrare l'inventario, la mappatura dei controlli, il programma di conservazione, la sostituzione legale, il record di accesso e le prove di eliminazione | Articoli 19(1) e 26(6) |
| Rebranding, modifica sostanziale o cambio di scopo | La posizione originaria del fornitore cambia per il sistema specifico in base alle condizioni dell'articolo 25 e alle regole di cooperazione | La banca può diventare fornitore del sistema ad alto rischio quando sono soddisfatte le condizioni dell'articolo 25(1) | Valutazione delle modifiche, registrazione del marchio e dello scopo, analisi delle modifiche, accordo scritto, accesso tecnico e approvazione del nuovo ruolo | Articolo 25(1)–(5) |
Mantenere lo stato giuridico attuale allegato al registro delle responsabilità
Il regolamento (UE) 2024/1689 è legge in vigore con applicazione graduale. Il Digital Omnibus sull'intelligenza artificiale lo modifica come regolamento (UE) 2026/1744, che imposta 2 dicembre 2027 per i sistemi autonomi ad alto rischio secondo l'articolo 6(2)/allegato III e 2 agosto 2028 per i sistemi integrati nel prodotto secondo l'articolo 6(1)/allegato I.
Il Parlamento ha approvato il testo il 16 giugno 2026, il Consiglio lo ha adottato il 29 giugno 2026 e l'atto è stato firmato l'8 luglio 2026. È stato pubblicato nella Gazzetta ufficiale il 24 luglio 2026 (GU L, 2026/1744, 24.7.2026) ed entra in vigore il 27 luglio 2026, il terzo giorno dopo la pubblicazione. Registrare entrambi gli atti nel registro di responsabilità e leggere le date modificate nel testo consolidato del regolamento (UE) 2024/1689 prima di utilizzarle in una conclusione giuridica.
Mantenere l'audit interno indipendente dalla responsabilità del management
Il Modello a tre linee dell'IIA assegna la titolarità e la gestione del rischio ai ruoli di prima linea, competenze, supporto, monitoraggio e sfide ai ruoli di seconda linea, nonché garanzia e consulenza indipendenti e obiettive all'audit interno. Le linee descrivono i ruoli e possono estendersi a diversi dipartimenti.
La direzione mantiene la progettazione, l'approvazione, il funzionamento, la proprietà del controllo, l'accettazione del rischio e la risoluzione degli agenti. L'audit interno stabilisce il proprio ambito, i criteri, il campionamento, le procedure, le valutazioni di individuazione, la conclusione, il percorso di reporting e il follow-up. Il lavoro di consulenza necessita di garanzie documentate ogni volta che potrebbe compromettere la successiva indipendenza.
| Gruppo di ruolo | Possiede | Produce | Limite per l’affidamento all’audit interno |
|---|---|---|---|
| Gestione in prima linea | Risultati aziendali, funzionamento dell'agente, progettazione e funzionamento del controllo, incidenti, accettazione del rischio e risoluzione | Approvazioni, record di runtime, revisioni di controllo, incidenti, risultati, eccezioni e prove di riparazione | Le evidenze gestionali sono soggette a test di completezza, integrità ed efficacia operativa |
| Ruoli di seconda linea | Competenza, standard, supporto, monitoraggio e sfida nell'ambito dei mandati di rischio, conformità, sicurezza, privacy e garanzia del modello | Valutazioni, registrazioni delle sfide, monitoraggio, eccezioni, opinioni ed escalation | Il grado di obiettività, competenza, ambito, periodo e affidabilità della fonte determinano l’affidabilità |
| Audit interno | Piano di audit indipendente, ambito, criteri, procedure, conclusione, reporting e follow-up verificato | Registri della popolazione e dei campioni, documenti di lavoro, risultati, rapporti e verifica della chiusura | L’audit interno preserva l’indipendenza ed evita l’approvazione da parte della direzione o la proprietà del controllo per il sistema sottoposto ad audit |
Associare la responsabilità alle prove operative nell'KLA
Una matrice di responsabilità diventa operativa quando ciascun proprietario nominato può indicare un artefatto di controllo e fonte di verità corrente. La mappatura del prodotto di seguito collega la decisione sulla proprietà, l'azione di runtime, il record di ricostruzione, la revisione in corso e le prove conservate senza modificare la responsabilità sottostante.
| Bisogno di responsabilità | Superficie KLA | Registro operativo |
|---|---|---|
| Nomina la proprietà dell'agente, le versioni approvate, lo stato e il processo responsabile | Registro degli agenti | Proprietario dell'agente, cronologia delle versioni, stato di approvazione, limite operativo e stato di pensionamento |
| Assegna un nome al proprietario di ogni strumento e regola azioni, ambiti, versioni e stato | Catalogo strumenti | Proprietario dello strumento, contratto dell'azione, limite di autorizzazione, versione, requisito di ricevuta e stato di sospensione |
| Definire obiettivi di controllo, regole, soglie, routing ed eccezioni | Creatore di policy | Proprietario della policy, versione approvata, risultati della simulazione, regole, soglie e ciclo di vita delle eccezioni |
| Indirizza i casi consequenziali a una persona nominata con l'autorità attuale | Ufficio decisionale | Richiesta di decisione, prove presentate, autorità del revisore, decisione, motivazione e timestamp |
| Ricostruisci il Viaggio e ispeziona la registrazione del controllo cronologico | Esplora lignaggio + Audit Trail | Identità, input, chiamate a modelli e strumenti, verdetti politici, decisioni umane, effetti ed eventi correlati |
| Esaminare lo stato del controllo, la deviazione, i risultati, gli avvisi e le soluzioni correttive | Centro Assicurazioni | Avviso di garanzia, revisione del proprietario, popolazione interessata, piano di riparazione, nuovo test e chiusura |
| Conserva elementi pronti per la revisione e pacchetti verificabili in modo indipendente | Stanza delle prove | Matrice di responsabilità, approvazioni, valutazioni, manifesti, metadati di integrità, rapporti e prove conservate dei casi |
Verifica se la responsabilità dell'agente AI è reale
Un consiglio, un regolatore o un revisore interno possono porre queste domande e richiedere un proprietario nominato più un artefatto contemporaneo per ogni risposta. L'organigramma, il nome di un comitato o l'asserzione di un fornitore lasciano da soli la responsabilità non dimostrata.
- 1. Un proprietario nominato del processo aziendale è responsabile dello scopo dell'agente, dell'utilizzo della produzione, dei risultati, degli incidenti, dei cambiamenti e del pensionamento?
- 2. Il proprietario può fermare l'agente, limitarne il perimetro operativo, finanziare la riparazione e spiegare ogni eccezione accettata?
- 3. Ogni versione, policy, origine dati, identità, strumento e dipendenza dal fornitore ha un proprietario attuale con autorità di approvazione?
- 4. L'organizzazione è in grado di ricondurre ogni azione consequenziale all'agente, al principale sponsor, al verdetto politico, alla decisione umana, all'effetto dello strumento e al risultato aziendale?
- 5. Le quattro variazioni rilevanti del modello operativo compaiono nella matrice approvata, con ogni assegnazione modificata e ogni limite mantenuto documentato?
- 6. Ciascun approvatore umano nominato può dimostrare l'autorità attuale, le prove esaminate, lo stato del conflitto, la decisione, la logica e la tempistica del caso?
- 7. Il comandante dell'incidente può identificare l'intera popolazione colpita, revocare l'autorità, contenere l'esecuzione, recuperare in sicurezza, avvisare le parti richieste e dimostrare di aver ripetuto il test?
- 8. Ogni modifica a modello di materiale, richiesta, policy, autorizzazione, strumento, dato, processo o fornitore comporta una rivalutazione e una nuova decisione di approvazione?
- 9. I ruoli di fornitore e distributore sono documentati dal nome effettivo, dall'autorità, dallo scopo, dalla modifica e dai fatti operativi, con le modifiche all'articolo 25 rivalutate?
- 10. L'audit interno ha accesso indipendente a popolazioni complete, documenti di origine, specialisti, reporting degli organi di governo e prove di follow-up?
Domande frequenti
Chi è responsabile quando un agente AI commette un errore?
Il proprietario responsabile del processo aziendale possiede l'utilizzo della produzione e il risultato aziendale. Il comandante dell'incidente è responsabile delle decisioni di contenimento e ripristino, mentre i proprietari tecnici, di modello, di dati, di sicurezza, di strumenti, di policy, di approvazione e di fornitore rispondono dei controlli definiti. La registrazione dell'incidente dovrebbe identificare il limite superato, il proprietario responsabile, la popolazione interessata, la riparazione e l'escalation esecutiva.
Qual è la differenza tra responsabilità del fornitore e del distributore?
Ai sensi dell'articolo 3 della legge dell'UE sull'IA, un fornitore sviluppa o fa sviluppare un sistema e lo immette sul mercato o lo mette in servizio con il suo nome o marchio; un operatore utilizza un sistema sotto la sua autorità al di fuori dell'attività personale non professionale. L'articolo 25 può spostare il ruolo del fornitore dopo un rebranding, una modifica sostanziale o un cambiamento di scopo che rende il sistema ad alto rischio. L'articolo 26 assegna compiti operativi condizionali agli operatori di sistemi ad alto rischio.
La responsabilità di un agente AI può essere delegata a un fornitore?
Un fornitore può assumersi le responsabilità contrattuali di progettazione, servizio, controllo, incidente, modifica e prova. Il proprietario del processo aziendale mantiene la responsabilità dell'utilizzo dell'agente all'interno del processo aziendale, comprese le condizioni operative, le decisioni delle persone interessate, la revisione dei risultati, l'autorità di contenimento, l'accettazione dei fornitori e l'uscita. Inserisci entrambi gli ambiti nel contratto e nella matrice di responsabilità interna.
Cosa prevede l'audit interno per gli agenti IA?
L’audit interno è titolare del proprio universo di audit, dell’ambito dell’incarico, dei criteri, del campionamento, delle decisioni sull’affidamento, delle procedure, dei risultati, delle conclusioni, del reporting e della verifica di follow-up. La direzione possiede l'agente, i controlli, le approvazioni, l'accettazione del rischio, il funzionamento, gli incidenti e le soluzioni correttive. Questa separazione supporta il ruolo di garanzia indipendente e obiettivo descritto dal Modello a tre linee dell'IIA.
Chi approva una decisione consequenziale dell’agente AI?
Un approvatore umano nominato decide il caso individuale nell'ambito dell'autorità documentata quando l'approvazione umana è obbligatoria. Il proprietario del processo aziendale è proprietario del quadro decisionale, del personale, della qualità dei risultati e delle soluzioni correttive. Il proprietario della politica/controllo possiede i criteri di instradamento e il proprietario tecnico garantisce che l'esecuzione attenda un record decisionale valido.
Come dovrebbe funzionare la responsabilità in un sistema multi-agente?
Nomina un proprietario del processo aziendale per il risultato finale e un proprietario tecnico per l'orchestrazione. Assegna un proprietario a ogni agente, strumento, identità, limite dei dati, policy e dipendenza dal fornitore. Autenticare ogni trasferimento, propagare lo scopo e i limiti delegati, conservare le ricevute delle azioni, contenere gli errori a cascata e riconciliare il percorso finale con ogni proprietario ed effetto che contribuisce.
Punti chiave
La responsabilità dell'agente AI diventa difendibile quando un proprietario del processo aziendale detiene l'autorità sui risultati e ogni decisione sul ciclo di vita, controllo di runtime, artefatto, escalation e confine mantenuto ha un proprietario nominato. Applicare la variazione specifica dello scenario, tracciare un viaggio consequenziale, documentare i fatti relativi al fornitore e all'operatore e preservare l'indipendenza dall'audit interno. Utilizza il framework di audit degli agenti AI aziendali per un lavoro sul campo completo e la valutazione della preparazione all'audit dell'agente per identificare la proprietà, l'autorità, i controlli e le prove mancanti.