Sorveglianza umana

La sorveglianza umana, spesso chiamata supervisione umana, è la capacità di persone designate e competenti di monitorare un sistema di IA durante l'uso, interpretarne l'output, ignorarlo o ribaltarlo, e arrestare il sistema. Nell'EU AI Act, l'articolo 14 ne fa un requisito di progettazione per i sistemi di IA ad alto rischio, e l'articolo 26, paragrafo 2, impone ai deployer di affidarla «a persone fisiche che dispongono della competenza, della formazione e dell'autorità necessarie nonché del sostegno necessario».

L'articolo 14, paragrafo 1, richiede che i sistemi di IA ad alto rischio siano progettati in modo da poter essere efficacemente supervisionati da persone fisiche durante il periodo in cui sono in uso. Il paragrafo 4 elenca ciò che queste persone devono poter fare, ove opportuno e proporzionato: comprendere le capacità e i limiti del sistema e monitorarne il funzionamento; restare consapevoli della distorsione dell'automazione, cioè la tendenza a fare automaticamente o eccessivamente affidamento sull'output del sistema; interpretare correttamente l'output; decidere di non usare il sistema o di ignorare, annullare o ribaltare il suo output; intervenire sul funzionamento o interrompere il sistema mediante un pulsante di «arresto» o una procedura analoga. Il paragrafo 3 richiede misure di sorveglianza commisurate ai rischi, al livello di autonomia e al contesto di utilizzo. Per l'identificazione biometrica remota, il paragrafo 5 richiede che almeno due persone competenti verifichino e confermino separatamente l'identificazione prima che il deployer agisca su tale base.

Le etichette human-in-the-loop, human-on-the-loop e human-in-command provengono dagli Orientamenti etici per un'IA affidabile, pubblicati nel 2019 dal gruppo di esperti ad alto livello sull'IA. Il regolamento non le usa. Restano utili per descrivere tre impostazioni: approvazione prima che ogni decisione produca effetti, monitoraggio continuo con possibilità di intervenire, e autorità su policy, campionamento ed eccezioni.

Per gli agenti di IA, la sorveglianza funziona meglio a livello di azione. L'agente propone un passaggio; una policy decide se può proseguire, se richiede approvazione o se è bloccato; un revisore designato approva o respinge il passaggio trattenuto avendo davanti gli elementi usati dalla policy. Registrate chi ha esaminato, cosa ha visto, cosa ha deciso, quando e perché: questo record dimostra che la sorveglianza è stata esercitata. Commisurate l'intensità al rischio: i passaggi a basso impatto possono procedere sotto monitoraggio, e quelli che muovono denaro o incidono sui diritti di una persona attendono una decisione.

La sorveglianza fallisce anche quando un revisore non sa perché è bloccato. In una valutazione interna nel nostro ambiente di sviluppo, un revisore che aveva completato tutti i controlli richiesti ha trovato i pulsanti di approvazione e rifiuto disattivati dietro una semplice etichetta «View only». Il blocco era corretto, perché il revisore non faceva parte del gruppo di approvatori richiesto, ma nulla lo segnalava. Il Decision Desk ora indica perché un revisore non può agire, anche quando è l'autore della richiesta.

Per effetto del regolamento (UE) 2026/1744, i requisiti per i sistemi ad alto rischio, compresi gli articoli 14 e 26, si applicano dal 2 dicembre 2027 ai sistemi elencati nell'allegato III e dal 2 agosto 2028 ai sistemi di cui all'allegato I. In KLA, un esito require_approval trattiene l'azione dell'agente come Decision Request nel Decision Desk, e la decisione viene registrata con il revisore e l'orario.