Scheda modello
Un documento standardizzato che descrive l'uso previsto di un modello di IA, performance, limiti e considerazioni etiche.
Definizione
Una scheda modello (model card) è un artefatto di documentazione strutturato che fornisce informazioni essenziali su un modello di machine learning: scopo previsto, caratteristiche dei dati di training, metriche di performance su diverse popolazioni, limiti noti e considerazioni etiche. Proposte originariamente da ricercatori di Google nel 2018, le model card sono diventate uno standard di trasparenza e sono spesso pubblicate insieme ai modelli su piattaforme come Hugging Face.
Il EU AI Act non impone esplicitamente le model card, ma i requisiti di trasparenza e documentazione degli articoli 11 e 13 sono allineati ai loro principi. I sistemi ad alto rischio devono fornire agli utenti informazioni sufficienti per comprendere capacità, limiti e condizioni d'uso. Le schede modello offrono un formato collaudato per organizzare e comunicare queste informazioni. Per le organizzazioni che usano modelli di terzi, sono artefatti critici di due diligence. Il regolamento attribuisce agli utilizzatori responsabilità nel comprendere i sistemi che impiegano; le schede dei fornitori upstream forniscono informazioni su comportamento, provenienza dei dati e bias noti. Tuttavia, le schede modello da sole non sono sufficienti per la conformità: documentano il modello isolato, mentre il regolamento richiede documentazione del sistema completo, inclusi integrazione, contesto di deployment e salvaguardie operative. Occorre quindi integrare le schede modello con documentazione a livello di sistema.
Le organizzazioni dovrebbero creare o ottenere schede modello per ogni modello sviluppato o utilizzato. Una scheda completa include: dettagli del modello (architettura, versione, data), casi d'uso previsti e usi fuori scope, fonti e caratteristiche dei dati di training, metodologia di valutazione e dataset, metriche disaggregate per gruppi rilevanti, limiti e failure modes e considerazioni etiche con bias e mitigazioni.
Per modelli interni, create schede nel ciclo di sviluppo e aggiornatele in caso di retraining o modifiche. Per modelli di terzi, richiedetele e documentate le lacune. La relazione tra schede modello, schede di sistema e documentazione dell'Allegato IV richiede attenzione: le schede modello descrivono modelli; le schede di sistema descrivono sistemi; l'Allegato IV è il registro di conformità per sistemi ad alto rischio. Progettate una strategia che costruisca in modo efficiente dalle schede modello verso le schede di sistema e l'Allegato IV, evitando duplicazioni e garantendo completezza.