Fiche modèle

Une fiche modèle (model card) est un artefact de documentation structuré qui fournit des informations essentielles sur un modèle de machine learning : finalité, caractéristiques des données d'entraînement, métriques de performance sur différentes populations, limites connues et considérations éthiques. Proposées initialement par des chercheurs de Google en 2018, les model cards sont devenues une pratique standard de transparence et sont souvent publiées avec des modèles sur des plateformes comme Hugging Face.

Même si le EU AI Act n'impose pas explicitement des model cards, ses exigences de transparence et de documentation (articles 11 et 13) sont très proches de leurs principes. Les systèmes d'IA à haut risque doivent fournir aux utilisateurs des informations suffisantes pour comprendre les capacités, limites et conditions d'usage appropriées. Les fiches modèle offrent un format éprouvé pour organiser et communiquer ces informations. Pour les organisations utilisant des modèles tiers, elles constituent des artefacts clés de due diligence. Le règlement tient les déployeurs responsables de la compréhension des systèmes qu'ils utilisent ; les fiches modèle des fournisseurs amont apportent des informations essentielles sur le comportement, la provenance des données et les biais connus, que les déployeurs doivent intégrer à leurs propres analyses de risques. Toutefois, une fiche modèle seule ne suffit pas à la conformité EU AI Act : elle documente le modèle isolément, alors que le règlement exige de documenter le système d'IA complet, y compris son intégration, son contexte de déploiement et ses garde-fous opérationnels. Les organisations doivent donc compléter les fiches modèle par une documentation au niveau système.

Les organisations devraient créer ou obtenir une fiche modèle pour chaque modèle d'IA développé ou déployé. Une fiche complète inclut typiquement : détails du modèle (architecture, version, date d'entraînement), cas d'usage visés et usages explicitement hors périmètre, sources et caractéristiques des données d'entraînement, méthodologie d'évaluation et jeux de données, métriques de performance ventilées par groupes démographiques pertinents, limites et modes de défaillance connus, ainsi que considérations éthiques incluant biais potentiels et mesures d'atténuation.

Pour des modèles développés en interne, les équipes devraient produire ces fiches dans le cycle de développement et les mettre à jour lors de ré-entraînements ou modifications. Pour des modèles tiers, demandez la fiche au fournisseur et documentez les lacunes lorsque l'information n'est pas disponible. La relation entre fiches modèle, fiches système et documentation de l'annexe IV mérite une attention particulière. Les fiches modèle décrivent des modèles individuels ; les fiches système décrivent des systèmes complets ; et l'annexe IV constitue l'enregistrement de conformité complet requis pour les systèmes à haut risque. Concevez une stratégie documentaire qui remonte efficacement des fiches modèle vers les fiches système puis vers l'annexe IV, en évitant les duplications tout en assurant l'exhaustivité.