Vorlagenvorschau (Auszug)
Scrollen Sie, um alle Spalten zu sehen
Abschnitt 2: Vorgesehene Nutzung
2.1 Primäre Anwendungsfälle
| Anwendungsfall | Beschreibung | Nutzendentyp |
|---|---|---|
| [Primärer Anwendungsfall 1] | [Detaillierte Beschreibung] | [Wer es nutzt] |
2.3 Nutzungen außerhalb des Umfangs
| Anwendungsfall | Grund für die Nichtunterstützung |
|---|---|
| [Unzulässiger Anwendungsfall 1] | [Warum unangemessen: Datenbeschränkungen, ethische Bedenken usw.] |
Abschnitt 7: Einschränkungen
7.2 Bekannte Fehlerbilder
| Fehlerbild | Auslösebedingungen | Erkennung | Reaktion |
|---|---|---|---|
| [Fehlerbild 1] | [Was diesen Fehler verursacht] | [Wie er erkannt wird] | [Was zu tun ist] |
Das praktische Beispiel ansehen
Nutzungen außerhalb des Umfangs:
| Anwendungsfall | Grund für die Nichtunterstützung |
|---|---|
| Alleinige Entscheidungsfindung für Kredite | Modell ausschließlich als Entscheidungshilfe konzipiert; menschliche Prüfung erforderlich |
| Einsatz bei Populationen außerhalb der Trainingsdaten | Leistung nicht validiert; kann unzuverlässige Ergebnisse liefern |
| Echtzeit-Anwendungen mit Sicherheitskritikalität | Latenzanforderungen für diesen Anwendungsfall nicht validiert |
Bevor Sie beginnen
Für Teams aus Regulatorik, Risikomanagement, Produkt und Betrieb maschinellen Lernens, die agentenbasierte Prozesse in regulierten Umgebungen einsetzen.
Modellkarten sind standardisierte Dokumentation für KI-Modelle. Sie wurden ursprünglich 2019 von Forschern bei Google vorgeschlagen und gelten inzwischen als bewährte Praxis der Branche, um zu vermitteln, was ein Modell tut, wie es arbeitet und welche Grenzen es hat.
Für Organisationen, die der EU-KI-Verordnung unterliegen, helfen Modellkarten bei den Transparenzanforderungen nach Artikel 13 und tragen zur technischen Dokumentation nach Anhang IV bei.
Wann diese Ressource verwendet werden soll
- Sie setzen Modelle des maschinellen Lernens ein und benötigen eine standardisierte Dokumentation für technische Prüfer.
- Sie müssen Transparenzanforderungen der EU-KI-Verordnung (Artikel 13) erfüllen oder zur Dokumentation nach Anhang IV beitragen.
- Sie möchten Modellfähigkeiten, Grenzen und ethische Aspekte an Betreiber und Nutzer vermitteln.
Zu erfassende Informationen
- Angaben zu Modellarchitektur, Version und Trainingsprovenienz.
- Bestimmungsgemäße Anwendungsfälle und ausdrücklich nicht vorgesehene Verwendungen.
- Dokumentation von Trainings- und Evaluierungsdaten mit bekannten Problemen.
- Leistungskennzahlen (gesamt + aufgeschlüsselt) mit Konfidenzintervallen.
- Ergebnisse der Fairnessanalyse und ethische Aspekte.
- Bekannte Grenzen, Fehlermodi und Randbedingungen.
Prüfcheckliste
Nutzen Sie diese Prüfungen gemeinsam mit der für Ihr System verantwortlichen Person. Bestätigen Sie die anwendbaren Anforderungen und fügen Sie Nachweise für die Entscheidungen Ihres Teams an.
- Die Modellidentifikation umfasst Version, Architektur, Herkunft und Entwicklungsprovenienz.
- Der bestimmungsgemäße Zweck definiert primäre Anwendungsfälle und Nutzer und benennt ausdrücklich nicht vorgesehene Verwendungen.
- Trainingsdaten sind mit Quellen, Eigenschaften, Vorverarbeitung und bekannten Qualitätsproblemen dokumentiert.
- Leistungskennzahlen enthalten Gesamt- und aufgeschlüsselte Ergebnisse mit Konfidenzintervallen.
- Ethische Aspekte umfassen Fairnesskennzahlen, Tests auf Verzerrungen und geschützte Merkmale.
- Grenzen sind umfassend dokumentiert, einschließlich Fehlermodi und Randbedingungen.
- Empfehlungen bieten umsetzbare Hinweise für Einsatz, Überwachung und Wartung.
Betriebskontrollen und Nachweise
- Steuern
Versionskontrollierte Modellkarten, verknüpft mit Modellregister und Bereitstellungsabläufen.
Freigabepunkte, die die Vollständigkeit der Modellkarte vor dem Produktionseinsatz prüfen.
- Absichern
Automatische Erfassung von Leistungskennzahlen, Signalen für Verteilungsverschiebungen und Fairnessindikatoren.
Aufgeschlüsselte Überwachung der Leistung für geschützte Gruppen und Randbedingungen.
- Belegen
Modellkarten, verknüpft mit Evaluierungsartefakten, Trainingsdatenherkunft und Freigabeprotokollen.
Nachweispakete, die Dokumentationsaussagen mit Leistungsdaten aus dem Betrieb verknüpfen.
Fragen zu dieser Ressource
Was ist der Unterschied zwischen einer Modellkarte und einer Systemkarte?
Eine Modellkarte dokumentiert ein einzelnes Modell des maschinellen Lernens. Eine Systemkarte dokumentiert ein vollständiges KI-System, das mehrere Modelle, Integrationen und Prozesse umfassen kann. Modellkarten sind Bausteine für Systemkarten.
Sind Modellkarten nach der EU-KI-Verordnung vorgeschrieben?
Die EU-KI-Verordnung schreibt Modellkarten nicht ausdrücklich vor. Die darin enthaltenen Informationen werden jedoch an verschiedenen Stellen des Regelwerks in anderer Form verlangt, insbesondere für die Transparenz nach Artikel 13 und die technische Dokumentation nach Anhang IV.
Wie oft sollten Modellkarten aktualisiert werden?
Aktualisieren Sie sie, wenn das Modell neu trainiert wird, sich Leistungsmerkmale wesentlich ändern, neue Grenzen entdeckt werden oder sich die bestimmungsgemäßen Anwendungsfälle ändern.
Was sollte ich in die aufgeschlüsselte Leistung aufnehmen?
Berichten Sie die Leistung relevanter Untergruppen, um Unterschiede sichtbar zu machen. Dazu sollten, sofern anwendbar, geschützte Merkmale sowie Bedingungen gehören, die das Modellverhalten beeinflussen.
Wie behandle ich Grenzen, die ich nach dem Einsatz entdecke?
Dokumentieren Sie neu entdeckte Grenzen sofort, aktualisieren Sie die Modellkarte und informieren Sie Betreiber. Verknüpfen Sie die Grenzen mit Ihrer Überwachung und der Vorfallreaktion.
Wonach suchen Prüfer in Modellkarten?
Umfassende Grenzen (nicht nur günstige Kennzahlen), aufgeschlüsselte Leistung, klare vorgesehene und nicht vorgesehene Verwendungen sowie Nachvollziehbarkeit zu Evaluierungsartefakten und Trainingsdaten.
Sprache der Download-Datei: Englisch