Vorlagenvorschau (Auszug)
Scrollen Sie, um alle Spalten zu sehen
Abschnitt 4: Leistungskennzahlen
4.1 Technische Leistungskennzahlen
| Kennzahl | Definition | Schwellenwert | Alert-Stufe |
|---|---|---|---|
| [Genauigkeit] | [% korrekte Vorhersagen] | [>95%] | [Kritisch bei <90%] |
4.2 Drift-Kennzahlen
| Kennzahl | Berechnungsmethode | Schwellenwert | Prüfhäufigkeit |
|---|---|---|---|
| [Merkmalsdrift] | [PSI oder KL-Divergenz] | [PSI <0.1] | [Täglich] |
Abschnitt 5: Alerts und Eskalation
5.1 Alert-Schweregrade
| Stufe | Kriterien | Reaktionszeit |
|---|---|---|
| Critical | [Unmittelbares Risiko, Compliance-Verstoß] | [15 Minuten] |
| High | [Deutliche Verschlechterung] | [4 Stunden] |
Das praktische Beispiel ansehen
Schweregrade von Alerts:
| Stufe | Kriterien | Reaktionszeit |
|---|---|---|
| Critical | System ausgefallen, Genauigkeit <90%, diskriminierendes Ergebnis | 15 Minuten |
| High | Genauigkeit <95%, Driftschwellenwert überschritten | 4 Stunden |
| Medium | Schwellenwert wird erreicht, ungewöhnliches Muster | 24 Stunden |
| Low | Geringfügige Kennzahlenänderung, informativ | Nächster Werktag |
Bevor Sie beginnen
Für Teams aus Regulatorik, Risikomanagement, Produkt und Betrieb maschinellen Lernens, die agentenbasierte Prozesse in regulierten Umgebungen einsetzen.
Artikel 72 der EU-KI-Verordnung verpflichtet Anbieter von Hochrisiko-KI-Systemen, ein System zur Überwachung nach dem Inverkehrbringen einzurichten und zu dokumentieren. Die Einrichtung ist verpflichtend. Die Verordnung enthält konkrete Vorgaben für die Überwachung von KI-Systemen nach ihrer Bereitstellung.
Diese Vorlage bietet einen strukturierten Ansatz in 8 Abschnitten zu Systemidentifikation, Überwachungszielen, Datenerfassung, Leistungskennzahlen, Warnmeldungen, Überprüfungsverfahren, dem Umgang mit Vorfällen und Dokumentation.
Wann diese Ressource verwendet werden soll
- Sie setzen einen Agenten in einem regulierten Prozess ein (Kreditvergabe, Schadensbearbeitung, KYC/AML, Personalwesen).
- Sie müssen nach der Inbetriebnahme fortlaufend Qualität, Sicherheit und die Einhaltung von Richtlinien nachweisen.
- Sie bereiten ein Dossier nach Anhang IV oder eine Prüfung der Prüfungsbereitschaft vor.
Zu erfassende Informationen
- Systemidentifikation mit regulatorischer Klassifizierung und Verweisen auf Anhang IV.
- Mit dem Risikoregister verbundene Überwachungsziele mit Erfolgskriterien.
- Datenquellen, Erfassungshäufigkeit, Qualitätsanforderungen und Datenschutzaspekte.
- Leistungsschwellenwerte für technische Leistung, Verteilungsverschiebungen und Fairness, jeweils mit Schweregraden.
- Konfiguration von Warnmeldungen mit Eskalationsmatrix und Abdeckung außerhalb der Geschäftszeiten.
- Überprüfungsverfahren (kontinuierlich, stichprobenbasiert, regelmäßig) mit Einbindung in den Steuerungsrahmen.
- Verfahren zum Umgang mit Vorfällen einschließlich regulatorischer Meldungen nach Artikel 73.
Prüfcheckliste
Nutzen Sie diese Prüfungen gemeinsam mit der für Ihr System verantwortlichen Person. Bestätigen Sie die anwendbaren Anforderungen und fügen Sie Nachweise für die Entscheidungen Ihres Teams an.
- Die Systemidentifikation ist mit der regulatorischen Klassifizierung und der Anhang-IV-Dokumentation verknüpft.
- Die Überwachungsziele sind mit den identifizierten Risiken und klaren Erfolgskriterien verbunden.
- Die Datenerfassung deckt alle Quellen mit Anforderungen an Qualität und Datenschutz ab.
- Die Leistungskennzahlen enthalten technische Schwellenwerte sowie Schwellenwerte für Verteilungsverschiebungen und Fairness mit Schweregraden.
- Warnmeldungen definieren Schweregrade, eine Benachrichtigungsmatrix und Eskalationsverfahren.
- Die Überprüfungsverfahren umfassen kontinuierliche Überwachung, Stichproben und regelmäßige Prüfungen des Steuerungsrahmens.
- Das Verfahren zum Umgang mit Vorfällen umfasst Definition, unmittelbare Reaktion, Untersuchung und Meldungen nach Artikel 73.
- Dokumentation und Nachweisspeicherung gewährleisten eine Aufbewahrung mit Manipulationserkennung und Prüfungsbereitschaft.
Betriebskontrollen und Nachweise
- Steuern
Policy-as-Code-Checkpoints, die hochriskante Aktionen blockieren oder eine Prüfung erfordern.
Versionskontrolle für Änderungen an Modellen, Eingabeaufforderungen, Richtlinien und Prozessen.
- Absichern
Risikogestaffelte Sampling-Reviews (Baseline + Burst während Vorfällen oder nach Änderungen).
Near-miss-Tracking (blockierte / fast blockierte Schritte) als messbares Kontrollsignal.
- Belegen
Konfigurierbare Aufbewahrungsfristen, Integritätsprüfung und ein ausschließlich ergänzbarer Audit Trail.
Evidence Room Export-Bundles (Manifest + Prüfsummen), damit Prüfer unabhängig verifizieren können.
Fragen zu dieser Ressource
Was bedeutet „Überwachung nach dem Inverkehrbringen“ in einfachen Worten?
Sie weisen damit nach, dass das System nach der Inbetriebnahme sicher und für seinen Zweck geeignet bleibt: Sie legen fest, was Sie messen, wie Sie Stichproben prüfen und wie Sie auf Vorfälle und Änderungen reagieren.
Was verlangt Artikel 72?
Artikel 72 verlangt die aktive Erhebung von Daten zur Systemleistung, die Ermittlung der Notwendigkeit von Korrekturmaßnahmen und die Dokumentation der Überwachungsaktivitäten. Diese Vorlage deckt alle drei Anforderungen ab.
Was ist der Unterschied zwischen Warnmeldungen und dem Umgang mit Vorfällen?
Warnmeldungen erkennen Probleme und benachrichtigen die richtigen Personen. Der Umgang mit Vorfällen legt fest, was nach der Erkennung geschieht: Bewertung, Eindämmung, Untersuchung, Behebung und Dokumentation.
Was löst eine regulatorische Meldung nach Artikel 73 aus?
Schwerwiegende Vorfälle mit Hochrisiko-KI-Systemen müssen den Marktüberwachungsbehörden unverzüglich nach Bekanntwerden gemeldet werden. Die Vorlage enthält einen Abschnitt zur regulatorischen Meldung.
Wie stellen wir die Integrität von Nachweisen sicher?
Verwenden Sie eine Speicherung mit Manipulationserkennung, etwa ein ausschließlich ergänzbares Register mit kryptografischer Integrität, erfassen Sie Entscheidungen vollständig, protokollieren Sie Zugriffe und führen Sie regelmäßig Integritätsprüfungen durch.
Was lehnen Auditoren am häufigsten ab?
Allgemein gehaltene Pläne. Prüfer erwarten benannte Verantwortliche, konkrete Schwellenwerte, klare Eskalationsverfahren und Nachweise, die exportiert und unabhängig verifiziert werden können.
Sprache der Download-Datei: Englisch