EU-KI-Gesetz Artikel 14: Menschliche Aufsicht über KI-Agenten

Artikel 14 auf einer Seite¶

Artikel 14 befindet sich in Kapitel III, Abschnitt 2 der Verordnung (EU) 2024/1689. Sein Anwendungsbereich sind hochriskante KI-Systeme. Das System muss mit geeigneten Mensch-Maschine-Schnittstellentools entworfen und entwickelt werden, damit natürliche Personen es während der Nutzung effektiv überwachen können.

Der Zweck besteht darin, Restrisiken für Gesundheit, Sicherheit oder Grundrechte zu verhindern oder zu minimieren, wenn das System bestimmungsgemäß oder bei vernünftigerweise vorhersehbarem Missbrauch betrieben wird. Die Maßnahmen müssen zu den Risiken, der Autonomie und dem Kontext des Systems passen. Der Anbieter kann Maßnahmen in das System einbauen, Maßnahmen identifizieren, die der Bereitsteller umsetzen muss, oder beide Wege nutzen.

Der Paragraph 4 definiert die praktische Fähigkeitsprüfung. Die zugewiesene Person benötigt genügend Sichtbarkeit und Autorität, um zu verstehen, zu überwachen, zu interpretieren, zu ignorieren, außer Kraft zu setzen, rückgängig zu machen, einzugreifen und zu unterbrechen. Ein benannter Eigentümer und ein Richtliniendokument unterstützen die Governance. Die eingesetzten Kontrollen müssen diese Aktionen dennoch ermöglichen.

Anbieterdesign und Bereitstellungsbetrieb bilden eine Steuerung¶

Im Artikel 14 wird die Implementierung auf Anbieter und Bereitsteller aufgeteilt. Der Anbieter identifiziert die Maßnahmen, baut technisch mögliche Kontrollen ein und beschreibt diese in der Gebrauchsanweisung. Artikel 13(3)(d) erfordert, dass diese Anweisungen die menschlichen Aufsichtsmaßnahmen und die technischen Maßnahmen abdecken, die den Betreibern bei der Interpretation der Ergebnisse helfen.

Artikel 26(2) macht den Betreiber dafür verantwortlich, die Aufsicht natürlichen Personen mit der erforderlichen Kompetenz, Schulung, Autorität und Unterstützung zu übertragen. Der Bereitsteller konfiguriert außerdem die Kontrollen für seine eigenen Personen, Daten, Richtlinien, Arbeitsabläufe und Betriebsumgebungen.

Wählen Sie die Aufsichtsintensität nach Handlungsrisiko¶

Der Artikel 14 nennt drei Proportionalitätsvariablen: Risiko, Autonomie und Nutzungskontext. Es bleibt den Organisationen überlassen, diese in Kontrollschwellen umzuwandeln. „Human-in-the-Loop“, „Human-on-the-Loop“ und „Human-in-Command“ sind nützliche Betriebsbezeichnungen für dieses Design. Es handelt sich nicht um in Artikel 14. definierte Begriffe

Klassifizieren Sie sowohl die einzelne Aktion als auch das gesamte KI-System. Ein Agent kann im selben Lauf eine Zusammenfassung erstellen, einen Datensatz abfragen, einen Status aktualisieren und eine Zahlung freigeben. Jede Aktion hat ein anderes Konsequenz- und Reversibilitätsprofil.

Bauen Sie Genehmigungstore rund um den Nebeneffekt auf¶

Artikel 14(4)(d) gibt dem Aufseher in einer bestimmten Situation die Befugnis, die Nutzung abzulehnen, eine Ausgabe zu ignorieren oder sie außer Kraft zu setzen oder rückgängig zu machen. Für eine irreversible Werkzeugaktion ist ein Pre-Execution-Gate normalerweise die stärkste Implementierung. Das System konstruiert die vorgeschlagene Aktion, bewertet die geltenden Regeln und behält die Nebenwirkung bei, bis die autorisierte Person eine Entscheidung trifft.

Der Prüfer benötigt den Entscheidungskontext an einer Stelle. Zeigen Sie die Aktion, das Ziel, die wesentlichen Parameter, den Agenten und den anfragenden Auftraggeber, die anwendbare Regel und den Grund, die Quellenbeweise, bekannte Unsicherheiten und Einschränkungen, die Konsequenz, den Umkehrpfad und die Entscheidungsfrist an. Eine bloße Schaltfläche „Genehmigen“ neben einem generierten Satz gibt dem Prüfer zu wenig Informationen, um eine sinnvolle Kontrolle auszuüben.

Behandeln Sie Timeout, Nichtverfügbarkeit des Prüfers, veraltete Beweise und fehlgeschlagene Richtlinienbewertung als explizite Zustände. Jeder Staat braucht ein definiertes sicheres Ergebnis. Eine ausstehende Anfrage darf niemals zu einer impliziten Genehmigung werden, weil eine Warteschlange, ein Webhook oder ein Prüfer nicht verfügbar ist.

• Vor dem Gate: Binden Sie eine stabile Anforderungskennung an die genaue vorgeschlagene Aktion und den Parametersatz.
• Am Gate: Überprüfen Sie zum Zeitpunkt der Entscheidung die Berechtigung der Prüfer und die Regeln zur Aufgabentrennung.
• Während der Überprüfung: aktuelle Erkenntnisse, Einschränkungen, politische Gründe, Konsequenzen und verfügbare Alternativen aufzeigen.
• Bei der Entscheidung: Genehmigen, Ablehnen, Anfordern von Änderungen oder Eskalation mit Identität, Autorität, Begründung und Zeitstempel aufzeichnen.
• Bevor die Ausführung wieder aufgenommen wird: Bestätigen Sie, dass die Aktion, die Richtlinie, die Beweise und der Autoritäts-Snapshot aktuell bleiben.
• Nach der Ausführung: Hängen Sie das tatsächliche Downstream-Ergebnis oder den Fehler an denselben Datensatz an.

Entwerfen Sie Übersteuerung, Umkehrung und sicheren Stopp als separate Steuerungen¶

Die Artikel 14(4)(d) und 14(4)(e) beschreiben verwandte Funktionen mit unterschiedlichen Auswirkungen. Eine Überschreibung ändert die Art und Weise, wie ein Ausgang verwendet wird. Eine Umkehrung stellt eine bereits erfolgte Aktion wieder her oder kompensiert sie. Ein Eingriff verändert einen laufenden Vorgang. Bei einer Unterbrechung wird das System durch einen Stopp-Knopf oder einen ähnlichen Vorgang angehalten und in einen sicheren Zustand gebracht.

Ein Stopp-Steuerelement erhält diese Bezeichnung, wenn die Anforderung jeden relevanten Worker, Tool-Aufruf, delegierten Agent, Job in der Warteschlange und Wiederholungspfad erreicht. Das System muss definieren, welche laufenden Vorgänge abgeschlossen werden können, welche abgebrochen werden, welche Anmeldeinformationen oder Leasingverträge widerrufen werden und welche Daten vertrauenswürdig bleiben. Es braucht auch einen kontrollierten Wiederherstellungspfad.

Testen Sie Ausbreitung und Endzustand unter realistischen Fehlerbedingungen. Dazu gehören eine langsame externe API, ein verlorener Worker-Heartbeat, ein Wiederholungsversuch in der Warteschlange, eine teilweise abgeschlossene mehrstufige Aktion und ein nicht verfügbarer Beweisdienst. Zeichnen Sie die Zeit von der Aktion des Bedieners bis zur Eindämmung sowie alle verbleibenden Operationen auf.

Geben Sie Ihren Vorgesetzten Kompetenz, Schulung, Autorität und Unterstützung¶

Der Artikel 26(2) liefert den einsatzbereiterseitigen Personalstandard. Die eingesetzten natürlichen Personen benötigen die zur Ausübung der Aufsicht erforderliche Kompetenz, Ausbildung, Befugnis und Unterstützung. Erwägungsgrund 73 verbindet auch wirksame Aufsicht mit Kompetenz, Ausbildung und Autorität.

Die Kompetenz umfasst die Domänenentscheidung und das KI-System. Ein Kreditprüfer versteht möglicherweise die Kreditvergaberichtlinien, verfügt jedoch nicht über die erforderlichen Systemkenntnisse, um Verteilungsverschiebungen, fehlende Quelldaten oder eine Anfrage außerhalb des Umfangs zu erkennen. Ein Plattformbetreiber versteht möglicherweise das System, verfügt jedoch nicht über die Befugnis, über das Ergebnis für den Kunden zu entscheiden. Das Rollendesign muss beide Lücken schließen.

Artikel 26(2) legt einen ergebnisbasierten Standard und kein festes Trainingsintervall fest. Legen Sie einen Rhythmus anhand des Aktionsrisikos, der Systemänderungsrate, des Betriebsvolumens, des Vorfallverlaufs und der Prüferleistung fest. Lösen Sie erneute Schulungen nach Materialmodell-, Richtlinien-, Daten-, Schnittstellen- oder Zweckänderungen aus.

• Kompetenz: Domänenregeln, betroffene Rechte, Systemfunktionen und -beschränkungen, Eingabequalität und bekannte Fehlermodi.
• Schulung: Automatisierungsfehler, Interpretationstools, Eskalationskriterien, Stopp- und Wiederherstellungsübungen und Umgang mit Beweisen.
• Autorität: Zugriff zum Ablehnen, Überschreiben, Rückgängigmachen, Unterbrechen, Eskalieren und Verzögern einer Aktion ohne betrieblichen Druck zur Genehmigung.
• Support: ausreichend Zeit, Personalausstattung, fachliche Eskalation, nutzbare Schnittstellen, aktuelle Anweisungen und Hilfe bei Vorfällen.
• Laufende Sicherheit: Warteschlangenauslastung, Entscheidungsqualität, Überschreibungsrate, Meinungsverschiedenheiten, veraltete Anfragen, Übungsleistung und Schulungsverlängerung.

Design gegen Automatisierungsbias¶

Artikel 14(4)(b) weist ausdrücklich auf die Tendenz hin, sich auf KI-Ergebnisse zu verlassen oder sich zu stark darauf zu verlassen, insbesondere wenn das System Informationen oder Empfehlungen für eine menschliche Entscheidung liefert. Ein Prüfer, der jede Empfehlung genehmigt, führt zu Verzögerungen und dem irreführenden Anschein von Kontrolle.

Die Schnittstelle und Bedienprozedur soll eine unabhängige Beurteilung ermöglichen. Präsentieren Sie Quellennachweise und materielle Einschränkungen vor der Empfehlungsbegründung. Unterscheiden Sie beobachtete Fakten von Modellschlussfolgerungen. Vermeiden Sie Vorgaben, die die Genehmigung vorselektieren. Rotieren Sie Fälle oder nehmen Sie Stichproben vor, bei denen Prüfer Fehlern ausgesetzt sind. Messen Sie Übereinstimmung und Außerkraftsetzungen nach Aktionstyp, Prüfer, Richtlinie und Systemversion und untersuchen Sie dann sowohl ungewöhnliche Konformität als auch ungewöhnliche Meinungsverschiedenheiten.

• Für Folgegenehmigungen und Außerkraftsetzungen ist ein mit den Beweisen verknüpfter Grund erforderlich.
• Maskieren Sie die Modellempfehlung während einer unabhängigen Erstprüfung, wenn das Risiko dies rechtfertigt.
• Fügen Sie bekannte Testfälle und kontrollierte Kontrafakten in die Prüfungsübungen der Prüfer ein.
• Machen Sie sich auf schnelle Entscheidungen, wiederholte identische Begründungen, hohe Gutachterbelastung und anhaltend nahezu perfekte Übereinstimmung aufmerksam.
• Geben Sie Prüfern einen klaren Weg, Quelldaten anzufechten, Expertenbeiträge anzufordern oder den Arbeitsablauf zu unterbrechen.

Stellen Sie Beweise zusammen, die belegen, dass die Kontrolle durchgeführt wurde¶

Anhang IV legt menschliche Aufsichtsmaßnahmen, einschließlich technischer Interpretationsmaßnahmen, in der technischen Dokumentation des Anbieters fest. Artikel 13 trägt die Maßnahmen in die Gebrauchsanweisung ein. Artikel 12 erfordert, dass Systeme mit hohem Risiko die automatische Ereignisprotokollierung über ihre gesamte Lebensdauer hinweg unterstützen, während Artikel 19 und Artikel 26 Aufbewahrungspflichten für Protokolle unter der Kontrolle des Anbieters und Bereitstellers zuweisen.

Ein praktischer Beweispaket gemäß Artikel 14 zieht daher aus mehreren verbundenen Pflichten. Es sollte das Design, die zugewiesenen Personen, die Live-Entscheidungen und Eingriffe, den resultierenden Zustand und die Kontrolltests zeigen. Die kryptografische Integrität kann zeigen, ob eine exportierte Aufzeichnung geändert wurde. Sie kann nicht feststellen, ob jedes relevante Ereignis erfasst wurde oder ob die gewählte Kontrolle rechtlich ausreichend war.

Wie KLA den geregelten Kontrollpfad implementiert¶

Die KLA-Kontrollebene regelt instrumentierte Agentenaktionen an Entscheidungspunkten. Die KLA Policy Engine wertet einen vorgeschlagenen Toolaufruf anhand veröffentlichter Regeln aus und gibt allow, warn, require_approval oder block zurück. Ein require_approval-Ergebnis enthält den vorgeschlagenen Anruf und erstellt eine Entscheidungsanfrage für Decision Desk. Ein Block verhindert, dass der geregelte Aufruf das Tool erreicht.

Bei Entscheidungsanfragen auf der Steuerungsebene prüft Decision Desk die Entscheidungserlaubnis, die erforderliche Prüferrolle, den ausstehenden Status, die Identität des Anforderers und Erstellers sowie die Fälligkeit. Es verhindert, dass erfasste Anforderer und Ersteller über ihre eigene Anfrage entscheiden, und lehnt Genehmigungs- oder Ablehnungsaktionen nach Ablauf der Frist ab. Ein berechtigter Prüfer kann eine überfällige Anfrage eskalieren. Es zeichnet den Entscheidungsakteur, den Rollen-Snapshot, die Entscheidung, den Grund und die Zeit auf. Diese Trennungs- und Ablaufkontrollen basieren darauf, dass die Anfrage aktuelle Herstelleridentitäten und eine Fälligkeitszeit enthält. Stellen Sie sicher, dass jeder Produktionspfad sie bereitstellt, und testen Sie den vollständigen Steuerungspfad. Lineage Explorer und Audit Trail zeigen die Richtlinien und menschlichen Entscheidungsdatensätze an, die mit der geregelten Ausführung verbunden sind. Evidence Room kann ausgewählte Datensätze in ein Sealed Evidence Bundle packen, dessen Service- und Mandantensignaturen, Artefakt-Hashes und Bundle-Merkle-Root offline überprüft werden können.

Diese Funktionen implementieren Teile eines Betriebsmodells gemäß Artikel 14. Die Organisation besitzt weiterhin die rechtliche Klassifizierung, die Proportionalität, die Zuweisung von Anbietern und Deployern, die Kompetenz der Gutachter, die Personalverteilung, die Betriebsvorgänge und die systemspezifische sichere-State-Ingenieurwesen. Ein Vorabblock an einem Kontrollpunkt stoppt nicht jeden Mitarbeiter oder umkehrt jeden externen Nebenwirkungserscheinung. Instrumentieren Sie jeden damit verbundenen Pfad und testen Sie die Unterbrechung des Betriebs im gesamten implementierten System.

Eine 10-Schritt-Artikel-14-Implementierungssequenz¶

Beginnen Sie mit einer folgenreichen Agentenaktion und beweisen Sie den vollständigen Pfad. Erweitern Sie, nachdem die Steuerung unter Nenn-, Ausfall- und Wiederherstellungsbedingungen funktioniert.

• 1. Bestätigen Sie den Umfang. Notieren Sie die Systemklassifizierung, Ihre Anbieter- oder Bereitstellerrolle, den beabsichtigten Zweck, den Kontext und das anwendbare Datum.
• 2. Inventaraktionen. Listen Sie alle Lese-, Empfehlungs-, Schreib-, externen Kommunikations-, Finanz-, Berechtigungsänderungs-, Delegierungs- und Wiederherstellungsaktionen auf.
• 3. Bewertung des Handlungsrisikos. Nutzungskonsequenz, Reversibilität, betroffene Rechte, Umfang, Erkennbarkeit, Autonomie und vorhersehbarer Missbrauch.
• 4. Weisen Sie die Aufsicht zu. Wählen Sie eine Überprüfung vor der Ausführung, eine aktive Überwachung mit Intervention oder einen begrenzten Betrieb mit Stichproben und Eskalation.
• 5. Entwerfen Sie die Sicht des Gutachters. Präsentieren Sie die vorgeschlagene Maßnahme, Beweise, Richtlinien, Unsicherheiten, Einschränkungen, Konsequenzen, Alternativen und die Frist.
• 6. Implementieren Sie die Autorität. Erzwingen Sie die Berechtigung von Prüfern, die Aufgabentrennung, Eskalation, Timeout-Verhalten und die Ungültigmachung veralteter Anfragen.
• 7. Technikereingriff. Erstellen Sie Pfade für Nichtberücksichtigung, Überschreibung, Umkehrung, Unterbrechung, sicheren Zustand und kontrollierten Neustart.
• 8. Bereiten Sie Ihre Mitarbeiter vor. Bewerten Sie die Kompetenz, schulen Sie sie im System und in der Automatisierung, erteilen Sie Autorität und leisten Sie betriebliche Unterstützung.
• 9. Erfassen Sie den Datensatz. Korrelieren Sie die Anfrage, das Kontrollergebnis, die menschliche Aktion, das nachgelagerte Ergebnis und den Integritätsnachweis.
• 10. Testeffektivität. Führen Sie Bypass-, Ausfall-, Überlast-, Teilaktions-, Worker-Lost-, Stale-Evidence-, Stop-Propagation- und Wiederherstellungsübungen durch; Gleissanierung.