KI-Governance28. Juli 202617 Min. Lektüre

Menschliche Aufsicht über KI-Agenten: Wann ist eine Genehmigung erforderlich?

Entscheiden Sie, wann ein KI-Agent fortfahren kann, überprüft werden muss oder anhalten muss. Verwenden Sie eine Richtlinientabelle mit vier Ergebnissen, einen Maker-Checker-Workflow, ein Beweisschema und ein Playbook.

Antonella Serine

Antonella Serine

Gründerin, KLA

Gründerin von KLA. Sie entwickelt die unabhängige Kontrollebene für die Laufzeit-Governance regulierter KI-Agenten im Rahmen des EU AI Act.

Definition

Unter menschlicher Aufsicht versteht man die Handlungsbefugnis einer Person, die Handlung eines Agenten zu überprüfen, zu ändern, zu stoppen oder wiederherzustellen, und zwar an dem Punkt, an dem es auf die Beurteilung ankommt.

Entscheidungsregel

Bewerten Sie Risiko, Menge, Reversibilität, Datensensibilität, Neuheit, Vertrauen und nachgelagerte Auswirkungen. Das stärkste passende Ergebnis gewinnt: block, Genehmigung erforderlich, warn oder allow.

Mindestbeweis

Verknüpfen Sie die vorgeschlagene Aktion, das Richtlinienergebnis, die vorgelegten Beweise, die Identität und Autorität des Prüfers, das Ablaufdatum, die Entscheidung, den Ausführungsbeleg, die nachgelagerte Wirkung und das Integritätsergebnis.

Umfang

Dabei handelt es sich um einen betrieblichen Genehmigungsrahmen für Folgemaßnahmen von KI-Agenten. Gesetzliche Pflichten und interne Risikotoleranzen bedürfen weiterhin einer systemspezifischen Analyse.

Ein KI-Agent benötigt vor der Ausführung eine Genehmigung, wenn die vorgeschlagene Aktion die Autoritäts-, Konsequenz-, Reversibilitäts-, Daten-, Neuheits-, Vertrauens- oder Downstream-Auswirkungsschwelle einer Organisation überschreitet. Routinemäßige Aktionen innerhalb expliziter Autorität können zugelassen werden. Eine erlaubte Aktion mit einem Überprüfungssignal kann mit einer Warnung fortgeführt werden. Eine Folgeausnahme muss für eine autorisierte Person pausieren. Eine verbotene, nicht autorisierte, fehlerhafte, veraltete oder nicht überprüfbare Aktion muss eingestellt werden.

Dieser Leitfaden beantwortet die betriebliche Frage branchenübergreifend. Es verwendet allow, warn, require_approval und block als praktisches Entscheidungsmodell für einzelne Agentenaktionen. Der Leitfaden zu Artikel 14 des EU-KI-Gesetzes deckt die separate, von der Regulierung geleitete Aufgabe ab: die Implementierung der menschlichen Aufsichtsfähigkeiten, die für KI-Systeme mit hohem Risiko erforderlich sind. Bei diesem Leitfaden handelt es sich um allgemeine Informationen mit Stand vom 28. Juli 2026. Er ersetzt keine Rechts-, Risiko- oder technische Beratung.

Die Vier-Ergebnis-Genehmigungsregel

Bewerten Sie die vorgeschlagene Nebenwirkung, bevor sie das Tool oder das nachgelagerte System erreicht. Wenden Sie alle relevanten Regeln an und behalten Sie dann das stärkste Ergebnis bei. Ein block kann nicht durch eine passende allow-Regel geschwächt werden, und eine erforderliche Genehmigung kann nicht verschwinden, weil der Betrag zufällig unter einem finanziellen Schwellenwert liegt.

Das Ergebnis beschreibt das Ausführungsverhalten. allow gibt die Aktion innerhalb der aktuellen Autorität frei. warn gibt es frei und erstellt ein definiertes Follow-up. require_approval behält die genaue Aktion bei, bis ein autorisierter Mensch entscheidet. block verhindert, dass die Aktion den geregelten Nebeneffekt erreicht.

Genehmigungsergebnisse, explizite Auslöser und Ausnahmen, die die Sicherheit der Entscheidung gewährleisten
ErgebnisVerwenden Sie wannAusführungsverhaltenAusnahmen und Vorrang
allowDie Aktion ist routinemäßig, unterliegt der delegierten Autorität, hat geringe Konsequenzen, ist umkehrbar, verwendet genehmigte Daten, stammt aus einer bekannten Version und verfügt über einen vollständigen Kontext.Führen Sie die gewöhnlichen Maßnahmen und Richtlinienaufzeichnungen aus und bewahren Sie sie auf.Jeder block-, Genehmigungs- oder Warnauslöser überschreibt allow. Bei fehlender Identität, Richtlinie oder Beweiskontext wird nie standardmäßig allow verwendet.
warnDie Aktion bleibt zulässig und reversibel, befindet sich jedoch in der Nähe eines Schwellenwerts, ist ungewöhnlich, neu beobachtet oder wurde für die Stichprobenprüfung ausgewählt.Führen Sie das Signal aus, zeichnen Sie es auf und leiten Sie das definierte Follow-up weiter, ohne den Nebeneffekt aufzuhalten.Verwenden Sie require_approval, wenn eine Verzögerung nach der Ausführung einen erheblichen oder schwer rückgängig zu machenden Effekt haben würde. Verwenden Sie block, wenn keine Autorität oder kein erforderlicher Kontext vorhanden ist.
require_approvalDie Handlung ist wesentlich, schwer rückgängig zu machen, rechtebeeinträchtigend, nahe an einer Autoritätsgrenze, sensibel, neuartig, wenig vertrauenswürdig oder geeignet, eine erhebliche nachgelagerte Wirkung zu erzeugen.Halten Sie die genaue Aktion und den Parametersatz fest. Erst fortfahren, nachdem ein berechtigter Prüfer vor Ablauf die Genehmigung erteilt hat und der gebundene Kontext aktuell bleibt.Ein Prüfer kann eine verbotene Aktion nicht genehmigen. Eine abgelaufene oder wesentlich geänderte Anfrage erfordert eine erneute Bewertung und einen neuen Entscheidungsantrag.
blockDie Aktion ist verboten, außerhalb der Autorität, zielt auf eine verbotene Datengrenze, scheitert an einer obligatorischen Kontrolle, enthält einen ungültigen Kontext oder kann nicht sicher ausgewertet oder nachgewiesen werden.Stoppen Sie vor der regulierten Nebenwirkung und notieren Sie den Grund.Ändern Sie die Aktion oder Richtlinie durch den geregelten Änderungsprozess. Die Break-Glass-Autorität muss ein separater, zeitgebundener politischer Weg mit eigener Evidenz und retrospektiver Überprüfung sein.

Ordnen Sie die sieben Genehmigungseingaben der Richtlinie zu

Schwellenwerte gehören der Organisation, die Eigentümer der Aktion ist. Beginnen Sie mit einem Aktionsinventar und definieren Sie testbare Bänder für alle sieben Eingaben. Der finanzielle Betrag allein reicht nicht aus: Eine Änderung einer Berechtigung zum Nullwert oder die Offenlegung gesperrter Daten kann ein größeres Risiko bergen als eine große umkehrbare Übertragung zwischen kontrollierten Konten.

Behalten Sie die Eingaben als separate Regeln bei. Eine kombinierte Punktzahl kann eine entscheidende Tatsache verbergen. Ein verbotenes Ziel muss blockiert bleiben, auch wenn alle anderen Eingaben routinemäßig erscheinen.

Ein praktisches Input-to-Outcome-Mapping
EingabeZulassen oder warn-BandGenehmigungsband erforderlichBlockband
Risiko und betroffene RechteGeringe Konsequenz innerhalb des genehmigten Zwecks; warn für eine begrenzte Anomalie.Wesentliche Konsequenzen für Kunden, Arbeitnehmer, Patienten, Bürger, Sicherheit oder Compliance.Unzulässige Verwendung, unzumutbares Restrisiko oder Handeln außerhalb des genehmigten Zwecks.
Betrag oder EngagementInnerhalb eines expliziten Limits pro Aktion, Tag und Ziel.Nahezu oder über einem Herstellerlimit oder ein Schwellenwert für das Gesamtengagement wird überschritten.Über der absoluten Autorität, Liquidität, Sanktionen oder Kontrahentengrenzen.
ReversibilitätLesen, entwerfen, simulieren oder zuverlässig umkehrbare interne Aktualisierungen.Externe Kommunikation, Zahlung, Löschung, Einreichung, Anspruchsänderung oder kostspieliger Entschädigungsweg.Unter den aktuellen Bedingungen gibt es keinen sicheren Wiederherstellungspfad.
DatensensibilitätGenehmigte Felder innerhalb der zugewiesenen Datengrenze.Eingeschränkter Datenzugriff, Offenlegung, Export, erneutes Identifizierungsrisiko oder ein neuer Empfänger.Verbotene Kategorie, Ziel, Zweck, Region oder fehlende gesetzliche Genehmigung.
Neuheit und VeränderungBekanntes Release, Tool, Route, Ziel und Betriebsmuster.Neue Release-Rampe, erste Verwendung eines Werkzeugs oder Ziels, ungewöhnliche Reihenfolge oder Änderung der Materialkonfiguration.Nicht genehmigte Komponente, unbekanntes Ziel oder nicht überprüfbare Version.
Konfidenz und BeweisqualitätValidierter Konfidenzbereich mit vollständigen, aktuellen Quellennachweisen.Grenzwertige Punktzahl, widersprüchliche Quellen, fehlende nicht obligatorische Beweise oder Signal, das nicht in der Verteilung liegt.Obligatorische Beweise fehlen, sind über die Richtlinien hinaus veraltet, fehlerhafte Eingaben oder keine vertrauenswürdige Entscheidungsgrundlage.
Nachgelagerte AuswirkungenInterne, begrenzte Wirkung ohne externe Verpflichtung.Erstellt eine rechtliche, finanzielle, sicherheitsbezogene, kundenbezogene, betriebliche oder systemübergreifende Verpflichtung.Kaskadierende oder unkontrollierte Wirkung, verbotene Abhängigkeit oder Eindämmung können nicht bestätigt werden.

Der Mensch ist in der Schleife, auf der Schleife und hat das Kommando

Diese Etiketten beschreiben Betriebsvereinbarungen. Dabei handelt es sich um nützliche Designbegriffe und nicht um im EU-KI-Gesetz definierte Ergebnisse. Wählen Sie die Vereinbarung, die der verantwortlichen Person genügend Zeit, Kontext und Autorität für das Aktionsrisiko gibt.

Drei Vereinbarungen zur menschlichen Aufsicht
AnordnungMenschliche RolleBeste PassformKontrolltest
Mensch auf dem LaufendenEntscheidet sich für eine bestimmte vorgeschlagene Aktion, bevor sie Nebenwirkungen hat.Folgehandlungen, schwer rückgängig zu machende, außergewöhnliche oder rechtsbeeinträchtigende Handlungen.Die Aktion bleibt solange bestehen, bis die richtige Person den gebundenen Kontext überprüft und vor Ablauf eine Entscheidung trifft.
Mensch auf dem LaufendenÜberwacht die begrenzte Ausführung und kann eingreifen, pausieren, rückgängig machen oder eskalieren.Materielle, aber reversible Aktivität mit zuverlässiger Erkennung und einem getesteten Interventionsfenster.Eine realistische Übung beweist, dass die Person den Zustand erkennen und den sicheren Zustand erreichen kann, bevor der Schaden erheblich wird.
Mensch im KommandoBesitzt das Mandat, die Risikotoleranz, die Richtlinien, die Betriebsgrenzen, die Stoppbefugnis, den Neustart und die Verantwortlichkeit.Jedes eingesetzte Agentensystem, einschließlich Systeme, deren Routineaktionen keiner individuellen Überprüfung unterliegen.Benannte Eigentümer können die Autorität ändern, das System aussetzen, eine Überprüfung in Auftrag geben, Berufungsverfahren anhören und diese Entscheidungen beweisen.

Verwenden Sie die Maker-Checker-Trennung für Folgeaktionen

Der Ersteller erstellt oder sponsert die Anfrage. Bei einer Agentenaktion sollte der Erstellerdatensatz den Agenten, seinen verantwortlichen Eigentümer, den anfordernden Auftraggeber und den genauen vorgeschlagenen Nebeneffekt identifizieren. Der Prüfer ist eine eindeutige, qualifizierte Person mit Befugnissen für diese Aktionsklasse. Der Prüfer überprüft die Beweise und entscheidet über „Genehmigen“, „Ablehnen“, „Änderungen anfordern“ oder „Eskalieren“.

Erzwingen Sie die Trennung zum Zeitpunkt der Entscheidung. Ein Gruppenname in einer Workflow-Definition beweist nicht, dass die handelnde Person berechtigt oder unabhängig war. Lösen Sie die aktuelle Identität, Rolle, Delegation, Konflikte und Anforderungsursprung, wenn die Entscheidung getroffen wird.

  • Binden Sie die Anfrage. Hashen Sie die Aktion, die Parameter, das Ziel, die Richtlinieneingaben und die Beweise des Prüfers oder binden Sie sie auf andere Weise, sodass die Genehmigung für eine geänderte Anfrage nicht wiederholt werden kann.
  • Berechtigung klären. Überprüfen Sie die Identität des Prüfers, die aktive Rolle, die Berechtigungsbeschränkung, den Schulungsstatus sowie etwaige Konflikte oder Anfordererbeziehungen.
  • Ermöglichen Sie eine unabhängige Beurteilung. Zeigen Sie Quellenfakten, Unsicherheiten, Einschränkungen, politische Gründe, Alternativen und nachgelagerte Konsequenzen an, ohne eine vorherige Genehmigung vorzunehmen.
  • Zeichnen Sie eine Entscheidung auf. Erfassen Sie Identität, Rollen-Snapshot, Entscheidung, Grund, Begründungsreferenz, Zeit und die Beweisaufnahme, die der Prüfer gesehen hat.
  • Vor der Veröffentlichung erneut validieren. Veraltete Genehmigungen ablehnen, wenn sich die Aktion, der Beweis, die Richtlinie, die Identität, die Behörde, das Ziel oder der relevante Geschäftsstatus geändert haben.
  • Fügen Sie das Ergebnis hinzu. Behalten Sie den tatsächlichen Ausführungsbeleg und den nachgelagerten Effekt unter denselben Ausführungs- und Entscheidungskennungen bei.

Geben Sie dem Prüfer den Kontext, der für seine Entscheidung erforderlich ist

Eine nützliche Entscheidungsanfrage beantwortet die Entscheidung in einer kurzen Beschreibung mit strukturierten Details, die zur Überprüfung verfügbar sind. Der Prüfer sollte verstehen, was passieren wird, warum die Richtlinie die Klage weitergeleitet hat, welche Fakten ungewiss bleiben, welche Autorität sie haben und wann die Anfrage veraltet ist.

Checkliste für den Prüferkontext
KontextMinimal nützlicher InhaltWarum es die Entscheidung ändert
Aktion und KonsequenzGenaue Aktion, Ziel, wesentliche Parameter, betroffene Partei, nachgelagerte Systeme und erwarteter Geschäftseffekt.Der Prüfer sieht die Verpflichtung, die er genehmigt.
Identität und AutoritätAnfordernder Auftraggeber, Agent, verantwortlicher Eigentümer, erforderliche Prüferrolle, Berechtigungsbegrenzung und Hersteller-Prüfer-Regel.Der Gutachter kann prüfen, ob Antrag und Entscheidung zulässig sind.
RichtlinienergebnisErgebnis, übereinstimmende Regeln, Ursachencodes, Richtlinienversion, ausgewertete Werte und sichere Alternativen.Der Prüfer sieht, warum die Aktion pausiert und welche Einschränkungen bestehen bleiben.
Beweise und UnsicherheitQuellenangaben, Aktualität, fehlende oder widersprüchliche Fakten, Vertrauen, Einschränkungen und Interpretationshilfen.Der Prüfer kann die Empfehlung anfechten und Automatisierungsverzerrungen erkennen.
Zeit und ErholungAngeforderte Zeit, Ablauf, Servicelevel, Eskalationsroute, Reversibilität, Kompensationspfad und Safe-State-Verfahren.Der Prüfer kennt das Entscheidungsfenster und die Kosten von Verzögerungen oder Fehlern.

Legen Sie Servicelevel, Ablauf, Delegation und Neuzuweisung fest

Ein Servicelevel ist ein Betriebsziel. Der Ablauf ist eine Autorisierungsgrenze. Bestimmen Sie beides anhand der Konsequenz, der Reversibilität, der Flüchtigkeit der Beweise und der Zeit, die zur Schadensverhinderung zur Verfügung steht. Es gibt keine universelle Dauer, die zu jeder Aktion passt.

Ein Notstopp muss für einen autorisierten Bediener sofort verfügbar bleiben und darf nicht hinter einer Genehmigungswarteschlange warten. Für gewöhnliche Anfragen sind die folgenden Beispielbänder Ausgangspunkte für einen Richtlinien-Workshop. Ersetzen Sie sie durch systemspezifische Werte und testen Sie sie unter realen Personalbedingungen.

  • Delegation: Gewähren Sie einer benannten Person eine enge Aktionsklasse, Wertgrenze, Umgebung, Gültigkeitsdauer und Eskalationsroute. Behalten Sie, wer die Autorität delegiert hat.
  • Neuzuweisung: Fordern Sie einen berechtigten Ersatz an, notieren Sie den vorherigen Beauftragten und den Grund und halten Sie die Originalbelege und das Ablaufdatum sichtbar.
  • Ablauf: macht die Genehmigungsfähigkeit ungültig. Verwandeln Sie das Warteschlangen-Timeout niemals in eine implizite Genehmigung.
  • Veraltetheit: läuft vorzeitig ab, wenn sich Materialeingaben, Richtlinien, Identität, Ziel, Menge oder angeforderte Parameter ändern.
  • Nicht verfügbare Kontrolle: Halten oder block entsprechend der Fail-Closed-Richtlinie der Aktion und Pagen Sie den verantwortlichen Bediener.
Veranschaulichende Antwort- und Ablaufbänder
KlasseBeispiel für ein AntwortzielAblaufverhaltenWarteschlangenaktion
NotfalleindämmungSofortiges Eingreifen des Bedieners; Seite die Rolle des verantwortlichen Vorfalls.Die Stoppbefugnis ist nur von kurzer Dauer und die Wiederherstellung erfordert eine gesonderte aktuelle Genehmigung.Umgehen Sie die normale Warteschlange durch den geregelten Vorfallpfad und bewahren Sie Beweisstücke aus zerbrochenem Glas auf.
Konsequente Entscheidung vor der VollstreckungMinuten oder Stunden, basierend auf dem sicheren Aufbewahrungsfenster.Ausführung bei Ablauf ablehnen. Führen Sie eine Neubewertung durch und stellen Sie einen neuen Entscheidungsantrag.Vor Ablauf eskalieren Sie es an einen Prüfer mit gleicher oder höherer Autorität.
Material reversible AusnahmeStunden innerhalb des Betriebstages.Läuft ab, wenn Beweise oder Geschäftsstatus nicht mehr als aktuell betrachtet werden können.Mit vollständiger Historie neu zuweisen; Behalten Sie den ursprünglichen Beauftragten und Grund bei.
Überprüfung der nicht blockierenden SicherheitDefiniertes Geschäftstagsziel.Schließen oder eskalieren Sie das Überprüfungselement, ohne die bereits zulässige Aktion zu ändern.Verfolgen Sie überfällige Überprüfungen als Assurance-Fehler.

Entwerfen Sie Überschreibungen, Einsprüche und Notstopps als separate Pfade

Eine Außerkraftsetzung ändert eine Entscheidung oder Ausgabe unter ausdrücklicher Autorität. Bei einem Einspruch wird eine andere autorisierte Stelle gebeten, eine Entscheidung zu überprüfen. Ein Notstopp unterbricht den laufenden oder anstehenden Betrieb und bringt die Anlage in einen definierten sicheren Zustand. Durch die Kombination der drei in einer Admin-Schaltfläche werden Autorität, Zeitpunkt und Beweise verschleiert.

Interventions- und Beweisanforderungen
PfadAutorität und TimingErforderliche Nachweise
ÜberschreibenBenannte Autorität für die Aktionsklasse mit einem Grund und einer beliebigen Zwei-Personen-Regel. Bewerten Sie, bevor die geänderte Aktion ausgeführt wird.Ursprüngliches Ergebnis, Ersatzentscheidung, Autoritätsreferenz, Ursachencode, Begründung, Handlungsbindung, Zeit und resultierender Zustand.
BerufungEine von der ursprünglichen Entscheidung unabhängige Rolle, sofern die Richtlinien dies erfordern. Definieren Sie den sicheren Zwischenzustand und das Reaktionsziel.Ursprünglicher Antrag und Entscheidung, Beschwerdeführer, Gründe, zugewiesener Beschwerdeprüfer, berücksichtigte Beweise, Ergebnis, Abhilfe und Benachrichtigung.
NothaltAutorisierter Betreiber kann sofort handeln. Die Wiederherstellung folgt einer separaten Genehmigung, nachdem die Eindämmung überprüft wurde.Stopp-Akteur, Grund, Zeit, Umfang, Ausbreitung, abgebrochene und laufende Arbeit, Anmeldeinformationsaktion, Downstream-Rest, sicherer Zustand und Neustartgenehmigung.

Erkennen Sie Fehlermodi im Genehmigungsworkflow

Während die Kontrolle fehlschlägt, kann ein Genehmigungsbildschirm vorhanden sein. Testen Sie den gesamten Pfad von der Anforderungserstellung bis zum Downstream-Effekt, einschließlich Ausfällen, Wiederholungsversuchen, Arbeitslastspitzen und Wiederherstellung.

  • Abgestempelt: Rezensenten stimmen zu schnell zu oder wiederholen identische Gründe. Messen Sie Latenz, Übereinstimmung, Überschreibungen und Prüferbelastung; Verwenden Sie unabhängige Stichproben.
  • Selbstgenehmigung: Der Anforderer, der Agent-Sponsor oder der in Konflikt stehende Betreiber kann genehmigen. Lösen Sie Identitäten und Konflikte zum Zeitpunkt der Entscheidung.
  • Veraltete Genehmigung: Nachweise, Menge, Ziel, Richtlinie oder Parameter ändern sich nach der Überprüfung. Binden und validieren Sie die Anfrage vor der Ausführung erneut.
  • Verwaiste Wartezeit: Kein berechtigter Prüfer ist Eigentümer des Elements oder die Warteschlange verliert es. Überwachen Sie Zuweisung, Alterung, Eskalation und Ablauf als Kontrollzustand.
  • Wiederholung oder doppelte Ausführung: Eine Genehmigung gibt mehrere Aufrufe frei oder ein erneuter Versuch wiederholt den Nebeneffekt. Verwenden Sie Einmalentscheidungen und Idempotenzschlüssel.
  • Teilweise nachgelagerte Auswirkung: Eine mehrstufige Aktion schlägt nach einer externen Verpflichtung fehl. Zeichnen Sie jeden Effekt auf und führen Sie den Kompensations- oder Vorfallpfad aus.
  • Beweise zu spät geschrieben: Die Nebenwirkung tritt ein, bevor die Richtlinie oder der Genehmigungsdatensatz dauerhaft ist. Fehler geschlossen, wenn der erforderliche Datensatz nicht geschrieben werden kann.
  • Falscher Stopp: Die Schnittstelle meldet „Angehalten“, während Worker, Warteschlangen, Anmeldeinformationen oder Wiederholungsversuche fortgesetzt werden. Testen Sie die Ausbreitung und gleichen Sie jeden Flugvorgang ab.

Ausgearbeitetes Beispiel: eine synthetische Kreditdisposition

Das öffentliche AI Agent Audit Log Schema enthält einen vollständigen synthetischen Datensatz für einen Kreditprüfer, der eine Aktualisierung der Disposition in Höhe von 24.000 EUR vorschlägt. Das Beispiel zeigt, wie die Genehmigung mit der tatsächlichen nachgelagerten Wirkung zusammenhängt. Die Figuren und Identitäten sind synthetisch.

Genehmigungsdatensatz vom Antrag bis zum Ergebnis
BühneBeobachteter RekordKontrollbedeutung
AnfrageEin Kreditprüfer schlägt „credit.application.set_disposition“ für einen tokenisierten Antrag innerhalb einer eingeschränkten EU-Kreditdatengrenze vor.Die angeforderten Aktions-, Zweck-, Ressourcen-, Mengen-, Umgebungs-, Agentenversions-, Modell-, Eingabeaufforderungs- und Orchestratorversionen sind an eine Ausführung gebunden.
PolitikRichtlinienversion 4.2.1 stimmt mit „manual-review-above-20000“ überein und gibt require_approval mit dem Grund „amount_requires_senior_underwriter“ zurück.Der Betrag von 24.000 EUR überschreitet das Maker-Limit. Die Ausführung bleibt für die erforderliche Rolle „Senior_Underwriter“ zurückgehalten.
RezensentenkontextDie Entscheidungsanforderung enthält den genauen Aktionskontext, das Richtlinienergebnis, den Umfang der eingeschränkten Daten, Komponentenversionen und eine Zusammenfassung der vorgelegten Beweise.Der Prüfer kann die Anfrage überprüfen und eine spätere Ersetzung des Beweispakets erkennen.
AblaufDie Anfrage wird um 09:14:29 UTC erstellt und läuft um 10:14:29 UTC ab.Die Genehmigungsbehörde dauert eine Stunde. Für die Ausführung nach diesem Zeitpunkt ist eine neu bewertete Anfrage erforderlich.
EntscheidungEin von der Belegschaft authentifizierter leitender Underwriter genehmigt um 09:14:31 UTC mit der Begründung „Verified_Application_Evidence“ und einer Begründungsreferenz.Der Datensatz bindet den Prüfer, die erforderliche Rolle, die Entscheidung, den Grund, die Beweisaufnahme und die Zeit.
AusführungDer Aufruf des gesteuerten Tools beginnt nach der Genehmigung, verwendet einen Idempotenzschlüssel und ist mit Argument- und Ergebnis-Digests erfolgreich.Die Genehmigung geht der Tool-Nebenwirkung voraus und kann nur die gebundene Aktion freigeben.
Downstream-EffektDer synthetische Kernbankdatensatz meldet „credit_disposition_updated“ mit Auszügen vor und nach dem Zustand.Der Genehmigungspfad enthält nach der Richtlinienentscheidung einen expliziten Geschäftsergebnisdatensatz.
BeweiseDie geordnete Abstammung verbindet Anforderungs-, Richtlinien-, Genehmigungs-, Tool- und Abschlussereignisse. Der Datensatz verknüpft Richtlinien- und Tool-Artefakte und enthält ein gültiges Ergebnis der Integritätsüberprüfung.Ein Prüfer kann Reihenfolge, Identität, Handlungsbindung, Ergebnis und Aufzeichnungsintegrität testen. Die Vollständigkeit der Quelle bleibt ein separater Sicherheitstest.

Verwenden Sie ein Mindestbeweisschema

Verwenden Sie stabile Kennungen und maschinenlesbare Felder, damit ein Prüfer oder Prüfer die Entscheidung mit der Ausführung verbinden kann, ohne auf Zeitstempel oder Screenshots angewiesen zu sein. KLA veröffentlicht ein herstellerneutrales JSON-Schema, Beispiele und Prüfer für diesen Datensatz.

Mindestfelder für ein Auditereignis mit menschlicher Genehmigung
BeweisgruppeMindestfelderFrage beantwortet
Umschlag und UmfangSchemaversion, Ereignis-ID, aufgetretener_at, aufgezeichneter_at, Sequenz, Korrelations-ID, Ausführungs-ID, Organisation, Umgebung, AufbewahrungsklasseWelche Aufzeichnungen und Betriebsgrenzen werden überprüft?
Schauspieler und VersionenAnforderer, Agent, Accountable_owner, delegierte Benutzer- oder Dienstidentität, Agentenversion, Modell, Eingabeaufforderung, OrchestratorWer oder was hat unter wessen Verantwortung und mit welchen Versionen gehandelt?
Angeforderte MaßnahmeAktion, Zweck, Ressource, Datengrenze, Menge (falls relevant), Ziel, angefordertes_at, ArgumentauszugWelche genaue Nebenwirkung wurde vorgeschlagen?
PolitikEntscheidungs-ID, Richtlinien-ID und -Version, Richtlinien- und Eingabe-Digests, allow oder warn oder require_approval oder block, übereinstimmende Regeln, Ursachencodes, ausgewertet_atWarum hat die Kontrolle zu diesem Ergebnis geführt?
Zustimmung„request_id“, „request_at“, „expires_at“, „required_role“, „Present Evidence Digest“, „Reviewer“, „Entscheidung“, „Grund“, „Begründungsreferenz“, „entscheidung_at“, „Neuzuweisung“, „Override“ oder „Appeal“ bei VerwendungHat ein berechtigter Mensch vor der Hinrichtung aufgrund aktueller Beweise entschieden?
Ausführung und WirkungTool und Version, Idempotenzschlüssel, Start- und Abschlusszeit, Ergebnis-Digest, Downstream-Effektreferenzen, Vor- und Nach-Digests, Geschäftsergebnis, Rollback oder VorfallreferenzWas wurde außerhalb der Kontrollebene ausgeführt und was änderte sich?
Abstammung und IntegritätGeordnete Ereignis-IDs, Beweismanifest- und Artefakt-Digests, Datenschutzbehandlung, Datensatz-Hash, Signatur, Verifizierungsstatus und FehlercodesKann die Aufzeichnung wiedergegeben, korrekt verarbeitet und auf Änderungen überprüft werden?

Wie KLA den Genehmigungskontrollpfad implementiert

Die KLA-Kontrollebene regelt instrumentierte Agentenaktionen. Die KLA Policy Engine wertet einen vorgeschlagenen Toolaufruf anhand veröffentlichter Regeln aus und gibt allow, warn, require_approval oder block zurück. Ein require_approval-Ergebnis hält den vorgeschlagenen Anruf und erstellt eine Entscheidungsanfrage für Decision Desk. Ein block verhindert, dass der geregelte Aufruf das Tool erreicht.

Bei Entscheidungsanfragen auf der Steuerungsebene prüft Decision Desk die Entscheidungserlaubnis, die erforderliche Prüferrolle, den ausstehenden Status, die Identität des Anforderers und Erstellers sowie den Fälligkeitstermin. Es verhindert, dass erfasste Anforderer und Ersteller über ihre eigene Anfrage entscheiden, und lehnt Genehmigungs- oder Ablehnungsaktionen nach Ablauf der Frist ab. Ein berechtigter Prüfer kann eine überfällige Anfrage eskalieren. Es zeichnet den Entscheidungsakteur, den Rollen-Snapshot, das Ergebnis, den Grund und die Zeit auf. Diese Trennungs- und Ablaufkontrollen basieren darauf, dass die Anfrage aktuelle Herstelleridentitäten und eine Fälligkeitszeit enthält. Stellen Sie sicher, dass jeder Produktionspfad sie bereitstellt, und testen Sie den vollständigen Steuerungspfad.

Lineage Explorer und Audit Trail legen die Richtlinien-, menschlichen Entscheidungs- und Ausführungsdatensätze offen. Evidence Room kann ausgewählte Datensätze in ein Sealed Evidence Bundle mit Signaturen, Artefakt-Hashes und einem Merkle-Root packen, das Offline-Integritätsprüfungen unterstützt. Die Organisation ist weiterhin für die Klassifizierung der Maßnahmen, die Kompetenz der Prüfer, die Personalausstattung, die rechtliche Analyse, die vollständige Instrumentierung, die Vollständigkeit der Quellen, die Intervention bei allen Mitarbeitern und nachgelagerten Systemen sowie für das Design des sicheren Zustands verantwortlich.

Technische Referenzen

Lesen Sie die Komponentenverträge und die gemeinsame Ausführungsaufzeichnung hinter dem hier beschriebenen Genehmigungspfad.

Primärquellen und Frische

Quellenüberprüfung abgeschlossen 28. Juli 2026. Artikel 14 des EU-KI-Gesetzes erfordert eine wirksame menschliche Aufsicht über Hochrisiko-KI-Systeme und benennt Überwachungs-, Automatisierungs-Bias-Bewusstseins-, Interpretations-, Missachtungs-, Außerkraftsetzungs-, Umkehr-, Interventions- und sichere Unterbrechungsfunktionen. Artikel 26(2) verpflichtet Betreiber von Hochrisikosystemen, die Aufsicht Personen zu übertragen, die über die erforderliche Kompetenz, Schulung, Autorität und Unterstützung verfügen. Erwägungsgrund 73 erläutert die Rolle informierter Intervention und eingebauter Betriebsbeschränkungen.

Mit der Verordnung (EU) 2026/1744 wurden die Anwendungstermine für die Hochrisikovorschriften des Kapitels III auf 2. Dezember 2027 für Systeme gemäß Artikel 6 Absatz 2 und Anhang III und 2. August 2028 für Systeme gemäß Artikel 6 Absatz 1 und Anhang I geändert. Es ersetzte nicht den Kontrolltext von Artikel 14.

Der NIST AI RMF Core fordert differenzierte menschliche KI-Rollen, dokumentierte Aufsichtsprozesse, unabhängige Überprüfung und Mechanismen für Berufung, Außerkraftsetzung, Stilllegung, Reaktion auf Vorfälle und Wiederherstellung. NIST Anhang C weist darauf hin, dass die Notwendigkeit einer menschlichen Aufsicht vom Kontext abhängt. Das OECD-KI-Prinzip zu menschenzentrierten Werten fordert menschliche Entscheidungsfreiheit und Kontrollmaßnahmen, die dem Kontext und dem Stand der Technik angemessen sind.

Die Tabelle mit vier Ergebnissen, das Framework mit sieben Eingaben, Service-Level-Beispiele und das Beweisschema in diesem Leitfaden sind Implementierungsmuster. Sie haben keine allgemeingültige gesetzliche Schwelle. Bestätigen Sie noch einmal geltendes Recht, behördliche Leitlinien, Branchenregeln, Systemfakten und den aktuellen Quelltext, bevor Sie sich darauf verlassen.

Häufig gestellte Fragen

Welche Aktionen von KI-Agenten erfordern die Zustimmung eines Menschen?

Erfordern eine Genehmigung, wenn eine Aktion wesentlich, schwer rückgängig zu machen, Rechte berührend, sensibel, neuartig, nahe an einer Autoritätsgrenze, wenig vertrauenswürdig oder in der Lage ist, einen erheblichen nachgelagerten Effekt hervorzurufen. Blockieren Sie verbotene, nicht autorisierte, veraltete, fehlerhafte oder nicht überprüfbare Aktionen.

Was ist der Unterschied zwischen einem Menschen in der Schleife, einem Menschen in der Schleife und einem Menschen, der das Kommando hat?

Der Mensch in der Schleife entscheidet vor der Ausführung über eine bestimmte Aktion. Der Mensch vor Ort überwacht die begrenzte Aktivität und kann innerhalb eines getesteten Fensters eingreifen. Der Befehlshaber besitzt das Mandat, die Grenzwerte, die Richtlinien, die Stoppbefugnis, den Neustart und die Verantwortung für das System.

Wie sollte die Maker-Checker-Trennung für einen KI-Agenten funktionieren?

Identifizieren Sie den Agenten, den verantwortlichen Eigentümer und den anfragenden Auftraggeber als Herstellerseite. Leiten Sie die genau gebundene Anfrage an einen bestimmten qualifizierten Prüfer weiter. Überprüfen Sie Identität, aktuelle Rolle, Autorität, Delegation und Konflikte, wenn der Prüfer entscheidet, und validieren Sie die Anfrage dann vor der Ausführung erneut.

Welchen Kontext benötigt ein KI-Agentenprüfer?

Zeigen Sie die genaue Aktion und Konsequenz, die Identität des Antragstellers und des Agenten, Autoritätsgrenzen, Richtlinienergebnisse und -gründe, Quellennachweise und Aktualität, Unsicherheit und Einschränkungen, Alternativen, Ablauf, Eskalationsroute und Wiederherstellungspfad an.

Wann sollte eine Genehmigung ablaufen?

Die Genehmigung erlischt, wenn das Zeitfenster für die sichere Aufbewahrung endet oder wenn sich wesentliche Beweise, Richtlinien, Identität, Behörde, Bestimmungsort, Menge, Parameter oder der Geschäftsstatus ändern. Eine abgelaufene Anfrage darf nicht ausgeführt werden; Bewerten Sie die Aktion erneut und stellen Sie eine neue Anfrage.

Kann ein Mensch eine block-Entscheidung außer Kraft setzen?

Ein Prüfer sollte innerhalb derselben Anfrage eine verbotene Aktion nicht in eine Genehmigung umwandeln. Eine legitime Notfallausnahme erfordert einen separaten, engen, zeitgebundenen Richtlinienpfad mit benannter Autorität, Begründung, Beweisen, Eindämmungsgrenzen und rückwirkender Überprüfung.

Wie sollen Einsprüche und Notstopps funktionieren?

Leiten Sie einen Einspruch an die durch die Richtlinie definierte unabhängige Rolle weiter und halten Sie das System in einem sicheren Zwischenzustand. Lassen Sie einen autorisierten Bediener sofort einen Notstopp auslösen, Ausbreitung und Rückstände aufzeichnen und fordern Sie vor dem Neustart eine separate aktuelle Genehmigung an.

Was beweist, dass die Genehmigung vor der Ausführung erfolgte?

Verwenden Sie einen korrelierten Datensatz mit geordneten Anforderungs-, Richtlinien-, Genehmigungs-, Tool- und Abschlussereignissen. Verknüpfen Sie die Aktion und Beweise mit Digests, der Berechtigung des Prüfers für Datensätze und dem Ablaufdatum, verwenden Sie einen Idempotenzschlüssel, hängen Sie die nachgelagerte Quittung an und überprüfen Sie die Integrität des Datensatzes.

Die wichtigsten Erkenntnisse

Eine nützliche Genehmigungskontrolle gibt jeder Folgemaßnahme ein klares Ergebnis, hält die genaue Anfrage zurück, wenn eine Beurteilung erforderlich ist, gibt dem Prüfer genügend Kontext und Autorität, lässt veraltete Entscheidungen verfallen und ordnet die tatsächliche nachgelagerte Wirkung dem Beweisdatensatz zu. Laden Sie das Playbook zum Genehmigungsworkflow für KI-Agenten herunter, um die Regeln für eine Aktion zu definieren und dann den gesamten Pfad unter normalen, abgelaufenen, neu zugewiesenen, duplizierten, Ausfall- und Notstopp-Bedingungen zu testen.

In Aktion sehen

Bereit, Ihre Compliance-Nachweise zu automatisieren?

Buchen Sie eine 20-minütige Demo, um zu sehen, wie KLA Ihnen hilft, Human Oversight nachzuweisen und auditfertige Annex IV Dokumentation zu exportieren.

Menschliche Aufsicht über KI-Agenten: Wann ist eine Genehmigung erforderlich? | KLA Blog