Forschung

Fähigkeitstestsuite für Runtime-Governance von KI-Agenten

Anbieterbehauptungen über Runtime-Governance sind schnell formuliert und teuer zu prüfen. Diese Seite veröffentlicht die Testsuite, die KLA für seine eigene Control Plane verwendet: neun Fähigkeitstests, die eine Bank während einer Evaluierung gegen jede Plattform ausführen kann, das Verhalten des ausgelieferten KLA-Codes bei jedem Test, die automatisierten Tests, die dieses Verhalten festhalten, und die verbleibenden Einschränkungen. Jedes beobachtete Ergebnis verweist auf die Test- oder Quelldatei, die es belegt.

v1.0 · Veröffentlicht 2026-08-24 · Ergebnisse bei der Veröffentlichung gegen die KLA-Codebasis verifiziert

Kurzübersicht

Testfälle
Neun Fähigkeitstests: Durchsetzungspfad, Ausfallverhalten, Bindung von Genehmigungen, Ablauf von Genehmigungen, Replay, Retries, Verwahrung von Zugangsdaten, Änderung von Aufzeichnungen und Offline-Verifizierung.
Entscheidungsergebnisse
Vier Policy-Ergebnisse mit Vorrang des schlechtesten Ergebnisses: allow, warn, require_approval, block. Eine Berechtigungsverweigerung hat Vorrang vor jedem Regelergebnis.
Offline-Prüfungen
Fünf unabhängige Verifizierungsprüfungen laufen ohne Netzwerkzugriff über den offenen Evidence Verifier gegen ein exportiertes Bundle.
Ehrlichkeitsregel
Jedes Ergebnis trägt einen Status: durch automatisierte Tests festgehalten, mit benannten Einschränkungen gültig oder als Ziel angegeben. Die Einschränkungen werden auf dieser Seite veröffentlicht.

01

Umfang und Methode

Was die Suite testet, was sie bewusst ausschließt und wie jedes Ergebnis während einer Beschaffungsevaluierung reproduziert wird.

Die Suite testet eine Eigenschaft: Wenn ein KI-Agent eine folgenreiche Aktion vorschlägt, entscheidet die steuernde Schicht über das Ergebnis, bevor das Geschäftssystem seinen Zustand ändert, und die Aufzeichnung dieser Entscheidung hält einer Prüfung stand. Die neun Tests untersuchen diese Eigenschaft aus Sicht des Angreifers, des Betreibers und des Auditors.

Methode: Jeder Test ist als Black-Box-Verfahren formuliert, das eine Bank während einer Evaluierung gegen einen bereitgestellten Kandidaten mit ihrem eigenen Workflow und ihren eigenen Prüfern ausführen kann. Für KLA beschreibt die Spalte zum beobachteten Verhalten, was die ausgelieferte Implementierung auf dem gesteuerten Gateway-Pfad tut, und verweist auf den automatisierten Test oder das Quellmodul, das dies festhält. Die Verweise nennen reale Dateien in der KLA-Codebasis; ein Beschaffungsteam kann sie in einer begleiteten Quellenprüfung verifizieren.

Ausschlüsse: Die Suite testet weder Modellqualität, Prompt-Robustheit noch die Aufgabenleistung des Agenten. Sie testet keine rechtliche Klassifizierung. Sie testet den Kontrollpfad und die Nachweise.

  • Reproduzierbar: Jedes Verfahren kann gegen eine laufende Bereitstellung ausgeführt werden; jedes KLA-Ergebnis verweist auf seinen festhaltenden Test.
  • Negativpfad zuerst: Sieben der neun Tests betreffen Fehler, Änderungen oder Replay.
  • Ehrliche Abdeckung: Ergebnisse gelten für den gesteuerten Aktionspfad. Die Abdeckung einer konkreten Systemlandschaft ist eine Eigenschaft der Bereitstellung und muss je Integration getestet werden.

02

Bedrohungsmodell

Die Fehlervektoren, die eine Runtime-Governance-Schicht überstehen muss, bevor eine Bank sie für folgenreiche Aktionen einsetzen kann.

VektorFrageAbgedeckt durch
Pfad-BypassKann die Aktion das Geschäftssystem ohne Policy-Entscheidung erreichen?RT-01
Ausfall einer AbhängigkeitWas geschieht, wenn die Policy-Engine nicht erreichbar ist oder Fehler liefert?RT-02
Zeitpunkt der Prüfung bis zur NutzungKönnen sich Parameter zwischen Genehmigung und Ausführung ändern?RT-03
Veraltete AutoritätKann eine alte Genehmigung eine neue Aktion autorisieren?RT-04
ReplayKann eine Genehmigung oder Entscheidung über Runs, Tools oder Tenants hinweg wiederverwendet werden?RT-05
Doppelte ZustellungFührt ein Retry den Seiteneffekt zweimal aus?RT-06
Offenlegung von ZugangsdatenKann der Agent, das Modell oder ein Tool gespeicherte Zugangsdaten beobachten?RT-07
Änderung einer AufzeichnungWird eine geänderte Entscheidungs-, Genehmigungs- oder Nachweisaufzeichnung erkannt?RT-08
Nicht vertrauenswürdiger ExporteurKann ein Dritter die Aufzeichnung verifizieren, ohne der erzeugenden Plattform zu vertrauen?RT-09

03

Die neun Fähigkeitstests

Jeder Test enthält die Käuferfrage, ein Black-Box-Verfahren, das erwartete Verhalten jeder gesteuerten Plattform und das beobachtete KLA-Verhalten mit den zugehörigen Nachweisen.

RT-01

Durchsetzungspfad und Bypass

Gilt mit benannten Einschränkungen

Stoppt eine verweigerte Entscheidung die Aktion auf jedem vorgesehenen Pfad?

Verfahren

  1. 01Rufen Sie den folgenreichen Tool-Aufruf über den vorgesehenen gesteuerten Pfad mit einer blockierenden Policy auf; bestätigen Sie, dass sich der Zustand des Geschäftssystems nicht geändert hat.
  2. 02Versuchen Sie dieselbe Aktion über jeden alternativen, von der Architektur zugelassenen Pfad: direkte API-Aufrufe, sekundäre Integrationen und Bedienkonsolen.
  3. 03Lassen Sie den Anbieter die exakte Komponente nennen, die jeden Pfad durchsetzt, sowie das Team, das ihre Konfiguration besitzt.

Von jeder gesteuerten Plattform erwartet

Ein Ergebnis block oder require_approval verhindert den Seiteneffekt auf dem gesteuerten Pfad; der Anbieter kann gesteuerte und ungeschützte Pfade aufzählen.

Beobachtetes KLA-Verhalten

Auf dem Gateway-Pfad versiegelt das Governance-Gateway einen Entscheidungsbeleg im Evidence Ledger, bevor das Tool ausgeführt wird; block und require_approval beenden den Aufruf, und der Tool-Executor wird nie aufgerufen. Die Tool-Policy wird außerdem bei jeder MCP-Aufruf im Tool Hub geprüft.

Nachweis

  • services/governance-pep/src/gateway.ts: decision sealed before the side effect; block and require_approval short-circuit
  • governance-gateway.test.ts: 15 cases on the gateway decision path
  • cmb-aml-governance-gateway.test.ts: 16 end-to-end cases on a banking workflow
  • scripts/check-production-governance-gateway.mjs: deployment guard that the gateway is enabled in production

Einschränkungen

  • Das Gateway wird durch die Bereitstellungskonfiguration aktiviert; die ausgelieferten Produktions- und Entwicklungs-Overlays aktivieren es, und ein selbstverwalteter Betreiber muss dies ebenfalls tun.
  • Der interne Endpoint für Connector-Ausführung vertraut darauf, dass das Tool-Gate vorgelagert ausgeführt wurde; er autorisiert den Aufrufer gegen die gebundene Verbindung und führt keine zweite Policy-Prüfung durch.
RT-02

Ausfall der Policy-Engine

Durch automatisierte Tests festgehalten

Welches Ergebnis erzeugt die Plattform, wenn die Policy-Auswertung nicht verfügbar ist?

Verfahren

  1. 01Nehmen Sie den Policy-Entscheidungsdienst außer Betrieb oder injizieren Sie einen Transportfehler, während der Agent eine folgenreiche Aktion vorschlägt.
  2. 02Wiederholen Sie den Test mit einem internen Fehler der Policy-Engine: keine aufgelöste Policy, ein nicht signaturgeprüftes Policy Pack und eine nicht verfügbare Guardrails-Abhängigkeit.
  3. 03Dokumentieren Sie Ergebnis, Reason Code und ob eine Konfiguration einen Fehler in allow umwandeln kann.

Von jeder gesteuerten Plattform erwartet

Jeder Fehlermodus erzeugt block oder require_approval mit einem maschinenlesbaren Grund. Kein Konfigurationswert kann einen Auswertungsfehler in allow umwandeln.

Beobachtetes KLA-Verhalten

Die in der Prüfung gefundenen Schichten arbeiten ausfallsicher: Transportfehler am Durchsetzungspunkt, fehlende Policy, Signaturfehler des Packs, nicht verfügbare Guardrails-Laufzeit, Fehler des Berechtigungsanbieters, Ausfall des AI-Judges und Ausfall des Evidence Stores verweigern alle. Die Umgebungsüberschreibung akzeptiert block oder require_approval und lehnt allow ab.

Nachweis

  • services/governance-pep/src/decisions.ts + environment.ts: fail-closed decision builder; override cannot be allow
  • policy-evaluation-service.test.ts: 12+ fail-closed cases including pack-verification failure and “must not fail open” regression
  • services/policy-engine/src/policy-pack/lint.ts: allow/warn default decision is a publish-time error
  • transition-gate-decision.test.ts: errored policy outcome blocks and is excluded from human-recoverable reasons

Einschränkungen

  • Außerhalb der Produktion führt ein Ausfall zu require_approval, sodass die Warteschlange anschwillt, während Aktionen pausiert bleiben.
  • Der ausfallsichere Standard wird aus der Runtime-Umgebungsvariable abgeleitet; ein Produktionsdienst mit falschem NODE_ENV fällt auf require_approval zurück.
RT-03

Geänderte Parameter nach der Genehmigung

Durch automatisierte Tests festgehalten

Wird die Aktion ausgeführt, wenn sich Argumente zwischen Genehmigung und Ausführung ändern?

Verfahren

  1. 01Lösen Sie require_approval aus, genehmigen Sie die Aktion und ändern Sie anschließend einen wesentlichen Parameter (Betrag, Begünstigter, Zieldatensatz).
  2. 02Senden Sie die Fortsetzungsanfrage mit der ursprünglichen Genehmigung und den geänderten Argumenten erneut.
  3. 03Bestätigen Sie, welche Seite die Bindung neu berechnet: die Nutzlast des Aufrufers oder die versiegelte Aufzeichnung des Servers.

Von jeder gesteuerten Plattform erwartet

Die Genehmigung ist an einen kanonischen Digest der exakten Argumente gebunden, wird beim Fortsetzen serverseitig anhand einer vom Aufrufer nicht lieferbaren Aufzeichnung erneut geprüft und blockiert bei einer Abweichung.

Beobachtetes KLA-Verhalten

Bei der Genehmigung versiegelt das Gateway einen kanonischen SHA-256-Hash der Tool-Argumente im dauerhaften Ledger. Beim Fortsetzen berechnet es den Hash aus den übermittelten Argumenten neu und vergleicht ihn mit der Ledger-Kopie; der Hash in der Fortsetzungsnutzlast wird bewusst ignoriert. Eine Abweichung und auch ein fehlender versiegelter Hash blockieren mit dem Grund tool_args_mismatch.

Nachweis

  • services/governance-pep/src/gateway.ts: TOCTOU re-verification against the ledger-sealed hash only
  • governance-gateway.test.ts: “TOCTOU: Phase-2 resume with mutated arguments fails closed and never executes”
  • cmb-aml-governance-gateway.test.ts: “fails closed when the decision input changes after approval”

Einschränkungen

  • Die kryptografische Prüfung läuft auf dem Gateway-Pfad. Gesteuerte Connector-Tools setzen über das Zustandsobjekt von agent-runtime fort und fixieren die Argumente strukturell ohne zweiten Hashvergleich.
RT-04

Veraltete Genehmigung

Gilt mit benannten Einschränkungen

Kann ein Prüfer nach Ablauf des Gültigkeitsfensters über eine Genehmigung entscheiden?

Verfahren

  1. 01Erstellen Sie eine Genehmigung mit Fälligkeitszeit, lassen Sie sie ablaufen und versuchen Sie anschließend, sie über jede angebotene Entscheidungsoberfläche zu genehmigen.
  2. 02Bestätigen Sie, welche Autorität eine abgelaufene Genehmigung behält und welche Oberflächen den Ablauf erzwingen.

Von jeder gesteuerten Plattform erwartet

Eine überfällige Genehmigung verweigert auf jeder Entscheidungsoberfläche Genehmigung und Ablehnung; nur Eskalation bleibt möglich.

Beobachtetes KLA-Verhalten

Genehmigungen haben eine Fälligkeitszeit (standardmäßig eine Stunde). Beide Entscheidungsoberflächen verweigern überfällige Entscheidungen: Die vom Decision Desk verwendete Control-Plane-Oberfläche berechnet den überfälligen Zustand und erlaubt nur Eskalation, während die Entscheidungsaktualisierung der Execution API voraussetzt, dass die Fälligkeitszeit noch in der Zukunft liegt, und nach Ablauf einen Konflikt zurückgibt. Die Maker-Checker-Trennung wird serverseitig auf beiden Pfaden durchgesetzt.

Nachweis

  • services/api/src/routers/approvals.ts: overdue approvals accept escalate only; maker cannot check
  • services/execution-api/src/routes/approvals.ts: decision update requires due_at in the future
  • approval-decision-self-approval.test.ts: post-deadline decision returns 409 without signaling the workflow
  • approvals.maker-checker.test.ts: 10 cases

Einschränkungen

  • Tool-Gate-Genehmigungen warten absichtlich unbegrenzt; das konfigurierbare Timeout gilt für explizite menschliche Genehmigungsknoten.
RT-05

Replay über Grenzen hinweg

Durch automatisierte Tests festgehalten

Kann eine Genehmigung oder Entscheidung eine zweite Aktion an anderer Stelle autorisieren?

Verfahren

  1. 01Erfassen Sie eine genehmigte Entscheidung und spielen Sie sie gegen einen anderen Run, einen anderen Tool-Aufruf, einen anderen Tenant und denselben Aufruf mit anderer Ausgabe erneut ab.
  2. 02Bestätigen Sie den Scoping-Schlüssel der gespeicherten Entscheidung.

Von jeder gesteuerten Plattform erwartet

Entscheidungen und Genehmigungen sind auf Tenant, Run und Tool-Aufruf begrenzt; kein Replay überschreitet diese Grenzen.

Beobachtetes KLA-Verhalten

Der Idempotenzschlüssel lautet tenant:execution:gate; der Input-Gate enthält die Tool-Aufruf-ID, das Output-Gate zusätzlich den Ausgabe-Hash. Ein wiederholter abgeschlossener Aufruf gibt die gespeicherte Disposition zurück; ein Schlüssel autorisiert niemals Arbeit unter einem anderen Tenant oder einer anderen Ausführung.

Nachweis

  • services/governance-pep/src/idempotency.ts: key structure
  • cmb-aml-governance-gateway.test.ts: “does not replay an approval across execution or tenant ledger keys”
RT-06

Retry und doppelte Zustellung

Durch automatisierte Tests festgehalten

Führt ein Absturz, Retry oder eine doppelte Zustellung den Seiteneffekt zweimal aus?

Verfahren

  1. 01Stellen Sie denselben gesteuerten Tool-Aufruf zweimal gleichzeitig zu; stellen Sie ihn nach einem abgeschlossenen Run erneut zu; beenden Sie den Worker zwischen Entscheidung und Abschluss und lassen Sie den Orchestrator wiederholen.
  2. 02Zählen Sie die Seiteneffekte und prüfen Sie die Beziehung zwischen Entscheidungen, Ausführungen und Nachweisaufzeichnungen.

Von jeder gesteuerten Plattform erwartet

Eine Aktion erzeugt bei gleichzeitigen und sequenziellen Retries genau einen Seiteneffekt; das Verhalten im Absturzfenster ist präzise angegeben.

Beobachtetes KLA-Verhalten

Ein dauerhaftes Write-Ahead-Ledger zeichnet die Absicht vor der Ausführung auf und schreibt das Ergebnis danach fest. Ein wiederholter abgeschlossener Aufruf gibt das zwischengespeicherte Ergebnis zurück; der unterlegene parallele Schreiber gibt das Ergebnis des Gewinners zurück.

Nachweis

  • services/governance-pep/src/gateway.ts: write-ahead intent, committed short-circuit, one-shot output release
  • governance-gateway.test.ts: “exactly-once: a replayed committed call returns the cached result without re-executing”; concurrent-loser case
  • cmb-aml-governance-gateway.test.ts: re-drive across an orchestrator retry without a second side effect

Einschränkungen

  • Im Absturzfenster hängt exactly-once davon ab, dass das nachgelagerte System den weitergegebenen Idempotenzschlüssel berücksichtigt; ein System, das ihn ignoriert, fällt auf at-least-once zurück.
  • Die Tabelle des dauerhaften Ledgers verwendet tenant-präfixierte Schlüssel zur Isolation und hat noch keine Row-Level-Security-Policy.
RT-07

Verwahrung von Zugangsdaten

Gilt mit benannten Einschränkungen

Kann der Agent, das Modell oder ein abgerufenes Tool gespeicherte Zugangsdaten beobachten?

Verfahren

  1. 01Verfolgen Sie, wo Connector-Zugangsdaten aufgelöst werden und in welchen Prozessspeicher sie während eines gesteuerten Tool-Aufrufs gelangen.
  2. 02Versuchen Sie Server-Side Request Forgery über eine Connector-URL, die auf interne oder Metadaten-Adressen aufgelöst wird.
  3. 03Senden Sie Schreibanweisungen über einen schreibgeschützten Datenbank-Connector.

Von jeder gesteuerten Plattform erwartet

Zugangsdaten werden ausschließlich in der Control Plane aufgelöst; der Egress ist an validierte Adressen gebunden; schreibgeschützte Connectoren verweigern Schreibvorgänge auf mehreren Ebenen.

Beobachtetes KLA-Verhalten

Connector-Zugangsdaten werden in der Control Plane aufgelöst und nur in ausgehenden Request-Headern oder einem Datenbank-Client materialisiert; der Execution Worker sendet die Tool-Eingabe und empfängt das Ergebnis. Der Connector-Egress validiert jede Adresse beim Verbindungsaufbau, bindet die Verbindung an die validierte IP, behält TLS-Namen am ursprünglichen Host und verweigert Weiterleitungen.

Nachweis

  • services/api/src/services/connector-execution.ts: control-plane custody; DNS-pinned egress; BEGIN READ ONLY
  • connector-network-safety.ts: metadata, link-local, multicast, and documentation ranges blocked; private ranges gated by explicit configuration
  • mcp-installation-secret-safety.ts: secret-pattern rejection at the API boundary

Einschränkungen

  • Lokal gestartete MCP-Toolserver erben die Umgebung des Worker-Prozesses; ein schädlicher MCP-Server könnte Variablen dieses Pods lesen.
  • Die Verwahrung von Zugangsdaten ist architektonisch; es gibt keinen automatisierten Negativtest, der ausschließt, dass ein Model-Prompt jemals eine Zugangsdaten enthält.
  • Ein Connector kann so konfiguriert werden, dass die TLS-Prüfung übersprungen wird; diese Einstellung gehört zur Verbindungsaufzeichnung und sollte geprüft werden.
RT-08

Änderung einer Aufzeichnung

Durch automatisierte Tests festgehalten

Was erkennt eine Änderung an einer gespeicherten Entscheidungs-, Genehmigungs- oder Nachweisaufzeichnung?

Verfahren

  1. 01Ändern Sie über privilegierten Speicherzugriff ein Byte einer Entscheidungsaufzeichnung, einer Genehmigungs-Auditaufzeichnung und eines Evidence Receipt.
  2. 02Lesen Sie jede geänderte Aufzeichnung über das Produkt und exportieren Sie sie; dokumentieren Sie, wo die Erkennung auslöst.

Von jeder gesteuerten Plattform erwartet

Die Änderung jeder Governance-Aufzeichnung wird beim Lesen oder Export durch Integritätsmechanismen erkannt, die vom veränderten Speicher unabhängig sind.

Beobachtetes KLA-Verhalten

Governance-Aufzeichnungen werden über verifizierte Schreibvorgänge in ein unveränderliches Ledger geschrieben, die Schlüssel und Wert an den Transaktionsbeleg binden. Audit-Trail- und Policy-Gate-Lesevorgänge laufen über verifizierte Reads, die den Content-Hash der Aufzeichnung und ihren Inclusion-Proof neu berechnen; eine Abweichung verweigert die Ausgabe. Signierte Decision Receipts bilden eine Ed25519-Hashkette.

Nachweis

  • services/api/src/services/immudb-multi-tenant.ts: hash recomputation and trusted-read verification on audit and policy-gate reads
  • services/governance-pep/src/receipt-chain.ts + signing.ts: signed hash chain; 28 test cases including tamper, reorder, truncation
  • export-api.receipt-ledger-bundle.test.ts: tampered receipt and tampered ledger record turn the export red

Einschränkungen

  • Einige Policy-Decision-Lesevorgänge prüfen einen zusammen mit der Aufzeichnung gespeicherten Content-Hash, ohne einen serverseitigen Inclusion-Proof neu zu berechnen, und Anzeige-Read-Models wie die Control-Decision-Tabelle sind veränderliche Zeilen; eine Änderung auf diesen Pfaden wird durch den Vergleich mit dem versiegelten Ledger und beim Export festgestellt.
  • Die Erkennung erfolgt beim Lesen oder Export; es gibt keinen kontinuierlichen Hintergrundjob zur erneuten Verifizierung.
  • Das Abschneiden am Ende einer Receipt-Kette wird nur erkannt, wenn der Verifier einen unabhängig gespeicherten End-Hash erhält.
RT-09

Offline-Verifizierung von Nachweisen

Durch automatisierte Tests festgehalten

Kann ein Auditor ein exportiertes Bundle ohne Netzwerkzugriff und ohne KLA-Konto verifizieren?

Verfahren

  1. 01Exportieren Sie ein Sealed Evidence Bundle für einen gesteuerten Run, übertragen Sie es auf einen vom Netz getrennten Rechner und führen Sie den veröffentlichten Verifier aus.
  2. 02Ändern Sie je Artefaktklasse ein Byte und führen Sie ihn erneut aus; jede Änderung muss den Run mit einer benannten Prüfung rot markieren.

Von jeder gesteuerten Plattform erwartet

Ein eigenständiger Verifier belegt Signaturen, Hashketten und Inclusion-Proofs allein aus dem Bundle, benennt klar seine Offline-Grenzen und bricht bei Manipulation ausfallsicher ab.

Beobachtetes KLA-Verhalten

Der Evidence Verifier führt ohne Netzwerkzugriff und unter Verwendung des im Bundle enthaltenen Schlüsselbestands fünf Prüfungen aus: Manifest-Signatur unter Service- und Tenant-Schlüsseln, Receipt-Signaturketten, Ledger-Hashkette, Merkle-Inclusion gegen den erhaltenen Transaktionsbeleg und Zeitstempelanker. Eine Manipulation um ein Byte in jeder Artefaktklasse markiert die entsprechende Prüfung rot.

Nachweis

  • packages/evidence-verifier: five checks, command-line verifier, ~55 automated cases
  • verifier.test.ts: one-byte tamper per artifact class; revoked key; path escape; malformed key set

Einschränkungen

  • Der Schlüsselbestand des Verifiers befindet sich im Bundle. Ein erfolgreicher Lauf belegt die interne Konsistenz des exportierten Bundles; die Erkennung eines von einem nicht vertrauenswürdigen Exporteur neu signierten Bundles erfordert den Abgleich der Bundle-Schlüssel mit unabhängig empfangenem Schlüsselmaterial, und eine integrierte Schlüssel-Pinning-Prüfung ist ein Roadmap-Punkt.
  • Die Merkle-Inclusion wird gegen den im Bundle aufbewahrten Transaktionsbeleg geprüft. Die Verifizierung gegen den unabhängig signierten Zustand des Ledgers ist ein Roadmap-Punkt, und die Bestätigung des Zeitstempelankers auf der öffentlichen Chain erfordert einen netzwerkgebundenen Schritt.
  • Ein Bundle mit ausschließlich unsignierten Receipts besteht die Receipt-Prüfung mit null verifizierten Ketten; der Verifier meldet die Anzahl, und ein Auditor muss sie lesen.

04

Offline-Verifizierung von Nachweisen

Was ein Auditor auf einem vom Netz getrennten Rechner über ein exportiertes Nachweispaket verifizieren kann und was weiterhin eine Netzwerk- oder Serverprüfung erfordert.

Runtime-Durchsetzung und Auditnachweise sind unterschiedliche Aussagen. Die Tabelle zeigt, was der Offline-Verifier allein aus dem Bundle beweist. Diese Unterscheidung ist bei der Beschaffung wichtig: Eine Plattform kann gut durchsetzen und dennoch Nachweise erzeugen, die ein Auditor als gegeben hinnehmen muss.

PrüfungWas sie offline beweist
manifest-signatureDas Bundle-Manifest ist von einem Service-Schlüssel und einem im Schlüsselbestand des Bundles enthaltenen Tenant-Schlüssel signiert; fehlerhafte und Algorithmen mit falscher Signatur schlagen fehl.
receipt-signaturesJeder signierte Decision Receipt wird unter Ed25519 verifiziert, und die Receipts jedes Runs bilden eine ununterbrochene Hashkette ab dem Genesis-Element; ein widerrufener Schlüssel lässt die Kette scheitern.
ledger-hash-chainDer Content-Hash jeder Ledger-Aufzeichnung wird neu berechnet, und die Aufzeichnungen bilden eine verbundene Linie mit einer einzigen Wurzel.
merkle-inclusionDie Merkle-Wurzel des Bundles wird neu berechnet, und jeder enthaltene Ledger-Eintrag wird über seinen Transaktions-Root verifiziert.
ots-anchorDer Zeitstempelbeleg wird strikt geparst, an den neu berechneten Manifest-Digest gebunden und enthält mindestens eine unterstützte Attestation.

Der Verifier ist ein eigenständiges Kommandozeilenwerkzeug: Exit-Code 0 bedeutet, dass jede Prüfung bestanden wurde, 1 bedeutet eine fehlgeschlagene Prüfung, 2 einen ungültigen Aufruf. Beispiel-Bundles sind im Evidence-Room-Beispiel verfügbar.

05

Veröffentlichte Einschränkungen

Bekannte Grenzen der aktuellen Implementierung. Eine Bank sollte sie gegen die entsprechende unveröffentlichte Liste jedes anderen Kandidaten abwägen.

Dies sind die aktuellen Grenzen, die KLA zusammen mit der Suite veröffentlicht. Jede stammt aus der Quelle oder Dokumentation, auf die sie verweist.

  1. 01Die Abdeckung ist eine Eigenschaft der Bereitstellung. Ergebnisse gelten für den gesteuerten Gateway-Pfad; nicht erfasste Routen bleiben ungesteuert, bis sie auf einen gesteuerten Pfad gelegt und getestet werden.
  2. 02Gesteuerte Connector-Tools verwenden den Enforcement-Pfad im Adapter: Die ausfallsichere Auswertung, die Argument-Hash-Prüfung und das Exactly-once-Ledger gelten auf dem Gateway-Pfad.
  3. 03Der Schlüsselbestand des Offline-Verifiers befindet sich im Bundle. Ein erfolgreicher Lauf belegt die interne Konsistenz des exportierten Bundles; die Erkennung eines von einem nicht vertrauenswürdigen Exporteur neu signierten Bundles erfordert unabhängig empfangenes Schlüsselmaterial.
  4. 04Das Ergebnis warn wird im Receipt aufgezeichnet und den Operatoren angezeigt; an der Tool-Grenze wird es wie allow ausgeführt.
  5. 05Die Offline-Verifizierung prüft Inclusion noch nicht gegen den unabhängig signierten Ledger-Status; Zeitstempelanker werden erst mit einem Netzwerkschritt on-chain bestätigt.
  6. 06Das dauerhafte Idempotenz-Ledger hat keine Row-Level-Security-Policy; die Isolation beruht auf tenant-präfixierten Schlüsseln.
  7. 07Es werden keine gemessenen Latenzwerte veröffentlicht, weil kein Benchmarklauf im Repository festgeschrieben ist.

06

Latenz und Lastprofil

Deklarierte Service-Level-Ziele und die dahinterstehende Messmethode.

Latenzziele sind als erzwungene Schwellenwerte in der festgeschriebenen Load-Test-Suite deklariert: Policy-Prüfungen zielen auf das 95. Perzentil unter 50 ms und das 99. unter 100 ms; Trace-Ingestion zielt auf das 95. Perzentil unter 100 ms; das Basisszenario steigt auf 100 gleichzeitige Benutzer und schlägt fehl, wenn Schwellenwerte überschritten werden.

KLA veröffentlicht auf dieser Seite keine gemessenen Produktionslatenzen. Ein im Repository festgeschriebener Benchmarklauf mit Hardware, Datensatz und Konfiguration ist der Maßstab dieser Suite; bis er vorliegt, ist die ehrliche Aussage das Ziel und der Mechanismus zu seiner Durchsetzung.

07

Beschaffungscheckliste

Fragen an jeden Kandidaten für Runtime-Governance und das Artefakt, das jede Frage beantwortet.

Legen Sie diese Fragen jedem Kandidaten einschließlich KLA vor. Jede Frage benennt das Artefakt, das sie beantwortet; eine Folie reicht dafür nicht.

  1. 01Welche Komponente entscheidet über jede gesteuerte Route, und was verhindert eine verweigerte Entscheidung physisch? Artefakt: Architektur-Walk-through plus RT-01-Lauf mit Ihrem Workflow.
  2. 02Wie lautet das dokumentierte Ergebnis jedes Abhängigkeitsfehlers, und kann eine Konfiguration bei einem Fehler allow erzeugen? Artefakt: RT-02-Transkript und Konfigurationsschema.
  3. 03Wo wird die Bindung von Genehmigung und Argumenten gespeichert, und welche Seite prüft sie beim Fortsetzen erneut? Artefakt: RT-03 mit geändertem Parameter.
  4. 04Welche Scoping- und Ablaufregeln gelten für Genehmigungen auf jeder Entscheidungsoberfläche? Artefakt: RT-04- und RT-05-Transkripte.
  5. 05Wie lautet die Exactly-once-Aussage bei Absturz und Retry einschließlich ihrer Einschränkung im Absturzfenster? Artefakt: RT-06 mit beendetem Worker.
  6. 06Welcher Prozessspeicher enthält jemals Geschäftszugangsdaten, und was bindet den Egress? Artefakt: RT-07 mit einem Fälschungsversuch.
  7. 07Was erkennt die Änderung jeder Aufzeichnungsklasse, und wann löst die Erkennung aus? Artefakt: RT-08 mit einer Ein-Byte-Änderung.
  8. 08Kann ein Dritter die exportierte Aufzeichnung ohne Anbieter-Account und Netzwerk verifizieren? Artefakt: RT-09 auf einem vom Netz getrennten Rechner.
  9. 09Welche veröffentlichten Einschränkungen des Anbieters wären in Ihrem ersten gesteuerten Workflow relevant? Artefakt: Einschränkungsliste des Anbieters. Das Fehlen einer Einschränkung ist selbst ein Befund.

08

Verwandte Arbeiten

Schemata, Leitfäden und Beispiele, die diese Suite während einer Evaluierung ergänzen.

Schema für Policy-Entscheidungen von KI-Agenten

Das Format der Entscheidungsaufzeichnung, die die Receipts dieser Suite versiegeln, mit Beispielen je Ergebnis.

Schema für Genehmigungsereignisse von KI-Agenten

Die Genehmigungsaufzeichnung, die die Bindungstests ausführen, einschließlich Maker-Checker-Feldern.

Evidence-Room-Beispiel

Ein herunterladbares Sealed Evidence Bundle für den Offline-Verifier.

Leitfaden zur Auswahl von Governance-Plattformen

Der Auswahlleitfaden für Banken, der diese Suite als Fähigkeitsnachweis verwendet.

KI-Governance im Bankwesen: Leitfaden 2026

Zuordnung von Regulierung zu Kontrollen und das Genehmigungspaket für das Risiko-Komitee.

Schema für Auditprotokolle von KI-Agenten

Das Format der Auditaufzeichnung, das die Änderungstests prüfen.

Suite ausführen

Testen Sie sie mit einem Ihrer Workflows

Eine begrenzte Evaluierung führt die neun Tests mit Ihren Prüfern und Policies in einem folgenreichen Workflow aus und endet mit einem auf Ihrem Rechner verifizierten exportierten Bundle.

Fähigkeitstestsuite für Runtime-Governance von KI-Agenten