Deterministisches Replay

Deterministisches Replay (deterministic replay) bedeutet, eine aufgezeichnete Entscheidung mit den Eingaben, der Policy-Version, der Modellausgabe und der Konfiguration erneut auszuführen, die damals galten, und wieder zum selben Ergebnis zu kommen. Bei einem KI-Agenten liegt die wichtigste Entscheidung am Kontrollpunkt: Der Agent hat eine Aktion vorgeschlagen, eine Policy hat sie bewertet, und das Ergebnis war allow, warn, require_approval oder block. Kann ein Prüfer diese Bewertung erneut ausführen und kommt zum selben Ergebnis, stützt der Datensatz die Aussage, dass die Kontrolle wie beschrieben funktioniert hat.

Replay ist wichtig, weil sich das Verhalten eines Agenten im Nachhinein schwer rekonstruieren lässt. Ein großes Sprachmodell kann auf denselben Prompt eine andere Antwort liefern, und das Modell hinter einer API kann die Version wechseln. Wer das Modell erneut fragt, testet das Modell von heute. Ein getreues Replay stützt sich auf das, was aufgezeichnet wurde. Artikel 12 der KI-Verordnung verlangt von Hochrisiko-KI-Systemen, Ereignisse so zu protokollieren, dass ihr Funktionieren in einem ihrer Zweckbestimmung angemessenen Maß rückverfolgbar ist, und Replay ist ein praktischer Test, ob die Protokolle vollständig sind.

Drei Teile einer Agentenentscheidung lassen sich exakt erneut ausführen, sofern sie aufgezeichnet wurden: die Policy-Bewertung (dieselben Regeln, dieselbe Version, dieselben Eingabefelder), die Weiterleitung einer zurückgehaltenen Aktion an einen Prüfer und jede Schwellenwert- oder Limitberechnung. Das Schlussfolgern des Modells lässt sich nur erneut ausführen, indem man die aufgezeichnete Modellausgabe wiederverwendet. Ein Replay zeigt, wie die Entscheidung zustande kam. Ob die Aktion stattgefunden hat, zeigen das Tool-Ergebnis, die Zahlungsbestätigung oder die Systemquittung, die nach der Ausführung aufgezeichnet wurden.

Damit Replay funktioniert, zeichnen Sie für jede Aktion auf: die vorgeschlagene Aktion und ihre Argumente, die Policy-Version und ihren Inhalts-Hash, die Eingabedaten, die die Policy gelesen hat, die Modellausgabe, die zum Vorschlag geführt hat, das Ergebnis und die Regel, die es erzeugt hat, eine etwaige menschliche Entscheidung und einen Zeitstempel für jeden Schritt. Fehlt ein Element, wird das Replay zur Annäherung, und der Datensatz sollte das ausweisen.

In KLA lässt sich eine Policy-Version gegen die jüngsten aufgezeichneten Läufe des Mandanten erneut ausführen. Jeder Lauf wird neu bewertet und mit dem damals aufgezeichneten Ergebnis verglichen, Läufe ohne aufgezeichnete Entscheidungseingaben werden als nicht erneut ausgeführt aufgeführt, und das Replay erzeugt weder Freigaben noch Evidenzdatensätze. In einer unserer eigenen QA-Runden mit synthetischen Daten verglich ein Policy-Entwurf, der gegen 200 aufgezeichnete Läufe ausgeführt wurde, 195 davon, schloss 5 mit maskierten oder fehlenden Feldern aus und erhöhte die Zahl der Freigabeanfragen von 37 auf 40. Wir haben uns für dieses Design entschieden, nachdem wir handgebaute Testfälle mit vielen Feldern für Compliance-Mitarbeitende als unpraktikabel eingestuft hatten.