Assurance Center | Developer Docs

Assurance Center ist die Oberfläche für kontinuierliche Qualität der KLA Control Plane und wird unter der Route /measurement bereitgestellt. Die KLA Control Plane ist eine Govern-in-Place-Schicht für Laufzeitsicherheit, Audit und Governance von KI-Agenten im Unternehmen: Sie instrumentieren Ihre bestehenden Agenten, anstatt sie auf eine neue Plattform umzustellen. Richtlinien blockieren das, was zur Ausführungszeit eindeutig falsch ist, doch die meisten Agentenfehler verlaufen leiser: Antworten, die nach und nach schlechter werden, Formatierungen, die sich verschlechtern, Ergebnisse, die sich gegen eine bestimmte Nutzergruppe verschieben. Das Assurance Center überwacht diese schleichende Erosion in der Produktion und macht sie zu etwas, das Sie sehen, belegen und beheben können. Es realisiert die Säule Assure der Produktgeschichte (Govern. Operate. Assure. Prove.) und liefert eine unabhängige Bestätigung, dass sich ein Agent noch genauso verhält wie an dem Tag, an dem Sie ihn freigegeben haben.

Wer es nutzt

Compliance-, Risiko- und Audit-Verantwortliche arbeiten hier, wenn sie nachweisen müssen, dass ein automatisiertes Entscheidungssystem dauerhaft fair und korrekt bleibt, nicht nur zum Zeitpunkt des Starts. Plattformbetreiber nutzen es, um Qualitätsregressionen zu erkennen, bevor Nutzer sie melden, und um zu bestätigen, dass ein neuer Rollout (die Bereitstellung eines Agenten-Release) das Verhalten nicht verschlechtert hat. Entwickler und Integratoren setzen die Baselines und führen menschliches Feedback zurück in die Bewertung, wodurch sich der Kreis zwischen dem Ausgelieferten und seiner tatsächlichen Leistung schließt.

Warum kontinuierliche Absicherung wichtig ist

Ein Agent, der zum Start jede Prüfung bestanden hat, kann dennoch driften. Modellanbieter aktualisieren Gewichte, Ihre Datenverteilung verschiebt sich, Prompts werden bearbeitet, und nachgelagerte Tools ändern ihr Ausgabeformat. Nichts davon löst ein block einer Richtlinie aus, und trotzdem sinkt die Qualität stillschweigend. Governance endet nicht mit der Bereitstellung: Ein System, das Sie vor sechs Monaten zertifiziert haben, ist nur dann vertrauenswürdig, wenn Sie nachweisen können, dass es sich auch heute noch korrekt verhält.

Zentrale Funktionen

Baselines. Eine Baseline ist eine verifizierte Momentaufnahme des korrekten Agentenverhaltens: ein gelabelter Satz erwarteter Ausgaben, Qualitätswerte und Ergebnisverteilungen, erfasst aus einem Release, dem Sie vertrauen. Jede spätere Bewertung wird an ihr gemessen, sodass "gut" durch Ihr eigenes freigegebenes Verhalten definiert wird und nicht durch eine Voreinstellung des Anbieters.

Drift-Überwachung und Assurance Alerts. Das Assurance Center bewertet Live-Ausgaben kontinuierlich gegen die Baseline: semantische Ähnlichkeit, Formatierungsgültigkeit, Halluzinationsrate sowie Veränderungen bei Kosten oder Latenz. Überschreitet eine Kennzahl ihren Schwellenwert, löst es einen Assurance Alert aus (das kanonische Objekt für ein Drift-Problem). Alerts enthalten den betroffenen Agenten, die veränderte Kennzahl, das Ausmaß und einen Link in den Lineage Explorer, um die genauen Läufe hinter der Regression zu untersuchen. Offene Assurance Alerts erscheinen außerdem in der Triage-Warteschlange von Command.

Bias- und Fairness-Kohorten. Sie definieren Kohorten (Gruppen wie Altersklassen, Regionen oder Produktstufen), und das Assurance Center verfolgt, wie sich automatisierte Ergebnisse über diese Gruppen verteilen. Beginnt ein Agent zur Schadensfall-Triage etwa, eine Kohorte mit einer deutlich anderen Rate zu genehmigen als eine andere, wird diese Ungleichheit zu einem Assurance Alert mit beigefügter Kohortenaufschlüsselung und liefert Auditoren konkrete Belege für die Fairness-Überwachung.

Remediation Plans. Jeder Alert kann einen Remediation Plan eröffnen: einen nachverfolgten Datensatz darüber, was falsch ist, wer verantwortlich ist und wie das Modell, der Prompt oder die Richtliniengrenze angepasst wird, um das Problem zu beheben. Der Plan bleibt mit seinem Alert und den auslösenden Läufen verknüpft, sodass der gesamte Weg von der Erkennung bis zur Behebung nachvollziehbar ist und nichts stillschweigend geschlossen wird.

Menschliche Annotationen. Prüfer und nachgelagerte QA können Annotationen (Labels für korrekt/inkorrekt, Schweregrad und Notizen) an bestimmte Agentenausgaben anhängen. Diese menschlichen Urteile fließen direkt zurück in den Datenspeicher für die Bewertung, schärfen die künftige Bewertung und stärken die nächste Baseline.

Der Absicherungskreislauf

flowchart LR
  B["Baseline"] --> M["Live-Ausgaben überwachen"]
  M --> D{"Innerhalb des Schwellenwerts?"}
  D -->|ja| M
  D -->|nein| A["Assurance Alert"]
  A --> R["Remediation Plan"]
  R --> N["Menschliche Annotationen"]
  N --> B

💡 Tip

Behandeln Sie eine leere Liste von Assurance Alerts als Ihr Entwarnungssignal nach der Bereitstellung, genauso wie Sie einen leeren Triage-Tab in Command behandeln. Wenn einer erscheint, öffnen Sie zuerst die verknüpften Lineage Records. Die Belege hinter einer Regression sind meist offensichtlich, sobald Sie die Läufe sehen.

Wie es zusammenhängt

Das Assurance Center liegt der Ausführung nachgelagert und den Belegen vorgelagert. Es liest dieselben OpenTelemetry-Spans, die Ihre Agenten ausgeben, einschließlich GenAI-Attributen wie genai.agent.name, genai.tool.name, genai.cost.usd und genai.token.usage, und verwandelt sie in Qualitätssignale im Zeitverlauf. Assurance Alerts speisen die Triage-Warteschlange von Command und die System-Posture-Karte. Detailanalysen springen zum Lineage Explorer, um die zugrunde liegenden Lineage Records einzusehen. Und die hier festgehaltenen Befunde (eingehaltene Baselines, überwachte Fairness, geschlossene Behebungen) werden Teil der Sealed Evidence Bundles, die im Evidence Room zusammengestellt werden, sodass "wir haben weiter hingeschaut" selbst beweisbar wird.