So prüfen Sie ein KI-Agentensystem: Ein Unternehmens-Framework für die Produktion

Das 12-Domänen-AI-Agent-Audit-Framework für Unternehmen¶

Verwenden Sie diese Tabelle, um das Prüfuniversum festzulegen, Beweisanforderungen zuzuweisen und Verfahren zu schreiben. Jede Zeile benötigt eine definierte Grundgesamtheit, einen benannten Eigentümer, eine testbare Kontrolle, einen Wahrheitsquellendatensatz und eine explizite Fehlerbedingung, bevor die Feldarbeit beginnt.

Definieren Sie die Systemgrenze vor der Probenahmeaktivität¶

Beginnen Sie mit dem Geschäftsergebnis und verfolgen Sie es nach innen. Die Grenze umfasst jede Komponente, die eine Aktion oder ihren Nachweis beeinflussen kann: Agentenkonfiguration, Modell-, Eingabeaufforderungs- und Orchestrierungsversionen, Speicher, Abrufquellen, Benutzer- und Dienstidentitäten, Delegation, Richtlinien, Tools, nachgelagerte Systeme, menschliche Prüfer, Überwachung, Vorfallprozesse und Beweisspeicher. Beziehen Sie Subagenten und Dritte immer dann ein, wenn ihre Ergebnisse die endgültige Entscheidung, die verfügbare Autorität oder die Vollständigkeit der Aufzeichnungen ändern können.

Bauen Sie eine Bevölkerung auf, die versöhnt werden kann. Das NIST AI RMF 1.0 ist ein endgültiger freiwilliger Rahmen für KI im Allgemeinen, und GOVERN 1.6 unterstützt die Führung eines KI-Systeminventars für das Risikomanagement. Erweitern Sie dieses Inventar für Audit-Feldarbeiten auf Releases, Rollouts, Entscheidungstypen, Umgebungen, Tools, Datenquellen, Eigentümer, Risikostufen, Vorfallverlauf und Beweisorte.

Schreiben Sie die Grenzerklärung als Prüfartefakt und holen Sie die Genehmigung des Geschäftsinhabers ein. Eine nützliche Anweisung benennt den geprüften Prozess, Start- und Endereignisse, eingeschlossene Agenten und Releases, Produktionszeitraum, Entscheidungspopulation, Gerichtsbarkeiten, ausgeschlossene Komponenten mit Gründen, vorgelagerte Daten, nachgelagerte Aktionen, menschliche Rollen und jede externe Abhängigkeit. Änderungen des Umfangs während der Feldarbeit erfordern eine datierte Änderung und eine Folgenabschätzung für die Probe.

• Populationsschlüssel: Agenten-ID, Release-ID, Umgebung, Prozess-ID, Entscheidungstyp, Ergebnis, Risikostufe und Datumsbereich.
• Autoritätsgrenze: Sponsoring-Prinzipal, Agentenidentität, delegierte Bereiche, zulässige Tools, Ressourcenlimits, Zweck, Dauer und Genehmigungsschwellenwerte.
• Ausführungsgrenze: jeder Modellaufruf, Toolaufruf, Inter-Agent-Übergabe, Richtlinienurteil, Entscheidungsanfrage, Statusänderung, Benachrichtigung und Geschäftsergebnis.
• Beweisgrenze: Aufzeichnungssystem für jedes Artefakt, jede Aufbewahrungsklasse, jede Versiegelungsmethode, jeden Prüfer, jede gesetzliche Aufbewahrungsfrist und jede bekannte Sammlungslücke.

Legen Sie Verantwortlichkeiten fest und trennen Sie vier Assurance-Disziplinen¶

Weisen Sie einen verantwortlichen Geschäftsinhaber für das Agentensystem und seine Ergebnisse zu. Benennen Sie technische Eigentümer für den Agenten, das Modell, die Integrationen, die Identität, die Daten und die Beweisinfrastruktur. Benennen Sie Kontrollverantwortliche für Richtlinien, Genehmigung, Überwachung, Reaktion auf Vorfälle und Aufbewahrung. Jeder Eigentümer benötigt die Befugnis, einen Rollout zu stoppen, ein definiertes Risiko innerhalb der delegierten Grenzen zu akzeptieren, Abhilfemaßnahmen zu finanzieren und auf eine Ausnahme zu reagieren.

Das IIA-Drei-Linien-Modell ordnet Risikoverantwortung und -management den Rollen der ersten Linie, Fachwissen und Herausforderungen den Rollen der zweiten Linie und unabhängige und objektive Sicherheit der internen Revision zu. Wenden Sie diese Rollen auf die Agentenprüfung an, ohne sie in drei feste Abteilungen umzuwandeln. Die interne Revision wahrt die Unabhängigkeit, indem sie Kontrolleigentums- und Genehmigungsentscheidungen des Managements für das System, das sie später prüft, vermeidet.

Vier Disziplinen liefern unterschiedliche Beweise. Ihre Arbeit kann wiederverwendet werden, wenn Umfang, Zeitraum, Kriterien, Kompetenz und Unabhängigkeit dokumentiert sind. Ihre Schlussfolgerungen bleiben eindeutig.

Führen Sie Entwurfszeit-, Releasezeit-, Laufzeit- und periodische Prozeduren aus¶

Behandeln Sie das Auditprogramm als Lebenszyklus. Das endgültige freiwillige NIST Generative AI Profile schlägt vor, den Test-, Bewertungs-, Validierungs- und Verifizierungsverlauf aufzubewahren, messbare Freigabekriterien zu verwenden, die Genehmigung zu dokumentieren, eine laufende Bewertung durchzuführen und Deaktivierungsverfahren zu definieren. Wenden Sie die Praktiken an, bei denen der Agent generative KI verwendet, und fügen Sie dann agentenspezifische Identitäts-, Delegations-, Tool-, Richtlinien-, Genehmigungs- und Multiagentenverfahren hinzu.

Singapurs IMDA Model AI Governance Framework for Agentic AI v1.5 ist eine veröffentlichte freiwillige Lebensberatung. Es unterstützt die Definition von Betriebsgrenzen und Berechtigungsrichtlinien vor der Bereitstellung, die Bewertung von Komponenten und End-to-End-Verhalten, die Überwachung nach der Bereitstellung, die Behandlung von Vorfällen und die Neubewertung von Änderungen an Modellen, Tools, Berechtigungen und Prozessen.

Wählen Sie Proben nach Risiko, Entscheidungstyp, Anomalie, Genehmigungspfad und Systemänderung aus¶

Stellen Sie die Vollständigkeit sicher, bevor Sie Fälle auswählen. Gleichen Sie ursprüngliche Geschäftsereignisse, Agentenläufe, Richtlinienentscheidungen, Entscheidungsanfragen, nachgelagerte Auswirkungen und versiegelte Beweisaufzeichnungen ab. Unterschiede werden zu Ausnahmen oder einer Einschränkung des Umfangs; sie können nicht durch Stichprobenauswahl verschwinden.

Verwenden Sie eine reproduzierbare, risikobasierte Stichprobe mit einer zufälligen Basislinie. Notieren Sie die Bevölkerungsabfrage, die Extraktionszeit, die Quellsysteme, Filter, den Zufallsstartwert, die Auswahllogik, Ersetzungen und den Prüfer. Bewahren Sie die eingefrorene Population mit Hashes auf, damit ein zweiter Prüfer dieselbe Stichprobe neu generieren kann.

• Risiko: umfassen die höchsten Auswirkungen, Werte, Privilegien, Sensibilitäten, Irreversibilitäten und Fälle betroffener Personen.
• Entscheidungstyp: deckt jedes Material ab, das zulässt, verweigert, eskaliert, überschreibt, zurücksetzt und keine Aktion ausführt.
• Anomalie: umfassen Kontrollumgehungen, Richtlinienverweigerungen mit anschließender Ausführung, wiederholte Wiederholungsversuche, ungewöhnliche Werkzeugsequenzen, Abweichungswarnungen, Latenzspitzen und Ausreißerergebnisse.
• Genehmigungspfad: umfasst autonome Aktionen, normale Genehmigungen, Eskalationen, Außerkraftsetzungen, Break-Glass-Nutzung, abgelaufene Anfragen und die Neuzuweisung von Prüfern.
• Systemänderung: umfasst den ersten und letzten Fall rund um Modell-, Eingabeaufforderungs-, Richtlinien-, Berechtigungs-, Tool-, Daten-, Orchestrator-, Release- und Rollout-Änderungen.
• Zufällige Basislinie: Wählen Sie aus der verbleibenden Population aus, um gewöhnliche Fehler zu erkennen, die Risikofilter möglicherweise übersehen.

Ausgearbeitete Prüfung: eine regulierte Aktion des Kreditentscheidungsagenten¶

Angenommen, eine Privatkundenbank in der EU setzt einen Agenten ein, um Antragsdaten zusammenzustellen, ein Kreditrisikomodell aufzurufen, Kreditvergaberichtlinien anzuwenden, Grenzfälle an einen Underwriter weiterzuleiten und das Genehmigungs- oder Ablehnungsergebnis zu verfassen. Ein KI-System, das dazu bestimmt ist, die Kreditwürdigkeit einer natürlichen Person zu bewerten oder einen Kredit-Score zu ermitteln, fällt unter Anhang III Punkt 5(b) des EU-KI-Gesetzes und gilt gemäß Artikel 6(2) als hochriskant, vorbehaltlich der spezifischen Vorschriften des Artikels 6(3); Profiling im Rahmen einer Annex-III-Nutzung bleibt weiterhin ein hohes Risiko. Bei der Prüfung werden die faktenspezifische Bereitstellungsrolle der Bank und die Anbieterrolle des Modellanbieters gemäß Artikel 3, erfasst und dann die anwendbaren Kontrollen jeder Partei getestet.

Für ein Hochrisikosystem erfordert Artikel 12 des EU-KI-Gesetzes technische Fähigkeiten zur automatischen Ereignisprotokollierung über die Systemlebensdauer, um Rückverfolgbarkeit, Überwachung nach dem Inverkehrbringen und Untersuchungen zu unterstützen. Artikel 14 erfordert eine wirksame menschliche Aufsichtsfähigkeit, die im Verhältnis zu Risiko, Autonomie und Kontext steht, während Artikel 26(2) vom Betreiber verlangt, die Aufsicht Personen zu übertragen, die über die erforderliche Kompetenz, Schulung, Autorität und Unterstützung verfügen. Die exemplarische Vorgehensweise wandelt diese bedingten Pflichten in Beweisprüfungen für eine Entscheidung um.

Verantwortungsmatrix für Kontrolleigentum und unabhängige Sicherheit¶

Halten Sie die Matrix kompakt und entscheidungsspezifisch. Ein verantwortlicher Geschäftsinhaber unterzeichnet den Umfang, die Risikoakzeptanz und den Sanierungsplan. Verantwortliche Technik- und Steuerungseigentümer bedienen die Steuerungen. Risiko-, Compliance-, Sicherheits-, Datenschutz-, Rechts- und Modellrisikofunktionen fordern innerhalb ihrer Mandate heraus. Die interne Revision legt ihren eigenen Umfang fest, führt unabhängige Verfahren durch und berichtet die Schlussfolgerungen an das zuständige Leitungsgremium.

Mindestbeweisschema für KI-Agent-Überwachungsprotokolle, Wiedergabe und Aktionsnachweis¶

Für einen wiederholbaren Trail sind stabile Identifikatoren, versionierter Kontext, Kontrollergebnisse, menschliche Autorität, geschäftliche Auswirkungen und Integritätsmetadaten erforderlich. Das herunterladbare Audit-Log-Schema für KI-Agenten stellt den herstellerneutralen Maschinenvertrag und signierte Beispiele bereit. Der AI-Agent-Audit-Trails-Leitfaden erläutert die Beweisebenen, die Methodik für manipulationssichere Beweise befasst sich mit der Integrität und das Beispiel für den Beweisraum zeigt die Exportform.

Speichern Sie sensible Werte gemäß genehmigten Datenschutz- und Sicherheitskontrollen. Das Prüfschema kann je nach Feldzweck einen geschützten Wert, eine stabile Referenz oder einen Hash behalten. Der Prüfer prüft, ob die Darstellung die dargelegte Behauptung stützt und im Rahmen einer autorisierten Prüfung geklärt werden kann.

Testen Sie Zugriffsrechte, Delegation und Multi-Agent-Abhängigkeiten¶

Die AI Agent Standards Initiative von NIST ist eine aktive Roadmap, die Standards, Protokolle, Identität, Autorisierung, Sicherheit, Interoperabilität und Bewertung abdeckt. Es handelt sich nicht um einen endgültigen Standard. Das zugehörige NCCoE-Identitäts- und Autorisierungskonzeptpapier bleibt ein Entwurf und untersucht nichtmenschliche Identität, bereichsbezogene Delegation, geringste Privilegien, Aktionsprotokollierung, Herkunft, Nichtabstreitbarkeit und manipulationssichere Aufzeichnungen. Verwenden Sie es, um Prüfungsfragen zu schärfen und die Kriterien als organisationsdefinierte Kontrollen zu kennzeichnen.

Testen Sie die gesamte Autoritätskette: den sponsernden menschlichen oder organisatorischen Auftraggeber, die Identität des Agenten, den delegierten Umfang, den Zweck, das Zeitfenster, die Toolfähigkeit, die Ressourcen- und Aktionsgrenzen, die Genehmigungsschwellen, den Ausnahmepfad, den Widerrufspfad und die tatsächlich bei der Ausführung beobachtete Autorität. Das AI-Agent-Berechtigungshandbuch bietet das tiefergehende Steuerungsmodell.

Bei Systemen mit mehreren Agenten authentifizieren und autorisieren Sie jede Übergabe, bewahren die sendenden und empfangenden Identitäten, validieren die Nachrichtenintegrität und -semantik, verbreiten Zweck und Einschränkungen, begrenzen die Subagentendelegierung und gleichen das Endergebnis mit jeder beitragenden Komponente ab. Das OWASP Top 10 für Agentenanwendungen 2026 ist eine veröffentlichte Anleitung für Praktiker und eine Sicherheitstaxonomie; Es deckt Identitäts- und Privilegienmissbrauch, Werkzeugmissbrauch, Speicher, Kommunikation zwischen Agenten, kaskadierende Fehler und betrügerische Agenten ab. Es handelt sich nicht um einen formalen Standard oder eine Zertifizierung.

• Identitätstest: Jeder nichtmenschliche Akteur ist einzigartig, aktiv, besitzt und unterscheidet sich von Menschen und Peer-Agenten.
• Delegierungstest: Die delegierte Autorität ist mit einem genehmigten Prinzipal, Zweck, Umfang, Dauer und Widerrufsereignis verknüpft.
• Effektiver Zugriffstest: Quellengenehmigungen, Richtlinieneinschränkungen, Tool-Durchsetzung und beobachtete Aktionen werden zum Ereigniszeitstempel abgeglichen.
• Test durch Dritte: Verträge, Serviceinventar, Versionen, Zugriffspfade, Vorfallpflichten, Beweisverfügbarkeit und Beendigungskontrollen decken die Abhängigkeit ab.
• Multi-Agent-Test: Jede Nachricht enthält den authentifizierten Absender, den beabsichtigten Empfänger, Integritätsnachweise, Kontextgrenzen und eine Korrelation zur endgültigen Journey.

Legen Sie den Prüfrhythmus und die kontinuierliche Sicherung per Auslöser fest¶

Im Abschlussbericht des NIST Challenges to the Monitoring of Deployed AI Systems wird erläutert, dass die Überwachung nach der Bereitstellung Zuverlässigkeitsprobleme, Abweichungen und unbeabsichtigte Folgen erkennen kann, während Überwachungsziele und -methoden vom System, Kontext, verfügbaren Signalen und Akteuren abhängen. Es schreibt keine bestimmte Kadenz, kein Mindestschema oder keinen universellen Schwellenwert vor. Legen Sie den Rhythmus anhand von Auswirkung, Autonomie, Umfang, Änderungsrate, Vorfallhistorie, Erkennbarkeit, rechtlichen Pflichten und Beweisqualität fest.

Continuous Assurance liefert Kontrollsignale für die gesamte Bevölkerung an das Management und gezielte Bevölkerungsgruppen an Second-Line- und interne Revisionsteams. Die interne Revision überprüft weiterhin die Vollständigkeit der Quelle, das Kontrolldesign, die Alarmlogik, die Überprüfung durch den Eigentümer, die Behebung und die Unabhängigkeit, bevor sie sich auf diese Signale verlässt. Der Leitfaden zur Überwachung nach dem Inverkehrbringen bietet die tiefere Überwachungsstruktur.

Wenden Sie regulatorische und standardisierte Kriterien mit dem aktuellen Status an¶

Zum Zeitpunkt der 14-Quellenüberprüfung im Juli 2026 wurde kein endgültiger, agentenspezifischer End-to-End-Prüfbarkeitsstandard verifiziert. NIST AI RMF 1.0 ist ein endgültiger freiwilliger Rahmen für das KI-Risikomanagement über Technologien und Sektoren hinweg. Die NIST AI Agent Standards Initiative ist eine Roadmap, und ihre Identitäts- und Autorisierungsarbeit bleibt ein Entwurf eines Konzeptpapiers. Prüfteams benötigen daher einen dokumentierten Kriterienstapel, der auf das System und den Auftrag zugeschnitten ist.

Das IMDA Model AI Governance Framework for Agentic AI v1.5 ist eine veröffentlichte freiwillige Lebensberatung. Der OWASP Agentic Top 10 ist eine veröffentlichte Sicherheitsrichtlinie für Praktiker und eine Risikotaxonomie. Beide stellen nützliche agentenspezifische Kriterien bereit und keiner ist ein Zertifizierungsstandard.

ISO/IEC 42001:2023 spezifiziert Anforderungen an ein organisatorisches KI-Managementsystem. Durch ein Zertifizierungsaudit kann die Konformität des AIMS innerhalb seines erklärten Geltungsbereichs beurteilt werden. Das Zertifikat bescheinigt nicht ein einzelnes Modell, einen Agenten, eine Entscheidung, eine Ausgabe oder einen Datensatz als sicher, genau, fair, sicher, ethisch oder rechtmäßig; Überprüfen Sie die Zertifizierungsstelle, Akkreditierung, Standorte, Ausschlüsse, Gültigkeit und Anwendbarkeitserklärung.

Das EU-KI-Gesetz gilt je nach Betreiberrolle, Verwendungszweck und Risikoklassifizierung. Anbieter und Bereitsteller sind unterschiedliche, faktenabhängige Rollen gemäß Artikel 3, und Artikel 25 kann die Verantwortung des Anbieters nach einem Rebranding, einer wesentlichen Änderung oder einer Zweckänderung, die ein System zu einem hohen Risiko macht, verlagern. KI-Agenten sind nicht automatisch risikoreich; Artikel 6 und Anhang I oder III auf das tatsächliche System, den Zweck und die Fakten anwenden.

Für Systeme mit hohem Risiko erfordert Artikel 12 die technische Fähigkeit zur automatischen Ereignisprotokollierung über die Systemlebensdauer. Artikel 19 verpflichtet Anbieter, automatisch generierte Protokolle mindestens sechs Monate lang unter ihrer Kontrolle aufzubewahren, sofern nicht ein anderes geltendes Gesetz etwas anderes vorsieht. Artikel 26(6) gibt den Betreibern die gleiche Sechsmonatsregel für Protokolle unter ihrer Kontrolle, während Artikel 26 auch die Befolgung von Anweisungen, die Erteilung einer kompetenten und autorisierten Aufsicht, die Überwachung des Betriebs und das Handeln bei Risiken oder schwerwiegenden Vorfällen umfasst. Diese Pflichten führen nicht zu einer universellen sechsmonatigen Aufbewahrungsregel für jeden Agenten oder jedes Protokoll.

Die EU-Gesetzgeber verabschiedeten im Juni 2026 den Digital Omnibus zur KI: Das Europäische Parlament billigte den Text am 16. Juni 2026 und der Rat erteilte am 29. Juni 2026, die endgültige Genehmigung, die in der Mitteilung über die endgültige Annahme durch den Rat vermerkt ist. Der endgültig angenommene Text setzt 2. Dezember 2027 für Artikel 6(2)/Anhang III eigenständige Hochrisikosysteme und 2. August 2028 für Artikel 6(1)/Anhang I produktintegrierte Systeme. Artikel 50 Transparenzpflichten behalten ihr 2. August 2026 Datum.

Behandeln Sie unvollständige Beweise und qualifizieren Sie die Prüfungsschlussfolgerung¶

Für eine ausreichende Evidenz sind Relevanz, Verlässlichkeit, Vollständigkeit, Integrität, Aktualität und Rückverfolgbarkeit auf die Bevölkerung und Behauptung erforderlich. Dokumentieren Sie, welche Partei jedes Artefakt erstellt hat, welches System maßgeblich ist, wie es extrahiert wurde, ob es geändert werden kann, wie die Stichprobe mit der Population verknüpft ist und ob ein unabhängiger Gutachter das Verfahren wiederholen kann.

Klassifizieren Sie jede Lücke, bevor Sie zu einer Schlussfolgerung kommen: ein Kontrollfehler, ein fehlender Datensatz, ein Integritätsfehler, ein nicht verfügbares Artefakt eines Drittanbieters, ein Ablauf der Aufbewahrungsfrist, eine Populationsbeschränkung oder ein Ausschluss vom Prüfumfang. Führen Sie alternative Verfahren durch, wenn sie sich mit derselben Behauptung befassen. Beispiele hierfür sind die erneute Leistung des Quellsystems, der Abgleich nachgelagerter Zustände, die Validierung unabhängiger Signaturen, die Bestätigung durch eine externe Partei oder das Testen einer größeren betroffenen Population.

Geben Sie im Bericht die Einschränkung mit der betroffenen Domäne, dem Zeitraum, der Population, der Behauptung, den versuchten Alternativen, der Restunsicherheit, dem Risiko, dem verantwortlichen Eigentümer, der Behebung und dem Fälligkeitsdatum an. Eine qualifizierte Schlussfolgerung identifiziert die zuverlässigen Bereiche und die genaue Grenze der nicht unterstützten Sicherheit. Ein Haftungsausschluss oder eine Managementzusicherung können fehlende Betriebsnachweise nicht ersetzen.