Eine Audit-Checkliste für KI-Agenten sollte prüfen, wer das System verantwortet, welche Identität und Befugnisse es nutzt, wo Richtlinien und menschliche Freigaben die Ausführung begrenzen und ob Prüfer die entstehende Evidenz verifizieren können. Übernehmen Sie die 10 folgenden Prüfschritte in ein Audit-Arbeitspapier, ergänzen Sie in jeder Zeile eine Stichprobenreferenz und halten Sie das Ergebnis zum angegebenen Bestehenskriterium fest.
Kopierbare Checkliste für die Prüfung von KI-Agenten mit 10 Kontrollen
Erfassen Sie für jede Zeile die Stichproben-System-, Ausführungs-, Release- oder Vorfall-ID. Für ein Bestehen ist ein Nachweis erforderlich, der den gewählten Proben- und Prüfungszeitraum abdeckt.
| # | Kontrollbereich | Kopierbarer Überprüfungsschritt | Beweisanfrage | Bestehenskriterium | Fehlersignal |
|---|---|---|---|---|---|
| 1 | Inventar und benannter Besitz | Wählen Sie einen entsprechenden Agenten aus und gleichen Sie ihn mit dem Produktionsbestand und dem verantwortlichen Eigentümer ab. | Inventardatensatz, Verwendungszweck, Bereitstellungsumfang, Eigentümer, Risikostufe und Datum der letzten Überprüfung. | Der bereitgestellte Agent und sein aktueller Besitzer werden im genehmigten Inventar mit aktuellem Umfang und Überprüfungsdatum angezeigt. | Der Agent ist abwesend, dupliziert, einem Team-Alias zugewiesen oder mit einem veralteten Zweck beschrieben. |
| 2 | Identität und Delegation des Agenten | Verfolgen Sie die Agentenidentität und jede delegierte Identität, die während einer Stichprobenausführung verwendet wurde. | Dienstidentität, Aussteller von Anmeldeinformationen, Delegationskette, Sitzungsansprüche, Ablauf und Akteurzuordnung. | Jede Aktion führt zu einem authentifizierten Agenten oder einer menschlichen Identität und einem begrenzten Delegationspfad. | Im Beispiel werden gemeinsam genutzte Anmeldeinformationen, nicht aufgelöste Akteure, unbegrenzte Delegation oder fehlende Ablaufdatensätze angezeigt. |
| 3 | Berechtigungen und Werkzeugzugriff | Vergleichen Sie effektive Berechtigungen mit dem genehmigten Tool, MCP-Server, der API und der Datengrenzenrichtlinie. | Berechtigungs-Snapshot, Tool-Katalog, MCP-Autorisierung, Datenbereiche, Ausnahmen und Zugriffsüberprüfung. | Der effektive Zugriff entspricht dem genehmigten Bereich mit den geringsten Rechten und jede Ausnahme hat einen Besitzer und ein Ablaufdatum. | Es liegt ungenutzter breiter Zugriff, nicht genehmigte Tools, veraltete Ausnahmen oder Produktionsdatenzugriff außerhalb der genehmigten Grenze vor. |
| 4 | Menschliche Zustimmung und Überschreibung | Probieren Sie eine geschlossene Aktion aus und überprüfen Sie die Genehmigung, die Genehmigungsberechtigung, den dargestellten Kontext und den Überschreibungspfad. | Genehmigungsrichtlinie, Anforderungsnutzlast, Entscheidungsdatensatz, Identität des Genehmigers, Zeitstempel und Überschreibungsprotokoll. | Die Aktion wartet auf die erforderliche autorisierte Entscheidung und behält den vollständigen Genehmigungskontext bei. | Selbstgenehmigung, Genehmigung nach der Ausführung, fehlender Kontext oder ein unbrauchbarer Stopp- und Override-Mechanismus werden angezeigt. |
| 5 | Durchsetzung von Laufzeitrichtlinien | Führen Sie mithilfe der aufgezeichneten Eingaben und der Richtlinienversion erneut eine Richtlinienentscheidung für eine zulässige Aktion und eine blockierte Aktion durch. | Richtlinienquelle, Version, Bewertungseingaben, Entscheidungsausgabe, Durchsetzungsreaktion und Testaufzeichnung. | Die Laufzeit erzwingt das aufgezeichnete Ergebnis konsistent und der blockierte Test kann die geschützte Aktion nicht erreichen. | Die Richtlinie existiert nur als Orientierungshilfe, Bewertungen fehlen oder eine abgelehnte Aktion wird weiterhin ausgeführt. |
| 6 | Ausführungslinie | Verfolgen Sie ein Geschäftsergebnis von der Anfrage über Begründung, Toolaufrufe, Genehmigungen, Ausgaben und Nebenwirkungen. | Korrelations-ID, Eingaben, Modell- und Eingabeaufforderungsversionen, Toolaufrufe, Richtlinienentscheidungen, Genehmigungen, Ausgaben und Zeitstempel. | Die Beweise rekonstruieren die vollständige Ausführung in der richtigen Reihenfolge und verknüpfen alle Nebeneffekte mit der ermächtigenden Entscheidung. | Eine unterbrochene Korrelation, fehlende Toolergebnisse, veränderliche Zeitstempel oder ein ungeklärter Nebeneffekt verhindern die Wiedergabe. |
| 7 | Beweise freigeben und ändern | Wählen Sie eine Produktionsänderung aus und verfolgen Sie Autorisierung, Tests, Bereitstellung und Überprüfung nach der Veröffentlichung. | Änderungsanforderung, Code- und Konfigurationsversionen, Testergebnisse, Genehmiger, Bereitstellungsdatensatz und Rollback-Nachweise. | Die bereitgestellte Version entspricht dem genehmigten Artefakt und erforderliche Tests und Genehmigungen gehen der Veröffentlichung voraus. | Nicht nachverfolgte Eingabeaufforderungs- oder Richtlinienänderungen, Versionskonflikte, fehlende Tests oder Veröffentlichung vor Erscheinen der Genehmigung. |
| 8 | Reaktion auf Vorfälle und Widerruf | Gehen Sie einen aktuellen Vorfall oder eine aktuelle Übung durch und überprüfen Sie die Eindämmung, den Widerruf von Zugangsdaten, die Eskalation und die Wiederherstellung. | Warnung, Zeitleiste des Vorfalls, ergriffene Maßnahmen, widerrufener Zugriff, Kommunikation, Grundursache und Eigentümer der Behebung. | Das Team kann den Agenten stoppen, seine Autorität widerrufen, Beweise sichern und die Behebung bis zur Schließung verfolgen. | Der Widerruf hängt von der manuellen Erkennung ab, Beweise werden überschrieben, die Eskalationseigentümerschaft ist unklar oder der Zugriff bleibt aktiv. |
| 9 | Aufbewahrung und Beweisintegrität | Überprüfen Sie einen aufbewahrten Ausführungsdatensatz anhand des geltenden Zeitplans und seines Integritätsnachweises. | Aufbewahrungsregel, Rechts- oder Richtliniengrundlage, Beweismanifest, Hash oder Signatur, Speicherkontrollen und Löschdatensatz. | Die Aufzeichnungen bleiben für den erforderlichen Zeitraum verfügbar und ein unabhängiger Prüfer kann Änderungen feststellen. | Es kommt zu undefinierter Aufbewahrung, unvollständigen Manifesten, nicht überprüfbaren Datensätzen oder Löschungen außerhalb des genehmigten Prozesses. |
| 10 | Probenauswahl und unabhängige Überprüfung | Definieren Sie die Grundgesamtheit, reproduzieren Sie die Stichprobenauswahl und überprüfen Sie unabhängig die Beweise für jedes ausgewählte Element. | Populationsextrakt, Stichprobenmethode, Start- oder Auswahllogik, Stichprobenliste, Ausnahmen und Prüfergebnisse. | Ein Prüfer kann die Grundgesamtheit und Stichprobe reproduzieren und aus den exportierten Beweisen das aufgezeichnete Ergebnis ermitteln. | Es erscheinen vom Management ausgewählte Beispiele, unvollständige Populationen, nicht reproduzierbare Stichproben oder Beweise, die vom privilegierten Systemzugriff abhängen. |
Legen Sie vor dem Testen den Umfang und die Probe fest
Beginnen Sie mit einem definierten Prüfzeitraum, einer benannten Systemgrenze, einem verantwortlichen Eigentümer und einer vollständigen Ausführungspopulation. Notieren Sie die Auswahlmethode, bevor Sie einzelne Ergebnisse prüfen. Zu den risikobasierten Stichproben können Maßnahmen mit großer Auswirkung, Ablehnungen von Richtlinien, menschliche Außerkraftsetzungen, Produktionsänderungen, Vorfälle und eine reproduzierbare Zufallsauswahl aus Routineausführungen gehören.
Ordnen Sie jede Ausnahme dem Kontrolleigentümer, der betroffenen Population, dem Schweregrad, dem Sanierungsdatum und den Nachverfolgungsnachweisen zu. Dadurch wird ein nutzbares Befundregister geschaffen und isolierte Evidenzlücken von bevölkerungsweiten Kontrollmängeln getrennt.
Bewahren Sie Beweise auf, die ein anderer Gutachter überprüfen kann
Exportieren Sie die Stichprobendatensätze mit einem Manifest, das Quellsysteme, Erfassungszeiten, Versionen, Prüfsummen oder Signaturen sowie bekannte Einschränkungen identifiziert. Behalten Sie die ursprünglichen Identifikatoren bei, damit ein Prüfer jedes Artefakt mit der Quellpopulation abgleichen kann.
Das Enterprise Audit Framework stellt die vollständige Audit-Methode bereit. Der Audit-Trails-Leitfaden definiert den Ausführungsdatensatz und den Wiedergabepfad, der von mehreren Checklistenzeilen verwendet wird.
Häufig gestellte Fragen
Was sollte eine Checkliste für die Prüfung von KI-Agenten beinhalten?
Dazu gehören Inventar und Eigentum, Identität und Delegation, Berechtigungen, Genehmigungen, Durchsetzung von Laufzeitrichtlinien, Ausführungsherkunft, Freigabenachweise, Reaktion auf Vorfälle, Aufbewahrung und Integrität sowie reproduzierbare Probenauswahl. Für jedes Element sind eine Beweisanforderung, ein Bestehenskriterium und ein Nichtbestehenssignal erforderlich.
Wie sollte ein interner Prüfer die Aktivität von KI-Agenten prüfen?
Definieren Sie zunächst die Gesamtbevölkerung und den Zeitraum. Wählen Sie wirkungsvolle Aktionen, Ablehnungen, Außerkraftsetzungen, Änderungen, Vorfälle und eine reproduzierbare Stichprobe routinemäßiger Ausführungen aus. Behalten Sie die Auswahllogik bei und gleichen Sie jedes ausgewählte Element mit den Quellennachweisen ab.
Was macht die Prüfungsnachweise von KI-Agenten unabhängig überprüfbar?
Ein Prüfer benötigt stabile Identifikatoren, eine vollständige Ausführungsherkunft, Quell- und Sammlungsmetadaten, die geltenden Richtlinien- und Softwareversionen sowie Integritätsnachweise wie Hashes oder Signaturen. Der Export sollte die Überprüfung anhand des Beweispakets selbst unterstützen.
Die wichtigsten Erkenntnisse
Nutzen Sie diese Checkliste als Arbeitspapier für Kontrolltests der abgegrenzten Stichprobe. Halten Sie jedes Ergebnis fest, fügen Sie die referenzierte Evidenz bei, leiten Sie Ausnahmen an benannte Verantwortliche weiter und planen Sie Nachtests anhand der Behebungsevidenz.