AI-Agent-Auditprogramm: Umfang, Stichproben, Nachweise und Berichterstattung

1. Legen Sie das Engagement-Ziel und die Kriterien fest¶

Schreiben Sie eine Sicherheitsfrage, bevor Sie Nachweise anfordern: Wurden während des Prüfungszeitraums Folgemaßnahmen des Agenten genehmigt, durch genehmigte Kontrollen geregelt, im Geschäftssystem genau aufgezeichnet und durch ausreichende Beweise gestützt? Die Umfangserklärung legt dann den Geschäftsprozess, die Agenten- und Release-Population, die Umgebungen, den Zeitraum, die Entscheidungstypen, die Wesentlichkeit, Abhängigkeiten, Ausschlüsse und Kriterien fest. Jedes Feldforschungsverfahren muss einen Teil dieser Frage klären.

Halten Sie die Autorität jedes Kriteriums deutlich. Das IIA-Drei-Linien-Modell ordnet Risikomanagement den Rollen der ersten Linie, Fachwissen und Herausforderungen den Rollen der zweiten Linie und unabhängige und objektive Sicherheit der internen Revision zu. Das IIA Artificial Intelligence Auditing Framework ist eine veröffentlichte praktische Anleitung, die Prüfteams anpassen können, und das ISACA Artificial Intelligence Audit Toolkit ist ein kommerzielles Praktiker-Toolkit für Kontrolldesign und betriebliche Wirksamkeit. NIST AI RMF 1.0 ist ein endgültiges freiwilliges Rahmenwerk. Anwendbares Recht wird erst dann in den Kriterienkatalog aufgenommen, wenn die Organisation die Rolle des Betreibers, den beabsichtigten Zweck, die Klassifizierung und die Zuständigkeit dokumentiert.

Das folgende Programm trennt gesetzliche Verpflichtungen, Managementkontrollen, professionelle Anleitung und KLA-Empfehlungen. Die Stichprobengrößen und Bestehenskriterien sind Entscheidungen für die Engagementplanung. Eine Stellungnahme der Internen Revision befasst sich mit den genannten Kriterien für den definierten Umfang und Zeitraum. Es bietet keine Zertifizierung der Einhaltung gesetzlicher Vorschriften, der Systemsicherheit oder der zukünftigen Leistung.

2. Beweisen Sie die Vollständigkeit der Grundgesamtheit, bevor Sie Stichproben auswählen¶

Die Vollständigkeit der Grundgesamtheit ist eine Prüfaussage. Stimmen Sie die Agentenregistrierung mit Produktionsbereitstellungen, nichtmenschlichen Identitäten, Modell- und Tool-Gateways, Herkunftsdatensätzen, Entscheidungsanfragen und nachgelagerten Geschäftsereignissen ab. Frieren Sie die abgeglichenen Extrakte mit Abfragetext, Filtern, Extraktionszeit, Zeilenanzahl und Hash ein. Unerklärte Unterschiede werden zu Ausnahmen oder zu einer Einschränkung des Umfangs, bevor mit der Probenahme begonnen wird.

NIST AI RMF 1.0 ist freiwillig und unterstützt die Verwaltung eines KI-Systeminventars unter GOVERN 1.6.. Eine Feldarbeitspopulation benötigt mehr Details: jeden Agenten, jedes Release, jedes Modell, jede Identität, jede temporäre Delegation, jedes Tool, jede Folgemaßnahme, jedes Richtlinienergebnis, jede menschliche Entscheidung, jeden Vorfall und jeden externen Effekt für den Zeitraum.

Suchen Sie nach Schattenagenten anhand von Modell-Gateway-Verkehr, Cloud-Service-Principals, Paket- und Plattformausgaben, Browsererweiterungen, Automatisierungsanmeldeinformationen, Tool-Gateway-Aufrufen und Geschäftsaufzeichnungen mit KI-generierter Herkunft. Gleichen Sie temporäre und delegierte Identitäten nach Erstellung, Ablauf, Widerruf, Sponsoring-Prinzipal und beobachteter Nutzung ab. Eine fehlende Identität oder Ausführungsquelle kann die Vollständigkeitsbehauptung für jede Downstream-Probe ungültig machen.

3. Ordnen Sie Agenten und Aktionstypen nach Risiko¶

Bewerten Sie den Aktionstyp während des Zeitraums mit der höchsten glaubwürdigen Autorität. Verwenden Sie 0-3 für Autonomie, Reversibilität, Datensensibilität, finanzielle oder rechtliche Auswirkungen, Tool-Autorität und Beweisqualität; Verwenden Sie 0-2 für externe Abhängigkeiten und den Vorfallverlauf. Für die Beweisqualität bedeutet 0 unabhängig überprüfbar und vollständig, während 3 materielle Lücken oder veränderliche Quellen bedeutet. Die Rubrik „22-Punkt bearbeitet“ verwendet „Kritisch“ 17-22, „Hoch“ 12-16, „Mittel“ 7-11, und „Niedrig“ 0-6.

Die Punktzahl ordnet die Feldarbeit und die Probenabdeckung an. Es ersetzt kein professionelles Urteil. Erhöhen Sie die Stufe für glaubwürdige katastrophale Auswirkungen, eine aktive Umgehung der Kontrolle, einen ungelösten Vorfall oder eine unvollständige Population, selbst wenn die Berechnung niedriger ist. Dokumentieren Sie die Nachweise und den Genehmiger für jede manuelle Anpassung.

4. Testkontrolldesign anhand der 12-Überwachungsdomänen¶

Bei einem Designtest wird gefragt, ob die angegebene Steuerung, wenn sie wie beschrieben durchgeführt wird, das identifizierte Risiko berücksichtigt. Überprüfen Sie Eigentum, Kontrollziel, Auslöser, Entscheidungslogik, Autorität, Beweiserfassung, Ausnahmebehandlung, Häufigkeit, Aufbewahrung und Eskalation. Gehen Sie einen Normalfall und einen Fehlerfall durch den Entwurf, bevor Sie die Zeitaufzeichnungen durchführen.

Die Tabelle verwendet die Taxonomie des Unternehmens-Framework wörtlich wieder. Es ist das kopierbare Audit-Testprogramm für Design. Fügen Sie lokale Arbeitspapierreferenzen und Ergebnisse hinzu, ohne die Domänennamen, Population, Verfahren, Beweise oder Bestehenskriterium zu ändern.

5. Testen Sie die betriebliche Wirksamkeit über den Prüfungszeitraum¶

Beim Testen der Betriebseffektivität werden tatsächliche Periodenaufzeichnungen verwendet. Führen Sie deterministische Behauptungen für die gesamte Population durch, bei denen die Vollständigkeit der Quelle und die Feldsemantik nachgewiesen sind, und prüfen Sie dann die Stichprobenfälle auf Beurteilung, Kontext und Beweisqualität. Behalten Sie Abfragetext, Quell-Snapshots, Zeilenanzahlen, Ausnahmen, Prüfernotizen und Ergebnisse der erneuten Ausführung in den Arbeitspapieren bei.

Jede Ausnahme bleibt an ihren Nenner gebunden. Ein verspätetes politisches Urteil in 3 über 14,903-Folgemaßnahmen stellt eine andere Belastung dar als 3-Fälle in einer nicht versöhnten Bevölkerung. Quantifizieren Sie sowohl die beobachtete Rate als auch die Populationsbeschränkung und erweitern Sie dann die Tests, wenn der Fehler systembedingt sein könnte.

6. Wählen Sie ein reproduzierbares Risiko und eine Zufallsstichprobe¶

Frieren Sie die Population vor der Auswahl ein. Notieren Sie die Quellabfragen, die Extraktionszeit, die Filter, den Zufallsstartwert, die Hash-Methode, den Probeneigentümer, die Duplikatbehandlung, die Ersetzungen und die endgültige Fallliste. Behalten Sie alle anwendbaren Stratum-Tags für einen ausgewählten Fall bei, sodass eine Aktion mehrere Abdeckungsziele erfüllen kann, ohne aus der Ausnahmeberichterstattung zu verschwinden.

Vollständige automatisierte Tests eignen sich für deterministische Behauptungen über strukturierte, abgeglichene Datensätze: Eindeutigkeit, erforderliche Felder, Zeitstempelreihenfolge, Richtlinien-vor-Aktion-Sequenz, Mengenübereinstimmung, abgelaufene Autorität, Ablehnung mit anschließender Ausführung und Hash-Validierung. Für Entscheidungsgründe, semantische Übereinstimmung mit dem Zweck, Relevanz der abgerufenen Daten, Qualität des Gutachterurteils, glaubwürdige nachgelagerte Schäden, Ausnahmen von der Lieferkette und undurchsichtige Beweise Dritter ist weiterhin eine menschliche Überprüfung erforderlich.

Die Auswahlzahlen unten sind KLA-Empfehlungen für diese erwerbstätige Bevölkerung. Sie sind ein vertretbarer Ausgangspunkt für die Engagementplanung. Dokumentieren Sie die erwartete Sicherheit, tolerierbare Abweichung, Populationsvariabilität, Vertrauensstrategie und Erweiterungsregeln, wenn für das Engagement statistische Schlussfolgerungen erforderlich sind.

7. Bewerten Sie die Evidenzgenügsamkeit für jede erfasste Aktion¶

Ein Beweis ist ausreichend, wenn er für die Behauptung relevant, zuverlässig, vollständig, zeitnah, für die Bevölkerung nachvollziehbar und vor unbemerkter Veränderung geschützt ist. Dokumentieren Sie den Produzenten, das maßgebliche System, die Extraktionsmethode, die Feldsemantik, die Aufbewahrung, den Integritätsmechanismus und die Produktkette. Führen Sie das Richtlinienergebnis erneut durch und gleichen Sie den nachgelagerten Effekt ab, wann immer die Beweise diese Verfahren stützen.

Identitätsnachweise müssen den Benutzer oder sponsernden Prinzipal, Agent, Dienstkontext, Delegierer und Genehmiger aufklären. Das Audit-Log-Schema für KI-Agenten stellt den gemeinsam genutzten herstellerneutralen Maschinenvertrag bereit. Dieses Prüfprogramm behält sponsoring_principal_id, agent_identity_id, authority_snapshot_id, delegated_by und reviewer_id als Arbeitspapier-Aliase bei; Verknüpfte IAM-Datensätze enthalten Akteurtyp, Anmeldeinformationslebenszyklus, effektive Zuschüsse und Dienstkontext. Behalten Sie diese Aliase bei, damit Beispiele ohne Übersetzung zwischen dem Unternehmens-Framework, Lineage Explorer und Evidence Room verschoben werden können.

Ein Screenshot, eine Dashboard-Gesamtsumme oder eine Managementdarstellung können einen Test bestätigen und nicht den zugrunde liegenden Periodendatensatz ersetzen. Wenn eine erforderliche Gruppe fehlt, klassifizieren Sie die Lücke, identifizieren Sie die betroffene Population, versuchen Sie ein gleichwertiges alternatives Verfahren und präzisieren Sie die Schlussfolgerung, wenn dieselbe Behauptung weiterhin nicht unterstützt wird.

8. Schreiben Sie Feststellungen auf und bilden Sie ein begrenztes Prüfungsurteil¶

Verwenden Sie ein vierstufiges Schweregradmodell. Kritisch bezeichnet eine aktive oder glaubwürdige unbefugte, irreversible Sicherheits-, Rechte- oder wesentliche finanzielle Gefährdung, die eine sofortige Eindämmung erfordert. Hoch bedeutet ein wesentliches oder systemisches Kontrollversagen, eine erhebliche betroffene Bevölkerung oder eine schwache Prävention von Folgemaßnahmen. Moderat bedeutet eine begrenzte Kontrollschwäche mit kompensierenden Kontrollen und begrenzter aktueller Exposition. Niedrig bedeutet eine isolierte Dokumentations- oder Prozessschwäche mit geringen direkten Auswirkungen. Erfassen Sie Wahrscheinlichkeit, Auswirkung, Geschwindigkeit, Erkennbarkeit, Population, kompensierende Kontrollen und die Risikoakzeptanz des Managements hinter der Bewertung.

Für jeden Befund sind eine Bedingung, ein Kriterium, eine Ursache, eine Konsequenz, eine betroffene Bevölkerung, Beweise, ein Eigentümer, eine Abhilfemaßnahme und ein Datum für die erneute Prüfung erforderlich. Trennen Sie eine Kontrollausnahme von einer Beweisbeschränkung. Wenn die Vollständigkeit der Grundgesamtheit, die Integrität der Beweise oder eine Abhängigkeit von Dritten das Verfahren verhindern, geben Sie die betroffene Behauptung und die verbleibende Unsicherheit in einer qualifizierten Schlussfolgerung an.

In der endgültigen Stellungnahme werden Umfang, Zeitraum, Kriterien, Sicherheitsniveau, getestete Domänen, zuverlässige Populationen, Ausnahmen und Einschränkungen genannt. Es gibt Auskunft darüber, ob die Kontrollen für den angegebenen Auftrag angemessen konzipiert und wirksam durchgeführt wurden. Es bietet keine Zertifizierung der Einhaltung gesetzlicher Vorschriften, der Systemsicherheit, der Richtigkeit individueller Entscheidungen außerhalb der getesteten Arbeit oder des zukünftigen Betriebs.

9. Berichten, Follow-up und kontinuierliche Sicherheit schaffen¶

Verfolgen Sie jeden Befund anhand eines Behebungsplans mit Eigentümer, Maßnahmen, Fälligkeitsterminen, Abhängigkeiten, vorläufiger Risikobehandlung, Beweisen und Status. Die interne Revision prüft die fehlgeschlagene Behauptung erneut anhand des ursprünglichen Kriteriums und der Betriebsaufzeichnungen nach der Korrektur. Die Schließung erfordert ein verifiziertes Design, einen effektiven Betrieb für das definierte Beobachtungsfenster, eine vollständige Behandlung der betroffenen Population und eine Genehmigung gemäß der Audit-Methodik.

Führen Sie zwischen Audits wiederkehrende Analysen zu Populationsabgleich, Richtlinienverweigerungen mit anschließenden Auswirkungen, verspäteten Genehmigungen, Außerkraftsetzungen, abgelaufenen Berechtigungen, Release- und Modelländerungen, Anomaliedisposition, Schließung von Vorfällen, Vollständigkeit der Beweise und Signaturvalidierung durch. Das Management ist für diese Kontrollen und Überprüfungen verantwortlich. Die interne Revision validiert die Quelle, die Logik, die Schwellenwerte, die Überprüfungsnachweise und die Problemverfolgung, bevor sie sich auf die Analysen verlässt.

Lösen Sie Prüfungsarbeiten außerhalb des Zyklus für einen neuen Agenten mit großer Auswirkung, eine Materialfreigabe, einen Modell- oder Anbieteraustausch, eine Berechtigungserweiterung, ein neues schreibfähiges Tool, eine Prozess- oder Klassifizierungsänderung, einen Vorfall oder einen Beinaheunfall, eine unerklärliche Populationsvarianz, ein Versagen der Beweisintegrität, eine wiederholte Außerkraftsetzungs- oder Verleugnungsanomalie oder einen überfälligen kritischen oder hohen Befund aus. Verwenden Sie das Bewertung der Audit-Bereitschaft von KI-Agenten, um die Vorbereitung zu bewerten, und verwenden Sie dann das 12-Domain Unternehmens-Framework, um jede schwache Domäne in tiefere Verfahren zu erweitern.

• Abhilfeverfolgung: Aktualisieren Sie Eigentümer, Fälligkeitsdatum, Aktion, Abhängigkeit, vorläufige Kontrolle, Beweise und Risikoakzeptanz mindestens wöchentlich für kritische und hohe Ergebnisse.
• Erneutes Kontrolltesten: Wiederholen Sie den fehlgeschlagenen Entwurfsschritt, testen Sie die gesamte bekannte betroffene Population und überprüfen Sie ein definiertes Betriebsfenster nach der Korrektur.
• Abschlussbeweise: Behalten Sie die korrigierte Konfiguration, Genehmigungen, Dispositionen für betroffene Fälle, neue Periodendatensätze, Abfrageergebnisse, Prüferausgaben und die Freigabe des Audit-Abschlusses bei.
• Wiederkehrende Analysen: Leiten Sie Verstöße an eine Assurance-Warnung mit Eigentümer, Schweregrad, Fälligkeitsdatum, Abfrage der betroffenen Bevölkerung und Behebungsplan weiter.
• Außerhalb des Zyklus arbeiten: Öffnen Sie eine bereichsbezogene Prüfung, wenn ein Auslöser die Autorität, die Auswirkung, die Beweiszuverlässigkeit oder die Prüfungspopulation ändert.