KI-Governance15. Juli 202625 Min. gelesen

Rechenschaftspflichtmatrix für KI-Agenten: Wem gehört was in der Produktion?

Eine praxistaugliche Verantwortlichkeitsmatrix für 13 KI-Agent-Governance-Rollen in den Bereichen Design, Genehmigung, Freigabe, Laufzeit, Vorfälle, Änderungen und Stilllegung.

Antonella Serine

Antonella Serine

Gründerin, KLA

Gründerin von KLA. Sie entwickelt die unabhängige Kontrollebene für die Laufzeit-Governance regulierter KI-Agenten im Rahmen des EU AI Act.

Redaktionelles Diagramm von dreizehn verantwortlichen Rollen, ausgerichtet auf eine KI-Agenten-Lebenszyklusmatrix, mit vier Betriebsmodellpfaden und einem verifizierten Beweisdatensatz.

Scrollen Sie horizontal, um die Grafik anzusehen.

Die Verantwortlichkeit folgt der Autoritäts- und Kontrollgrenze über Eigentum, Freigabe, Laufzeitentscheidungen, Vorfälle, Änderungen und Beweise.

Grafik in voller Größe öffnen

Die verantwortliche Partei für einen KI-Agenten ist die Person, die befugt ist, seinen Geschäftszweck zu genehmigen, seine Betriebsgrenzen festzulegen, seine Ergebnisse zu akzeptieren und seine Verwendung zu stoppen. In den meisten Unternehmen ist dies der verantwortliche Eigentümer des Geschäftsprozesses. Technische, Modell-, Daten-, Sicherheits-, Tool-, Richtlinien-, Genehmigungs-, Betriebs-, Compliance-, Audit- und Anbieterrollen haben definierte Verantwortlichkeiten rund um diesen Eigentümer. Die Verantwortung folgt der Autoritäts- und Kontrollgrenze bei jeder Aktion, jedem Release, jedem Vorfall, jeder Änderung und jeder externen Abhängigkeit.

Wer ist für einen KI-Agenten in der Produktion verantwortlich?

Weisen Sie einen verantwortlichen Geschäftsprozessverantwortlichen für die Produktionsnutzung und deren Ergebnisse zu. Der Executive Sponsor besitzt die Risikobereitschaft, die Finanzierung und die Eskalationsbefugnis des Unternehmens. Der Agent-Produkt- oder technische Eigentümer besitzt die technische Integrität und kontrollierte Releases. Jede andere Rolle besitzt eine bestimmte Entscheidung, Kontrolle, ein bestimmtes Artefakt oder eine unabhängige Schlussfolgerung. Ein Lieferantenvertrag ändert die Arbeitsverteilung, während der Unternehmenseigentümer die Verantwortung für den Prozess behält, der unter der Autorität des Unternehmens betrieben wird.

Verfolgen Sie die Verantwortlichkeit anhand von vier Grenzen: Wer autorisiert den Zweck, wer kann das System ändern, wer kann eine Aktion zulassen oder stoppen und wer akzeptiert die daraus resultierenden geschäftlichen Auswirkungen. Erfassen Sie jede Grenze mit einer benannten Person, delegierter Autorität, Entscheidungskriterien, Beweisquelle, Eskalationspfad und Wirksamkeitsdaten. Gemeinsame Ausschüsse können innerhalb einer Satzung beraten und genehmigen; Für jede Entscheidung ist weiterhin eine benannte verantwortliche Rolle erforderlich.

Verwenden Sie das Unternehmens-Framework für KI-Agenten-Audits, um diese Matrix als Teil des umfassenderen Produktionssystems zu testen. Die Bewertung der Audit-Bereitschaft von KI-Agenten prüft, ob Eigentum, Autorität, Kontrollen und Beweise für eine unabhängige Überprüfung bereit sind.

  • Zweck und Ergebnisse: Der Eigentümer des Geschäftsprozesses genehmigt die beabsichtigte Verwendung, die betroffenen Personen, die Ergebnismaße, die Risikoakzeptanz und die Außerbetriebnahme.
  • Erstellen und ändern: Technische, Modell-, Daten-, Identitäts-, Tool- und Richtlinieneigentümer genehmigen die Komponenten und Grenzen innerhalb ihrer Mandate.
  • Handlungsbefugnis: Richtlinieneigentümer definieren Weiterleitungsregeln, benannte menschliche Genehmiger entscheiden über Folgefälle und Vorgänge können die Ausführung beinhalten.
  • Sicherheit: Zweitlinienfunktionen stellen im Rahmen ihrer Mandate Herausforderungen dar, während die interne Revision ihren Umfang auswählt und eine unabhängige Schlussfolgerung liefert.

Standardmäßige KI-Agent-Verantwortungsmatrix über den gesamten Lebenszyklus

Verwenden Sie diese Standardmatrix, wenn ein Unternehmen einen Agenten innerhalb eines Geschäftsprozesses betreibt. Verantwortlich bedeutet die endgültige Entscheidungsbefugnis für die aufgeführte Aktivität. Verantwortlich bedeutet, den Betrieb und die Lieferung zu kontrollieren. Konsultierte Rollen bieten Fachwissen oder eine formelle Herausforderung. Informierte Rollen erhalten die Entscheidung und ihre Bedingungen. Jede Zeile hat eine verantwortliche Rolle für ihren definierten Entscheidungsbereich.

Die Matrix ist eine Startkontrolle. Die folgenden Betriebsmodellvarianten ersetzen spezifische Aufgaben, bei denen Architektur, Beschaffung, Werkzeugbesitz oder obligatorische menschliche Genehmigung die Autoritätsgrenzen ändern.

Standardmäßiger KI-Agent RACI für Design, Genehmigung, Freigabe, Laufzeit, Vorfall, Änderung und Stilllegung
LebenszyklusphaseVerantwortlichVerantwortlichKonsultiert/herausgefordert vonInformiertNachweis der Verantwortung
DesignVerantwortlicher GeschäftsprozessinhaberAgent Produkt/technischer Eigentümer; Modell- oder KI-Assurance-Inhaber; Daten, IAM/Sicherheit, Toolkatalog und Richtlinien-/KontrollbesitzerCompliance/Recht/Datenschutz; Eigentümer Dritter/Verkäufer; OperationenExecutive-Sponsor; Interne Revision durch das Audit-UniversumZweck- und Grenzgenehmigung, Architektur, Auswirkungs- und Risikobewertungen, Rollencharta, Kontrollspezifikation
GenehmigungVerantwortlicher GeschäftsprozessinhaberDer Produkt-/technische Eigentümer des Agenten und der Eigentümer der Richtlinie/Kontrolle stellen das Entscheidungspaket zusammenModell- oder KI-Sicherung; Daten; IAM/Sicherheit; Compliance/Recht/Datenschutz; OperationenExecutive-Sponsor; betroffene Kontrollinhaber; Interne Revision durch RisikoberichterstattungEntscheidung zur Produktionsnutzung, akzeptierte Bedingungen, Ausnahmen, Identität des Genehmigers, datierte Begründung
FreigebenAgent Produkt/technischer EigentümerVerantwortliche für Technik, Modell, Daten, IAM/Sicherheit, Tools und Richtlinien/KontrollenEigentümer des Geschäftsprozesses; Modell- oder KI-Sicherung; Operationen; Compliance/Recht/DatenschutzExecutive-Sponsor; benannte menschliche Genehmiger; Eigentümer Dritter/VerkäuferRelease-Manifest, Testergebnisse, Richtliniensimulation, Berechtigungsüberprüfung, Rollback-Ergebnis, Genehmigung
LaufzeitVerantwortlicher GeschäftsprozessinhaberOperationen; Richtlinien-/Kontrollinhaber; benannter menschlicher Genehmiger; Technik-, Daten-, Identitäts- und WerkzeugbesitzerModell- oder KI-Sicherung; Compliance/Recht/Datenschutz; Eigentümer Dritter/VerkäuferExecutive-Sponsor; Interne Revision durch vereinbarte BerichterstattungEntscheidungsanfragen, Richtlinienurteile, Werkzeugbelege, Abstammungsaufzeichnungen, Ergebnisabstimmungen, Kontrollüberprüfungen
VorfallEinsatz- und EinsatzleiterTechnische, IAM-/Sicherheits-, Daten-, Tool-, Richtlinien-/Kontroll-, Anbieter- und Kommunikations-ResponderEigentümer des Geschäftsprozesses; Compliance/Recht/Datenschutz; Modell- oder KI-SicherungExecutive-Sponsor; benannte menschliche Genehmiger; Internes Audit gemäß ProtokollVorfallbefehlsaufzeichnung, betroffene Fallpopulation, Eindämmung, Benachrichtigungen, Wiederherstellung, Grundursache, erneuter Test
ÄndernVerantwortlicher GeschäftsprozessinhaberAgent-Produkt-/technischer Eigentümer und jeder Eigentümer, dessen Grenzen sich ändernModell- oder KI-Sicherung; Operationen; Compliance/Recht/Datenschutz; Eigentümer Dritter/VerkäuferExecutive-Sponsor; benannte menschliche Genehmiger; Interne Revision durch RisikoberichterstattungÄnderungsklassifizierung, Abhängigkeitsunterschied, Neubewertung, Regressionsergebnisse, Bedingungen, Freigabegenehmigung
RuhestandVerantwortlicher GeschäftsprozessinhaberAgent Produkt/technischer Eigentümer; Operationen; Daten-, Identitäts-, Tool-, Richtlinien- und AnbietereigentümerCompliance/Recht/Datenschutz; Platteneigentümer; Modell- oder KI-SicherungExecutive-Sponsor; Benutzer; Interne Revision durch das Audit-UniversumRücktrittsentscheidung, Zugriffssperre, Schließung der Abhängigkeit, Datenverfügung, aufbewahrte Beweise, Ergebnisabgleich

Rollenchartas für alle 13 KI-Agent-Governance-Rollen

Ein Rollenname wird nützlich, wenn er fünf vollständige Aufgaben umfasst: Entscheidungen, durchgeführte Kontrollen, erbrachte Beweise, Eskalationsereignisse und eine Grenze, die die Rolle beibehält. Tragen Sie für jede Zeile eine benannte Person, einen Delegierten, ein Datum des Inkrafttretens und eine Sicherung ein. Freie Stellen und sich überschneidende Zuweisungen sind Kontrollausnahmen, bis der verantwortliche Geschäftsprozessverantwortliche sie löst.

Eine Person kann in einer kleineren Organisation mehrere Rollen innehaben. Aus den Beweisen muss weiterhin hervorgehen, welche Rolle die Person bei der jeweiligen Entscheidung ausgeübt hat und wo Unabhängigkeitsgarantien gelten.

Entscheidungs-, Kontroll-, Beweis-, Eskalations- und Retention-Grenze-Charta für 13-Rollen
RolleEntscheidungen, die ihnen gehörenKontrollen, die sie bedienenBeweise, die sie vorlegen müssenEreignisse, die eine Eskalation erfordernGrenzen, die sie nicht wegdelegieren können
Geschäftsführender SponsorRisikobereitschaft des Unternehmens, Finanzierung, strategische Priorität, Ausnahmeobergrenze für Führungskräfte und ProgrammstoppExecutive-Governance-Forum, Risikoakzeptanzgrenzen, Ressourcenzuweisung und VorstandsberichterstattungGenehmigtes Mandat, Risikobereitschaft, Finanzierungsentscheidungen, Ausnahmeentscheidungen und Aktualisierungen der LeitungsgremienVerletzung der Risikobereitschaft, materieller Schaden, Versagen der systemischen Kontrolle, ungeklärte Eigentumsverhältnisse oder unzureichende RessourcenVerantwortung der Geschäftsleitung für Mandat, Ressourcen und Eskalation innerhalb der Sponsorencharta
Verantwortlicher GeschäftsprozessverantwortlicherVerwendungszweck, Produktionsgenehmigung, Ergebniskriterien, Betriebsbedingungen, Risikoakzeptanz, Sanierungspriorität und StilllegungProzesskontrollen, Ergebnisüberprüfung, Nutzungsbeschränkungen, Ausnahmeregelung und Rezertifizierung des EigentümersZweckerklärung, Prozesslandkarte, Genehmigung, Verantwortungsmatrix, Ergebnisüberprüfung, Risikoakzeptanz und AbschlussnachweiseUnerwartete Auswirkungen auf die betroffene Person, Schwellenwertüberschreitung, Kontrollumgehung, Zweckabweichung, Vorfall oder Leerstand des EigentümersVerantwortlichkeit für den Prozess, seine Entscheidungen, die Auswirkungen auf Kunden oder Mitarbeiter und den Einsatz von Lieferanten
Agent Produkt-/technischer EigentümerArchitektur, genehmigte Komponenten, technische Abnahme, Release-Inhalt, Rollout-Bedingungen, Rollback-Empfehlung und technische KorrekturVersionierung, Build- und Release-Gates, Integrationskontrollen, Konfigurationsmanagement, Beobachtbarkeit und technische EindämmungArchitektur und Datenflüsse, Release-Manifest, Testergebnisse, Abhängigkeitsinventar, Runbook und Rollback-DatensatzNicht genehmigte Komponente, fehlgeschlagener Schwellenwert, instabiles Verhalten, versteckte Abhängigkeit, Beweislücke oder unsicherer RolloutTechnische Integrität, Bestandsgenauigkeit, Reproduzierbarkeit und wahrheitsgetreue Offenlegung von Einschränkungen
Modell- oder KI-Assurance-InhaberBewertungsmethode, Datensätze, Schwellenwerte, Validierungsschlussfolgerung, Einschränkungen, Wiederholungstestumfang und SicherheitsausnahmeUnabhängige Bewertung, Red Teaming, Untergruppen- und Regressionstests, Driftüberprüfung und ErgebnisnachverfolgungEvaluierungsplan, Datensatz und Versionsdatensatz, Ergebnisse, Einschränkungen, Validierungsschlussfolgerung und Nachweise für erneute TestsSchwellenwertfehler, Materialdrift, ungültiges Testdesign, neuer Fehlermodus, schwache Abdeckung oder ungelöste EinschränkungIntegrität, Umfang, Methoden, Einschränkungen und Unabhängigkeit der Prüfungsschlussfolgerung
DateneigentümerGenehmigte Quellen, zulässiger Zweck, Qualitätsschwellenwerte, Feldzugang, Abstammung, Aufbewahrung, Korrektur und VerfügungDatenqualität, Herkunft, Datengrenzen, Minimierung, Aufbewahrung, Korrektur und QuellenabgleichQuelleninventar, Datengenehmigung, Qualitätsergebnisse, Herkunft, Zugriffsdatensatz, Aufbewahrungsplan und KorrekturverlaufUnautorisierte Quelle, Qualitätsverstoß, Herkunftslücke, Offenlegung sensibler Daten, veraltete Daten oder LöschkonfliktEignung, zulässige Nutzung, Herkunft und Lebenszyklus der Daten innerhalb der Eigentümerdomäne
IAM/SicherheitseigentümerIdentitätsdesign, Delegationsmuster, effektiver Zugriff, Sicherheitsausnahmen, Lebenszyklus von Anmeldeinformationen, Widerruf und NotfallzugriffEindeutige Identitäten, geringste Privilegien, Authentifizierung, Autorisierung, Sitzungslimits, geheime Handhabung, Erkennung und WiderrufIdentitätsdatensätze, Berechtigungs-Snapshots, Zugriffsüberprüfungen, Bedrohungsmodell, Sicherheitstests, Ausnahmen und SperrereignisseGemeinsame oder verwaiste Identität, Rechteausweitung, kompromittierte Anmeldeinformationen, toxische Gewährung, Umgehung oder aktiver ExploitIntegrität der Identität, delegierte Autorität, Sicherheitslage und rechtzeitiger Widerruf
Besitzer des WerkzeugkatalogsWerkzeugzulassung, Eigentümerzuweisung, genehmigte Aktionen, Schnittstellen- und Versionsstatus, Beweisvertrag, Sperrung und EntfernungKatalogvollständigkeit, Toolbescheinigung, Aktionsschemata, Berechtigungszuordnung, Versionsüberprüfung, Gesundheitsstatus und DeaktivierungWerkzeugkatalogeintrag, Eigentümergenehmigung, Aktions- und Umfangsdefinition, Versionsverlauf, Testergebnis, Belege und SperrdatensatzNicht registriertes Tool, freie Stelle des Besitzers, Schemaabweichung, nicht unterstützte Version, Quittungslücke, überschüssige Aktion oder unsichere AbhängigkeitVollständigkeit und aktueller Stand des verwalteten Werkzeugbestandes und seines Nachweisvertrages
Richtlinien-/KontrollinhaberKontrollziel, Richtlinienregeln, Schwellenwerte, Entscheidungsweiterleitung, Ausnahmekriterien, Kontrolltest und AbhilfeakzeptanzRichtlinienerstellung, Simulation, Genehmigungsworkflow, Laufzeitbewertung, Ausnahmeablauf, Kontrollüberwachung und RezertifizierungKontrollspezifikation, Richtlinienversion, Simulationsergebnisse, Urteile, Ausnahmen, Überprüfungen und AbhilfetestsRichtlinienumgehung, veraltete Regel, widersprüchliche Regel, ungeklärtes Urteil, Ausnahmeablauf oder KontrollfehlerKontrollabsicht, Regelgenauigkeit, Entscheidungskriterien und vollständige Berücksichtigung von Ausnahmen
Benannter menschlicher GenehmigerGenehmigen, verweigern, zurückgeben oder eskalieren Sie jede zugewiesene Folgeentscheidung im Rahmen dokumentierter BefugnisseBeweisprüfung, Konfliktprüfung, Autoritätsprüfung, Begründungserfassung, Fristenabwicklung und EskalationEntscheidungsanfrage, vorgelegte Beweise, Momentaufnahme der Behörde, Entscheidung, Begründung, Zeitstempel und EskalationsprotokollUnzureichende Beweise, Autoritätskonflikt, vermutete Manipulation, Richtlinienkonflikt, Terminrisiko oder Auswirkungen, die über das Mandat hinausgehenPersönliche Urteilsausübung und die gleichzeitige Begründung der getroffenen Entscheidung
Einsatz- und EinsatzleiterLaufzeiteingriff, Vorfallklassifizierung, Eindämmungssequenz, Serviceeinschränkung, Wiederherstellung und WiederinbetriebnahmeÜberwachung, Alarmeinstufung, Reaktion auf Abruf, Lösch- und Widerrufverfahren, Abstimmung betroffener Fälle, Wiederherstellung und ÜbungenBetriebsüberprüfung, Alarmverlauf, Zeitleiste des Vorfalls, Befehlsentscheidungen, betroffene Bevölkerung, Wiederherstellungsnachweis und gewonnene ErkenntnisseUneingeschränkte Ausführung, wesentliche Auswirkung auf den Dienst oder das Ergebnis, wiederholte Warnung, Verlust von Beweismitteln, fehlgeschlagene Wiederherstellung oder BenachrichtigungsauslöserVorfallführung, Eindämmungsbuchhaltung, Wiederherstellungskriterien und genaue Statuskommunikation
Compliance/Recht/DatenschutzAnwendbare Kriterien, Rechts- und Datenschutzlage, Bewertungsbedarf, vertragliche Garantien, Mitteilungspflichten und formelle Hinweise zur EinreichungRegulatorische Bestandsaufnahme, Kontrollzuordnung, Datenschutz- und Auswirkungsprüfung, Überwachung rechtlicher Änderungen, Arbeitsablauf für Benachrichtigungen und ProblembehebungKriteriennotiz, Bewertungen, Kontrollzuordnung, Vertragsbedingungen, Ratschläge, Benachrichtigungen, Einreichungen und Aufzeichnungen über rechtliche ÄnderungenGesetzes- oder Richtlinienänderungen, neue Gerichtsbarkeit oder neuer Zweck, Auswirkungen auf Rechte, Datenschutzvorfall, Kontakt mit Aufsichtsbehörden oder umstrittene AuslegungProfessionelle Beratung, formelle Mitteilungen, Privilegienentscheidungen und Eskalation innerhalb des übertragenen Mandats
Internes AuditPrüfungsuniversum, Auftragsumfang, Kriterien, Stichprobe, Vertrauen, Ergebnisbewertung, Schlussfolgerung, Berichterstattung und NachverfolgungUnabhängige Planung, Beweisanfragen, Bevölkerungstests, Probenahme, Wiederholung, Überprüfung der Arbeitspapiere, Berichterstattung und NachverfolgungRisikobewertung, Prüfplan, Populations- und Probenaufzeichnung, Arbeitspapiere, Ausnahmen, Bericht und überprüfter AbschlussEinschränkung des Geltungsbereichs, Außerkraftsetzung durch das Management, Versagen der Beweisintegrität, Materialfeststellung, Gefährdung der Unabhängigkeit oder überfällige AbhilfemaßnahmenUnabhängiger und objektiver Prüfungsumfang, -verfahren, -schlussfolgerung und direkter Berichtsweg
Dritter/Verkäufer-EigentümerLieferantenauswahl, Due Diligence, Vertragskontrollen, Serviceabnahme, Leistungsreaktion, Zugang zu Beweismitteln, Ausstieg und ErsatzLieferanteninventur, Due Diligence, Vertrags- und SLA-Überprüfung, Serviceüberprüfung, Problemverfolgung, Beweiserhebung und AusgangstestsDue Diligence, Vertrags- und Verantwortungsplan, Serviceberichte, Vorfälle, Kontrollnachweise, Änderungsmitteilungen und AusstiegsprotokolleVersagen der Lieferantenkontrolle, undurchsichtiger Unterauftragsverarbeiter, Serviceänderung, Beweisverweigerung, Vorfall, SLA-Verstoß, Konzentrationsrisiko oder KündigungGeschäftsbeziehung, Vertragsdurchsetzung, Lieferantenverantwortung und ein ausführbarer Ausstiegspfad

Variieren Sie die Matrix für vier KI-Agent-Betriebsmodelle

Ein universeller RACI verschleiert wesentliche Unterschiede in Kontrolle und Autorität. Zeichnen Sie eine szenariospezifische Überschreibung neben der Standardmatrix auf, identifizieren Sie jede geänderte Zelle und genehmigen Sie die Variation vor der Verwendung in der Produktion. Der verantwortliche Geschäftsprozessinhaber unterzeichnet die vollständige Version.

Die vier folgenden Muster decken gängige Produktionsgrenzen ab. Jedes Muster behält die benannte Verantwortlichkeit bei und verlagert gleichzeitig die technische, Werkzeug-, Lieferanten- oder Fallentscheidungsverantwortung auf die Rolle mit tatsächlicher Kontrolle.

Explizite Unterschiede bei der Verantwortlichkeit je nach Build, Anbieter, Multi-Agent und menschlichem Genehmigungsmodell
BetriebsmodellVerantwortlichkeitsmusterDie Verantwortung ändert sichErforderliche NachweiseGrenze, die es zu bewahren gilt
Intern erstellter AgentDer Eigentümer des Geschäftsprozesses ist für den Zweck und die Ergebnisse verantwortlich. Der Produkt-/technische Eigentümer des Agenten ist Eigentümer der Architektur und der ReleasesInterne Modell-, Daten-, IAM-/Sicherheits-, Tool-, Richtlinien- und Betriebseigentümer betreiben den gesamten Kontrollstapel. Der Anbieterinhaber deckt nur externe Modelle oder Dienstleistungen abQuell- und Build-Herkunft, Architektur, Komponenteninventar, Tests, Release-Genehmigung, Berechtigungsmodell, Laufzeitaufzeichnungen und Rollback-ProofDas Unternehmen behält die direkte Kontrolle über Design, Zugriff, Freigabe, Betrieb, Nachweis und Stilllegung
Anbieteragent eingebettet in einen GeschäftsprozessDer Eigentümer des Geschäftsprozesses im Unternehmen ist Eigentümer der Nutzung und der Ergebnisse. Der Eigentümer der Lieferantenbeziehung ist der Eigentümer des Drittanbieters/Lieferanten. Der Anbieter ist Eigentümer des vertraglich vereinbarten SystemumfangsDas Unternehmen konfiguriert Zweck, Daten, Zugriff, Tools, Richtlinien, menschliche Überprüfung, Überwachung, Vorfälle und Ausgang; Der Anbieter liefert vertraglich vereinbarte technische Kontrollen, Änderungsmitteilungen und NachweiseSachverhaltsspezifische Rollenbewertung, Verantwortungsplan, System- und Unterprozessorinventur, Konfigurationsaufzeichnung, Servicenachweise, Vorfälle, Änderungsmitteilungen und BeendigungstestDas Unternehmen behält die Autorität über den Einsatz, die Entscheidungen der betroffenen Personen, die Betriebsbedingungen, die Eindämmung und die Lieferantenakzeptanz
Multi-Agent-Prozess mit mehreren Tool-BesitzernEin Geschäftsprozessinhaber ist Eigentümer des Endergebnisses. Ein Agent, Produkt-/technischer Eigentümer, ist Eigentümer der Orchestrierung. Jeder Werkzeugbesitzer besitzt seine AktionsgrenzeEigentümer von Sende- und Empfangsagenten sichern jede Übergabe; Toolkatalog- und IAM-/Sicherheitseigentümer gleichen Identitäten, Berechtigungen, Versionen, Belege und delegierte Grenzwerte im gesamten Diagramm abAbhängigkeitsdiagramm, Agent- und Tool-Besitzer, authentifizierte Übergaben, Zweckweitergabe, Autoritäts-Snapshots, Tool-Belege, Fehlereindämmung und End-to-End-JourneyUnteragenten und Tools erhalten begrenzte Autorität; Das Endergebnis stimmt mit jeder beitragenden Aktion und jedem Eigentümer überein
Folgeentscheidung mit zwingender menschlicher ZustimmungDer Eigentümer des Geschäftsprozesses ist Eigentümer des Prozess- und Ergebnis-Frameworks. Der benannte menschliche Genehmiger ist für die individuelle Genehmigung, Ablehnung, Rückgabe oder Eskalation der Entscheidung verantwortlichDer Richtlinien-/Kontrollinhaber leitet jeden in den Geltungsbereich fallenden Fall weiter. der technische Eigentümer verhindert die Ausführung vor einer gültigen Entscheidung; Operations überwacht Warteschlangen, Autorität, Ablauf und UmgehungsversucheEntscheidungsanfrage, vorgelegte Beweise, Richtlinien- und Autoritätsversionen, Prüferidentität, Begründung, Zeitstempel, endgültige Aktionsquittung und ÜberschreibungsverlaufDer benannte Genehmiger behält die Entscheidung über den Fall; Der Eigentümer des Geschäftsprozesses behält die Verantwortung für Richtlinien, Personal, Ergebnisqualität und Behebung

Ausgearbeitetes Beispiel: Verantwortung für eine regulierte Kreditentscheidungsreise

Angenommen, eine Privatkundenbank in der EU nutzt einen Agenten, um Antragsdaten zusammenzustellen, ein Kreditrisikomodell aufzurufen, Kreditvergaberichtlinien anzuwenden, jede Empfehlung zur obligatorischen Genehmigung an einen Underwriter weiterzuleiten und das Endergebnis zu verfassen. Ein KI-System, das dazu bestimmt ist, die Kreditwürdigkeit einer natürlichen Person zu bewerten oder einen Kredit-Score zu ermitteln, ist in Anhang III Punkt 5(b) des EU-KI-Gesetzes aufgeführt und gilt gemäß Artikel 6(2) als hochriskant, vorbehaltlich der Vorschriften des Artikels 6(3); Profiling im Rahmen einer Annex-III-Nutzung bleibt weiterhin ein hohes Risiko.

In diesem Beispiel werden der Modell- und Agentenanbieter als Anbieter und die Bank als Bereitsteller behandelt, basierend auf den angegebenen Fakten. Die Tabelle folgt dem gleichen Journey, der auch im Unternehmensaudit-Framework verwendet wird, und ändert den Blickwinkel vom Auditverfahren auf die benannte Verantwortung. Jeder Schritt endet mit einem Artefakt und einer Eskalationsbedingung.

Verantwortung auf Aktionsebene für eine daraus resultierende Kreditentscheidung
ReiseschrittVerantwortliche EntscheidungVerantwortungsvolle AusführungKonsultiert/herausgefordert vonBeweiseEskalationsbedingung
1. Zweck und Grenze genehmigenDer Geschäftsprozessinhaber genehmigt die Kreditverwendung, Kunden, Ergebnisse, Limits und obligatorische GenehmigungenDer Produkt-/technische Eigentümer des Agenten dokumentiert die System- und ProzessgrenzenExecutive-Sponsor; Modellsicherung; Compliance/Recht/Datenschutz; Daten; IAM/SicherheitZweckgenehmigung, Klassifizierungsbasis, Prozesslandkarte, Verantwortungsmatrix und BedingungenUnklarer Zweck, nicht unterstützte Klassifizierung, Auswirkungen auf Rechte, fehlender Eigentümer oder inakzeptables Restrisiko
2. Akzeptieren Sie das AnbietersystemDer Eigentümer Dritter/Verkäufer akzeptiert den Lieferanten im Rahmen der genehmigten kommerziellen BefugnisseDer Verkäufereigentümer koordiniert die Due Diligence; Technische und Sicherheitsverantwortliche testen den ServiceEigentümer des Geschäftsprozesses; Compliance/Recht/Datenschutz; IAM/Sicherheit; Daten; ModellsicherungRollenbewertung, Due Diligence, Vertragsplan, Anbieternachweise, Unterauftragsverarbeiterliste und AusstiegsplanBeweisverweigerung, ungelöste Kontrolllücke, undurchsichtige Abhängigkeit, wesentliche Vertragslücke oder fehlgeschlagener Austrittstest
3. Identität, Daten und Tools bindenDaten-, IAM-/Sicherheits- und Toolkatalogeigentümer genehmigen ihre jeweiligen GrenzenDer technische Eigentümer konfiguriert die genehmigten Identitäten, Datengrenzen und ToolaktionenRichtlinien-/Kontrollinhaber; Compliance/Recht/Datenschutz; OperationenIdentitäts- und Autoritäts-Snapshots, Datengenehmigung, Tool-Katalogeinträge, Versionen, Bereiche und TestsÜberschüssige Rechte, nicht genehmigte Quelle, nicht registriertes Werkzeug, fehlender Besitzer oder unvollständige Quittung
4. Freigabe genehmigenDer Produkt-/technische Eigentümer des Agenten genehmigt die technische VersionIngenieure und Komponenteneigentümer erstellen, testen und stellen das Release bereitEigentümer des Geschäftsprozesses; Modellsicherung; Daten; IAM/Sicherheit; Werkzeug; Politik; OperationenRelease-Manifest, Evaluierung, Richtliniensimulation, Zugriffsüberprüfung, Beweisprüfung und Rollback-ErgebnisSchwellenwert fehlgeschlagen, Zweck geändert, ungelöste Ausnahme, Beweislücke oder Rollback fehlgeschlagen
5. Stellen Sie die Anwendung zusammenDer Eigentümer des Geschäftsprozesses ist Eigentümer der FalleingabesteuerungTechnische und Dateneigentümer betreiben den Abruf innerhalb genehmigter GrenzenIAM/Sicherheit; Compliance/Recht/Datenschutz; OperationenJourney-ID, Quellverweise, Abfrage- und Quell-Hashes, Grenzversion und SchwärzungsdatensatzFehlender oder doppelter Fall, verbotene Daten, nicht übereinstimmende Grenzen, veraltete Quelle oder Herkunftslücke
6. Modell aufrufen und Richtlinie anwendenDer Richtlinien-/Kontrollinhaber ist Eigentümer des Routing-Urteils. Der technische Eigentümer besitzt die AusführungsintegritätTechnik-, Modell-, Daten- und Werkzeugbesitzer führen genehmigte Versionen aus und erfassen BelegeModellsicherung; IAM/Sicherheit; Eigentümer des GeschäftsprozessesModell- und Release-IDs, Eingabe- und Ausgabe-Hashes, Richtlinienversion, übereinstimmende Regeln, Urteil und ZeitstempelNicht genehmigte Version, Richtlinienumgehung, Regelkonflikt, übermäßige Tool-Aktion oder Schwellenwertverletzung
7. Entscheiden Sie über den FolgefallDer benannte menschliche Genehmiger ist für die Fallentscheidung verantwortlich. Der Eigentümer des Geschäftsprozesses ist Eigentümer des Ergebnis-FrameworksDer Underwriter prüft Beweise und genehmigt, lehnt ab, gibt sie zurück oder eskaliert innerhalb der BehördeRichtlinien-/Kontrollinhaber; Compliance/Recht/Datenschutz; ModellsicherungEntscheidungsanfrage, vorgelegte Beweise, Momentaufnahme der Behörde, Entscheidung, Begründung und EntscheidungszeitUnzureichende Beweise, Gutachterkonflikt, abgelaufene Autorität, Manipulationssignal oder Auswirkungen, die über das Mandat hinausgehen
8. Verpflichten Sie sich und kommunizieren Sie das ErgebnisDer Eigentümer des Geschäftsprozesses ist Eigentümer des endgültigen ProzessergebnissesBesitzer von Betrieben und technischen Werkzeugen verfassen die genehmigte Entscheidung und geben die erforderliche Mitteilung herausBenannter menschlicher Genehmiger; Compliance/Recht/Datenschutz; Richtlinien-/KontrollinhaberGenehmigungsreferenz, Werkzeuganfrage und -antwort, Vorher- und Nachher-Status, Hinweis und ÜberprüfungsrouteErgebniskonflikt, zusätzlicher Nebeneffekt, fehlgeschlagene Benachrichtigung, unterbrochene Überprüfungsroute oder fehlende Quittung
9. Überwachen und reagierenDer Einsatz- und Einsatzleiter ist für die Entscheidungen über Vorfälle zuständigBetriebs-, Technik-, IAM-/Sicherheits-, Daten-, Tool-, Richtlinien- und Anbietereigentümer untersuchen und dämmen einEigentümer des Geschäftsprozesses; Modellsicherung; Compliance/Recht/DatenschutzErgebnisüberwachung, Warnungen, Liste der betroffenen Fälle, Zeitleiste des Vorfalls, Eindämmung, Wiederherstellung und erneuter TestMaterialdrift, wiederholte Ausnahme, Auswirkungen auf Rechte, Offenlegung von Daten, unkontrolliertes Handeln oder Verlust von Beweismitteln
10. Wechseln oder in den Ruhestand gehenGeschäftsprozessinhaber genehmigt geänderte Nutzung oder Stilllegung; Der technische Eigentümer genehmigt die FreigabeTechnische und alle betroffenen Kontrolleigentümer führen eine Neubewertung, Freigabe, Widerrufung, Archivierung oder Außerbetriebnahme durchExecutive-Sponsor; Modellsicherung; Compliance/Recht/Datenschutz; Verkäuferinhaber; OperationenÄnderungsbewertung, neue Matrix, Tests, Genehmigung, Widerrufe, Datendisposition und aufbewahrte BeweiseZweckänderung, wesentliche Änderung, Abhängigkeitsverlust, fehlgeschlagene Neubewertung oder unvollständiger Abschluss

Provider- und Deployer-Verantwortung im Kreditbeispiel

Das EU-KI-Gesetz definiert Anbieter und Betreiber anhand von Fakten. Gemäß Artikel 3(3) entwickelt oder lässt ein Anbieter ein KI-System entwickeln und bringt es unter seinem eigenen Namen oder seiner eigenen Marke auf den Markt oder nimmt es in Betrieb. Gemäß Artikel 3(4) nutzt ein Betreiber ein ihm unterstelltes KI-System außerhalb persönlicher, nichtberuflicher Tätigkeiten. In diesem Beispiel ist der Anbieter der Anbieter und die Bank der Bereitsteller des bereitgestellten Systems und der angegebenen Verwendung.

Artikel 25 kann die Anbieterrolle für ein Hochrisikosystem verschieben, wenn ein Betreiber oder ein anderer Dritter seinen eigenen Namen oder seine eigene Marke verwendet, eine wesentliche Änderung vornimmt oder den beabsichtigten Zweck ändert, sodass das System zu einem Hochrisikosystem wird. Die Pflichten des Artikels 26 gelten für Betreiber von Systemen mit hohem Risiko und umfassen die weisungsgemäße Nutzung, die Beauftragung einer kompetenten und autorisierten menschlichen Aufsicht, die Betriebsüberwachung, Maßnahmen und Berichterstattung, wenn ein Risiko oder ein schwerwiegender Vorfall auftritt, sowie die Aufbewahrung automatisch generierter Protokolle unter der Kontrolle des Betreibers für mindestens sechs Monate, sofern nicht andere geltende Gesetze etwas anderes vorsehen.

Faktenbezogene Anbieter- und Bereitstellergrenzen für die Bank und den Anbieter
Grenze oder EreignisAnbieter als Anbieter in diesem BeispielBank als Deployer in diesem BeispielBeweise, die es aufzubewahren giltRechtsgrundlage
RollenklassifizierungEntwickelt oder lässt das System entwickeln und vertreibt es unter dem Namen oder der Marke des HerstellersNutzt für den Kreditprozess das bankautorisierte SystemRollenbewertung, Systemidentität, Verwendungszweck, Namen und Marken, Vertrag und GenehmigungArtikel 3(3)–(4)
Anleitung und BetriebsbedingungenDefiniert den bereitgestellten Systemumfang, Anweisungen, deklarierte Einschränkungen und unterstützte KonfigurationBenutzt das Hochrisikosystem gemäß den Anweisungen und dokumentiert alle Betriebsbedingungen oder AusnahmenAnweisungen und Version, Bankkonfiguration, Betriebsablauf, Ausnahmen und Genehmigung des EigentümersArtikel 26(1)
Menschliche AufsichtBietet die Hochrisikosystemfähigkeit für eine effektive Überwachung innerhalb des bereitgestellten DesignsÜberträgt die Aufsicht an Personen mit der erforderlichen Kompetenz, Schulung, Autorität und UnterstützungAufsichtsdesign, Rollenzuweisung, Schulung, Autorität, Entscheidungsanfragen, Begründungen und AußerkraftsetzungenArtikel 14(1)–(4) und 26(2)
Überwachung, Risiko und schwerwiegender VorfallEntgegennahme und Bearbeitung von Bankberichten im Rahmen des Anbieters und des VertragsumfangsÜberwacht den Betrieb und ergreift die erforderlichen Maßnahmen und Meldeschritte, wenn ein Risiko oder ein schwerwiegender Vorfall auftrittÜberwachungsüberprüfung, Risiko- und Vorfallaufzeichnungen, Lieferantenbenachrichtigung, Reaktion, Eindämmung und NachverfolgungArtikel 26(1)–(6)
Protokolle unter der Kontrolle jeder ParteiBehält automatisch generierte Hochrisiko-Systemprotokolle mindestens sechs Monate lang unter der Kontrolle des Anbieters, vorbehaltlich anderer anwendbarer GesetzeBehält automatisch generierte Protokolle mindestens sechs Monate lang unter der Kontrolle des Betreibers, vorbehaltlich anderer anwendbarer GesetzeProtokollinventar, Kontrollzuordnung, Aufbewahrungsplan, rechtliche Außerkraftsetzung, Zugriffsaufzeichnung und LöschnachweiseArtikel 19(1) und 26(6)
Umbenennung, wesentliche Änderung oder ZweckänderungDie ursprüngliche Anbieterposition ändert sich systemspezifisch gemäß Artikel 25 Bedingungen und KooperationsregelnDie Bank kann Anbieter des Hochrisikosystems werden, wenn die Bedingungen des Artikels 25(1) erfüllt sindÄnderungsbewertung, Marken- und Zweckaufzeichnung, Änderungsanalyse, schriftliche Vereinbarung, technischer Zugriff und Genehmigung neuer RollenArtikel 25(1)–(5)

Behalten Sie den aktuellen Rechtsstatus im Verantwortungsverzeichnis bei

Die Verordnung (EU) 2024/1689 ist geltendes Recht mit schrittweiser Anwendung. Das Digital Omnibus zur KI ändert es als Verordnung (EU) 2026/1744, die 2. Dezember 2027 für Artikel 6(2)/Anhang III eigenständige Hochrisikosysteme und 2. August 2028 für Artikel 6(1)/Anhang I produktintegriert festlegt Systeme.

Das Parlament billigte den Text am 16. Juni 2026, der Rat nahm ihn am 29. Juni 2026, an und der Rechtsakt wurde am 8. Juli 2026 unterzeichnet. Er wurde am 24. Juli 2026 im Amtsblatt veröffentlicht (ABl. L, 2026/1744, 24.7.2026) und tritt am 27. Juli 2026 in Kraft am dritten Tag nach Veröffentlichung. Tragen Sie beide Instrumente im Verantwortungsprotokoll ein und lesen Sie die geänderten Daten aus dem konsolidierten Text der Verordnung (EU) 2024/1689, bevor Sie sie in einer rechtlichen Schlussfolgerung verwenden.

Halten Sie die interne Revision unabhängig von der Verantwortung des Managements

Das IIA-Drei-Linien-Modell ordnet Risikoverantwortung und -management den First-Line-Rollen, Fachwissen, Unterstützung, Überwachung und Herausforderung den Second-Line-Rollen sowie unabhängige und objektive Sicherheit und Beratung der internen Revision zu. Die Zeilen beschreiben Rollen und können sich über mehrere Abteilungen erstrecken.

Das Management behält das Design, die Genehmigung, den Betrieb, die Kontrolleigentümerschaft, die Risikoakzeptanz und die Behebung des Agenten. Die interne Revision legt ihren eigenen Umfang, ihre eigenen Kriterien, Stichproben, Verfahren, Ergebnisbewertungen, Schlussfolgerungen, Berichterstattungswege und Folgemaßnahmen fest. Beratungstätigkeiten benötigen dokumentierte Absicherungen, wann immer sie Auswirkungen auf die spätere Unabhängigkeit haben könnten.

Drei Linien sind für die Rechenschaftspflicht der KI-Agenten verantwortlich
RollengruppeBesitztProduziertGrenze für die Abhängigkeit von der internen Revision
First-Line-ManagementGeschäftsergebnisse, Agentenbetrieb, Kontrolldesign und -betrieb, Vorfälle, Risikoakzeptanz und BehebungGenehmigungen, Laufzeitaufzeichnungen, Kontrollüberprüfungen, Vorfälle, Ergebnisse, Ausnahmen und BehebungsnachweiseManagementnachweise unterliegen einer Prüfung auf Vollständigkeit, Integrität und betriebliche Wirksamkeit
ZweitlinienrollenFachwissen, Standards, Unterstützung, Überwachung und Herausforderung im Rahmen von Risiko-, Compliance-, Sicherheits-, Datenschutz- und ModellsicherungsmandatenBewertungen, Herausforderungsaufzeichnungen, Überwachung, Ausnahmen, Meinungen und EskalationenDer Grad der Objektivität, der Kompetenz, des Umfangs, des Zeitraums und der Quellenverlässlichkeit bestimmt die Zuverlässigkeit
Internes AuditUnabhängiger Prüfungsplan, Umfang, Kriterien, Verfahren, Schlussfolgerung, Berichterstattung und überprüfte NachverfolgungPopulations- und Probenaufzeichnungen, Arbeitspapiere, Ergebnisse, Berichte und AbschlussüberprüfungDie interne Revision wahrt die Unabhängigkeit und vermeidet die Genehmigung des Managements oder die Kontrollverantwortung für das zu prüfende System

Ordnen Sie die Verantwortung den operativen Beweisen im KLA zu

Eine Verantwortungsmatrix wird funktionsfähig, wenn jeder benannte Eigentümer auf ein aktuelles Kontroll- und Quelle-der-Wahrheits-Artefakt verweisen kann. Die folgende Produktzuordnung verbindet die Eigentumsentscheidung, Laufzeitaktion, Rekonstruktionsaufzeichnung, laufende Überprüfung und aufbewahrte Beweise, ohne die zugrunde liegende Verantwortung zu ändern.

KLA-Produktzuordnung für Verantwortlichkeit, Kontrollbetrieb und Beweise
VerantwortungsbedarfKLA-OberflächeBetriebsprotokoll
Nennen Sie die Eigentümerschaft des Agenten, genehmigte Freigaben, den Status und den verantwortlichen ProzessAgentenregisterAgenteneigentümer, Release-Verlauf, Genehmigungsstatus, Betriebsgrenzen und Ruhestandsstatus
Benennen Sie jeden Tool-Eigentümer und regeln Sie Aktionen, Bereiche, Versionen und StatusWerkzeugkatalogTool-Eigentümer, Aktionsvertrag, Berechtigungsgrenze, Version, Empfangsanforderung und Sperrstatus
Definieren Sie Kontrollziele, Regeln, Schwellenwerte, Routing und AusnahmenRichtlinien-BuilderRichtlinieneigentümer, genehmigte Version, Simulationsergebnisse, Regeln, Schwellenwerte und Ausnahmelebenszyklus
Leiten Sie Folgefälle an eine benannte Person mit aktueller Autorität weiterEntscheidungsschalterEntscheidungsantrag, vorgelegte Beweise, Autorität des Prüfers, Entscheidung, Begründung und Zeitstempel
Rekonstruieren Sie die Reise und überprüfen Sie die chronologische KontrollaufzeichnungAbstammungs-Explorer + Audit-TrailIdentität, Eingaben, Modell- und Toolaufrufe, Richtlinienurteile, menschliche Entscheidungen, Auswirkungen und korrelierte Ereignisse
Überprüfen Sie den Kontrollzustand, die Abweichung, die Ergebnisse, Warnungen und die BehebungAssurance CenterSicherheitsalarm, Eigentümerüberprüfung, betroffene Bevölkerung, Sanierungsplan, erneuter Test und Schließung
Behalten Sie überprüfbare Artefakte und unabhängig überprüfbare PaketeBeweisraumVerantwortungsmatrix, Genehmigungen, Bewertungen, Manifeste, Integritätsmetadaten, Berichte und aufbewahrte Fallbeweise

Testen Sie, ob die Verantwortung der KI-Agenten real ist

Ein Vorstand, eine Regulierungsbehörde oder ein interner Prüfer kann diese Fragen stellen und für jede Antwort einen namentlich genannten Eigentümer sowie ein zeitgenössisches Artefakt verlangen. Allein ein Organigramm, ein Ausschussname oder eine Zuliefererbehauptung lässt die Verantwortung unbewiesen.

  • 1. Ist ein benannter Geschäftsprozessinhaber für den Agentenzweck, die Produktionsnutzung, die Ergebnisse, Vorfälle, Änderungen und die Einstellung verantwortlich?
  • 2. Kann dieser Eigentümer den Agenten stoppen, seine Betriebsgrenzen einschränken, Abhilfemaßnahmen finanzieren und jede akzeptierte Ausnahme erklären?
  • 3. Verfügt jedes Release, jede Richtlinie, jede Datenquelle, jede Identität, jedes Tool und jede Anbieterabhängigkeit über einen aktuellen Eigentümer mit Genehmigungsberechtigung?
  • 4. Kann die Organisation jede Folgehandlung auf den Agenten, den Auftraggeber, das Richtlinienurteil, die benannte menschliche Entscheidung, die Werkzeugwirkung und das Geschäftsergebnis zurückführen?
  • 5. Erscheinen die vier relevanten Betriebsmodellvarianten in der genehmigten Matrix, wobei jede geänderte Zuweisung und beibehaltene Grenze dokumentiert wird?
  • 6. Kann jeder benannte menschliche Genehmiger die aktuelle Autorität, die überprüften Beweise, den Konfliktstatus, die Entscheidung, die Begründung und den Zeitpunkt für den Fall nachweisen?
  • 7. Kann der Einsatzleiter die gesamte betroffene Bevölkerung identifizieren, die Befugnis widerrufen, die Hinrichtung eindämmen, sich sicher erholen, die erforderlichen Parteien benachrichtigen und die erneute Durchführung von Tests nachweisen?
  • 8. Löst jedes Materialmodell, jede Aufforderung, jede Richtlinie, jede Genehmigung, jedes Werkzeug, jede Daten-, jeder Prozess- oder Lieferantenänderung eine Neubewertung und eine neue Genehmigungsentscheidung aus?
  • 9. Werden Anbieter- und Bereitstellerrollen anhand des tatsächlichen Namens, der Befugnis, des Zwecks, der Änderung und der Betriebsfakten dokumentiert, wobei Änderungen im Artikel 25 neu bewertet werden?
  • 10. Hat die interne Revision unabhängigen Zugriff auf vollständige Populationen, Quelldatensätze, Spezialisten, Berichte an leitende Körperschaften und Nachverfolgungsnachweise?

Häufig gestellte Fragen

Wer ist verantwortlich, wenn ein KI-Agent einen Fehler macht?

Der verantwortliche Eigentümer des Geschäftsprozesses ist Eigentümer der Produktionsnutzung und des Geschäftsergebnisses. Der Einsatzleiter ist für Eindämmungs- und Wiederherstellungsentscheidungen verantwortlich, während die Verantwortlichen für Technik, Modell, Daten, Sicherheit, Tools, Richtlinien, Genehmigungen und Anbieter für ihre definierten Kontrollen verantwortlich sind. In der Vorfallaufzeichnung sollten die fehlerhafte Grenze, der verantwortliche Eigentümer, die betroffene Bevölkerung, die Abhilfemaßnahme und die Eskalation durch die Führungsebene angegeben werden.

Was ist der Unterschied zwischen Provider- und Deployer-Verantwortung?

Gemäß Artikel 3 des EU-KI-Gesetzes entwickelt ein Anbieter ein System oder lässt es entwickeln und bringt es unter seinem Namen oder seiner Marke auf den Markt oder nimmt es in Betrieb; Ein Betreiber nutzt ein ihm unterstelltes System außerhalb seiner persönlichen, nichtberuflichen Tätigkeit. Artikel 25 kann die Rolle des Anbieters nach einem Rebranding, einer wesentlichen Änderung oder einer Zweckänderung ändern, die das System einem hohen Risiko aussetzt. Artikel 26 weist Betreibern von Hochrisikosystemen bedingte Betriebspflichten zu.

Kann die Verantwortung für einen KI-Agenten an einen Anbieter delegiert werden?

Ein Anbieter kann vertragliche Verantwortung für Design, Service, Kontrolle, Vorfälle, Änderungen und Nachweise tragen. Der Eigentümer des Unternehmensgeschäftsprozesses trägt die Verantwortung für die Verwendung des Agenten innerhalb des Unternehmensprozesses, einschließlich der Betriebsbedingungen, der Entscheidungen der betroffenen Personen, der Ergebnisüberprüfung, der Eindämmungsbefugnis, der Lieferantenakzeptanz und des Ausstiegs. Tragen Sie beide Bereiche in den Vertrag und die interne Verantwortungsmatrix ein.

Was besitzt die interne Revision für KI-Agenten?

Die interne Revision ist Eigentümerin ihres Prüfungsuniversums, ihres Auftragsumfangs, ihrer Kriterien, Stichproben, Vertrauensentscheidungen, Verfahren, Feststellungen, Schlussfolgerungen, Berichte und Nachverfolgungsüberprüfungen. Das Management ist Eigentümer des Agenten, der Kontrollen, Genehmigungen, der Risikoakzeptanz, des Betriebs, der Vorfälle und der Behebung. Diese Trennung unterstützt die unabhängige und objektive Sicherungsrolle, die im IIA Three Lines Model beschrieben wird.

Wer genehmigt eine folgenschwere Entscheidung eines KI-Agenten?

Ein benannter menschlicher Genehmiger entscheidet über den Einzelfall im Rahmen der dokumentierten Befugnisse, wenn eine menschliche Genehmigung obligatorisch ist. Der Eigentümer des Geschäftsprozesses ist für den Entscheidungsrahmen, die Personalausstattung, die Ergebnisqualität und die Behebung verantwortlich. Der Richtlinien-/Kontrolleigentümer ist Eigentümer der Routingkriterien und der technische Eigentümer stellt sicher, dass die Ausführung auf einen gültigen Entscheidungsdatensatz wartet.

Wie soll Verantwortung in einem Multiagentensystem funktionieren?

Benennen Sie einen Geschäftsprozesseigentümer für das Endergebnis und einen technischen Eigentümer für die Orchestrierung. Weisen Sie jedem Agenten, jedem Tool, jeder Identität, jeder Datengrenze, jeder Richtlinie und jeder Anbieterabhängigkeit einen Eigentümer zu. Authentifizieren Sie jede Übergabe, geben Sie den Zweck und die delegierten Grenzwerte weiter, bewahren Sie Aktionsbelege auf, dämmen Sie kaskadierende Fehler ein und gleichen Sie die endgültige Journey mit jedem beitragenden Eigentümer und Effekt ab.

Die wichtigsten Erkenntnisse

Die Verantwortlichkeit von KI-Agenten wird vertretbar, wenn ein Geschäftsprozesseigentümer die Ergebnisautorität innehat und jede Lebenszyklusentscheidung, Laufzeitsteuerung, jedes Artefakt, jede Eskalation und jede beibehaltene Grenze einen benannten Eigentümer hat. Wenden Sie die szenariospezifische Variante an, verfolgen Sie eine Folgereise, dokumentieren Sie Fakten zu Anbietern und Bereitstellern und bewahren Sie die Unabhängigkeit der internen Revision. Verwenden Sie das Unternehmens-Framework für KI-Agenten-Audits für die vollständige Feldarbeit und die Bewertung der Audit-Bereitschaft von KI-Agenten, um fehlende Eigentumsrechte, Befugnisse, Kontrollen und Beweise zu identifizieren.

In Aktion sehen

Bereit, Ihre Compliance-Nachweise zu automatisieren?

Buchen Sie eine 20-minütige Demo, um zu sehen, wie KLA Ihnen hilft, Human Oversight nachzuweisen und auditfertige Annex IV Dokumentation zu exportieren.

Rechenschaftspflichtmatrix für KI-Agenten: Wem gehört was in der Produktion? | KLA Blog