Leitfaden zur Einhaltung von KI-Agenten: Anforderungen des EU-KI-Gesetzes

KI-Agenten funktionieren grundlegend anders als herkömmliche KI-Modelle¶

Herkömmliche Modelle des maschinellen Lernens folgen vorhersehbaren, vorgegebenen Prozessen. Sie geben Daten ein, das Modell verarbeitet sie mithilfe fester Algorithmen und gibt eine Vorhersage oder Klassifizierung aus. Ein Bonitätsbewertungsmodell verwendet beispielsweise Bewerberdaten und gibt einen Risikoscore zurück. Der Mensch entscheidet dann, was er mit dieser Punktzahl macht.

KI-Agenten funktionieren völlig anders. Sie verfolgen Ziele autonom, indem sie komplexe Ziele in Schritte aufteilen, externe Tools verwenden und ihren Ansatz auf der Grundlage von Echtzeit-Feedback anpassen – und das alles mit minimaler menschlicher Aufsicht. Ein KI-Agent, der sich um den Kundenservice kümmert, könnte auf Ihr CRM zugreifen, Bestandssysteme überprüfen, E-Mails entwerfen und Rückerstattungen bearbeiten, ohne dass jeder Schritt von einem Menschen genehmigt werden muss.

Diese Unterscheidung ist für die Compliance von enormer Bedeutung. 86% der Führungskräfte, die sich mit agentischer KI auskennen, glauben, dass diese im Vergleich zu herkömmlicher KI zusätzliche Risiken birgt. Das EU-KI-Gesetz erkennt dies an und fordert gemäß Artikel 14 menschliche Aufsichtsmaßnahmen, die „den Risiken, dem Grad der Autonomie und dem Nutzungskontext angemessen sind“.

• Autonomie: Entscheidungen ohne menschliches Eingreifen treffen – Sie können sich nicht ausschließlich auf Entwurfszeitkontrollen verlassen
• Tool-Nutzung: Direkte Interaktion mit externen Systemen, APIs und Datenbanken, wodurch die potenzielle Angriffsfläche erweitert wird
• Mehrstufiges Denken: Komplexe Entscheidungsketten, die verschleiern, warum bestimmte Entscheidungen getroffen wurden
• Zielgerichtetes Verhalten: Dynamische Anpassung an Ergebnisse, die möglicherweise zu unerwarteten Ergebnissen führt
• Umweltinteraktion: Reale Auswirkungen durch Transaktionen und Systemänderungen, die möglicherweise irreversibel sind

Wie KI-Agenten den Risikokategorien des EU-KI-Gesetzes zugeordnet werden¶

Das EU-KI-Gesetz legt einen vierstufigen Risikorahmen fest: inakzeptables Risiko (verboten), hohes Risiko (stark reguliert), begrenztes Risiko (Transparenzpflichten) und minimales Risiko (keine zwingenden Anforderungen). Während das Gesetz „KI-Agenten“ oder „agentische KI“ nicht ausdrücklich erwähnt, umfasst sein technologieneutraler Entwurf eindeutig autonome Systeme.

Ein KI-Agent fällt in den Hochrisikobereich, wenn sein beabsichtigter Zweck die Bedingungen des Artikels 6 für eine Sicherheitskomponente gemäß Anhang I oder einen Anwendungsfall gemäß Anhang III erfüllt. Die Agentenautonomie kann das Kontrolldesign und die für die Bereitstellung erforderlichen Nachweise verändern, während die Klassifizierung weiterhin an den regulierten Anwendungsfall und die Rolle gebunden bleibt.

Anhang III deckt definierte Verwendungszwecke in Bereichen wie Beschäftigung und Arbeitnehmermanagement, Zugang zu wesentlichen Diensten, kritische Infrastruktur, Bildung, Strafverfolgung, Migration und Rechtspflege ab. Die Profilerstellung innerhalb eines Anhang-III-Anwendungsfalls wirkt sich auch darauf aus, ob der enge Artikel-6(3)-Ausschluss gelten kann.

Dokumentieren Sie bei Einsätzen in Finanzdienstleistungen, Gesundheitswesen, Versicherungen oder Regierung den beabsichtigten Zweck, die betroffenen Personen, die Auswirkungen auf die Entscheidung, den Anhangpfad, die Rolle des Betreibers und die Begründung. Bewerten Sie diesen Datensatz neu, wenn der Agent ein neues Tool, eine neue Datenquelle, eine neue Entscheidungsbefugnis oder einen neuen Bereitstellungskontext erhält.

Die schrittweise Einführung des EU-KI-Gesetzes und was damit einhergeht¶

Das EU-KI-Gesetz trat am 1. August 2024 mit einem schrittweisen Umsetzungsplan in Kraft. Die ursprüngliche Verordnung legte wichtige Anwendungstermine für Hochrisiko-Pflichten in den Jahren 2026 und 2027 fest. Änderungen durch den im Juni 2026 von den EU-Gesetzgebern angenommenen Digital Omnibus zur KI verschieben Teile dieses Zeitplans, vorbehaltlich der Veröffentlichung und des Inkrafttretens.

Behandeln Sie den Zeitplan als gepflegten Compliance-Input. Bestätigen Sie den aktuellen Rechtstext, die Systemkategorie, etwaige Übergangsregeln, den Status der harmonisierten Norm und die Leitlinien der nationalen Behörden, bevor Sie einen Konformitäts-, Registrierungs- oder Bereitstellungsmeilenstein festlegen.

Die Implementierung erfordert immer noch Vorlaufzeit für Inventar, Rollen- und Klassifizierungsanalyse, Risikokontrollen, technische Dokumentation, Protokollierung, menschliche Aufsicht, Tests, Überwachung, Lieferantennachweise und Abhilfemaßnahmen. Behalten Sie die Rechtsquelle und das Datum des Inkrafttretens bei, die für jede Planungsentscheidung verwendet werden.

• Verstöße gegen verbotene Praktiken: Bußgelder bis zu 35 Millionen EUR oder 7% des weltweiten Jahresumsatzes
• Systemverstöße mit hohem Risiko: Strafen bis zu EUR 15 Millionen oder 3% Umsatz
• Bereitstellung falscher Informationen gegenüber Behörden als Antwort auf eine Anfrage: Bußgelder bis zu 7.5 Millionen EUR oder 1% Umsatz
• Behörden können die Rücknahme nicht konformer Systeme vom Markt verlangen

Anforderungen an die menschliche Aufsicht erfordern neue Betriebsmodelle¶

Artikel 14 legt spezifische menschliche Aufsichtspflichten für Hochrisiko-KI-Systeme fest, und diese Anforderungen haben besondere Auswirkungen auf autonome KI-Agenten.

Der Kerngedanke besteht darin, dass Hochrisiko-KI-Systeme so konzipiert sein müssen, dass sie während der Nutzung effektiv von natürlichen Personen überwacht werden können. Der Zweck besteht darin, Risiken für Gesundheit, Sicherheit und Grundrechte zu verhindern oder zu minimieren. Entscheidend ist, dass Aufsichtsmaßnahmen in einem angemessenen Verhältnis zu den bestehenden Risiken, dem Grad der Autonomie und dem Nutzungskontext stehen müssen – das bedeutet, dass autonomere Systeme eine intensivere Aufsicht erfordern.

Das Gesetz legt fünf Fähigkeiten fest, über die menschliche Aufseher verfügen müssen: Verstehen (vollständiges Verständnis der Systemfunktionen mit der Fähigkeit, Anomalien zu erkennen), Automation Bias Awareness (Erkennung der Tendenz, sich zu sehr auf KI-Ausgaben zu verlassen), Interpretation (Zugriff auf Tools, um KI-Ausgaben richtig zu verstehen), Override-Fähigkeit (Befugnis, Ausgaben zu ignorieren oder Entscheidungen rückgängig zu machen) und Interventionsfähigkeit (Fähigkeit, durch eine Stopptaste oder ein ähnliches Verfahren zu unterbrechen).

Für KI-Agenten stellen diese Anforderungen erhebliche Herausforderungen bei der Implementierung dar. Emergentes Verhalten bedeutet, dass Agenten durch Interaktion lernen, was zu unerwarteten Verhaltensänderungen führt – statische Risikobewertungen im Voraus reichen nicht aus. Das externe Integrationsrisiko entsteht, weil Agenten autonom mit Tools von Drittanbietern kommunizieren, wobei sich Schwachstellen möglicherweise kaskadieren lassen. Die Rechenschaftslücke entsteht dadurch, dass Agenten über unzählige Mikroentscheidungen agieren, was es schwierig macht, nachzuvollziehen, warum etwas passiert ist.

• Human-in-the-Loop: Direkte Einbindung und Genehmigung vor der Entscheidung für kritische Entscheidungen
• Human-on-the-Loop: Aufsichtsüberwachung und ausnahmebasierte Intervention für die Verarbeitung großer Mengen
• Der Mensch hat das Kommando: Der Mensch behält die oberste Autorität und das Vetorecht für kritische Infrastrukturen

Herkömmliche Protokollierung schlägt bei KI-Agenten fehl – ​​hier ist, was Sie tatsächlich brauchen¶

Artikel 12 des EU-KI-Gesetzes schreibt automatische Protokollierungsfunktionen für Hochrisiko-KI-Systeme vor, um Ereignisse während ihres gesamten Lebenszyklus aufzuzeichnen. Die herkömmliche Eingabe-Ausgabe-Protokollierung reicht deutlich nicht aus, was KI-Agenten benötigen.

Das grundlegende Problem besteht darin, dass das Wissen darüber, was reingegangen ist und was rausgekommen ist, nicht erklärt, warum ein KI-Agent eine bestimmte Entscheidung getroffen hat. Wenn Agenten mehrstufige Überlegungen ausführen, verschiedene Tools aufrufen und ihren Ansatz auf der Grundlage von Zwischenergebnissen anpassen, benötigen Sie Granularität auf Spurenebene, um Entscheidungswege zu rekonstruieren.

Ein umfassender Prüfpfad für KI-Agenten muss die Kerntransaktionsprotokollierung (Sitzungsmetadaten, Benutzerkontext, Eingabeerfassung), die Dokumentation der Entscheidungskette (Begründungsschritte, Toolaufrufe und Ergebnisse, Kontext- und Zustandsinformationen, Vorher-/Nachher-Zustände), menschliche Überwachungsaufzeichnungen (Überprüfungsmarkierungen, Interventionsdokumentation, Eskalationsaufzeichnungen) sowie Qualitäts- und Compliance-Signale (automatisierte Bewertungen, Konfidenzbewertungen, Datenschutzmarkierungen) erfassen.

Artikel 19 verlangt von Anbietern, Protokolle mindestens sechs Monate oder länger gemäß branchenspezifischen Vorschriften aufzubewahren. Die Branche konvergiert zu verteilten Tracing-Ansätzen unter Verwendung von OpenTelemetry-Standards und geht über die herkömmliche Protokollierung hinaus, um den gesamten Ausführungspfad von der ersten Aufforderung bis zur endgültigen Aktion zu erfassen.

Finanzdienstleistungen stehen vor vielschichtigen regulatorischen Anforderungen¶

Finanzdienstleistungsorganisationen, die KI-Agenten einsetzen, müssen das EU-KI-Gesetz neben bestehenden Rahmenwerken wie MiFID II, Basel III/IV, CRR/CRD und dem Digital Operational Resilience Act (DORA) beachten.

Die 2024-Leitlinie der ESMA vom Mai zu KI in Wertpapierdienstleistungen legt wichtige Anforderungen fest. Unternehmen müssen eine „unerschütterliche Verpflichtung“ einhalten, im besten Interesse ihrer Kunden zu handeln, unabhängig davon, ob Entscheidungen von Menschen oder KI getroffen werden. Die Leitungsorgane bleiben für KI-gesteuerte Entscheidungen vollständig verantwortlich. Die von KI-Agenten bereitgestellte Anlageberatung erfordert strenge Eignungsbewertungen.

Was die organisatorischen Anforderungen betrifft, erwartet die ESMA robuste Governance-Strukturen mit Ex-ante-Tests und -Kontrollen, Risikomanagementsysteme, die speziell auf algorithmische Verzerrungen eingehen, umfassende Aufzeichnungen zur Dokumentation der KI-Nutzung und Entscheidungsprozesse sowie Mitarbeiterschulungen zu betrieblichen, ethischen und regulatorischen Auswirkungen.

Die EBA überwacht die Einführung von KI im Bankwesen mit besonderem Schwerpunkt auf Kreditrisikomodellen. KI-Systeme, die zur Bonitätsbewertung oder Bonitätsbeurteilung natürlicher Personen eingesetzt werden, werden nach dem KI-Gesetz ausdrücklich als hochriskant eingestuft. Komplexe ML-Modelle müssen Vorhersagegenauigkeit und Erklärbarkeitsanforderungen in Einklang bringen.

Gesundheitsorganisationen sind mit der doppelten Einhaltung der MDR und des AI Act konfrontiert¶

KI-gestützte medizinische Geräte unterliegen einem komplexen dualen Regulierungsumfeld, das die Einhaltung sowohl des EU-KI-Gesetzes als auch der Medizinprodukteverordnung (MDR) oder In-vitro-Diagnostikverordnung (IVDR) erfordert.

Medizinprodukte mit KI gelten nach dem KI-Gesetz als Hochrisikogeräte, wenn das KI-System eine Sicherheitskomponente eines Geräts ist oder das Gerät selbst ein KI-System ist und eine Konformitätsbewertung durch Dritte gemäß MDR/IVDR erfordert. Dies bedeutet effektiv, dass Geräte der MDR-Klasse IIa, IIb, III und Geräte der IVDR-Klasse B-D gemäß dem AI-Gesetz normalerweise ein hohes Risiko darstellen.

Die Europäische Kommission hat Leitlinien veröffentlicht, die es Organisationen ermöglichen, einzelne integrierte Ansätze zu verwenden. Ein einziges Qualitätsmanagementsystem kann beiden Vorschriften gerecht werden. Die technische Dokumentation kann einen einzigen Dokumentensatz nutzen. Das Risikomanagement kann eine KI-spezifische Bewertung mit den allgemeinen Sicherheits- und Leistungsanforderungen von Anhang I integrieren.

Der Zeitplan unterscheidet sich von anderen Sektoren: Hochrisiko-KI-Systemverpflichtungen gelten für Medizinprodukte gemäß Anhang I ab 2. August 2028, ein Jahr nach dem eigenständigen Anhang III-Datum 2. Dezember 2027.

Versicherungs-KI steht vor den Richtlinien der EIOPA und den Geboten der Nichtdiskriminierung¶

EIOPA veröffentlichte im August umfassende Leitlinien 2025 zur Interpretation bestehender Versicherungsgesetze – Solvency II, IDD und DORA – im KI-Kontext.

Nach dem AI Act werden Risikobewertung und Preisgestaltung in Lebens- und Krankenversicherungen ausdrücklich als risikoreich eingestuft und erfordern die vollständige Einhaltung von Kapitel III. Andere KI-Anwendungen für Versicherungen fallen unter die Leitlinien der EIOPA, die den Schwerpunkt auf Risikobewertung durch zweistufige Folgenabschätzung, Fairness durch Nichtdiskriminierungsmetriken, umfassende Datenverwaltung, Dokumentation mit vollständigen Prüfpfaden, Transparenz gegenüber Behörden und Kunden sowie menschliche Aufsicht während des gesamten Systemlebenszyklus legen.

Die Anforderungen an Fairness und Nichtdiskriminierung sind besonders streng. KI-Systeme dürfen keine diskriminierenden Ergebnisse aufgrund geschützter Merkmale wie Geschlecht, Rasse, Alter und Behinderung hervorbringen. Organisationen müssen statistische Techniken zur Verzerrungserkennung implementieren, wie z. B. die Analyse unterschiedlicher Auswirkungen, Korrekturmaßnahmen dokumentieren und die Auswirkungen auf die finanzielle Inklusion und gefährdete Kunden berücksichtigen.

Versicherer bleiben für KI-Systeme voll verantwortlich, auch wenn sie extern entwickelt werden. Dies erfordert eine sorgfältige Prüfung der Lieferanten, vertragliche Compliance-Zusicherungen und SLAs, die Audits ermöglichen.

Regierung und öffentlicher Sektor sind mit den strengsten Verboten konfrontiert¶

Der öffentliche Sektor ist nach dem EU-KI-Gesetz sowohl mit den strengsten Verboten als auch mit den umfangreichsten Hochrisikoeinstufungen konfrontiert.

Verbotene KI-Praktiken sind seit Februar in Kraft 2025. Social Scoring durch Behörden, die Personen anhand ihres Sozialverhaltens bewerten, ist vollständig verboten. Predictive Policing, das ausschließlich auf Profiling basiert, ist verboten. Biometrische Fernidentifizierung in Echtzeit im öffentlichen Raum ist mit begrenzten Ausnahmen für die Strafverfolgung verboten. Die Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen ist verboten. Verstöße werden mit einer Höchststrafe von 35 Millionen EUR oder 7% Umsatz geahndet.

Die Hochrisikokategorien für den öffentlichen Sektor sind umfangreich: Strafverfolgungsanwendungen (Beurteilung der Zuverlässigkeit von Beweismitteln, Profilerstellung bei strafrechtlichen Ermittlungen, Lügenerkennung, Rückfallvorhersage), Migration und Grenzkontrolle (Visaprüfung, Risikobewertung, Dokumentenprüfung, Asylbearbeitung), Rechtspflege (Unterstützung von Justizbehörden) und Entscheidungen der öffentlichen Verwaltung (Anspruch auf Leistungen, Zugang zu wesentlichen Dienstleistungen, Notfalleinsatz).

Öffentliche Einrichtungen müssen vor dem Einsatz hochriskanter KI-Systeme Folgenabschätzungen zu Grundrechten durchführen, potenzielle Auswirkungen bewerten, den Prozess dokumentieren und sich vor der Verwendung in der EU-Datenbank registrieren.

Erstellen Sie Ihr KI-Agent-Compliance-Framework¶

Organisationen benötigen strukturierte Governance-Programme, die vier wesentliche Komponenten abdecken.

KI-Inventarisierung und -Katalogisierung bildet die Grundlage. Sie müssen alle KI-Anwendungen im gesamten Unternehmen identifizieren, einschließlich interner Systeme und KI von Drittanbietern. Dokumentieren Sie Eigentums- und Verantwortlichkeitszuweisungen, Modelltyp und Vertraulichkeitsstufe, Versionsverlauf, Bereitstellungsorte und Integration mit vorhandenen IT-Registern. Erstellen Sie ein zentralisiertes KI-Kontrollportal, implementieren Sie eine automatisierte Erkennung, um Schatten-KI zu eliminieren, und richten Sie Aufnahmeprozesse für neue KI-Initiativen ein.

Capability Mapping definiert Grenzen für KI-Agenten. Geben Sie an, auf welche Daten jeder Agent zugreifen kann, definieren Sie, welche Aktionen Agenten durchführen können und wann eine menschliche Eskalation erforderlich ist, implementieren Sie Frameworks für kontextsensitive Berechtigungen und dokumentieren Sie alle Tool-Integrationen mit externen APIs, Datenbanken und Diensten.

Die Risikobewertung folgt einem strukturierten Ansatz. Stellen Sie fest, ob Systeme der KI-Definition entsprechen. Prüfung auf verbotene Praktiken gemäß Artikel 5.. Bewertung anhand der Hochrisikokategorien in Anhang III. Dokumentieren Sie Klassifizierungsentscheidungen mit unterstützenden Beweisen. Wenn es grenzwertig ist, behandeln Sie es als risikoreich, um die Einhaltung sicherzustellen.

Aufsichtsdesign sollte einem Modell der abgestuften Autonomie folgen. Agenten verfügen zunächst über begrenzte Berechtigungen und erlangen größere Autonomie, da ihre Zuverlässigkeit durch Audits nachgewiesen wird. Zu den wesentlichen Mechanismen gehören Echtzeit-Dashboards, Sandbox-Testumgebungen, funktionsübergreifende Aufsichtsausschüsse, klare Verfahren zur Reaktion auf Vorfälle und Human-in-the-Loop-Kontrollpunkte an kritischen Entscheidungspunkten.

Die Regulierungslandschaft entwickelt sich weiter¶

Das Europäische KI-Büro ist seit August 2025 in Betrieb und trägt die zentrale Verantwortung für die Umsetzung und Durchsetzung des KI-Gesetzes, insbesondere für Allzweck-KI-Modelle. Es hat die ausschließliche Zuständigkeit für GPAI-Anbieter und kann Dokumentationen anfordern, Bewertungen durchführen, Korrekturmaßnahmen anordnen und Sanktionen empfehlen.

Harmonisierte Normen werden von CEN/CENELEC nach separaten Zeitplänen entwickelt. DIN berichtet, dass EN 18286 die formelle Abstimmung bestanden hat und BSI meldet nationale Veröffentlichung als BS EN 18286:2026 am 24. Juli. Die Seite der Kommission zuletzt aktualisiert am 27. Juli beschreibt die endgültige CEN/CENELEC-Veröffentlichung immer noch als ausstehend. Die offizielle Quellenüberprüfung von 28 vom Juli ergab keine EN 18286 OJEU-Referenz. Artikel 40(1) befasst sich mit der Vermutung für die Anforderungen in Kapitel III, Abschnitt 2 in den Artikeln 8–15; Der Artikel 17 befindet sich im Abschnitt 3.. Überprüfen Sie alle eventuell veröffentlichten Verweise auf ihre genaue Rechtswirkung.

Regulatorische Sandboxen werden ab 2. August 2027 gemäß Artikel 57, obligatorisch, der von 2. August 2026 durch den Digital Omnibus zur KI verschoben wurde. Die Mitgliedstaaten müssen mindestens eine Sandbox einrichten. Sandboxes bieten Tests unter behördlicher Aufsicht, einen schriftlichen Nachweis erfolgreicher Aktivitäten und Schutz vor Verwaltungsstrafen, wenn die Richtlinien in gutem Glauben befolgt werden.