Hochrisiko-KI-System

Ein Hochrisiko-KI-System ist eine KI-Anwendung, die der EU AI Act als mit erheblichen Risiken für Gesundheit, Sicherheit oder Grundrechte verbunden einstuft und daher umfassenden regulatorischen Anforderungen unterwirft. Diese Einstufung löst umfangreiche Pflichten für Anbieter und Betreiber aus, darunter technische Dokumentation, Konformitätsbewertung, Maßnahmen zur menschlichen Aufsicht und Überwachung nach dem Inverkehrbringen.

Die Hochrisiko-Einstufung ist das zentrale Regulierungsinstrument des EU AI Act und entscheidet, welche Systeme die strengsten Pflichten treffen. Hochrisiko-Systeme müssen Artikeln 8 bis 15 entsprechen: Risikomanagement, Daten-Governance, technische Dokumentation, Record-Keeping, Transparenz, menschliche Aufsicht sowie Genauigkeit, Robustheit und Cybersecurity. Verstöße können Bußgelder bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes nach sich ziehen.

Es gibt zwei Wege zur Hochrisiko-Einstufung. Erstens listet Anhang III acht Kategorien von KI-Anwendungen, die als inhärent hochriskant gelten: biometrische Identifizierung und Kategorisierung, Management kritischer Infrastrukturen, Bildung und berufliche Bildung, Beschäftigung und Arbeitnehmermanagement, Zugang zu wesentlichen Dienstleistungen und Leistungen, Strafverfolgung, Migration und Grenzkontrolle sowie Rechtspflege. Zweitens gelten KI-Systeme als hochriskant, wenn sie Sicherheitskomponenten von Produkten sind, die unter EU-Produktsicherheitsrecht fallen (aufgelistet in Anhang I). Bemerkenswert ist die Ausnahme in Artikel 6(3): Selbst wenn ein System in eine Anhang-III-Kategorie fällt, gilt es ggf. nicht als hochriskant, wenn es nur eine eng begrenzte prozedurale Aufgabe erfüllt, das Ergebnis einer bereits abgeschlossenen menschlichen Tätigkeit verbessert, Entscheidungsmuster erkennt, ohne die menschliche Bewertung zu ersetzen, oder nur vorbereitende Aufgaben für Bewertungen ausführt.

Organisationen müssen zunächst klären, ob ihre Systeme als hochriskant gelten. Dafür ist die Zweckbestimmung entscheidend, nicht nur technische Fähigkeiten. Ein Kreditscoring-Modell, das Kreditentscheidungen beeinflusst, ist klar hochriskant nach Anhang III(5)(b); ein Customer-Service-Chatbot mit allgemeinen Informationen in der Regel nicht, sofern er keinen Zugang zu wesentlichen Dienstleistungen beeinflusst. Nach Hochrisiko-Einstufung folgen erhebliche Compliance-Pflichten. Anbieter müssen Risikomanagementsysteme etablieren, Daten-Governance umsetzen, umfangreiche technische Dokumentation nach Anhang IV erstellen, menschliche Aufsicht designen, Genauigkeit und Robustheit sicherstellen und Konformitätsbewertung vor Markteintritt durchführen. Betreiber haben eigene Pflichten, u. a. menschliche Aufsicht, Betriebsmonitoring und in bestimmten Kontexten FRIA. Der Zeitplan ist kritisch: Anhang-III-Hochrisiko-Systeme müssen bis August 2026 compliant sein, während Anhang-I-Systeme (Produktsicherheitskomponenten) bis August 2027 Zeit haben.