Menschliche Aufsicht
Mechanismen, die sicherstellen, dass Menschen KI-Systeme überwachen, eingreifen und sie bei Bedarf außer Kraft setzen können.
Begriffserklärung
Menschliche Aufsicht umfasst organisatorische Strukturen, technische Mechanismen und prozedurale Schutzmaßnahmen, die qualifizierten Personen ermöglichen, KI-Verhalten zu überwachen, bei Problemen einzugreifen und KI-getriebene Entscheidungen bei Bedarf zu überschreiben oder rückgängig zu machen. Wirksame Aufsicht stellt sicher, dass KI Systeme Werkzeuge unter menschlicher Kontrolle bleiben und keine autonomen Akteure ohne Rechenschaftspflicht werden.
Artikel 14 des EU AI Act macht menschliche Aufsicht zur Pflicht für Hochrisiko-KI. Der Rechtsakt verlangt, dass Systeme so gestaltet sind, dass natürliche Personen ihren Betrieb effektiv überwachen können, u. a. durch Verständnis von Fähigkeiten und Grenzen, Bewusstsein für automation bias, korrekte Interpretation von Outputs sowie die Fähigkeit, zu entscheiden, wann und wie einzugreifen oder zu überschreiben ist. Die 2019 veröffentlichten Ethik-Leitlinien für eine vertrauenswürdige KI der hochrangigen Expertengruppe für KI unterscheiden drei Aufsichtsformen; der EU AI Act verwendet diese Bezeichnungen nicht. Human-in-the-loop (HITL) verlangt menschliche Freigabe für jede Entscheidung, bevor sie wirksam wird. Human-on-the-loop (HOTL) erlaubt Betrieb mit Echtzeit-Monitoring und Interventionsmöglichkeit. Human-in-command (HIC) gibt Menschen Autorität, Policies zu setzen, Stichproben zu prüfen und Ausnahmen zu behandeln, ohne jede einzelne Entscheidung zu prüfen. Hochrisiko-Systeme müssen Aufsicht proportional zu Risiko und Kontext umsetzen. Nach Artikel 26 Absatz 2 übertragen Betreiber die menschliche Aufsicht natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen und die nötige Unterstützung erhalten. Aufsicht ist damit nicht nur Feature, sondern organisationales Commitment.
Konforme Aufsicht erfordert technische Infrastruktur und operative Prozesse. Technisch braucht es Mechanismen, die KI-Entscheidungen zur Review surfacen, Aktionen in Genehmigungsqueues stellen, Intervention und Override ermöglichen und Aufsichtsaktivitäten dokumentieren. Operativ braucht es definierte Rollen, Eskalationsprozesse, Training und ausreichende Kapazität, damit Aufsicht nicht zum Bottleneck wird.
Die Dokumentationsanforderungen sind erheblich. Für jede Aufsichtsaktion sollten Organisationen erfassen, wer geprüft hat, welche Informationen vorlagen, welche Aktion durchgeführt wurde und warum. Diese Evidenz zeigt, dass Aufsicht nicht nur theoretisch war, sondern tatsächlich ausgeübt wurde. Gleichzeitig gilt es, Gründlichkeit und Effizienz auszubalancieren: Nicht jede Low-Risk-Entscheidung muss einzeln geprüft werden, aber Entscheidungen mit Grundrechtsrelevanz verlangen sorgfältiges menschliches Urteil. Der Schlüssel liegt in Approval-Workflows und Eskalationskriterien, die Aufsichtsintensität an Entscheidungsrisiko koppeln.
Verwandte Begriffe
KI-Governance
Der Rahmen aus Richtlinien, Prozessen und Kontrollen, der sicherstellt, dass KI-Systeme sicher, ethisch und regelkonform entwickelt, bereitgestellt und betrieben werden.
Hochrisiko-KI-System
Ein KI-System, das aufgrund potenzieller Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte im EU AI Act strengen Anforderungen unterliegt.
Audit-Trail
Ein chronologischer Nachweis von Aktivitäten, Entscheidungen und menschlichen Interaktionen eines KI-Systems, der Traceability und Rechenschaft ermöglicht.
Agenten-Kill-Switch
Ein Agenten-Kill-Switch ist eine Kontrolle, die mit einem einzigen Befehl die laufenden Ausführungen eines KI-Agenten stoppt, seine nächsten Aktionen ablehnt und seine Zugriffe widerruft.
KI-Kompetenz
KI-Kompetenz sind die Fähigkeiten, Kenntnisse und das Verständnis, die Menschen brauchen, um KI-Systeme sachkundig einzusetzen und sich ihrer Chancen, Risiken und möglichen Schäden bewusst zu werden.
