Was Art. 14 konkret verlangt
Art. 14 AI Act verpflichtet nicht nur Anbieter, sondern faktisch auch Betreiber von Hochrisiko-KI-Systemen: Das System muss so konzipiert sein, dass natürliche Personen es „während der Dauer ihrer Verwendung“ wirksam beaufsichtigen können (Abs. 1). Ziel ist laut Abs. 2 die Verhinderung oder Minimierung von Risiken für Gesundheit, Sicherheit oder Grundrechte – auch bei vernünftigerweise vorhersehbarer Fehlanwendung, nicht nur beim bestimmungsgemäßen Gebrauch.
Abs. 3 unterscheidet zwei Wege, wie diese Aufsicht gewährleistet wird: Vorkehrungen, die der Anbieter bereits in das System einbaut (Buchst. a), und Vorkehrungen, die der Anbieter vorsieht, aber der Betreiber operativ umsetzt (Buchst. b). Für Betreiber heißt das: Sie können sich nicht darauf verlassen, dass „menschliche Aufsicht“ allein Sache des Herstellers ist. Wer ein Hochrisiko-System einsetzt, muss die vom Anbieter vorgesehenen Aufsichtsmechanismen tatsächlich mit geeigneten Personen, Prozessen und Befugnissen unterlegen.
Die fünf Fähigkeiten, die Aufsichtspersonen brauchen
Abs. 4 konkretisiert, was „wirksame Aufsicht“ personenbezogen bedeutet. Die Personen, denen die Aufsicht übertragen wird, müssen angemessen und verhältnismäßig in der Lage sein,
- die Fähigkeiten und Grenzen des Systems zu verstehen und den Betrieb zu überwachen, einschließlich Erkennen von Anomalien und Fehlfunktionen (Buchst. a),
- sich der Gefahr des Automatisierungsbias bewusst zu bleiben, also der Neigung, KI-Ausgaben unreflektiert zu übernehmen (Buchst. b),
- die Ausgabe korrekt zu interpretieren, etwa unter Nutzung vorhandener Interpretationswerkzeuge (Buchst. c),
- in einer konkreten Situation zu entscheiden, das System nicht zu nutzen oder seine Ausgabe zu verwerfen, außer Kraft zu setzen oder rückgängig zu machen (Buchst. d),
- in den Betrieb einzugreifen oder ihn per „Stopptaste“ oder vergleichbarem Verfahren sicher zu unterbrechen (Buchst. e).
Praktisch bedeutet das: Es reicht nicht, irgendjemandem eine Freigabe-Schaltfläche zu geben. Sie brauchen definierte Rollen mit tatsächlicher fachlicher Kompetenz, dokumentierte Schulung zu Systemgrenzen und Automatisierungsbias, und einen technisch wie organisatorisch funktionierenden Weg, eine Entscheidung zu stoppen oder zurückzunehmen. Eine typische Lücke: Die Stopp-Funktion existiert technisch, aber niemand ist befugt oder geschult, sie im Ernstfall auch zu nutzen – oder die Person hat gar keine Zeit, eine KI-Ausgabe vor Wirksamwerden zu prüfen.
Sonderfall: Biometrische Identifizierung
Für Hochrisiko-KI-Systeme nach Anhang III Nummer 1 Buchstabe a – also biometrische Identifizierungssysteme – verschärft Abs. 5 die Anforderung deutlich: Der Betreiber darf keine Maßnahme oder Entscheidung allein aufgrund des vom System hervorgebrachten Identifizierungsergebnisses treffen. Erforderlich ist eine getrennte Überprüfung und Bestätigung durch mindestens zwei natürliche Personen mit der notwendigen Kompetenz, Ausbildung und Befugnis.
Eine Ausnahme gilt für Systeme im Bereich Strafverfolgung, Migration, Grenzkontrolle oder Asyl, wenn die Zwei-Personen-Prüfung nach Unions- oder nationalem Recht unverhältnismäßig wäre. Für alle anderen Anwendungsfälle ist das Vier-Augen-Prinzip hier keine Empfehlung, sondern Pflicht – mit entsprechenden Konsequenzen für Personalplanung und Prozessdesign.
Typische Lücken in der Praxis
In der Umsetzung zeigen sich wiederkehrende Muster: Aufsichtspersonen werden benannt, aber nicht im Umgang mit den konkreten Systemgrenzen geschult (Verstoß gegen Abs. 4 Buchst. a). Prozesse sind so getaktet, dass für eine echte inhaltliche Prüfung der KI-Ausgabe faktisch keine Zeit bleibt – die Aufsicht wird zur reinen Formalie, was dem Zweck aus Abs. 2 widerspricht. Stopp-Mechanismen sind vorhanden, aber nicht in Notfallprozesse oder Eskalationswege eingebunden. Und bei biometrischen Systemen wird die getrennte Zwei-Personen-Prüfung aus Abs. 5 organisatorisch nicht abgebildet, weil sie im Tagesbetrieb als lästig empfunden wird.
Wer diese Pflichten ernst nimmt, sollte für jedes betroffene Hochrisiko-System dokumentieren: Wer übt die Aufsicht aus, mit welcher Qualifikation, mit welchen Eingriffsrechten, und wie wird das Verständnis von Systemgrenzen und Automatisierungsbias regelmäßig aktualisiert. Das ist keine einmalige Übung, sondern muss mit jeder relevanten Systemänderung neu geprüft werden.
Ob und in welchem Umfang Ihr Unternehmen Hochrisiko-KI-Systeme betreibt und welche Pflichten aus Art. 14 konkret greifen, lässt sich mit unserem kostenlosen Risiko-Check unter /einstufung in wenigen Minuten klären.