Was Art. 17 verlangt
Wer als Anbieter ein Hochrisiko-KI-System in Verkehr bringt, kommt an Art. 17 EU AI Act nicht vorbei: Er schreibt die Einrichtung eines Qualitätsmanagementsystems (QMS) vor, das die Einhaltung der Verordnung gewährleistet. Entscheidend ist die Formulierung „systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert“ – ein informelles, nur in Köpfen existierendes Vorgehen reicht nicht aus. Das QMS ist kein einmaliges Dokument, sondern ein laufender organisatorischer Rahmen, der über den gesamten Lebenszyklus des Systems greift.
Die dreizehn Pflichtbausteine im Überblick
Art. 17 Abs. 1 zählt abschließend die Mindestaspekte auf, die das QMS abdecken muss. Dazu gehören unter anderem:
- ein Konzept zur Einhaltung der Regulierungsvorschriften einschließlich Änderungsmanagement (lit. a),
- Verfahren für Entwurf, Entwicklung, Qualitätskontrolle und Qualitätssicherung (lit. b, c),
- Untersuchungs-, Test- und Validierungsverfahren vor, während und nach der Entwicklung inklusive Prüffrequenz (lit. d),
- der Umgang mit technischen Spezifikationen und harmonisierten Normen, insbesondere wenn diese nicht vollständig einschlägig sind (lit. e),
- Systeme für das Datenmanagement über den gesamten Datenlebenszyklus (lit. f),
- die Einbindung des Risikomanagementsystems nach Art. 9 (lit. g),
- ein System zur Beobachtung nach dem Inverkehrbringen gemäß Art. 72 (lit. h),
- Meldeverfahren für schwerwiegende Vorfälle gemäß Art. 73 (lit. i),
- die Kommunikation mit Behörden, notifizierten Stellen, Kunden und sonstigen interessierten Kreisen (lit. j),
- Aufzeichnungssysteme für Dokumentation und Informationen (lit. k),
- Ressourcenmanagement einschließlich Versorgungssicherheit (lit. l),
- und schließlich ein Rechenschaftsrahmen, der Verantwortlichkeiten von Leitung und Personal für all diese Aspekte festlegt (lit. m).
Damit ist das QMS kein isoliertes Dokument, sondern die organisatorische Klammer, die Risikomanagement, Dokumentation, Marktbeobachtung und Vorfallmeldung zusammenhält.
Verhältnismäßigkeit statt Einheitsschablone
Art. 17 Abs. 2 stellt klar, dass die Umsetzung „in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters“ erfolgen muss. Ein Start-up mit fünf Beschäftigten braucht keine QMS-Struktur wie ein Konzern – die Verordnung verlangt aber in jedem Fall denselben Grad an Strenge und Schutzniveau. Wer bereits ein Qualitätsmanagementsystem nach sektorspezifischem Unionsrecht betreibt, kann die Aspekte aus Abs. 1 dort integrieren (Abs. 3). Finanzinstitute, die Anforderungen an interne Unternehmensführung nach Finanzdienstleistungsrecht unterliegen, gelten hinsichtlich der QMS-Pflicht – mit Ausnahme von Risikomanagementsystem (lit. g), Marktbeobachtung (lit. h) und Vorfallmeldung (lit. i) – als konform, sofern sie diese Governance-Vorschriften einhalten (Abs. 4). Diese drei Ausnahmen bleiben also auch für Finanzinstitute eigenständig zu erfüllen.
Typische Lücken in der Praxis
Drei Muster tauchen bei der Umsetzung regelmäßig auf:
Erstens wird das QMS auf technische Dokumentation reduziert, ohne die organisatorischen Elemente wie Rechenschaftsrahmen (lit. m) oder Kommunikationsverfahren mit Behörden (lit. j) abzubilden. Ein reines Test-Protokoll ersetzt kein QMS.
Zweitens fehlt die Verknüpfung zum Risikomanagementsystem nach Art. 9 und zur Marktbeobachtung nach Art. 72. Beide sind laut Art. 17 Abs. 1 lit. g und h integrale Bestandteile des QMS, werden aber häufig als separate, unverbundene Prozesse geführt – mit der Folge, dass Erkenntnisse aus dem Betrieb nicht systematisch ins Änderungsmanagement zurückfließen.
Drittens wird die Meldepflicht für schwerwiegende Vorfälle (Art. 73) nicht als Verfahren im QMS verankert, sondern ad hoc gehandhabt. Ohne dokumentierten Prozess – wer meldet was, an wen, in welcher Frist – entstehen im Ernstfall Verzögerungen, die sich rechtlich nicht mehr aufholen lassen.
Gerade bei kleineren Anbietern zeigt sich außerdem oft, dass die Verhältnismäßigkeitsklausel aus Abs. 2 missverstanden wird: Sie erlaubt schlankere Prozesse, nicht aber das Weglassen einzelner Aspekte aus Abs. 1.
Fazit
Ein QMS nach Art. 17 ist mehr als Papierkram – es ist die Struktur, die Risikomanagement, Datenqualität, Marktbeobachtung und Vorfallmeldung zu einem überprüfbaren Ganzen verbindet. Wer noch nicht weiß, ob sein System überhaupt als Hochrisiko-KI einzustufen ist und welche Pflichten daraus konkret folgen, findet auf /einstufung einen kostenlosen Risiko-Check als ersten Schritt.