EU AI Act – Wer füllt ihn mit Leben?

Der Entwurf des EU AI Act (deutsch: KI-Verordnung) wird derzeit zwischen dem EU-Parlament, dem Rat und der Kommission im Trilog verhandelt. Sie führt das bekannte CE-Zeichen auch für KI ein. Betreiber*innen von KI-Anwendungen müssen demnach bald bestimmte Vorgaben einhalten. Unter anderem muss es ein Risikomanagementsystem für den gesamten Lebenszyklus der KI-Anwendung geben und Transparenz gegenüber den Nutzer*innen gewährleistet werden. Auch die Test- und Trainingsdaten müssen bestimmte Qualitätsanforderungen erfüllen und Dokumentationen sowie Aufzeichnungen sichergestellt sein. Bei Verstößen drohen hohe Geldstrafen. Aber wer entscheidet eigentlich, wie und wann diese Anforderungen erfüllt sind? Und was hat das mit Wirecard zu tun?

Wie entstehen die Standards des EU AI Acts?

Die Verordnung gilt in weiten Teilen nur für Hochrisiko-Systeme. Dies sind vor allem solche Anwendungen, die ein hohes Risiko für die Gesundheit oder Grundrechte bergen. Das sind unter anderem Programme zur Bewertung von Arbeitskräften oder der Strafverfolgung. Wenn beispielsweise ein Arbeitgeber seine Bewerbungen automatisch auf Eignung bewerten lässt, dann ist das nach dem Verständnis der EU hochriskant. Hier ist es vor allem das Risiko, dass die Systeme bestimmte Gruppen benachteiligen könnten und ihnen die Chance auf einen Arbeitsplatz so praktisch zunichtemachen könnten.

Die Anbieter von Hochrisiko-Systemen müssen sicherstellen, dass ihre Anwendungen den Anforderungen der KI-Verordnung genügen (Konformitätsbewertung, Art. 19 Entwurf des AI Acts). Tun sie das nicht, können die Systeme nicht verwendet werden. Verwenden sie die Systeme trotzdem, drohen hohe Bußgelder bis zu 6 % des weltweiten Jahresumsatzes. Wie genau diese Anforderungen aussehen, das entscheidet die Europäische Kommission. Über Durchführungsrechtsakte spezifiziert sie die in Kapitel 2 genannten Anforderungen an die Hochrisiko-Systeme. Durchführungsrechtsakte (im Deutschen wären es Verordnungen) sind Vorgaben, welche die Kommission machen kann, ohne das Parlament mit einzubeziehen. Dafür braucht es eine parlamentarisch legitimierte Grundlage, in diesem Fall den AI Act.

Die Konformitätsbewertungen können auf zwei Arten erfolgen (Art. 43): Eine rein interne Feststellung (Anhang VI) oder die Einbindung einer Konformitätsbewertungsstelle (Anhang VII). 

Interne Festellung durch Technische Standards

Bei den internen Konformitätsbewertungen können harmonisierte technische Standards herangezogen werden. Solche technischen Standards geben konkrete Methoden und Verfahren vor, wie bestimmte Anwendungen zu prüfen sind. In der EU werden die technischen Standards durch die für Normierungen zuständigen CEN und CENELEC entwickelt. Sie sind das Europäische Komitee für Normung, also in etwa das europäische Äquivalent zum DIN, das unter anderem für die Normung von Papiergrößen wie DIN-A4 zuständig und bekannt ist. CEN und CENELEC haben bereits Anfang 2021 ein technisches KI-Komitee gegründet. Hier ist über ANEC auch die Perspektive der Nutzer*innen vertreten. 

Erfolgt eine erfolgreiche Bewertung anhand eines solchen Standards, gilt das System als konform. Diese Standards sind in etwa die Übersetzung der Verordnung in konkrete, praktische Schritte. Die Umsetzung der Verordnung wird wesentlich von ihnen abhängen. Denn der Rückgriff auf bestehende technische Standards wird für viele Unternehmen der einfachste Weg sein. Alternativ müssten sie mit eigenen technischen Mitteln die Konformität des Systems nachweisen. Letzteres wäre nicht nur technisch aufwändiger und somit teurer, sondern auch weniger rechtssicher. Das Unternehmen und seine Systeme können von den Aufsichtsbehörden kontrolliert werden. Stellen diese fest, dass die KI-Anwendungen falsch geprüft wurden und nicht den Anforderungen des AI Act genügen, können empfindliche Geldstrafen verhängt werden.

Externe Feststellung durch Konformitätsbewertungsstellen

KI-Systeme können auch durch sogenannte notifizierte Konformitätsbewertungsstellen (in kurz: notifizierte Stellen) bewertet werden. Das Verfahren dazu ist in Anhang VII geregelt. Die notifizierten Stellen entscheiden aufgrund der technischen Dokumentation, ob das geprüfte System mit den Anforderungen des AI Acts übereinstimmt.

Wer kann solche Konformitätsbewertungen als notifizierte Stelle durchführen?

Die notifizierten Stellen müssen nicht zwingend Behörden sein. Auch Unternehmen können diese Aufgabe wahrnehmen. Doch nur solange sie die Anforderungen aus Art. 33 an die Organisationsstruktur, Unabhängigkeit, Expertise und vieles weitere erfüllen. Dafür müssen sie von einer nationalen  Behörde überprüft und offiziell als notifizierte Konformitätsbewertungsstelle ernannt werden. Die Behörde, die zu einer solchen Notifizierung befugt ist, muss wiederum unabhängig von den von ihr ernannten notifizierten Stellen arbeiten (Art. 30 Abs. 3). 

Welchen Handlungsspielraum haben diese notfizierenden Behörden?

Die nationale Behörde, die für die Ernennung der einzelnen notifizierten Konformitätsbewertungsstellen zuständig ist,  soll im Normalfall auch als nationale Marktaufsichtsbehörden agieren. Dabei hat sie weitreichende Befugnisse. Sie kann alle Trainings- und Testdaten abrufen und auf begründeten Anlass auch Einsicht in den Quellcode eines KI-Systems fordern. Dies gilt ebenfalls für Behörden und Stellen, welche die Einhaltung der Vorschriften mit Blick auf die Grundrechte überprüfen. Eine solche Marktaufsichtsbehörde kann bei Verstößen gegen die Verordnung empfindliche Bußgelder bis zu 6 % des weltweiten Jahresumsatzes eines Unternehmens festlegen.

Wie läuft die Zusammenarbeit zwischen einzelnen Konformitätsbewertungsstellen?

Die notifizierten Konformitätsbewertungsstelle sollen sich untereinander austauschen und koordinieren. Dafür koordiniert die EU Kommission Gruppen, in denen sich die notifizierten Stellen austauschen, welche ähnliche Technologien prüfen (z.B. Textbearbeitung, Bewertungssysteme, Spracherkennung usw.). Insbesondere negative Entscheidungen müssen über die Konformität bestimmter Systeme mit allen notifizierten Stellen in der EU geteilt werden. Dies soll zur Einheitlichkeit der Konformitätsbewertungen innerhalb der EU beitragen. 

Der EU AI Act in nationalen Strukturen

Wie die Umsetzung des EU AI Act auf nationaler Ebene aussehen wird, ist noch nicht genau abzusehen. Auf eine kleine Anfrage der CDU/CSU-Fraktion antwortete die Bundesregierung am 02.09.2022, dass die Umsetzung der Verordnung erst mit Bekanntgabe der finalen Version erfolgen könne. Aus derselben Antwort ergibt sich jedoch an anderer Stelle, dass die Bundesregierung keine erhebliche Beteiligung der Länder oder Kommunen plane. Die CDU/CSU-Fraktion scheint ihrerseits eine besondere Rolle der Bundesnetzagentur zu erwarten. Dies lassen die gestellten Fragen vermuten. 

Die Bundesnetzagentur ist schon heute die Fachbehörde für Digitalthemen. So ist sie etwa zuständig für die Überwachung von Hosting-Diensten, wenn diese gegen terroristische Inhalte vorgehen. Auch wacht sie über die Einhaltung der Netzneutralität, also dem Grundsatz, dass alle digitalen Datenpakete mit der gleichen Priorität und Geschwindigkeit durch das Internet geschleust werden. Außerdem wird sie nach dem derzeitigen Entwurf des Digitale-Dienste-Gesetzes die wichtige Aufgabe des Digital Services Coordinator übernehmen. Dieser Coordinator entscheidet über viele Maßnahmen aus dem Digital Services Act (DSA), wie etwa die Zertifizierung von Streitbeilegungsstellen, die Herausgabe von Plattformdaten an Forscher*innen oder die Empfehlung von Maßnahmen in Krisensituationen wie Covid-19. Die Bundesnetzagentur scheint daher fachlich bereits gut aufgestellt, um diese Aufgabe zu übernehmen.

Fazit 

Die Frage, wer den EU AI Act in Zukunft mit Leben füllen wird, ist in vier Antworten aufzuteilen. Den Grundstein legen zunächst die Gesetzgebungsorgane der Europäischen Union, abschließend das Europäische Parlament. Diese legen fest, welche Systeme überhaupt als Hochrisiko-Systeme einzustufen sind. 

Auf der zweiten Ebene konkretisiert die EU Kommission mittels Durchführungsrechtsakten (s.o.) die Anforderungen an die KI-Systeme. Dies kann den Spielraum der entscheidenden Behörden und notifizierten Stellen mitunter erheblich senken.

Die dritte Ebene bilden die technischen Standards, nach welchen die internen Konformitätsbewertungen durchgeführt werden. Diese “Übersetzungsakte” der rechtlichen Vorschriften in technischen Anweisungen werden von offiziellen Komitees wie CEN und CENELEC erlassen.

Die vierte Ebene gestaltet sich als Wechselspiel zwischen der notifizierenden Behörde und den notifizierten Stellen: Letztere treffen die wichtige Entscheidung, ob ein System den Anforderungen der Verordnung entspricht. Lehnen sie dies ab, kann das System nicht verkauft und verwendet werden. Sie haben damit viel praktische Macht. Gleichzeitig werden diese Stellen von der notifizierenden Behörde ernannt und somit auf ihre Unabhängigkeit und Eignung überprüft. 

Das in der derzeitigen Fassung des EU AI Acts vorgesehene Überwachungs- und Zertifizierungssystem erinnert an das Konzept der Wirtschaftsprüfung. Auch dies sind privatrechtlich organisierte und profitorientierte Unternehmen, welche die Konformität des geprüften Unternehmens mit den gesetzlichen Vorgaben attestieren. Dieser “privaten” Aufsicht wird unter anderem eine Mitschuld an dem Wirecard-Skandal gegeben (Financial Times ft.com). Um die Auswirkungen von Profitinteressen der Prüfungsgesellschaften zu minimieren, wird unter anderem das Trennungsgebot von Beratung und Prüfung gefordert. Außerdem müssen Unternehmen alle 10 Jahre die Wirtschaftsprüfungsgesellschaft wechseln. An solchen Vorschriften fehlt es im EU AI Act. Hier droht eine wirtschaftliche Abhängigkeit oder zumindest Beeinflussung der Entscheidung aus wirtschaftlichen Gründen.

Quellen

Bundestagsdrucksache 20/3284 (bundestag.de)

Bundestagsdrucksache 20/2984 (bundestag.de)

Storbeck, Olaf, EY and Wirecard: anatomy of a flawed audit in Financial Times (ft.com)  (letzter Abruf: 26.09.2023)