Gesetz über künstliche Intelligenz: Rat und Parlament einigen sich über weltweit erste Regelung von KI

Nach dreitägigen Marathonverhandlungen haben der Ratsvorsitz und die Verhandlungsführer des Europäischen Parlaments eine vorläufige Einigung über die vorgeschlagenen harmonisierten Vorschriften für künstliche Intelligenz – das sogenannte KI-Gesetz – erzielt. Mit dem Verordnungsentwurf soll gewährleistet werden, dass KI-Systeme, die auf dem EU-Markt in Verkehr gebracht und in der Union verwendet werden, sicher sind und die Grundrechte und die Werte der EU wahren. Ziel dieses wegweisenden Vorschlags ist es auch, Investitionen und Innovationen im KI-Bereich in Europa anzuregen.

Dies ist eine historische Errungenschaft und ein großer Schritt in die Zukunft! Mit der heutigen Einigung gehen wir eine globale Herausforderung in einem technologischen Umfeld an, das im raschen Wandel begriffen ist, und das ein Schlüsselbereich für die Zukunft unserer Gesellschaften und Volkswirtschaften ist. Dabei ist es uns gelungen, ein äußerst empfindliches Gleichgewicht zu wahren, nämlich einerseits Innovationen und die Nutzung von künstlicher Intelligenz in Europa zu fördern und andererseits dafür zu sorgen, dass die Grundrechte unserer Bürgerinnen und Bürger uneingeschränkt geachtet werden. Carme Artigas, spanische Staatssekretärin für Digitalisierung und künstliche Intelligenz

Das KI-Gesetz ist eine legislative Leitinitiative und hat das Potenzial, die Entwicklung und Verbreitung sicherer und vertrauenswürdiger KI durch private und öffentliche Akteure im gesamten EU-Binnenmarkt zu fördern. Im Wesentlichen geht es darum, KI zu regulieren, da sie gesellschaftlichen Schaden anrichten könnte; dabei gilt es, einen „risikobasierten“ Ansatz zu verfolgen: Je höher das Risiko, desto strenger die Vorschriften. Als weltweit erster Legislativvorschlag dieser Art könnte er – wie schon die DSGVO – zu einem globalen Standard für die Regulierung von KI in anderen Rechtsräumen werden und so dem europäischen Ansatz bei der Regulierung von Technologien auf globaler Ebene größere Geltung verschaffen.

Wichtigste Bestandteile der vorläufigen Einigung

Im Vergleich zum ursprünglichen Kommissionsvorschlag lassen sich die wichtigsten neuen Elemente der vorläufigen Einigung wie folgt zusammenfassen:

• Vorschriften für KI-Systeme mit allgemeinem Verwendungszweck und beträchtlichen Auswirkungen, die zukünftig systemische Risiken verursachen können, sowie für Hochrisiko-KI-Systeme
• ein überarbeitetes Governance-System mit bestimmten Durchsetzungsbefugnissen auf EU-Ebene
• eine Erweiterung der Liste der Verbote, jedoch mit der Möglichkeit, den Strafverfolgungsbehörden vorbehaltlich bestimmter Schutzvorkehrungen zu erlauben, im öffentlichen Raum biometrische Fernidentifizierung einzusetzen
• besser geschützte Rechte, indem die Betreiber von Hochrisiko-KI-Systemen verpflichtet werden, vor der Inbetriebnahme eines KI-Systems eine Folgenabschätzung in Bezug auf die Grundrechte durchzuführen.

Konkret geht es in der vorläufigen Einigung um folgende Aspekte:

Begriffsbestimmungen und Anwendungsbereich

Um sicherzustellen, dass die Definition eines KI-Systems ausreichend klare Kriterien zur Unterscheidung zwischen KI und einfacheren Softwaresystemen enthält, wird sie im ausgehandelten Kompromiss an den von der OECD vorgeschlagenen Ansatz angepasst.

Außerdem wird klargestellt, dass die Verordnung nur für Bereiche gilt, die in den Anwendungsbereich des EU-Rechts fallen, und keinesfalls die Zuständigkeiten der Mitgliedstaaten oder anderer, mit entsprechenden Aufgaben betrauter Stellen in Bezug auf die nationale Sicherheit berühren sollte. Darüber hinaus wird das KI-Gesetz nicht für Systeme gelten, die ausschließlich militärischen oder verteidigungspolitischen Zwecken dienen. Ausgenommen sind auch KI-Systeme, die ausschließlich für Forschung und Innovation verwendet werden, sowie Personen, die KI aus nichtgewerblichen Gründen nutzen.

Klassifizierung von KI-Systemen als Hochrisiko-Systeme und verbotene KI-Praktiken

Der ausgehandelte Kompromiss enthält eine horizontale Schutzebene (zu der auch die Hochrisiko-Klassifizierung gehört), um sicherzustellen, dass KI-Systeme, die wahrscheinlich keine schwerwiegenden Grundrechtsverletzungen oder andere bedeutende Risiken verursachen, nicht erfasst werden. Für KI-Systeme mit begrenztem Risiko würden nur sehr geringe Transparenzpflichten gelten, z. B. die Offenlegung, dass die Inhalte KI-generiert sind, sodass Nutzerinnen und Nutzer fundierte Entscheidungen über deren Weiterverwendung treffen können.

Eine ganze Reihe von Hochrisiko-KI-Systemen würden zugelassen, müssten aber bestimmte Anforderungen und Verpflichtungen erfüllen, um Zugang zum EU-Markt zu erhalten. Die Anforderungen wurden dahingehend präzisiert und angepasst, dass sie technisch machbarer sind und für die, die sie einhalten müssen, eine geringere Belastung darstellen, wenn es zum Beispiel um die Datenqualität oder die technische Dokumentation geht, die von KMU erstellt werden sollte, um nachzuweisen, dass ihre Hochrisiko-KI-Systeme den Anforderungen entsprechen.

Da KI-Systeme über komplexe Wertschöpfungsketten entwickelt und verbreitet werden, enthält der ausgehandelte Kompromiss Änderungen, mit denen die Zuweisung der Zuständigkeiten und Aufgaben der verschiedenen Akteure in diesen Ketten, insbesondere der Anbieter und Nutzer von KI-Systemen, klargestellt werden. Präzisiert wird auch die Beziehung zwischen den Verantwortlichkeiten im Rahmen des KI-Gesetzes und jenen, die bereits im Rahmen anderer Rechtsvorschriften bestehen, wie etwa der einschlägigen Datenschutz- oder sektoralen Rechtsvorschriften der EU.

KI-Anwendungen, deren Risiko als unannehmbar gilt, werden in der EU verboten. Unter dieses Verbot sollen laut vorläufiger Einigung unter anderem folgende Anwendungen fallen: kognitive Verhaltensmanipulation, das ungezielte Auslesen („Scraping“) von Gesichtsbildern aus dem Internet oder aus CCTV-Aufzeichnungen, Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen, Sozialkreditsysteme, biometrische Kategorisierung, die auf sensible Daten wie die sexuelle Orientierung oder religiöse Überzeugungen schließen lässt, sowie bestimmte Fälle vorausschauender Polizeiarbeit („Predictive Policing“) in Bezug auf einzelne Personen.

Ausnahmen für die Strafverfolgung

Angesichts der besonderen Situation von Strafverfolgungsbehörden und der Notwendigkeit, dass sie weiterhin in der Lage sein müssen, KI für ihre unverzichtbare Arbeit zu nutzen, wurden mehrere Änderungen des Kommissionsvorschlags in Bezug auf den Einsatz von KI-Systemen für Strafverfolgungszwecke vereinbart. Vorbehaltlich angemessener Schutzvorkehrungen soll dem Umstand Rechnung getragen werden, dass die Vertraulichkeit sensibler operativer Daten im Zusammenhang mit den Tätigkeiten der Strafverfolgungsbehörden gewahrt werden muss. So wurde beispielsweise ein Notfallverfahren eingeführt, das es Strafverfolgungsbehörden erlaubt, in dringenden Fällen auch Hochrisiko-KI-Instrumente einzusetzen, die das Konformitätsbewertungsverfahren nicht bestanden haben. Zugleich wurde jedoch ein spezifischer Mechanismus eingeführt, um sicherzustellen, dass die Grundrechte ausreichend vor potenziellem Missbrauch durch KI-Systeme geschützt werden.

In Bezug auf die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme im öffentlichen Raum werden zudem die Ziele präzisiert, für die eine solche Verwendung zu Strafverfolgungszwecken unbedingt notwendig ist, und zu denen den Strafverfolgungsbehörden die Verwendung solcher Systeme daher ausnahmsweise gestattet werden sollte. In der Kompromissvereinbarung sind jedoch zusätzliche Schutzvorkehrungen vorgesehen; zudem bleiben die genannten Ausnahmen auf Fälle und Situationen beschränkt, in denen es um Opfer bestimmter Straftaten, um die Verhütung echter, gegenwärtiger bzw. vorhersehbarer Bedrohungen wie Terroranschläge oder um die Suche nach Personen geht, die schwerster Straftaten verdächtigt werden.

KI-Systeme mit allgemeinem Verwendungszweck und Basismodelle

Neue Bestimmungen wurden hinzugefügt, um Situationen Rechnung zu tragen, in denen KI-Systeme für viele verschiedene Zwecke genutzt werden können (KI mit allgemeinem Verwendungszweck) und die Technologie anschließend in ein anderes System integriert wird, das als hochriskant gilt. In der vorläufigen Einigung wird auch auf den Sonderfall der KI-Systeme mit allgemeinem Verwendungszweck („general purpose artificial intelligence systems“, GPAI) eingegangen.

Spezielle Vorschriften sollen auch für Basismodelle gelten – große Systeme, die ein breites Spektrum verschiedener Aufgaben erfüllen und z. B. Videos, Texte und Bilder erzeugen, Gespräche führen, Daten verarbeiten und Computercodes erstellen können. So ist vorgesehen, dass sie bestimmte Transparenzpflichten erfüllen müssen, bevor sie in Verkehr gebracht werden dürfen. Für Basismodelle mit erheblichen Auswirkungen wurde eine strengere Regelung eingeführt. Dabei geht es um Basismodelle, die mit großen Datenmengen trainiert werden und durch ihre fortgeschrittene Komplexität, Fähigkeiten und Leistung weit über dem Durchschnitt liegen. Dies birgt die Gefahr, dass systemische Risiken entlang der Wertschöpfungskette weiterverbreitet werden.

Eine neue Governance-Architektur

Nach den neuen Vorschriften für GPAI-Modelle und angesichts der offenkundigen Notwendigkeit ihrer Durchsetzung auf EU-Ebene wird bei der Kommission ein Amt für künstliche Intelligenz („KI-Amt“) eingerichtet. Seine Aufgabe wird es sein, die am weitesten fortgeschrittenen KI-Modelle zu überwachen; daneben soll es Normen und Testverfahren fördern und die gemeinsamen Vorschriften in allen Mitgliedstaaten durchsetzen. Ein wissenschaftliches Gremium unabhängiger Sachverständiger wird das KI-Amt zu GPAI-Modellen beraten. So soll es dazu beitragen, Methoden zur Bewertung der Fähigkeiten von Basismodellen zu entwickeln, sich zur Benennung und Entstehung von Basismodellen mit erheblichen Auswirkungen äußern und mögliche materielle Sicherheitsrisiken im Zusammenhang mit Basismodellen überwachen.

Der aus Vertretern der Mitgliedstaaten zusammengesetzte Ausschuss für künstliche Intelligenz (KI-Ausschuss), soll wie vorgeschlagen als Koordinierungsplattform und beratendes Gremium für die Kommission fungieren. Die Mitgliedstaaten würden somit eine wichtige Rolle bei der Umsetzung der Verordnung spielen, etwa bei der Ausarbeitung von Verhaltenskodizes für Basismodelle. Schließlich wird ein Beratungsforum für Interessenträger wie Vertreter der Industrie, KMU, Start-ups, Zivilgesellschaft und Hochschulen/Wissenschaft eingerichtet, das dem KI-Ausschuss technisches Fachwissen zur Verfügung stellt.

Sanktionen

Die Geldbußen für Verstöße gegen das KI-Gesetz wurden als Prozentsatz des weltweiten Jahresumsatzes des zuwiderhandelnden Unternehmens im vorangegangenen Geschäftsjahr bzw. als im Voraus festgelegter Betrag festgelegt, je nachdem, welcher Betrag höher ist. Das wären 35 Mio. € bzw. 7 % für Verstöße im Zusammenhang mit verbotenen KI-Anwendungen, 15 Mio. € bzw. 3 % für Verstöße gegen die im KI-Gesetz vorgeschriebenen Verpflichtungen und 7,5 Mio. € bzw. 1,5 % für die Bereitstellung von Fehlinformationen. Für KMU und Start-ups sind jedoch verhältnismäßigere Obergrenzen vorgesehen.

Im ausgehandelten Kompromiss wird auch klargestellt, dass eine natürliche oder juristische Person bei der zuständigen Marktüberwachungsbehörde eine Beschwerde wegen Nichteinhaltung des KI-Gesetzes einreichen und erwarten kann, dass eine solche Beschwerde gemäß den dafür eingerichteten Verfahren dieser Behörde bearbeitet wird.

Transparenz und Schutz der Grundrechte

In der vorläufigen Einigung ist eine Folgenabschätzung in Bezug auf die Grundrechte vorgesehen, die durchgeführt werden muss, bevor ein Hochrisiko-KI-System in Verkehr gebracht wird. Zudem wird mehr Transparenz bei der Verwendung von Hochrisiko-KI-Systemen gefordert. Insbesondere wurden einige Bestimmungen des Kommissionsvorschlags geändert, um darauf hinzuweisen, dass bestimmte Nutzer von Hochrisiko-KI-Systemen, die öffentliche Einrichtungen sind, ebenfalls verpflichtet sein werden, sich in der EU-Datenbank für Hochrisiko-KI-Systeme zu registrieren. Darüber hinaus wurden Bestimmungen hinzugefügt, bei denen der Schwerpunkt auf der Pflicht für Nutzer eines Emotionserkennungssystems liegt, die von dem System betroffenen natürlichen Personen entsprechend zu informieren.

Maßnahmen zur Innovationsförderung

Mit dem Ziel, einen innovationsfreundlicheren Rechtsrahmen zu schaffen, und um faktengestütztes regulatorisches Lernen zu fördern, wurden die Bestimmungen in Bezug auf Maßnahmen zur Innovationsförderung im Vergleich zum Kommissionsvorschlag maßgeblich geändert.

Insbesondere wurde klargestellt, dass die regulatorischen KI-Reallabore, die eine kontrollierte Umgebung für die Entwicklung, Testung und Validierung innovativer KI-Systeme schaffen sollen, auch das Testen innovativer KI-Systeme unter realen Bedingungen ermöglichen sollten. Ferner wurden neue Bestimmungen aufgenommen, wonach KI-Systeme unter realen Bedingungengetestet werden können, wenn bestimmte Bedingungen und Schutzvorkehrungen erfüllt werden. Um den Verwaltungsaufwand für kleinere Unternehmen zu mindern, sind Maßnahmen zu ihrer Unterstützung aufgelistet und einige begrenzte, klar festgelegte Ausnahmeregelungen vorgesehen.

Inkrafttreten

Laut vorläufiger Einigung soll das KI-Gesetz – mit Ausnahme einiger spezifischer Bestimmungen – zwei Jahre nach seinem Inkrafttreten zur Anwendung kommen.

Nächste Schritte

Nach der heute erzielten vorläufigen Einigung werden die Arbeiten in den kommenden Wochen auf fachlicher Ebene fortgesetzt, um die Einzelheiten der neuen Verordnung fertigzustellen. Anschließend wird der Vorsitz den Vertretern der Mitgliedstaaten (AStV) den Kompromisstext zur Billigung vorlegen.

Der vollständige Text muss dann noch vom Rat und vom Parlament bestätigt und von den Rechts- und Sprachsachverständigen überarbeitet werden, bevor er von den beiden gesetzgebenden Organen förmlich angenommen wird.

Diese Pressemitteilung wurde am 2. Februar 2024 aktualisiert, um den endgültigen Kompromisstext im Hinblick auf eine Einigung hinzuzufügen.