EUROPÄISCHE KOMMISSION
Brüssel, den 21.4.2021
COM(2021) 206 final
2021/0106(COD)
Vorschlag für eine
VERORDNUNG DES EUROPÄISCHEN PARLAMENTS UND DES RATES
ZUR FESTLEGUNG HARMONISIERTER VORSCHRIFTEN FÜR KÜNSTLICHE INTELLIGENZ (GESETZ ÜBER KÜNSTLICHE INTELLIGENZ) UND ZUR ÄNDERUNG BESTIMMTER RECHTSAKTE DER UNION
{SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}
BEGRÜNDUNG
1. KONTEXT DES VORSCHLAGS
1.1. Gründe und Ziele des Vorschlags
Diese Begründung ist dem Vorschlag für eine Verordnung beigefügt, mit der harmonisierte Vorschriften für künstliche Intelligenz festgelegt werden (Gesetz über künstliche Intelligenz). Künstliche Intelligenz (KI) bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und einen vielfältigen Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg hervorbringen können. Der Einsatz künstlicher Intelligenz zur Verbesserung von Prognosen, zur Optimierung von Abläufen und der Ressourcenzuweisung sowie zur Personalisierung der Diensteerbringung kann für die Gesellschaft und die Umwelt von Nutzen sein und Unternehmen sowie der europäischen Wirtschaft Wettbewerbsvorteile verschaffen. Bedarf besteht insbesondere in Sektoren, von denen eine große Wirkung ausgeht, wie Klimaschutz, Umwelt und Gesundheit, öffentlicher Sektor, Finanzen, Mobilität, Inneres und Landwirtschaft. Dieselben Faktoren und Techniken, die für den sozioökonomischen Nutzen der KI sorgen, können aber auch neue Risiken oder Nachteile für den Einzelnen oder die Gesellschaft hervorbringen. Vor dem Hintergrund des rasanten technologischen Wandels und möglicher Herausforderungen ist die EU entschlossen, einen ausgewogenen Ansatz zu erreichen. Es liegt im Interesse der Union, die technische Führungsrolle der EU auszubauen und dafür zu sorgen, dass die Europäerinnen und Europäer von den im Einklang mit den Werten, Grundrechten und Prinzipien der Union entwickelten und funktionierenden neuen Technologien profitieren können.
Dieser Vorschlag geht auf das politische Engagement von Präsidentin von der Leyen zurück, die in ihren politischen Leitlinien für die Kommission (2019-2024) – „Eine Union, die mehr erreichen will“ 1 – ankündigte, dass die Kommission einen Legislativvorschlag für ein koordiniertes europäisches Konzept für die menschlichen und ethischen Aspekte der KI vorlegen wird. Im Nachgang zu dieser Ankündigung veröffentlichte die Kommission am 19. Februar 2020 ihr Weißbuch zur KI – Ein europäisches Konzept für Exzellenz und Vertrauen 2 . In dem Weißbuch legt sie die politischen Optionen dar, wie die Nutzung von KI gefördert und gleichzeitig die mit bestimmten Anwendungen dieser Technologie verbundenen Risiken eingedämmt werden können. Dieser Vorschlag zielt darauf ab, einen Rechtsrahmen für eine vertrauenswürdige KI zu schaffen, damit das zweite Ziel für den Aufbau eines Ökosystems für Vertrauen umgesetzt werden kann. Der Vorschlag beruht auf den Werten und Grundrechten der EU und will erreichen, dass Privatpersonen und andere Nutzer KI-gestützten Lösungen vertrauen und gleichzeitig Unternehmen Anreize erhalten, diese zu entwickeln. KI sollte ein Instrument sein, das als positive Kraft für die Gesellschaft im Dienst der Menschen steht und das letztlich zu einem größeren Wohlbefinden der Menschen beiträgt. Vorschriften für KI, die auf dem Unionsmarkt verfügbar ist oder anderweitig Menschen in der Union beeinflusst, sollten daher auf den Menschen ausgerichtet sein, damit Menschen darauf vertrauen können, dass die Technik sicher angewandt wird und den Gesetzen, auch den Grundrechten, genügt. Nach Veröffentlichung des Weißbuchs leitete die Kommission eine breit angelegte Konsultation der Interessenträger ein, die reges Interesse zeigten und sich in großer Zahl beteiligten und die weitestgehend regulatorische Maßnahmen zur Bewältigung der Herausforderungen und Bedenken, die der zunehmende Einsatz von KI mit sich bringt, befürworteten.
Der Vorschlag ist zudem eine Reaktion auf die vom Europäischen Parlament und dem Europäischen Rat ausdrücklich und wiederholt erhobenen Forderungen nach legislativen Maßnahmen zur Gewährleistung eines reibungslos funktionierenden Binnenmarkts für Systeme der künstlichen Intelligenz (KI-Systeme), mit denen sowohl der Nutzen als auch die Risiken der KI auf Unionsebene angemessen geregelt werden. Er unterstützt das vom Europäischen Rat 3 formulierte Ziel der Union, bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament 4 ausdrücklich geforderten Schutz von Ethikgrundsätzen.
2017 forderte der Europäische Rat ein Bewusstsein für die Dringlichkeit der Auseinandersetzung mit neuen Trends , auch für Themen wie künstliche Intelligenz.... , „wobei zugleich ein hohes Niveau in Bezug auf Datenschutz, digitale Rechte und ethische Standards gewahrt werden muss“ 5 . In seinen Schlussfolgerungen von 2019 zu dem koordinierten Plan für künstliche Intelligenz „Made in Europe“ 6 betont der Rat ferner, wie wichtig es ist, die uneingeschränkte Achtung der Rechte der europäischen Bürgerinnen und Bürger zu gewährleisten, und ruft dazu auf, die maßgeblichen geltenden Rechtsvorschriften zu überprüfen, um sicherzustellen, dass sie im Hinblick auf die neuen Chancen und Herausforderungen, die sich durch künstliche Intelligenz ergeben, zweckdienlich sind. Der Europäische Rat forderte zudem eine klare Festlegung von KI-Anwendungen, die als hochriskant eingestuft werden sollten 7 .
In seinen jüngsten Schlussfolgerungen vom 21. Oktober 2020 forderte der Rat zudem, dass Probleme wie Undurchsichtigkeit, Komplexität, der sogenannte Bias , ein gewisses Maß an Unberechenbarkeit und teilweise autonomes Verhalten einiger KI-Systeme angegangen werden müssen, um deren Vereinbarkeit mit den Grundrechten sicherzustellen und die Durchsetzung der Rechtsvorschriften zu erleichtern 8 .
Auch das Europäische Parlament hat sich intensiv mit dem Thema der KI befasst. Im Oktober 2020 nahm es eine Reihe von Entschließungen zur KI an, u. a. zur Ethik 9 , zivilrechtlichen Haftung 10 und zum Urheberrecht 11 . 2021 folgten weitere Entschließungen zur KI im Strafrecht 12 sowie in der Bildung, der Kultur und im audiovisuellen Bereich 13 . In seiner Entschließung zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien empfiehlt das Europäische Parlament der Kommission insbesondere legislative Maßnahmen vorzuschlagen, um so die Chancen und den Nutzen künstlicher Intelligenz auszuschöpfen, aber auch dafür zu sorgen, dass Ethik-Grundsätze geschützt werden. Die Entschließung enthält den Legislativvorschlag für eine Verordnung über Ethik-Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Wortlaut. Dieser Vorschlag berücksichtigt die vorstehende Entschließung des Europäischen Parlaments unter uneingeschränkter Wahrung der Grundsätze der Verhältnismäßigkeit, Subsidiarität und besseren Rechtsetzung und steht damit in Einklang mit den von Präsidentin von der Leyen in ihren politischen Leitlinien gemachten politischen Zusagen hinsichtlich der Behandlung der vom Europäischen Parlament angenommenen Entschließungen nach Artikel 225 AEUV .
Vor diesem politischen Hintergrund legt die Kommission ihren Vorschlag für einen Rechtsrahmen zur Künstlichen Intelligenz vor, mit dem konkret die folgenden Ziele angestrebt werden:
· Es muss gewährleistet sein, dass die auf dem Unionsmarkt in Verkehr gebrachten und verwendeten KI-Systeme sicher sind und die bestehenden Grundrechte und die Werte der Union wahren.
· Zur Förderung von Investitionen in KI und innovativen KI muss Rechtssicherheit gewährleistet sein.
· Governance und die wirksame Durchsetzung des geltenden Rechts zur Wahrung der Grundrechte sowie die Sicherheitsanforderungen an KI-Systeme müssen gestärkt werden.
· Die Entwicklung eines Binnenmarkts für rechtskonforme, sichere und vertrauenswürdige KI-Anwendungen muss erleichtert werden und es gilt, eine Marktfragmentierung zu verhindern.
Mit Blick auf diese Ziele enthält dieser Vorschlag einen ausgewogenen horizontalen Regulierungsansatz für KI, der die Verhältnismäßigkeit wahrt und auf die Mindestanforderungen beschränkt ist, die zur Bewältigung der in Verbindung mit KI auftretenden Risiken und Probleme notwendig ist, ohne die technologische Entwicklung übermäßig einzuschränken oder zu behindern oder anderweitig die Kosten für das Inverkehrbringen von KI-Lösungen unverhältnismäßig in die Höhe zu treiben. Der Vorschlag zielt auf einen robusten und flexiblen Rechtsrahmen ab. Einerseits ist der Vorschlag in seinen grundlegenden Regulierungsentscheidungen umfassend und zukunftsorientiert. Dies gilt auch für die von den KI-Systemen zu erfüllenden und auf Grundsätzen beruhenden Anforderungen. Andererseits wird ein Regulierungssystem geschaffen, das die Verhältnismäßigkeit wahrt und auf genau definierte Risiken ausgerichtet ist. Dieser Regulierungsansatz schafft keine unnötigen Handelsbeschränkungen und der Gesetzgeber schreitet nur in solchen konkreten Situationen ein, in denen ein berechtigter Anlass für Bedenken besteht oder in denen vernünftigerweise davon ausgegangen werden kann, dass solche Bedenken in naher Zukunft auftreten werden. Gleichzeitig enthält der Rechtsrahmen Mechanismen, mit denen er flexibel und dynamisch an die technologische Entwicklung und neue bedenkliche Situationen angepasst werden kann.
Der Vorschlag enthält harmonisierte Vorschriften für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen in der Union, die im Verhältnis zu den Risiken stehen. Die vorgeschlagene Begriffsbestimmung für KI ist zukunftstauglich. Während einige besonders schädliche KI-Praktiken, die gegen die Werte der Union verstoßen, verboten sind, werden für die Zwecke der Strafverfolgung für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme konkrete Beschränkungen und Sicherheitsmaßnahmen vorgeschlagen. Der Vorschlag enthält eine solide Risiko-Methodik zur Einstufung von Hochrisiko-KI-Systemen, d. h. solchen Systemen, die erhebliche Risiken für die Gesundheit und Sicherheit oder die Grundrechte von Personen bergen. Solche KI-Systeme müssen horizontalen Auflagen für vertrauenswürdige KI genügen und Konformitätsbewertungsverfahren unterzogen werden, bevor sie in der Union in Verkehr gebracht werden dürfen. Damit die Sicherheit und die Einhaltung bestehender Rechtsvorschriften zum Schutz der Grundrechte über den gesamten Lebenszyklus von KI-Systemen hinweg gewahrt bleiben, werden Anbietern und Nutzern dieser Systeme berechenbare, verhältnismäßige und klare Pflichten auferlegt. Für einige KI-Systeme werden nur minimale Transparenzpflichten vorgeschlagen, insbesondere für den Einsatz von Chatbots oder Deepfakes .
Die vorgeschlagenen Vorschriften werden von den Mitgliedstaaten mittels einer Leitungsstruktur durchgesetzt, die auf bereits vorhandenen Strukturen aufbaut, sowie mittels eines Kooperationsmechanismus auf Unionsebene, auf der ein Europäischer Ausschuss für künstliche Intelligenz eingesetzt wird. Zusätzliche Maßnahmen werden zur Unterstützung von Innovation, vor allem in Form von KI-Reallaboren, sowie zur Verringerung des Verwaltungsaufwands und zur Förderung von kleinen und mittleren Unternehmen (KMU) und Startups vorgeschlagen.
1.2. Kohärenz mit den bestehenden Vorschriften in diesem Politikbereich
Die horizontale Ausrichtung des Vorschlags erfordert die uneingeschränkte Kohärenz mit dem bestehenden Unionsrecht, das auf Sektoren Anwendung findet, in denen Hoch-Risiko-KI-Systeme bereits jetzt oder wahrscheinlich in naher Zukunft eingesetzt werden.
Auch mit der EU-Grundrechtecharta und dem geltenden Sekundärrecht der Union zum Daten- und Verbraucherschutz, zur Nichtdiskriminierung und zur Gleichstellung der Geschlechter ist die Kohärenz gewährleistet. Die Datenschutz-Grundverordnung (Verordnung (EU) 2016/679 ) und die Strafverfolgungsrichtlinie (Richtlinie (EU) 2016/680 ) bleiben von dem Vorschlag unberührt und werden durch harmonisierte Vorschriften für Entwurf, Entwicklung und Verwendung bestimmter Hochrisiko-KI-Systeme sowie durch Beschränkungen für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme ergänzt. Darüber hinaus ergänzt der Vorschlag geltendes Unionsrecht zur Nichtdiskriminierung, indem konkrete Anforderungen zur Minimierung des Risikos der Diskriminierung durch Algorithmen, vor allem in Bezug auf Entwurf und Qualität von für die Entwicklung von KI-Systemen verwendeten Datensätzen, aufgenommen wurden, und Tests, Risikomanagement, Dokumentation und menschliche Aufsicht über die gesamte Lebensdauer von KI-Systemen hinweg verbindlich vorgeschrieben werden. Der Vorschlag lässt die Anwendung des Wettbewerbsrechts der Union unberührt.
Im Hinblick auf Hochrisiko-KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten handelt, wird dieser Vorschlag zur Wahrung der Kohärenz, zur Vermeidung von Überschneidungen und zur Verringerung des Verwaltungsaufwands in die bereits vorhandenen sektorspezifischen Sicherheitsvorschriften eingebunden. So werden die in diesem Vorschlag enthaltenen Anforderungen an KI-Systeme im Falle von Hochrisiko-KI-Systemen, die mit unter den Neuen Rechtsrahmen (New Legislative Framework, NLF) fallenden Produkten (z. B. Maschinen, medizinische Geräte, Spielzeug) in Verbindung stehen, im Rahmen der bestehenden Konformitätsbewertungsverfahren nach dem einschlägigen NLF-Recht geprüft. Für das Zusammenspiel der Anforderung gilt, dass die von den jeweiligen KI-Systemen abhängigen Sicherheitsrisiken den Anforderungen dieses Vorschlags unterliegen, während mit dem NLF-Recht die Sicherheit des Endprodukts insgesamt gewährleistet werden soll, weshalb diese Vorschriften konkrete Anforderungen an die sichere Integration von KI-Systemen in das Endprodukt enthalten können. Dieser Ansatz lässt sich auch gut daran erkennen, dass der Vorschlag für eine Maschinenverordnung am selben Tag wie dieser Vorschlag angenommen werden soll. Für Hochrisiko-KI-Systeme in Verbindung mit Produkten, die unter die einschlägigen Vorschriften des Alten Konzepts fallen (z. B. Luftfahrt, Fahrzeuge) würde dieser Vorschlag nicht unmittelbar gelten. Allerdings müssen die in diesem Vorschlag festgelegten und vorab zu erfüllenden wesentlichen Anforderungen an Hochrisiko-KI-Systeme bei der Annahme einschlägiger Durchführungsrechtsakte oder delegierter Rechtsakte in diesen Rechtsakten berücksichtigt werden.
Bei KI-Systemen, die von regulierten Kreditinstituten bereitgestellt oder verwendet werden, sollten die für die Aufsicht über die Rechtsvorschriften der Union im Bereich der Finanzdienstleistungen zuständigen Behörden auch als die zuständigen Behörden für die Aufsicht über die Anforderungen dieses Vorschlags benannt werden, um eine kohärente Durchsetzung der sich aus diesem Vorschlag ergebenden Pflichten und der Rechtsvorschriften der Union im Bereich der Finanzdienstleistungen zu gewährleisten, in denen die KI-Systeme zu einem gewissen Grad implizit in Verbindung mit dem internen Unternehmensführungssystem der Kreditinstitute reguliert sind. Im Sinne einer noch größeren Kohärenz werden die in diesem Vorschlag vorgesehenen Konformitätsbewertungen und einige verfahrenstechnische Pflichten der Anbieter in die Verfahren eingebunden, die nach der Richtlinie 2013/36/EU über den Zugang zur Tätigkeit von Kreditinstituten und die Beaufsichtigung von Kreditinstituten und Wertpapierfirmen 14 einzuhalten sind.
Zudem steht der Vorschlag in Einklang mit dem geltenden EU-Dienstleistungsrecht, unter das auch die in der E-Commerce-Richtlinie 2000/31/EG 15 regulierten Vermittlungsdienste und der jüngste Kommissionsvorschlag für das Gesetz über digitale Dienste 16 fallen.
Der Vorschlag gilt nicht für die KI-Systeme, die als Komponenten von IT-Großsystemen in dem von der Agentur der Europäischen Union für das Betriebsmanagement von IT-Großsystemen (eu-LISA) verwalteten Raum der Freiheit, der Sicherheit und des Rechts vor Ablauf eines Jahres ab dem Zeitpunkt der Anwendung dieser Verordnung in Verkehr gebracht oder in Betrieb genommen wurden, sofern der Ersatz oder die Änderung der entsprechenden Rechtsakte die Konzeption oder die Zweckbestimmung der betreffenden KI-Systeme erheblich ändert.
1.3. Kohärenz mit der Politik der Union in anderen Bereichen
Der Vorschlag ist Teil eines umfassenderen Pakets von Maßnahmen, mit denen die im Weißbuch zur KI untersuchten Probleme, die sich bei der Entwicklung und der Verwendung von KI stellen, angegangen werden sollen. Daher werden Kohärenz und Komplementarität mit anderen laufenden oder geplanten Initiativen der Kommission, die sich ebenfalls mit diesen Problemen befassen, gewährleistet. Hierunter fallen die Überarbeitung der sektorspezifischen Produktvorschriften (z. B. die Maschinenrichtlinie, die Richtlinie über die allgemeine Produktsicherheit) sowie Initiativen, die sich mit Haftungsfragen im Zusammenhang mit den neuen Technologien, auch KI-Systemen, befassen. Die Initiativen werden auf diesem Vorschlag aufbauen und ihn ergänzen und so für Rechtsklarheit sorgen und die Entwicklung eines Ökosystems für Vertrauen in die KI in Europa fördern.
Der Vorschlag steht zudem in Einklang mit der von der Kommission insgesamt verfolgten Digitalstrategie, indem er dazu beiträgt, eine Technologie zu fördern, die den Menschen zugutekommt – eines der drei Hauptziele, die in der Mitteilung zur Gestaltung der digitalen Zukunft Europas genannt werden 17 . Es wird ein kohärenter, wirksamer und angemessener Rahmen geschaffen, mit dem sichergestellt wird, dass KI so entwickelt wird, dass die Rechte der Menschen geachtet werden und sie ihr Vertrauen verdient – damit ist Europa für das digitale Zeitalter gewappnet und die nächsten zehn Jahre werden zur digitalen Dekade 18 .
Darüber hinaus ist die Förderung der auf KI beruhenden Innovation eng mit dem Daten-Governance-Gesetz 19 , der Richtlinie über offene Daten 20 und anderen Initiativen im Rahmen der EU-Strategie für Daten 21 verknüpft, mit denen vertrauenswürdige Mechanismen und Dienste für die Weiterverwendung, das Teilen und die Zusammenführung von Daten festgelegt werden, die für die Entwicklung hochwertiger datengesteuerter KI-Modelle entscheidend sind.
Mit dem Vorschlag wird zudem die Position der Union bei der Formulierung weltweiter Normen und Standards sowie der Förderung vertrauenswürdiger KI, die mit den Werten und Interessen der Union in Einklang stehen, erheblich gestärkt. Er bietet der Union eine solide Grundlage für ihre weiteren Gespräche zur Fragen der KI mit ihren externen Partnern, auch Drittländern, und in internationalen Gremien.
2. RECHTSGRUNDLAGE, SUBSIDIARITÄT UND VERHÄLTNISMÄẞIGKEIT
2.1. Rechtsgrundlage
Rechtsgrundlage für den Vorschlag ist zunächst Artikel 114 des Vertrags über die Arbeitsweise der Europäischen Union ( AEUV ), der die Annahme von Maßnahmen für die Errichtung und das Funktionieren des Binnenmarkts vorsieht.
Dieser Vorschlag bildet ein Kernelement der EU-Strategie für den digitalen Binnenmarkt. Hauptziel dieses Vorschlags ist, durch die Festlegung harmonisierter Vorschriften, insbesondere in Bezug auf die Entwicklung, das Inverkehrbringen und den Einsatz von Produkten und Diensten, die KI-Techniken anwenden, oder von eigenständigen KI-Systemen, für ein reibungsloses Funktionieren des Binnenmarkts zu sorgen. Einige Mitgliedstaaten ziehen bereits nationale Vorschriften in Erwägung, damit sichergestellt ist, dass KI sicher ist und unter Einhaltung der Grundrechte entwickelt und verwendet wird. Daraus dürften sich vor allem die beiden folgende Probleme ergeben: i) eine Fragmentierung des Binnenmarkts in wesentlichen Fragen, insbesondere mit Blick auf die Anforderungen an KI-Produkte und -Dienste, deren Vermarktung und Verwendung sowie auf die Haftung und die Aufsicht durch öffentliche Behörden, und ii) die erheblich geringere Rechtssicherheit sowohl für Anbieter als auch Nutzer von KI-Systemen im Hinblick darauf, wie bestehende und neue Vorschriften auf solche Systeme in der Union angewandt werden. Angesichts des großen Umfangs des grenzüberschreitenden Waren- und Dienstleistungsverkehrs lassen sich diese beiden Probleme am besten durch unionsweit harmonisierte Rechtsvorschriften lösen.
So werden in dem Vorschlag die gemeinsamen Anforderungen an Konzeption und Entwicklung bestimmter KI-Systeme festgelegt, die zwingend eingehalten werden müssen, bevor diese Systeme in Verkehr gebracht werden dürfen, und die weiter durch harmonisierte technische Normen konkretisiert werden. Der Vorschlag befasst sich auch mit der Situation nach dem Inverkehrbringen von KI-Systemen, indem eine abgestimmte Vorgehensweise für nachträgliche Kontrollen vorgesehen wird.
Da dieser Vorschlag konkrete Vorschriften zum Schutz von Privatpersonen im Hinblick auf die Verarbeitung personenbezogener Daten enthält, mit denen vor allem die Verwendung von KI-Systemen zur biometrischen Fernidentifizierung in Echtzeit in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung eingeschränkt wird, sollte sich diese Verordnung in Bezug auf diese konkreten Vorschriften auch auf Artikel 16 AEUV stützen.
2.2. Subsidiarität (bei nicht ausschließlicher Zuständigkeit)
Es liegt in der Natur der KI, die häufig auf großen und vielfältigen Datensätzen beruht und die in alle im Binnenmarkt in Verkehr gebrachte Produkte oder Dienste eingebettet sein kann, dass die Ziele dieses Vorschlags von den Mitgliedstaaten nicht allein effizient erreicht werden können. Zudem wird der reibungslose unionsweite Waren- und Dienstleistungsverkehr im Zusammenhang mit KI-Systemen durch das Entstehen eines Flickenteppichs potenziell abweichender nationaler Vorschriften behindert, die zudem die Sicherheit und den Schutz der Grundrechte sowie die Einhaltung der Werte der Union länderübergreifend nur unzureichend gewährleisten können. Einzelstaatliche Konzepte zur Lösung der Probleme werden nur zu mehr Rechtsunsicherheit und zu Hemmnissen sowie zu einer langsameren Markteinführung von KI führen.
Die Ziele dieses Vorschlags können besser auf Unionsebene erreicht werden, denn nur so lässt sich eine weitere Fragmentierung des Binnenmarkts verhindern, die dazu führen würde, dass potenziell widersprüchliche nationale Bestimmungen den freien Waren- und Dienstleistungsverkehr von Produkten, in die KI eingebettet ist, unmöglich machen. Ein solider europäischer Rechtsrahmen für eine vertrauenswürdige KI wird auch für gleiche Wettbewerbsbedingungen sorgen und alle Menschen schützen, gleichzeitig jedoch die Wettbewerbsfähigkeit Europas und die Industriebasis im KI-Bereich stärken. Nur durch gemeinsames Handeln auf Unionsebene kann die Union ihre Souveränität im digitalen Bereich schützen und ihre Instrumente und Regelungsbefugnisse zur Gestaltung globaler Regeln und Standards einsetzen.
2.3. Verhältnismäßigkeit
Der Vorschlag baut auf dem bestehenden Rechtsrahmen auf, ist verhältnismäßig und zur Erreichung seiner Ziele notwendig, da mit ihm ein risikobasierter Ansatz verfolgt wird und regulatorische Belastungen nur dann entstehen, wenn davon auszugehen ist, dass ein KI-System hohe Risiken für die Grundrechte und die Sicherheit darstellt. Für andere, KI-Systeme, die kein hohes Risiko darstellen, werden nur sehr wenige Transparenzpflichten auferlegt, etwa dahingehend, dass bei der Interaktion mit Menschen der Einsatz von KI-Systemen angezeigt werden muss. Im Falle von Hochrisiko-KI-Systemen sind die Anforderungen an hohe Datenqualität, Dokumentation und Rückverfolgbarkeit, Transparenz, menschliche Aufsicht, Präzision und Robustheit unerlässlich, um die Risiken für die Grundrechte und die Sicherheit abzumildern, die mit diesen KI verbunden sind und die nicht durch andere bestehende Rechtsvorschriften abgedeckt werden. Anbieter und Nutzer werden bei der Einhaltung der in dem Vorschlag festgelegten Anforderungen durch harmonisierte Standards, Orientierungshilfen und Instrumente zur Einhaltung der Vorschriften unterstützt, die auch ihre Kosten gering halten. Die den Akteuren entstehenden Kosten stehen im Verhältnis zu den erreichten Zielen, dem wirtschaftlichen Nutzen sowie dem guten Ruf, die die Akteure von der vorgeschlagenen Regelung erwarten können.
2.4. Wahl des Instruments
Die Wahl einer Verordnung als Rechtsinstrument ist durch die Notwendigkeit einer einheitlichen Anwendung der neuen Vorschriften gerechtfertigt, beispielsweise im Hinblick auf die Begriffsbestimmung für KI, das Verbot bestimmter schädlicher Praktiken, die durch KI ermöglicht werden, und die Einstufung bestimmter KI-Systeme. Die unmittelbare Anwendbarkeit einer Verordnung nach Artikel 288 AEUV verringert die Rechtsfragmentierung und erleichtert die Entwicklung eines Binnenmarkts für rechtmäßige, sichere und vertrauenswürdige KI-Systeme. Hierzu wird insbesondere ein Bündel harmonisierter zentraler Anforderungen an als hochriskant eingestufte KI-Systeme eingeführt. Darüber hinaus werden Pflichten für Anbieter und Nutzer dieser Systeme festgelegt, um den Schutz der Grundrechte und die Rechtssicherheit sowohl für Akteure als auch Nutzer zu verbessern.
Darüber hinaus sind die Bestimmungen der Verordnung nicht übermäßig präskriptiv und lassen den Mitgliedstaaten auf verschiedenen Ebenen Raum für Maßnahmen in Bezug auf Elemente, die den Zielen der Initiative nicht zuwiderlaufen, insbesondere im Hinblick auf die interne Organisation des Marktüberwachungssystems und die Einführung innovationsfördernder Maßnahmen.
3. ERGEBNISSE DER EX-POST-BEWERTUNG, DER KONSULTATION DER INTERESSENTRÄGER UND DER FOLGENABSCHÄTZUNG
3.1. Konsultation der Interessenträger
Dieser Vorschlag ist das Ergebnis einer umfangreichen Konsultation aller wichtigen Interessenträger, bei der die allgemeinen Grundsätze und Mindeststandards für die Konsultation von Interessenträgern durch die Kommission angewandt wurden.
Gleichzeitig mit der Veröffentlichung des Weißbuchs zur Künstlichen Intelligenz am 19. Februar 2020 wurde eine öffentliche Online-Konsultation gestartet, die bis zum 14. Juni 2020 lief. Ziel der Konsultation war die Einholung von Ansichten und Stellungnahmen zum Weißbuch. Sie richtete sich an alle Interessenträger des öffentlichen und privaten Sektors, auch an Regierungen, lokale Behörden, gewerbliche und nichtgewerbliche Organisationen, Sozialpartner, Sachverständige und Hochschulen sowie an Bürgerinnen und Bürger. Nach Auswertung der eingegangenen Antworten veröffentlichte die Kommission auf ihrer Website 22 eine Zusammenfassung der Ergebnisse sowie die einzelnen Antworten.
Insgesamt gingen 1215 Beiträge ein, davon 352 von Unternehmen oder Unternehmensorganisationen/-verbänden, 406 von Einzelpersonen (92 % Personen aus der EU), 152 von Hochschul-/Forschungsinstituten und 73 von öffentlichen Stellen. 160 Antworten gingen von Vertretern der Zivilgesellschaft ein (darunter 9 Verbraucherorganisationen, 129 NRO und 22 Gewerkschaften), 72 Antworten von Sonstigen . Unter den 352 Unternehmens- und Industrievertretern waren 222 Vertreter von Unternehmen, bei denen es sich zu 41,5 % um Vertreter von Kleinstunternehmen sowie kleinen und mittleren Unternehmen handelte. Bei den übrigen handelte es sich um Unternehmensverbände. Insgesamt kamen 84 % der Antworten der Unternehmens- und Industrievertreter aus der EU-27. Je nach Frage nutzten 81 bis 598 Teilnehmer die Möglichkeit, Kommentare frei zu formulieren. Über 450 Positionspapiere wurden mittels der EU-Survey-Website eingereicht, entweder als Anlage zu den Antworten auf den Fragebogen (über 400) oder als eigenständige Beiträge (über 50).
Insgesamt besteht unter den Interessenträgern Einvernehmen über den Handlungsbedarf. Eine große Mehrheit der Interessenträger stimmt der Auffassung zu, dass Regelungslücken bestehen oder neue Vorschriften benötigt werden. Allerdings weisen mehrere Interessenträger die Kommission darauf hin, dass Überschneidungen, widersprüchliche Auflagen oder eine Überregulierung vermieden werden sollten. Viele Kommentare unterstrichen die Bedeutung der Technologieneutralität und eines die Verhältnismäßigkeit wahrenden Rechtsrahmens.
Die Interessenträger forderten mehrheitlich eine enge, klare und genaue Begriffsbestimmung künstlicher Intelligenz. Neben einer Klärung des Begriffs der KI unterstrichen sie auch die Notwendigkeit, die Begriffe Risiko , hohes Risiko , niedriges Risiko , biometrische Fernidentifizierung und Schaden zu definieren.
Die meisten Teilnehmer befürworten ausdrücklich den risikobasierten Ansatz. Ein Ansatz, der sich auf die Risiken stützt, wurde im Vergleich zu einer undifferenzierten Regulierung aller KI-Systeme als die bessere Option betrachtet. Die Festlegung der Art der Risiken und Gefahren sollte von den jeweiligen Sektoren und vom Einzelfall abhängig gemacht werden Bei der Bewertung der Risiken sollte auch deren rechtliche und sicherheitsrelevante Auswirkung berücksichtigt werden.
Reallabore könnten zur Förderung von KI sehr nützlich sein und werden von einigen Interessenträgern, vor allem Unternehmensverbänden, begrüßt.
Über die Hälfte der Teilnehmer, die zu den Durchsetzungsmodellen Stellung genommen haben, insbesondere Unternehmensverbände, begrüßen im Falle von Hochrisiko-KI-Systemen eine Kombination aus einer Vorab-Selbstbewertung des Risikos und einer Ex-post-Durchsetzung.
3.2. Einholung und Nutzung von Expertenwissen
Der Vorschlag beruht auf in einem Zeitraum von zwei Jahren durchgeführten Analysen und der engen Einbeziehung von Interessenträgern, auch von Hochschulen, Unternehmen, Sozialpartnern, Nichtregierungsorganisationen, Mitgliedstaaten, Bürgerinnen und Bürgern. 2018 begannen die vorbereitenden Arbeiten mit der Einsetzung einer hochrangigen Expertengruppe für KI, die sich aus 52 renommierten Sachverständigen zusammensetzte, die ein breites Spektrum abdeckten und deren Aufgabe es war, die Kommission bei der Umsetzung der Strategie für Künstliche Intelligenz zu beraten. Im April 2019 unterstützte die Kommission 23 die zentralen Anforderungen, die die hochrangige Expertengruppe in ihre Ethik-Leitlinien für vertrauenswürdige KI 24 aufgenommen hatte und die überarbeitet worden waren, um die über 500 Beiträge von Interessenträgern zu berücksichtigen. Die zentralen Anforderungen sind Ausdruck eines breit gefassten und gemeinsamen Ansatzes, der angesichts der Fülle der von vielen privaten und öffentlichen Organisationen in Europa und weltweit entwickelten Ethik-Codes und Ethik-Grundsätzen darauf hinausläuft, dass Entwicklung und Verwendung von KI von bestimmten wesentlichen werteorientierten Grundsätzen geleitet sein sollten. Für die praktische Umsetzung dieser Anforderungen im Rahmen eines Pilotverfahrens mit über 350 Organisationen wurde eine Bewertungsliste für vertrauenswürdige künstliche Intelligenz (Assessment List for Trustworthy Artificial Intelligence, ALTAI) 25 erstellt.
Zudem wurde eine KI-Allianz 26 ins Leben gerufen, die etwa 4000 Interessenträgern die Möglichkeit gibt, über eine Plattform technologische und gesellschaftliche Aspekte der KI zu diskutieren und jährlich in einer KI-Versammlung zusammen zu kommen.
Dieser inklusive Ansatz wurde mit dem Weißbuch zur KI weiterentwickelt, auf das Kommentare, darunter über 450 Positionspapiere, von über 1250 Interessenträgern eingingen. Daraufhin veröffentlichte die Kommission eine erste Folgenabschätzung, auf die wiederum über 130 Kommentare eingingen 27 . Zudem wurden weitere Workshops und Veranstaltungen für Interessenträger organisiert, deren Ergebnisse die Analysen der Folgenabschätzung und die in diesem Vorschlag getroffene Wahl der politischen Optionen unterstützen 28 . Darüber hinaus flossen die Ergebnisse einer in Auftrag gegebenen externen Studie mit in die Folgenabschätzung ein.
3.3. Folgenabschätzung
Entsprechend ihrer Strategie für eine bessere Rechtsetzung führte die Kommission eine Folgenabschätzung für diesen Vorschlag durch, die vom Ausschuss für Regulierungskontrolle der Kommission geprüft wurde. Am 16. Dezember 2020 fand eine Sitzung mit dem Ausschuss für Regulierungskontrolle statt, der eine ablehnende Stellungnahme abgab. Nachdem die Folgenabschätzung unter Berücksichtigung der Kommentare gründlich überarbeitet und erneut vorgelegt wurde, gab der Ausschuss für Regulierungskontrolle am 21. März 2021 eine befürwortende Stellungnahme ab. Die Stellungnahmen des Ausschusses für Regulierungskontrolle, die Empfehlungen und eine Erläuterung dazu, inwiefern diese Berücksichtigung gefunden haben, sind Anhang 1 der Folgenabschätzung zu entnehmen.
Die Kommission prüfte verschiedene politische Optionen daraufhin, inwieweit sich mit ihnen das übergeordnete Ziel des Vorschlags erreichen lässt, nämlich durch Schaffung der Voraussetzungen für die Entwicklung und Verwendung vertrauenswürdiger KI in der Union, das reibungslose Funktionieren des Binnenmarkts zu gewährleisten.
Hierzu wurden vier politische Optionen geprüft, die regulatorische Maßnahmen in unterschiedlichem Ausmaß vorsehen:
· Option 1: EU-Rechtsetzungsinstrument zur Einrichtung eines Systems zur freiwilligen Kennzeichnung;
· Option 2: ein sektorspezifischer „Ad-hoc“-Ansatz;
· Option 3: ein horizontales EU-Rechtsetzungsinstrument gestützt auf Verhältnismäßigkeit und einen risikobasierten Ansatz;
· Option 3+: ein horizontales EU-Rechtsetzungsinstrument gestützt auf Verhältnismäßigkeit und einen risikobasierten Ansatz, ergänzt durch einen Verhaltenskodex für KI-Systeme, die kein hohes Risiko darstellen;
· Option 4: ein horizontales EU-Rechtsetzungsinstrument, mit dem obligatorische Anforderungen an alle KI-Systeme, unabhängig von dem mit diesen verbundenen Risiko, festgelegt werden.
Nach bewährter Methodik der Kommission wurde jede politische Option im Hinblick auf ihre wirtschaftlichen und gesellschaftlichen Auswirkungen mit besonderem Augenmerk auf die Auswirkungen auf die Grundrechte geprüft. Bevorzugt wird die Option 3+, d. h. ein Rechtsrahmen ausschließlich für Hochrisiko-KI-Systeme und die Möglichkeit für alle Anbieter von KI-Systemen, die kein hohes Risiko darstellen, sich an einen Verhaltenskodex zu halten. Die für Hochrisiko-KI-Systeme geltenden Anforderungen werden sich auf Daten, Dokumentation und Rückverfolgbarkeit, Bereitstellung von Informationen und Transparenz, menschliche Aufsicht sowie Robustheit und Genauigkeit beziehen. Unternehmen können freiwillig Verhaltenskodizes für andere KI-Systeme einführen.
Die bevorzugte Option wurde als geeignet erachtet, die Ziele dieses Vorschlags in effizientester Weise zu erreichen. Indem KI-Entwickler und KI-Nutzer verpflichtet werden, ein begrenztes, aber wirkungsvolles Bündel von Maßnahmen zu ergreifen, werden mit der bevorzugten Option, bei der gezielte Anforderungen nur für solche Systeme gelten, bei denen ein hohes Risiko besteht, dass Grundrechte verletzt werden und die Sicherheit von Menschen gefährdet wird, das Risiko solcher Verstöße eingedämmt und zudem eine effiziente Aufsicht und Durchsetzung unterstützt. Die dadurch bei dieser Option minimierten Rechtsbefolgungskosten führen dazu, dass die Einführung nicht aufgrund höherer Preise und Rechtsbefolgungskosten unnötigerweise hinausgezögert wird. Um etwaige Nachteile für KMU zu vermeiden, umfasst diese Option mehrere Bestimmungen, mit denen KMU nicht nur bei der Rechtsbefolgung und Kostenreduzierung, sondern auch bei der Einrichtung von Reallaboren unterstützt werden, sowie die Pflicht, bei der Festsetzung der Gebühren für die Konformitätsbewertung die Interessen von KMU zu berücksichtigen.
Mit der bevorzugten Option lässt sich das Vertrauen der Menschen in KI erhöhen, Unternehmen haben Rechtssicherheit und die Mitgliedstaaten sehen sich nicht mehr veranlasst, einseitig Maßnahmen zu ergreifen, die zu einer Fragmentierung des Binnenmarkts führen würden. Die mit dem größeren Vertrauen steigende Nachfrage und das infolge der Rechtssicherheit größere Angebot sowie der ungehinderte grenzüberschreitende Warenverkehr von KI-Systemen dürften zu einem florierenden Binnenmarkt für KI führen. Die Europäische Union wird die Entwicklung eines schnell wachsenden KI-Ökosystems innovativer Dienste und Produkte, in die KI-Technologie eingebettet ist, oder eigenständiger KI-Systeme weiter vorantreiben, um so die digitale Autonomie zu vergrößern.
Unternehmen oder öffentliche Stellen, die KI-Anwendungen entwickeln oder verwenden, die ein hohes Risiko für die Sicherheit oder Grundrechte von Bürgerinnen und Bürgern darstellen, sind verpflichtet, bestimmte Anforderungen und Verpflichtungen einzuhalten. Für die Einhaltung dieser Anforderungen entstehen bis 2025 für die Lieferung eines durchschnittlichen Hochrisiko-KI-Systems im Wert von etwa 170 000 EUR Kosten von etwa 6000 EUR bis 7000 EUR. Abhängig von der jeweiligen Anwendung fallen für KI-Nutzer gegebenenfalls zudem die jährlichen Kosten für die Zeit an, die für die menschliche Aufsicht aufgewandt werden muss. Diese wurden mit etwa 5000 EUR bis 8000 EUR pro Jahr veranschlagt. Für Lieferanten von Hochrisiko-KI könnten zudem Überprüfungskosten in Höhe von 3000 EUR bis 7500 EUR anfallen. Unternehmen oder öffentliche Stellen, die nicht als hochriskant eingestufte KI-Anwendungen entwickeln oder nutzen, hätten nur eine minimale Informationspflicht. Sie könnten sich jedoch entscheiden, mit anderen gemeinsam einen Verhaltenskodex über die Einhaltung geeigneter Anforderungen festzulegen und dafür zu sorgen, dass ihre KI-Systeme vertrauenswürdig sind. In diesem Fall würden sich die Kosten höchstens auf dem Niveau für Hochrisiko-KI-Systeme bewegen, wahrscheinlich jedoch darunter.
Welche Auswirkungen die politischen Optionen auf die verschiedenen Kategorien von Interessenträgern haben (Wirtschaftsakteure/Unternehmen, Konformitätsbewertungsstellen, Normungsgremien und sonstige öffentliche Gremien, Privatpersonen/Bürgerinnen und Bürger, Forschung), wird im Einzelnen in Anhang 3 der Folgenabschätzung in der Anlage zu diesem Vorschlag erläutert.
3.4. Effizienz der Rechtsetzung und Vereinfachung
Dieser Vorschlag enthält die Pflichten für Anbieter und Nutzer von Hochrisiko-KI-Systemen. Anbieter, die solche Systeme entwickeln und in der Union in Verkehr bringen, erhalten Rechtssicherheit und die Gewissheit, dass bei der grenzüberschreitenden Bereitstellung von Diensten und Produkten im Zusammenhang mit KI keine Hindernisse auftauchen. Kunden werden größeres Vertrauen in die von Unternehmen eingesetzte KI haben. Nationale öffentliche Verwaltungen werden vom gestiegenen Vertrauen der Öffentlichkeit in die Verwendung von KI und den gestärkten Durchsetzungsmechanismen profitieren (durch die Einführung eines europäischen Koordinierungsmechanismus, die Bereitstellung angemessener Kapazitäten und die Erleichterung von Audits der KI-Systeme durch neue Anforderungen an die Dokumentation, Rückverfolgbarkeit und Transparenz). Darüber hinaus zielt der Rechtsrahmen auf innovationsspezifische Maßnahmen, beispielsweise Reallabore und konkrete Maßnahmen ab, mit denen Kleinnutzer und Kleinanbieter von Hochrisiko-KI-Systemen darin unterstützt werden, die neuen Vorschriften einzuhalten.
Der Vorschlag zielt zudem speziell auf die Stärkung der europäischen Wettbewerbsfähigkeit und Industriebasis im Bereich der KI ab. Die Kohärenz mit bestehenden sektorspezifischen Unionsvorschriften für KI-Systeme (z. B. für Produkte und Dienste) ist gewährleistet, was zu größerer Klarheit führt und die Durchsetzung der neuen Vorschriften erleichtert.
3.5. Grundrechte
Durch ihre besonderen Merkmale (z. B. Undurchsichtigkeit, Komplexität, Datenabhängigkeit, autonomes Verhalten) kann die Verwendung von KI dazu führen, dass einige der in der EU-Grundrechtecharta (im Folgenden die Charta ) verankerten Grundrechte verletzt werden. Der Vorschlag zielt darauf ab, diese Grundrechte in hohem Maße zu schützen und durch einen klar festgelegten risikobasierten Ansatz verschiedene Ursachen für Risiken anzugehen. Alle an der Wertschöpfungskette Beteiligten unterliegen einer Reihe von Anforderungen an vertrauenswürdige KI und verhältnismäßigen Pflichten, damit die durch die Charta geschützten Rechte noch stärker geschützt werden: die Würde des Menschen (Artikel 1) , die Achtung des Privatlebens und der Schutz personenbezogener Daten (Artikel 7 und 8), die Nichtdiskriminierung (Artikel 21) und die Gleichheit von Frauen und Männern (Artikel 23) . Mit dem Vorschlag soll verhindert werden, dass Menschen davor zurückschrecken, ihr Recht auf Meinungsfreiheit (Artikel 11) und auf Versammlungs- und Vereinigungsfreiheit (Artikel 12) auszuüben, und sichergestellt werden, dass das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht und die Unschuldsvermutung und Verteidigungsrechte (Artikel 47 und 48) sowie der allgemeine Grundsatz guter Verwaltung gewahrt werden. Zudem wird sich der Vorschlag in bestimmten Bereichen positiv auf einige gruppenspezifische Rechte auswirken, beispielsweise auf das Recht der Arbeitnehmer auf gerechte und angemessene Arbeitsbedingungen (Artikel 31) , den Verbraucherschutz (Artikel 28) , die Rechte des Kindes (Artikel 24) und die Integration von Menschen mit Behinderung (Artikel 26) . Darüber hinaus geht es um das Recht auf ein hohes Umweltschutzniveau und die Verbesserung der Umweltqualität (Artikel 37) , auch in Bezug auf die Gesundheit und Sicherheit von Menschen. Die Verpflichtung zu Vorabtests, Risikomanagement und menschlicher Aufsicht werden die Achtung auch anderer Grundrechte erleichtern, da sich so das Risiko, in kritischen Bereichen wie Bildung, Ausbildung, Beschäftigung, wichtige Dienste, Strafverfolgung und Justiz mithilfe der KI falsche oder verzerrte Entscheidungen zu treffen, verringern lässt. Sollten Grundrechte trotzdem noch verletzt werden, werden die betroffenen Personen die Möglichkeit haben, wirksame Rechtsmittel einzulegen, da für Transparenz und Rückverfolgbarkeit der KI-Systeme im Verbund mit starken Ex-post-Kontrollen gesorgt ist.
Mit dem Vorschlag werden der unternehmerischen Freiheit (Artikel 16) und der Freiheit der Kunst und der Wissenschaft (Artikel 13) einige Beschränkungen auferlegt, um Kohärenz mit der übergeordneten Begründung des öffentlichen Interesses herzustellen. Hierunter fallen beispielsweise Gesundheit, Sicherheit, Verbraucherschutz und der Schutz anderer Grundrechte ( verantwortungsvolle Innovation ) bei der Entwicklung und Verwendung von Hochrisiko-KI-Technik. Diese Beschränkungen sind verhältnismäßig und auf das notwendige Minimum beschränkt, um schwerwiegende Sicherheitsrisiken und mögliche Verletzungen der Grundrechte zu verhindern und abzumildern.
Auch die Pflicht zu größerer Transparenz wird das Recht auf Schutz des geistigen Eigentums (Artikel 17 Absatz 2) nicht unverhältnismäßig beeinträchtigen, da sie auf die Mindestinformationen beschränkt ist, die eine Person benötigt, um ihr Recht auf einen wirksamen Rechtsbehelf auszuüben, sowie auf die Transparenz, die Aufsichts- und Durchsetzungsbehörden im Rahmen ihrer Aufgaben benötigen. Jede Offenlegung von Informationen erfolgt unter Einhaltung der einschlägigen Rechtsvorschriften, auch der Richtlinie (EU) 2016/943 über den Schutz vertraulichen Know-hows und vertraulicher Geschäftsinformationen (Geschäftsgeheimnisse) vor rechtswidrigem Erwerb sowie rechtswidriger Nutzung und Offenlegung. Benötigen öffentliche und notifizierte Stellen für die Prüfung der Einhaltung der wesentlichen Pflichten Zugang zu vertraulichen Informationen oder zu Quellcodes, sind sie zur Wahrung der Vertraulichkeit verpflichtet.
4. AUSWIRKUNGEN AUF DEN HAUSHALT
Die Mitgliedstaaten müssen die für die Durchführung der rechtlichen Anforderungen zuständigen Aufsichtsbehörden benennen. Deren Aufsichtsfunktion könnte sich auf bestehende Vereinbarungen stützen, beispielsweise in Bezug auf die Konformitätsbewertungsstellen oder die Marktüberwachung, was jedoch ausreichende technische Kenntnisse sowie personelle und finanzielle Ressourcen erforderlich macht. Abhängig von der in jedem Mitgliedstaat bereits vorhandenen Struktur kann sich dies auf 1 bis 25 Vollzeitäquivalente je Mitgliedstaat belaufen.
Ein detaillierter Überblick über die anfallenden Kosten ist dem Finanzbogen im Anhang zu diesem Vorschlag zu entnehmen.
5. WEITERE ANGABEN
5.1. Durchführungspläne sowie Überwachungs-, Bewertungs- und Berichterstattungsmodalitäten
Damit mit dem Vorschlag dessen konkrete Ziele auch wirksam erreicht werden können, kommt es auf einen robusten Beobachtungs- und Bewertungsmechanismus an. Der Kommission obliegt die Beobachtung der Auswirkungen der vorgeschlagenen Bestimmungen. Sie wird ein System aufbauen, das es ermöglicht, eigenständige Hochrisiko-KI-Anwendungen in einer öffentlichen, unionsweiten Datenbank zu registrieren. Anhand dieser Registrierung werden zuständige Behörden, Nutzer und sonstige Interessierte überprüfen können, ob ein betreffendes Hochrisiko-KI-System die in dem Vorschlag festgelegten Anforderungen erfüllt, und für solche KI-Systeme, die ein hohes Risiko für die Einhaltung der Grundrechte darstellen, kann eine verstärkte Aufsicht ausgeübt werden. KI-Anbieter werden verpflichtet sein, bei ihren Eingaben in diese Datenbank aussagekräftige Angaben zu ihren Systemen und zur für diese Systeme durchgeführten Konformitätsbewertung zu machen.
Zudem werden KI-Anbieter verpflichtet, die nationalen zuständigen Behörden zu informieren, sobald sie Kenntnis über schwerwiegende Vorfälle oder Fehlfunktionen erlangen, die eine Verletzung der Pflicht zur Wahrung der Grundrechte darstellen, sowie über jeden Rückruf oder jede Rücknahme von KI-Systemen vom Markt. Es ist dann Aufgabe der nationalen Behörden, den Vorfall oder die Fehlfunktion zu untersuchen, alle notwendigen Informationen zu sammeln und der Kommission zusammen mit den geeigneten Metadaten zu übermitteln. Die Kommission wird die Informationen zu den Vorfällen durch eine umfassende Analyse des KI-Markts insgesamt ergänzen.
Fünf Jahre nach dem Zeitpunkt, nach dem der vorgeschlagene KI-Rechtsrahmen anwendbar wird, wird die Kommission einen Bericht veröffentlichen, in dem sie den vorgeschlagenen KI-Rechtsrahmen bewertet und überprüft.
5.2. Ausführliche Erläuterung einzelner Bestimmungen des Vorschlags
5.2.1. ANWENDUNGSBEREICH UND BEGRIFFSBESTIMMUNGEN (TITEL I)
Titel I enthält den Gegenstand der Verordnung und den Anwendungsbereich der neuen Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen. Er enthält auch die Begriffsbestimmungen, die in diesem Rechtsinstrument durchweg verwendet werden. Ziel der in diesem Rechtsrahmen festgelegten Begriffsbestimmung für KI-Systeme ist es, so technologieneutral und zukunftstauglich wie möglich zu sein und den rasanten Entwicklungen in der KI-Technologie und auf dem KI-Markt Rechnung zu tragen. Damit die notwendige Rechtssicherheit gegeben ist, wird Titel I durch Anhang I ergänzt, in dem Konzepte und Techniken für die KI-Entwicklung detailliert aufgeführt sind und von der Kommission in dem Umfang angepasst werden, wie sich neue technologische Entwicklungen ergeben. Im Sinne gleicher Wettbewerbsbedingungen werden auch die wichtigsten Beteiligten über die gesamte KI-Wertschöpfungskette hinweg klar benannt, wie beispielsweise die Anbieter und Nutzer von KI-Systemen, bei denen es sich sowohl um öffentliche als auch um private Akteure handeln kann.
5.2.2. VERBOTENE PRAKTIKEN IM BEREICH DER KÜNSTLICHEN INTELLIGENZ (TITEL II)
Titel II enthält eine Liste verbotener KI-Praktiken. Die Verordnung verfolgt einen risikobasierten Ansatz, bei dem zwischen Anwendungen von KI unterschieden wird, die ein i) unannehmbares Risiko, ii) ein hohes Risiko und iii) ein geringes oder minimales Risiko darstellen. Die Aufstellung der verbotenen Praktiken in Titel II umfasst alle KI-Systeme, die als unannehmbar gelten, weil sie Werte der Union, beispielsweise Grundrechte, verletzen. Die Verbote gelten für Praktiken, die ein erhebliches Potenzial haben, Personen zu manipulieren, indem sie auf Techniken zur unterschwelligen Beeinflussung zurückgreifen, die von diesen Personen nicht bewusst wahrgenommen werden, oder die die Schwächen bestimmter schutzbedürftiger Gruppen wie Kinder oder Personen mit Behinderungen ausnutzen, um deren Verhalten massiv so zu beeinflussen, dass sie selbst oder eine andere Person psychisch oder physisch geschädigt werden könnten. Andere manipulative oder ausbeuterische Praktiken, die Erwachsene betreffen und möglicherweise durch KI-Systeme erleichtert werden, könnten unter die bestehenden Rechtsvorschriften für den Datenschutz, Verbraucherschutz und digitale Dienste fallen, auf deren Grundlage natürliche Personen Anspruch auf angemessene Informationen haben und es ihnen freisteht, Profiling- oder andere Praktiken, die Einfluss auf ihr Verhalten haben könnten, abzulehnen. Der Vorschlag sieht auch vor, die Bewertung des sozialen Verhaltens für allgemeine Zwecke mithilfe von KI durch öffentliche Behörden ( Social Scoring ) zu verbieten. Schließlich soll der Einsatz von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung bis auf wenige Ausnahmen verboten werden.
5.2.3. HOCHRISIKO-KI-SYSTEME (TITEL III)
Titel III enthält spezifische Vorschriften für KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen. Entsprechend dem risikobasierten Ansatz sind solche Hochrisiko-KI-Systeme auf dem europäischen Markt zugelassen, sofern sie bestimmten zwingend vorgeschriebenen Anforderungen genügen und vorab eine Konformitätsbewertung durchgeführt wird. Die Einstufung als Hochrisiko-KI-System beruht auf der Zweckbestimmung des KI-Systems entsprechend den bestehenden EU-Produktsicherheitsvorschriften. Damit hängt die Einstufung als Hochrisiko-KI-System nicht nur von der Funktion dieses Systems ab, sondern auch von seinem konkreten Zweck und seinen Anwendungsmodalitäten.
In Titel III Kapitel 1 sind die Einstufungsregeln angegeben und zwei Hauptkategorien für Hochrisiko-KI-Systeme festgelegt:
· KI-Systeme, die als Sicherheitskomponenten von Produkten, die einer Vorab-Konformitätsbewertung durch Dritte unterliegen, verwendet werden sollen;
· sonstige eigenständige KI-Systeme, die ausdrücklich in Anhang III genannt werden und sich vor allem auf die Grundrechte auswirken.
Die in Anhang III aufgeführte Liste der Hochrisiko-KI-Systeme enthält einige KI-Systeme, bei denen sich bereits gezeigt hat oder bei denen absehbar ist, dass die Risiken tatsächlich eintreten. Damit die Verordnung an neue Verwendungszwecke und Anwendungen von KI angepasst werden kann, hat die Kommission die Möglichkeit, die Liste der Hochrisiko-KI-Systeme, die in bestimmten festgelegten Bereichen verwendet werden, mithilfe einer Reihe von Kriterien und einer Methodik für die Risikoabschätzung auszuweiten.
In Kapitel 2 ist festgelegt, welche rechtlichen Anforderungen Hochrisiko-KI-Systeme in Bezug auf Daten, Daten-Governance, Dokumentation und das Führen von Aufzeichnungen, Transparenz und Bereitstellung von Informationen für die Nutzer, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit erfüllen müssen. Die vorgeschlagenen Mindestanforderungen, die sich aus den von über 350 Organisationen 29 erprobten Ethik-Leitlinien der HEG 30 ableiten, sind bereits gängige Praxis für viele gewissenhaften Akteure und das Ergebnis der Vorarbeiten der letzten zwei Jahre. Sie stimmen auch weitestgehend mit anderen internationalen Empfehlungen und Grundsätzen überein, wodurch sichergestellt wird, dass der vorgeschlagene KI-Rahmen mit den Vorgaben übereinstimmt, die von den internationalen Handelspartnern der EU festgelegt wurden. Es liegt im Ermessen des Anbieters des jeweiligen KI-Systems, mit welchen technischen Lösungen er die Einhaltung dieser Anforderungen konkret erreicht – sei es durch Normen oder sonstige technische Spezifikationen oder durch andere Entwicklungen entsprechend dem allgemeinen wissenschaftlich-technischen Know-how. Diese Flexibilität ist besonders wichtig, denn sie ermöglicht es den Anbietern von KI-Systemen, unter Berücksichtigung des Stands der Technik und des wissenschaftlich-technischen Fortschritts auf dem Gebiet selbst zu entscheiden, wie sie die für sie geltenden Anforderungen zu erfüllen beabsichtigen.
Kapitel 3 enthält eine Reihe klarer horizontaler Pflichten für Anbieter von Hochrisiko-KI-Systemen. Auch für Nutzer und andere Beteiligte entlang der KI-Wertschöpfungskette (z. B. Einführer, Händler, Bevollmächtigte) gelten verhältnismäßige Pflichten.
Kapitel 4 bildet den Rahmen für die Einbeziehung notifizierter Stellen als unabhängige Dritte in die Konformitätsbewertungsverfahren, während in Kapitel 5 die je nach Art des Hochrisiko-KI-Systems einzuhaltenden Konformitätsbewertungsverfahren im Einzelnen erläutert werden. Mit dem Konzept der Konformitätsbewertung sollen die Belastungen für die Wirtschaftsakteure und notifizierten Stellen, deren Kapazität mit der Zeit schrittweise hochgefahren werden muss, möglichst gering gehalten werden. KI-Systeme, die als Sicherheitskomponenten von Produkten eingesetzt werden sollen, die unter die einschlägigen Rechtsvorschriften des neuen Rechtsrahmens fallen (z. B. Maschinen, Spielzeug, medizinische Geräte), unterliegen denselben Ex-ante- und Ex-post-Mechanismen für die Rechtsbefolgung und Durchsetzung wie das Produkt, dessen Komponente sie sind. Der wesentliche Unterschied liegt darin, dass die Ex-ante- und Ex-post-Mechanismen nicht nur die Einhaltung der durch sektorspezifische Vorschriften vorgegebenen Anforderungen gewährleisten, sondern auch die Einhaltung der in dieser Verordnung festgelegten Anforderungen.
Für die eigenständigen Hochrisiko-KI-Systeme, auf die in Anhang III verwiesen wird, wird ein neues Rechtsbefolgungs- und Durchsetzungssystem festgelegt. Dies entspricht dem Muster des neuen Rechtsrahmens, bei dem die einschlägigen Rechtsvorschriften durch interne Kontrollprüfungen des Anbieters umgesetzt werden. Ausgenommen hiervon sind die biometrischen Fernidentifizierungssysteme, die einer Konformitätsbewertung durch Dritte unterliegen. Eine umfassende Ex-ante-Konformitätsbewertung mittels interner Prüfungen könnte in Kombination mit einer soliden Ex-post-Durchsetzung eine wirksame und sinnvolle Lösung für solche Systeme darstellen, zumal sich die Regulierung noch in der Anfangsphase befindet und in dem äußerst innovativen KI-Sektor Auditing-Erfahrungen erst jetzt gesammelt werden. Damit eigenständige Hochrisiko-KI-Systeme mittels interner Prüfungen bewertet werden können, muss die Einhaltung aller Anforderungen der Verordnung vorab vollständig, wirkungsvoll und sorgfältig dokumentiert werden, ferner gilt es, robuste Qualitäts- und Risikomanagementsysteme zu befolgen und eine Beobachtung nach dem Inverkehrbringen zu gewährleisten. Sobald ein Anbieter die jeweilige Konformitätsbewertung durchgeführt hat, sollte er diese eigenständigen Hochrisiko-KI-Systeme in eine von der Kommission verwaltete EU-Datenbank eintragen, um so die Transparenz gegenüber der Öffentlichkeit zu erhöhen und die Aufsicht sowie die Ex-post-Überwachung durch die zuständigen Behörden zu stärken. Aus Gründen der Kohärenz mit den bestehenden Produktsicherheitsvorschriften wird bei KI-Systemen, bei denen es sich um Sicherheitskomponenten von Produkten handelt, hingegen das System der Konformitätsbewertungsverfahren durch Dritte verfolgt, das sich bereits im Rahmen der einschlägigen sektorspezifischen Produktsicherheitsvorschriften bewährt hat. Bei wesentlichen Änderungen der KI-Systeme (vor allem bei Änderungen, die über die Festlegungen des Anbieters in seiner technischen Dokumentation sowie über das hinausgehen, was zum Zeitpunkt der Ex-ante-Konformitätsbewertung geprüft wurde), muss vorab eine erneute Konformitätsbewertung durchgeführt werden.
5.2.4. TRANSPARENZPFLICHTEN FÜR BESTIMMTE KI-SYSTEME (TITEL VI)
Titel IV befasst sich mit spezifischen Manipulationsrisiken bestimmter KI-Systeme. Transparenzpflichten gelten für Systeme, die i) mit Menschen interagieren, ii) zur Erkennung von Emotionen oder zur Assoziierung (gesellschaftlicher) Kategorien anhand biometrischer Daten eingesetzt werden oder iii) Inhalte erzeugen oder manipulieren ( Deepfakes ). Interagieren Personen mit KI-Systemen oder werden deren Emotionen oder Merkmale durch automatisierte Mittel erkannt, müssen die Menschen hierüber informiert werden. Wird ein KI-System eingesetzt, um Bild-, Audio- oder Video-Inhalte zu erzeugen oder zu manipulieren, sodass sie von authentischen Inhalten kaum zu unterscheiden sind, sollte, abgesehen von legitimen Zwecken (wie Strafverfolgung, Meinungsfreiheit), die Pflicht zur Offenlegung der Tatsache vorgeschrieben werden, dass der Inhalt durch automatisierte Mittel erzeugt wurde. So können bewusste Entscheidungen getroffen oder bestimmte Situationen vermieden werden.
5.2.5. MAẞNAHMEN ZUR INNOVATIONSFÖRDERUNG (TITEL V)
Titel V wurde im Hinblick auf das Ziel aufgenommen, einen innovationsfreundlichen, zukunftstauglichen und widerstandsfähigen Rechtsrahmen zu schaffen. Hierzu werden die nationalen zuständigen Behörden aufgefordert, Reallabore einzurichten und die grundlegenden Bedingungen für die Leitung, Aufsicht und Haftung festzulegen. KI-Reallabore bieten, auf der Grundlage eines mit den zuständigen Behörden vereinbarten Testplans, für eine begrenzte Zeit kontrollierte Testumgebungen für innovative Technologien. Titel V enthält zudem Maßnahmen zur Reduzierung des Verwaltungsaufwands für KMU und Start-ups.
5.2.6. LEITUNG UND DURCHFÜHRUNG (TITEL VI , VII UND VII)
Titel VI enthält Vorgaben für die Leitungsstrukturen auf Unionsebene und nationaler Ebene. Der Vorschlag sieht die Einrichtung eines Europäischen Ausschusses für künstliche Intelligenz (im Folgenden der Ausschuss ) auf Unionsebene vor, der sich aus Vertretern der Mitgliedstaaten und der Kommission zusammensetzt. Der Ausschuss soll zu einer wirksamen Zusammenarbeit der nationalen Aufsichtsbehörden und der Kommission beitragen und so eine reibungslose, wirksame und harmonisierte Durchführung dieser Verordnung erleichtern und darüber hinaus die Kommission fachlich beraten. Ferner soll der Ausschuss bewährte Verfahrensweise aus den Mitgliedstaaten sammeln und weitergeben.
Auf nationaler Ebene werden die Mitgliedstaaten eine oder mehrere nationale zuständige Behörden (darunter die nationale Aufsichtsbehörde) benennen müssen, die die Anwendung und Durchführung der Verordnung überwachen. Der Europäische Datenschutzbeauftragte gilt als zuständige Behörde für die Aufsicht über die Organe, Einrichtungen und sonstigen Stellen der Union, die in den Anwendungsbereich dieser Verordnung fallen.
Titel VII soll durch die Einrichtung einer unionsweiten Datenbank für eigenständige Hochrisiko-KI-Systeme, die sich vor allem auf die Grundrechte auswirken, der Kommission und den nationalen Behörden die Beobachtungsaufgaben erleichtern. Die Datenbank wird von der Kommission betrieben. Gespeist wird sie durch die Anbieter der KI-Systeme, die ihre Systeme registrieren müssen, bevor sie sie in Verkehr bringen oder anderweitig in Betrieb nehmen können.
Titel VIII enthält die Beobachtungs- und Meldepflichten für die Anbieter von KI-Systemen im Hinblick auf die Beobachtung nach dem Inverkehrbringen sowie die Meldung und Untersuchung von Vorfällen und Fehlfunktionen im KI-Zusammenhang. Auch die Marktüberwachungsbehörden werden den Markt kontrollieren und die Einhaltung der mit allen bereits in Verkehr gebrachten Hochrisiko-KI-Systemen verbundenen Pflichten und Anforderungen prüfen. Die Marktüberwachungsbehörden werden mit allen in der Verordnung (EU) 2019/1020 über die Marktüberwachung festgelegten Befugnissen ausgestattet. Die Ex-post-Durchsetzung soll sicherstellen, dass öffentliche Behörden über die Befugnisse und Ressourcen verfügen, damit sie, eingreifen können, sollten sich bei bereits in Verkehr gebrachten KI-Systemen unerwartete Risiken ergeben, die ein rasches Handeln erfordern. Darüber hinaus werden sie darauf achten, dass die Akteure ihren in der Verordnung festgelegten Pflichten nachkommen. Der Vorschlag sieht nicht die automatische Schaffung weiterer Gremien oder Behörden auf Ebene der Mitgliedstaaten vor. Die Mitgliedstaaten können sich daher auf bereits vorhandene sektorspezifische Behörden und deren Fachkenntnisse stützen, denen die Befugnisse zur Beobachtung und Durchsetzung der Bestimmungen dieser Verordnung übertragen werden.
All dies geschieht unbeschadet der in den Mitgliedstaaten bereits vorhandenen Systeme und Zuweisung von Befugnissen für die Ex-post-Durchsetzung der Pflichten in Bezug auf die Grundrechte. Sofern dies für die Wahrnehmung ihrer Aufgaben notwendig ist, werden die bestehenden Aufsichts- und Durchsetzungsbehörden auch befugt sein, Unterlagen, die auf der Grundlage dieser Verordnung aufbewahrt werden, anzufordern oder Zugang zu diesen Unterlagen zu erhalten, sowie gegebenenfalls Marktüberwachungsbehörden aufzufordern, das Hochrisiko-KI-System mit technischen Mitteln zu prüfen.
5.2.7. VERHALTENSKODIZES (TITEL IX)
Titel IX enthält die Grundlagen zur Schaffung von Verhaltenskodizes, die Anbietern von KI-Systemen, die kein hohes Risiko darstellen, Anreize geben sollen, die zwingend vorgeschriebenen Anforderungen an Hochrisiko-KI-Systeme (nach Titel III) freiwillig anzuwenden. Anbieter von KI-Systemen, die kein hohes Risiko darstellen, können selbst Verhaltenskodizes festlegen und umsetzen. Diese Kodizes können auch freiwillige Verpflichtungen beispielsweise im Hinblick auf die ökologische Nachhaltigkeit, den Zugang für Personen mit Behinderungen, die Beteiligung von Interessenträgern an Entwurf und Entwicklung von KI-Systemen sowie die Diversität des Entwicklungsteams enthalten.
5.2.8. SCHLUSSBESTIMMUNGEN (TITEL X , XI UND XII)
Titel X unterstreicht, dass alle Parteien verpflichtet sind, die Vertraulichkeit der Informationen und Daten zu wahren, und enthält Vorschriften für den Austausch von während der Durchführung der Verordnung erworbenen Informationen. Titel X enthält auch Maßnahmen, mit denen durch wirksame, verhältnismäßige und abschreckende Strafen bei Verstößen gegen die Bestimmungen eine effiziente Durchführung der Verordnung gewährleistet werden soll.
Titel XI enthält die Regeln für die Ausübung der Befugnisübertragung und der Durchführungsbefugnisse. Der Vorschlag sieht vor, dass der Kommission die Befugnis übertragen wird, zur Gewährleistung einer einheitlichen Anwendung der Verordnung gegebenenfalls Durchführungsrechtsakte oder zur Aktualisierung oder Ergänzung der Listen in den Anhängen I bis VII delegierte Rechtsakte zu erlassen.
Titel XII enthält die Pflicht der Kommission, regelmäßig zu bewerten, ob Anhang III aktualisiert werden muss, und regelmäßig Berichte über die Bewertung und Überprüfung der Verordnung vorzulegen. Der Titel enthält zudem die Schlussbestimmungen, einschließlich einer differenzierten Übergangsfrist mit Blick auf das Datum, ab dem die Verordnung Anwendung findet, um allen Parteien eine reibungslose Durchführung zu erleichtern.
2021/0106 (COD)
Vorschlag für eine
VERORDNUNG DES EUROPÄISCHEN PARLAMENTS UND DES RATES
ZUR FESTLEGUNG HARMONISIERTER VORSCHRIFTEN FÜR KÜNSTLICHE INTELLIGENZ (GESETZ ÜBER KÜNSTLICHE INTELLIGENZ) UND ZUR ÄNDERUNG BESTIMMTER RECHTSAKTE DER UNION
DAS EUROPÄISCHE PARLAMENT UND DER RAT DER EUROPÄISCHEN UNION -
gestützt auf den Vertrag über die Arbeitsweise der Europäischen Union , insbesondere auf die Artikel 16 und 114 ,
auf Vorschlag der Europäischen Kommission,
nach Zuleitung des Entwurfs des Gesetzgebungsakts an die nationalen Parlamente,
nach Stellungnahme des Europäischen Wirtschafts- und Sozialausschusses 31 ,
nach Stellungnahme des Ausschusses der Regionen 32 ,
gemäß dem ordentlichen Gesetzgebungsverfahren,
in Erwägung nachstehender Gründe:
- Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union festgelegt wird. Diese Verordnung beruht auf einer Reihe von zwingenden Gründen des Allgemeininteresses, wie einem hohen Schutz der Gesundheit, der Sicherheit und der Grundrechte, und gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird.
- Systeme der künstlichen Intelligenz (KI-Systeme) können problemlos in verschiedenen Bereichen der Wirtschaft und Gesellschaft, auch grenzüberschreitend, eingesetzt werden und in der gesamten Union verkehren. Einige Mitgliedstaaten haben bereits die Verabschiedung nationaler Vorschriften in Erwägung gezogen, damit künstliche Intelligenz sicher ist und unter Einhaltung der Grundrechte entwickelt und verwendet wird. Unterschiedliche nationale Vorschriften können zu einer Fragmentierung des Binnenmarkts führen und würden die Rechtssicherheit für Akteure, die KI-Systeme entwickeln oder verwenden, beeinträchtigen. Daher sollte in der gesamten Union ein einheitlich hohes Schutzniveau sichergestellt werden, wobei Unterschiede, die den freien Verkehr von KI-Systemen und damit zusammenhängenden Produkten und Dienstleistungen im Binnenmarkt behindern, vermieden werden sollten, indem den Akteuren einheitliche Verpflichtungen auferlegt werden und der gleiche Schutz der zwingenden Gründe des Allgemeininteresses und der Rechte von Personen im gesamten Binnenmarkt auf der Grundlage des Artikels 114 des Vertrags über die Arbeitsweise der Europäischen Union ( AEUV ) gewährleistet wird. Soweit diese Verordnung konkrete Vorschriften zum Schutz von Privatpersonen im Hinblick auf die Verarbeitung personenbezogener Daten enthält, mit denen vor allem die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken eingeschränkt wird, sollte sich diese Verordnung in Bezug auf diese konkreten Vorschriften auch auf Artikel 16 AEUV stützen. Angesichts dieser konkreten Vorschriften und des Rückgriffs auf Artikel 16 AEUV ist es angezeigt, den Europäischen Datenschutzausschuss zu konsultieren.
- Künstliche Intelligenz bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und zu vielfältigem Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg beitragen können. Durch die Verbesserung der Vorhersage, Optimierung der Abläufe, Ressourcenzuweisung und Personalisierung digitaler Lösungen, die Einzelpersonen und Organisationen zur Verfügung stehen, kann die Verwendung künstlicher Intelligenz den Unternehmen wesentliche Wettbewerbsvorteile verschaffen und zu guten Ergebnissen für Gesellschaft und Umwelt führen, beispielsweise in den Bereichen Gesundheitsversorgung, Landwirtschaft, allgemeine und berufliche Bildung, Infrastrukturmanagement, Energie, Verkehr und Logistik, öffentliche Dienstleistungen, Sicherheit, Justiz, Ressourcen- und Energieeffizienz sowie Klimaschutz und Anpassung an den Klimawandel.
- Gleichzeitig kann künstliche Intelligenz je nach den Umständen ihrer konkreten Anwendung und Nutzung Risiken mit sich bringen und öffentliche Interessen und Rechte schädigen, die durch das Unionsrecht geschützt sind. Ein solcher Schaden kann materieller oder immaterieller Art sein.
- Daher ist ein Rechtsrahmen der Union mit harmonisierten Vorschriften für künstliche Intelligenz erforderlich, um die Entwicklung, Verwendung und Verbreitung künstlicher Intelligenz im Binnenmarkt zu fördern und gleichzeitig einen hohen Schutz öffentlicher Interessen wie Gesundheit und Sicherheit und den Schutz der durch das Unionsrecht anerkannten und geschützten Grundrechte zu gewährleisten. Zur Umsetzung dieses Ziels sollten Vorschriften für das Inverkehrbringen und die Inbetriebnahme bestimmter KI-Systeme festgelegt werden, um das reibungslose Funktionieren des Binnenmarkts zu gewährleisten, sodass diesen Systemen der Grundsatz des freien Waren- und Dienstleistungsverkehrs zugutekommen kann. Durch die Festlegung dieser Vorschriften unterstützt die Verordnung das vom Europäischen Rat 33 formulierte Ziel der Union, bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament 34 ausdrücklich geforderten Schutz von Ethikgrundsätzen.
- Der Begriff KI-System sollte klar definiert werden, um Rechtssicherheit zu gewährleisten und gleichzeitig genügend Flexibilität zu bieten, um künftigen technologischen Entwicklungen Rechnung zu tragen. Die Begriffsbestimmung sollte auf den wesentlichen funktionalen Merkmalen der Software beruhen, insbesondere darauf, dass sie im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren, sei es physisch oder digital. KI-Systeme können so konzipiert sein, dass sie mit verschiedenen Graden der Autonomie arbeiten und eigenständig oder als Bestandteil eines Produkts verwendet werden können, unabhängig davon, ob das System physisch in das Produkt integriert ist (eingebettet) oder der Funktion des Produkts dient, ohne darin integriert zu sein (nicht eingebettet). Die Bestimmung des Begriffs KI-System sollte durch eine Liste spezifischer Techniken und Konzepte für seine Entwicklung ergänzt werden, die im Lichte der Marktentwicklungen und der technischen Entwicklungen auf dem neuesten Stand gehalten werden sollte, indem die Kommission delegierte Rechtsakte zur Änderung dieser Liste erlässt.
- Der in dieser Verordnung verwendete Begriff biometrische Daten steht im Einklang mit dem Begriff biometrische Daten im Sinne von Artikel 4 Nummer 14 der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates 35 , Artikel 3 Nummer 18 der Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates 36 und Artikel 3 Nummer 13 der Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates 37 und sollte im Einklang damit ausgelegt werden.
- Der in dieser Verordnung verwendete Begriff biometrisches Fernidentifizierungssystem sollte funktional definiert werden als KI-System, das dem Zweck dient, natürliche Personen aus der Ferne durch Abgleich der biometrischen Daten einer Person mit den in einer Referenzdatenbank gespeicherten biometrischen Daten zu identifizieren, ohne dass der Nutzer des KI-Systems vorher weiß, ob die Person anwesend sein wird und identifiziert werden kann, und unabhängig davon, welche Technik, Verfahren oder Arten biometrischer Daten dazu verwendet werden. Angesichts ihrer unterschiedlichen Merkmale und Einsatzformen sowie der unterschiedlichen Risiken, die mit ihnen verbunden sind, sollte zwischen biometrischen Echtzeit-Fernidentifizierungssystemen und Systemen zur nachträglichen biometrischen Fernidentifizierung unterschieden werden. Bei Echtzeit-Systemen erfolgen die Erfassung der biometrischen Daten, der Abgleich und die Identifizierung unverzüglich, zeitnah oder auf jeden Fall ohne erhebliche Verzögerung. In diesem Zusammenhang sollte es keinen Spielraum für eine Umgehung der Bestimmungen dieser Verordnung über die Echtzeit-Nutzung der betreffenden KI-Systeme geben, indem kleinere Verzögerungen vorgesehen werden. Echtzeit-Systeme umfassen die Verwendung von Live-Material oder Near-live-Material wie Videoaufnahmen, die von einer Kamera oder einem anderen Gerät mit ähnlicher Funktion erzeugt werden. Bei Systemen zur nachträglichen Identifizierung hingegen wurden die biometrischen Daten schon zuvor erfasst und der Abgleich und die Identifizierung erfolgen erst mit erheblicher Verzögerung. Dabei handelt es sich um Material wie Bild- oder Videoaufnahmen, die von Video-Überwachungssystemen oder privaten Geräten vor der Anwendung des KI-Systems auf die betroffenen natürlichen Personen erzeugt wurden.
- Für die Zwecke dieser Verordnung sollte der Begriff öffentlich zugänglicher Raum so verstanden werden, dass er sich auf einen der Öffentlichkeit zugänglichen physischen Ort bezieht, unabhängig davon, ob sich der betreffende Ort in privatem oder öffentlichem Eigentum befindet. Daher erfasst der Begriff keine privaten Orte, wie Privathäuser, private Clubs, Büros, Lager und Fabriken, die normalerweise für Dritte, einschließlich Strafverfolgungsbehörden, nicht frei zugänglich sind, es sei denn, diese wurden ausdrücklich eingeladen oder ihr Zugang ausdrücklich erlaubt. Auch Online-Räume werden nicht erfasst, da es sich nicht um physische Räume handelt. Die bloße Tatsache, dass bestimmte Bedingungen für den Zugang zu einem bestimmten Raum gelten können, wie Eintrittskarten oder Altersbeschränkungen, bedeutet jedoch nicht, dass der Raum im Sinne dieser Verordnung nicht öffentlich zugänglich ist. Folglich sind neben öffentlichen Räumen wie Straßen, relevanten Teilen von Regierungsgebäuden und den meisten Verkehrsinfrastrukturen auch Bereiche wie Kinos, Theater, Geschäfte und Einkaufszentren in der Regel öffentlich zugänglich. Ob ein bestimmter Raum öffentlich zugänglich ist, sollte jedoch von Fall zu Fall unter Berücksichtigung der Besonderheiten der jeweiligen individuellen Situation entschieden werden.
- Um gleiche Wettbewerbsbedingungen und einen wirksamen Schutz der Rechte und Freiheiten natürlicher Personen in der gesamten Union zu gewährleisten, sollten die in dieser Verordnung festgelegten Vorschriften in nichtdiskriminierender Weise für Anbieter von KI-Systemen – unabhängig davon, ob sie in der Union oder in einem Drittland niedergelassen sind – und für Nutzer von KI-Systemen, die in der Union ansässig oder niedergelassen sind, gelten.
- Angesichts ihres digitalen Charakters sollten bestimmte KI-Systeme in den Anwendungsbereich dieser Verordnung fallen, selbst wenn sie in der Union weder in Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Dies ist beispielsweise der Fall, wenn ein in der Union ansässiger oder niedergelassener Akteur bestimmte Dienstleistungen an einen außerhalb der Union ansässigen oder niedergelassenen Akteur im Zusammenhang mit einer Tätigkeit vergibt, die von einem KI-System ausgeübt werden soll, das als hochriskant einzustufen wäre und sich auf in der Union ansässige natürliche Personen auswirken würde. Unter diesen Umständen könnte das von dem Akteur außerhalb der Union betriebene KI-System Daten verarbeiten, die rechtmäßig in der Union erhoben und aus der Union übertragen wurden, und sodann dem vertraglichen Akteur in der Union die aus dieser Verarbeitung resultierenden Ergebnisse dieses KI-Systems liefern, ohne dass dieses KI-System dabei in der Union in Verkehr gebracht, in Betrieb genommen oder verwendet wird. Um die Umgehung dieser Verordnung zu verhindern und einen wirksamen Schutz in der Union ansässiger natürlicher Personen zu gewährleisten, sollte diese Verordnung auch für Anbieter und Nutzer von KI-Systemen gelten, die in einem Drittland ansässig oder niedergelassen sind, soweit die von diesen Systemen erzeugten Ergebnisse in der Union verwendet werden. Um jedoch bestehenden Vereinbarungen und besonderen Erfordernissen für die Zusammenarbeit mit ausländischen Partnern, mit denen Informationen und Beweismittel ausgetauscht werden, Rechnung zu tragen, sollte diese Verordnung nicht für Behörden eines Drittlands und internationale Organisationen gelten, wenn sie im Rahmen internationaler Übereinkünfte tätig werden, die auf nationaler oder europäischer Ebene für die Zusammenarbeit mit der Union oder ihren Mitgliedstaaten im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit geschlossen wurden. Solche Übereinkünfte wurden bilateral zwischen Mitgliedstaaten und Drittstaaten oder zwischen der Europäischen Union, Europol und anderen EU-Agenturen einerseits und Drittstaaten und internationalen Organisationen andererseits geschlossen.
- Diese Verordnung sollte auch für Organe, Einrichtungen und sonstige Stellen der Union gelten, wenn sie als Anbieter oder Nutzer eines KI-Systems auftreten. KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden, sollten vom Anwendungsbereich dieser Verordnung ausgenommen werden, wenn diese Verwendung in den ausschließlichen Zuständigkeitsbereich der Gemeinsamen Außen- und Sicherheitspolitik fällt, der in Titel V des Vertrags über die Europäische Union ( EUV ) geregelt ist. Diese Verordnung sollte die Bestimmungen über die Verantwortlichkeit der Vermittler in der Richtlinie 2000/31/EG des Europäischen Parlaments und des Rates [in der durch das Gesetz über digitale Dienste geänderten Fassung] unberührt lassen.
- Um einen einheitlichen und hohen Schutz öffentlicher Interessen im Hinblick auf die Gesundheit und Sicherheit sowie die Grundrechte zu gewährleisten, werden für alle Hochrisiko-KI-Systeme gemeinsame Normen vorgeschlagen. Diese Normen sollten mit der Charta der Grundrechte der Europäischen Union (im Folgenden die Charta ) im Einklang stehen, nichtdiskriminierend sein und mit den internationalen Handelsverpflichtungen der Union vereinbar sein.
- Um ein verhältnismäßiges und wirksames verbindliches Regelwerk für KI-Systeme einzuführen, sollte ein klar definierter risikobasierter Ansatz verfolgt werden. Bei diesem Ansatz sollten Art und Inhalt solcher Vorschriften auf die Intensität und den Umfang der Risiken zugeschnitten werden, die von KI-Systemen ausgehen können. Es ist daher notwendig, bestimmte Praktiken im Bereich der künstlichen Intelligenz zu verbieten und Anforderungen an Hochrisiko-KI-Systeme und Verpflichtungen für die betreffenden Akteure sowie Transparenzpflichten für bestimmte KI-Systeme festzulegen.
- Abgesehen von den zahlreichen nutzbringenden Verwendungsmöglichkeiten künstlicher Intelligenz kann diese Technik auch missbraucht werden und neue und wirkungsvolle Instrumente für manipulative, ausbeuterische und soziale Kontrollpraktiken bieten. Solche Praktiken sind besonders schädlich und sollten verboten werden, weil sie im Widerspruch zu den Werten der Union stehen, nämlich der Achtung der Menschenwürde, Freiheit, Gleichheit, Demokratie und Rechtsstaatlichkeit sowie der Grundrechte in der Union, einschließlich des Rechts auf Nichtdiskriminierung, Datenschutz und Privatsphäre sowie der Rechte des Kindes.
- Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, die dazu bestimmt sind, menschliches Verhalten nachteilig zu beeinflussen, und die zu physischen oder psychischen Schäden führen dürften, sollte verboten werden. Solche KI-Systeme setzen auf eine vom Einzelnen nicht zu erkennende unterschwellige Beeinflussung oder sollen die Schutzbedürftigkeit von Kindern und anderen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung beeinträchtigten Personen ausnutzen. Dies geschieht mit der Absicht, das Verhalten einer Person wesentlich zu beeinflussen, und zwar in einer Weise, die dieser oder einer anderen Person Schaden zufügt oder zufügen kann. Diese Absicht kann nicht vermutet werden, wenn die nachteilige Beeinflussung des menschlichen Verhaltens auf Faktoren zurückzuführen ist, die nicht Teil des KI-Systems sind und außerhalb der Kontrolle des Anbieters oder Nutzers liegen. Forschung zu legitimen Zwecken im Zusammenhang mit solchen KI-Systemen sollte durch das Verbot nicht unterdrückt werden, wenn diese Forschung nicht auf eine Verwendung des KI-Systems in Beziehungen zwischen Mensch und Maschine hinausläuft, durch die natürliche Personen geschädigt werden, und wenn diese Forschung im Einklang mit anerkannten ethischen Standards für die wissenschaftliche Forschung durchgeführt wird.
- KI-Systeme, die von Behörden oder in deren Auftrag das soziale Verhalten natürlicher Personen für allgemeine Zwecke bewerten, können zu diskriminierenden Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie können die Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und Gerechtigkeit verletzen. Solche KI-Systeme bewerten oder klassifizieren die Vertrauenswürdigkeit natürlicher Personen auf der Grundlage ihres sozialen Verhaltens in verschiedenen Zusammenhängen oder aufgrund bekannter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erfasst wurden, oder zu einer Schlechterstellung in einer Weise führen, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist. Solche KI-Systeme sollten daher verboten werden.
- Die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken gilt als besonders in die Rechte und Freiheiten der betroffenen Personen eingreifend, da sie die Privatsphäre eines großen Teils der Bevölkerung beeinträchtigt, ein Gefühl der ständigen Überwachung weckt und indirekt von der Ausübung der Versammlungsfreiheit und anderer Grundrechte abhalten kann. Darüber hinaus bergen die Unmittelbarkeit der Auswirkungen und die begrenzten Möglichkeiten weiterer Kontrollen oder Korrekturen im Zusammenhang mit der Verwendung solcher in Echtzeit betriebener Systeme erhöhte Risiken für die Rechte und Freiheiten der Personen, die von Strafverfolgungsmaßnahmen betroffen sind.
- Die Verwendung solcher Systeme zu Strafverfolgungszwecken sollte daher untersagt werden, außer in drei erschöpfend aufgeführten und eng abgegrenzten Fällen, in denen die Verwendung unbedingt erforderlich ist, um einem erheblichen öffentlichen Interesse zu dienen, dessen Bedeutung die Risiken überwiegt. Zu diesen Fällen gehört die Suche nach potenziellen Opfern von Straftaten, einschließlich vermisster Kinder, bestimmte Gefahren für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder die Gefahr eines Terroranschlags sowie das Erkennen, Aufspüren, Identifizieren oder Verfolgen von Tätern oder Verdächtigen von Straftaten im Sinne des Rahmenbeschlusses 2002/584/JI des Rates 38 , sofern diese Straftaten in dem betreffenden Mitgliedstaat nach dessen Recht mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens drei Jahren bedroht sind. Eine solche Schwelle für eine Freiheitsstrafe oder eine freiheitsentziehende Maßregel der Sicherung nach nationalem Recht trägt dazu bei sicherzustellen, dass die Straftat schwerwiegend genug ist, um den Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme zu rechtfertigen. Darüber hinaus sind einige der 32 im Rahmenbeschluss 2002/584/JI des Rates aufgeführten Straftaten in der Praxis eher relevant als andere, da der Rückgriff auf die biometrische Echtzeit-Fernidentifizierung für die konkrete Erkennung, Aufspürung, Identifizierung oder Verfolgung eines Täters oder Verdächtigen einer der verschiedenen aufgeführten Straftaten voraussichtlich in äußerst unterschiedlichem Maße erforderlich und verhältnismäßig sein wird und da dabei die wahrscheinlichen Unterschiede in Schwere, Wahrscheinlichkeit und Ausmaß des Schadens oder möglicher negativer Folgen zu berücksichtigen sind.
- Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser drei erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und Freiheiten aller betroffenen Personen sowie auf die für die Verwendung geltenden Schutzvorkehrungen und Bedingungen. Darüber hinaus sollte die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung angemessenen zeitlichen und räumlichen Beschränkungen unterliegen, wobei insbesondere den Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den Täter Rechnung zu tragen ist. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jeder der drei oben genannten Situationen geeignet sein.
- Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken sollte einer ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde eines Mitgliedstaats unterliegen. Eine solche Genehmigung sollte grundsätzlich vor der Verwendung eingeholt werden, außer in hinreichend begründeten dringenden Fällen, d. h. in Situationen, in denen es wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich und objektiv unmöglich ist, vor dem Beginn der Verwendung eine Genehmigung einzuholen. In solchen dringenden Fällen sollte die Verwendung auf das absolut notwendige Mindestmaß beschränkt werden und angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen Recht festgelegt sind und im Zusammenhang mit jedem einzelnen dringenden Anwendungsfall von der Strafverfolgungsbehörde selbst präzisiert werden. Darüber hinaus sollte die Strafverfolgungsbehörde in solchen Situationen versuchen, so bald wie möglich eine Genehmigung einzuholen, wobei sie begründen sollte, warum sie diese nicht früher beantragen konnte.
- Darüber hinaus sollte innerhalb des durch diese Verordnung vorgegebenen erschöpfenden Rahmens festgelegt werden, dass eine solche Verwendung im Hoheitsgebiet eines Mitgliedstaats im Einklang mit dieser Verordnung nur möglich sein sollte, sofern der betreffende Mitgliedstaat in seinen detaillierten nationalen Rechtsvorschriften ausdrücklich vorgesehen hat, dass eine solche Verwendung genehmigt werden kann. Folglich steht es den Mitgliedstaaten im Rahmen dieser Verordnung frei, eine solche Möglichkeit generell oder nur in Bezug auf einige der in dieser Verordnung genannten Ziele, für die eine genehmigte Verwendung gerechtfertigt sein kann, vorzusehen.
- Die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken erfordert zwangsläufig die Verarbeitung biometrischer Daten. Die Vorschriften dieser Verordnung, die vorbehaltlich bestimmter Ausnahmen eine solche Verwendung auf der Grundlage von Artikel 16 AEUV verbieten, sollten als Lex specialis in Bezug auf die in Artikel 10 der Richtlinie (EU) 2016/680 enthaltenen Vorschriften über die Verarbeitung biometrischer Daten gelten und somit die Verwendung und Verarbeitung der betreffenden biometrischen Daten umfassend regeln. Eine solche Verwendung und Verarbeitung sollte daher nur möglich sein, soweit sie mit dem in dieser Verordnung festgelegten Rahmen vereinbar ist, ohne dass es den zuständigen Behörden bei ihren Tätigkeiten zu Strafverfolgungszwecken Raum lässt, außerhalb dieses Rahmens solche Systeme zu verwenden und die damit verbundenen Daten aus den in Artikel 10 der Richtlinie (EU) 2016/680 aufgeführten Gründen zu verarbeiten. In diesem Zusammenhang soll diese Verordnung nicht als Rechtsgrundlage für die Verarbeitung personenbezogener Daten gemäß Artikel 8 der Richtlinie (EU) 2016/680 dienen. Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu anderen Zwecken als der Strafverfolgung, auch durch zuständige Behörden, sollte jedoch nicht unter den in dieser Verordnung festgelegten spezifischen Rahmen für diese Verwendung zu Strafverfolgungszwecken fallen. Eine solche Verwendung zu anderen Zwecken als der Strafverfolgung sollte daher nicht der Genehmigungspflicht gemäß dieser Verordnung und der zu ihrer Durchführung anwendbaren detaillierten nationalen Rechtsvorschriften unterliegen.
- Jede Verarbeitung biometrischer Daten und anderer personenbezogener Daten im Zusammenhang mit der Verwendung von KI-Systemen für die biometrische Identifizierung, ausgenommen im Zusammenhang mit der Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken im Sinne dieser Verordnung, einschließlich der Fälle, in denen diese Systeme von den zuständigen Behörden in öffentlich zugänglichen Räumen zu anderen Zwecken als der Strafverfolgung genutzt werden, sollte weiterhin allen Anforderungen genügen, die sich gegebenenfalls aus Artikel 9 Absatz 1 der Verordnung (EU) 2016/679 , Artikel 10 Absatz 1 der Verordnung (EU) 2018/1725 und Artikel 10 der Richtlinie (EU) 2016/680 ergeben.
- Nach Artikel 6a des dem EUV und dem AEUV beigefügten Protokolls Nr. 21 über die Position des Vereinigten Königreichs und Irlands hinsichtlich des Raums der Freiheit, der Sicherheit und des Rechts sind die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Buchstabe d und Artikel 5 Absätze 2 und 3 dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 und 5 AEUV fallen, für Irland nicht bindend, wenn Irland nicht durch die Vorschriften gebunden ist, die die Formen der justiziellen Zusammenarbeit in Strafsachen oder der polizeilichen Zusammenarbeit regeln, in deren Rahmen die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften eingehalten werden müssen.
- Nach den Artikeln 2 und 2a des dem EUV und dem AEUV beigefügten Protokolls Nr. 22 über die Position Dänemarks ist Dänemark durch die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Buchstabe d und Artikel 5 Absätze 2 und 3 dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 und 5 AEUV fallen, weder gebunden noch zu ihrer Anwendung verpflichtet.
- Hochrisiko-KI-Systeme sollten nur dann auf dem Unionsmarkt in Verkehr gebracht oder in Betrieb genommen werden, wenn sie bestimmte verbindliche Anforderungen erfüllen. Mit diesen Anforderungen sollte sichergestellt werden, dass Hochrisiko-KI-Systeme, die in der Union verfügbar sind oder deren Ergebnisse anderweitig in der Union verwendet werden, keine unannehmbaren Risiken für wichtige öffentliche Interessen der Union bergen, wie sie im Unionsrecht anerkannt und geschützt sind. Als hochriskant sollten nur solche KI-Systeme eingestuft werden, die erhebliche schädliche Auswirkungen auf die Gesundheit, die Sicherheit und die Grundrechte von Personen in der Union haben; etwaige mögliche Beschränkungen des internationalen Handels, die sich daraus ergeben, sollten so gering wie möglich bleiben.
- KI-Systeme könnten negative Auswirkungen auf die Gesundheit und Sicherheit von Personen haben, insbesondere wenn solche Systeme als Komponenten von Produkten zum Einsatz kommen. Im Einklang mit den Zielen der Harmonisierungsrechtsvorschriften der Union, die den freien Verkehr von Produkten im Binnenmarkt erleichtern und gewährleisten sollen, dass nur sichere und anderweitig konforme Produkte auf den Markt gelangen, ist es wichtig, dass die Sicherheitsrisiken, die ein Produkt als Ganzes aufgrund seiner digitalen Komponenten, einschließlich KI-Systeme, mit sich bringen kann, angemessen vermieden und gemindert werden. So sollten beispielsweise zunehmend autonome Roboter – sei es in der Fertigung oder in der persönlichen Assistenz und Pflege – in der Lage sein, sicher zu arbeiten und ihre Funktionen in komplexen Umgebungen zu erfüllen. Desgleichen sollten die immer ausgefeilteren Diagnosesysteme und Systeme zur Unterstützung menschlicher Entscheidungen im Gesundheitssektor, in dem die Risiken für Leib und Leben besonders hoch sind, zuverlässig und genau sein. Das Ausmaß der negativen Auswirkungen des KI-Systems auf die durch die Charta geschützten Grundrechte ist bei der Einstufung eines KI-Systems als hochriskant von besonderer Bedeutung. Zu diesen Rechten gehören die Würde des Menschen, die Achtung des Privat- und Familienlebens, der Schutz personenbezogener Daten, die Freiheit der Meinungsäußerung und die Informationsfreiheit, die Versammlungs- und Vereinigungsfreiheit, die Nichtdiskriminierung, der Verbraucherschutz, die Arbeitnehmerrechte, die Rechte von Menschen mit Behinderungen, das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht, die Unschuldsvermutung und das Verteidigungsrecht sowie das Recht auf eine gute Verwaltung. Es muss betont werden, dass Kinder – zusätzlich zu diesen Rechten – über spezifische Rechte verfügen, wie sie in Artikel 24 der EU- Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) (im Hinblick auf das digitale Umfeld weiter ausgeführt in der Allgemeinen Bemerkung Nr. 25 des UNCRC) verankert sind; in beiden wird die Berücksichtigung der Schutzbedürftigkeit der Kinder gefordert und ihr Anspruch auf den Schutz und die Fürsorge festgelegt, die für ihr Wohlergehen notwendig sind. Darüber hinaus sollte dem Grundrecht auf ein hohes Umweltschutzniveau, das in der Charta verankert ist und mit der Unionspolitik umgesetzt wird, bei der Bewertung der Schwere des Schadens, den ein KI-System u. a. in Bezug auf die Gesundheit und Sicherheit von Menschen verursachen kann, ebenfalls Rechnung getragen werden.
- In Bezug auf Hochrisiko-KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten oder Systemen oder selbst um Produkte oder Systeme handelt, die in den Anwendungsbereich der Verordnung (EG) Nr. 300/2008 des Europäischen Parlaments und des Rates 39 , der Verordnung (EU) Nr. 167/2013 des Europäischen Parlaments und des Rates 40 , der Verordnung (EU) Nr. 168/2013 des Europäischen Parlaments und des Rates 41 , der Richtlinie 2014/90/EU des Europäischen Parlaments und des Rates 42 , der Richtlinie (EU) 2016/797 des Europäischen Parlaments und des Rates 43 , der Verordnung (EU) 2018/858 des Europäischen Parlaments und des Rates 44 , der Verordnung (EU) 2018/1139 des Europäischen Parlaments und des Rates 45 und der Verordnung (EU) 2019/2144 des Europäischen Parlaments und des Rates 46 fallen, ist es angezeigt, diese Rechtsakte zu ändern, damit die Kommission – aufbauend auf den technischen und regulatorischen Besonderheiten des jeweiligen Sektors und ohne Beeinträchtigung bestehender Governance-, Konformitätsbewertungs- und Durchsetzungsmechanismen sowie der darin eingerichteten Behörden – beim Erlass von etwaigen künftigen delegierten Rechtsakten oder Durchführungsrechtsakten auf der Grundlage der genannten Rechtsakte die in der vorliegenden Verordnung festgelegten verbindlichen Anforderungen an Hochrisiko-KI-Systeme berücksichtigt.
- In Bezug auf KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten oder selbst um Produkte handelt, die unter bestimmte Harmonisierungsrechtsvorschriften der Union fallen, ist es angezeigt, sie im Rahmen dieser Verordnung als hochriskant einzustufen, wenn das betreffende Produkt gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union dem Konformitätsbewertungsverfahren durch eine als unabhängige Dritte auftretende Konformitätsbewertungsstelle unterzogen wird. Dabei handelt es sich insbesondere um Produkte wie Maschinen, Spielzeuge, Aufzüge, Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Sportbootausrüstung, Seilbahnen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte und In-vitro-Diagnostika.
- Die Einstufung eines KI-Systems als hochriskant gemäß dieser Verordnung sollte nicht zwangsläufig bedeuten, dass von dem Produkt, dessen Sicherheitskomponente das KI-System ist, oder dem KI-System als Produkt selbst nach den Kriterien der einschlägigen Harmonisierungsrechtsvorschriften der Union für das betreffende Produkt ein hohes Risiko ausgeht. Dies betrifft insbesondere die Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates 47 und die Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates 48 , in denen für Produkte, die ein mittleres und hohes Risiko bergen, eine Konformitätsbewertung durch Dritte vorgesehen ist.
- Bei eigenständigen KI-Systemen, d. h. Hochrisiko-KI-Systemen, bei denen es sich um andere Systeme als Sicherheitskomponenten von Produkten handelt oder die selbst Produkte sind, ist es angezeigt, sie als hochriskant einzustufen, wenn sie aufgrund ihrer Zweckbestimmung ein hohes Risiko bergen, die Gesundheit und Sicherheit oder die Grundrechte von Personen zu schädigen, wobei sowohl die Schwere des möglichen Schadens als auch die Wahrscheinlichkeit seines Auftretens zu berücksichtigen sind, und sofern sie in einer Reihe von Bereichen verwendet werden, die in der Verordnung ausdrücklich festgelegt sind. Die Bestimmung dieser Systeme erfolgt nach derselben Methode und denselben Kriterien, die auch für künftige Änderungen der Liste der Hochrisiko-KI-Systeme vorgesehen sind.
- Technische Ungenauigkeiten von KI-Systemen, die für die biometrische Fernidentifizierung natürlicher Personen bestimmt sind, können zu verzerrten Ergebnissen führen und eine diskriminierende Wirkung haben. Dies ist von besonderer Bedeutung, wenn es um das Alter, die ethnische Herkunft, das Geschlecht oder Behinderungen geht. Daher sollten biometrische Echtzeit-Fernidentifizierungssysteme und Systeme zur nachträglichen biometrischen Fernidentifizierung als hochriskant eingestuft werden. Angesichts der mit ihnen verbundenen Risiken sollten für beide Arten von biometrischen Fernidentifizierungssystemen besondere Anforderungen im Hinblick auf die Protokollierungsfunktionen und die menschliche Aufsicht gelten.
- Was die Verwaltung und den Betrieb kritischer Infrastrukturen anbelangt, so sollten KI-Systeme, die als Sicherheitskomponenten für das Management und den Betrieb des Straßenverkehrs sowie für die Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden sollen, als hochriskant eingestuft werden, da ihr Ausfall oder ihre Störung in großem Umfang das Leben und die Gesundheit von Menschen gefährden und zu erheblichen Störungen bei der normalen Durchführung sozialer und wirtschaftlicher Tätigkeiten führen kann.
- KI-Systeme, die in der allgemeinen oder beruflichen Bildung eingesetzt werden, insbesondere um den Zugang von Personen zu Bildungs- und Berufsbildungseinrichtungen oder ihrer Zuordnung dazu zu bestimmen oder um Personen im Rahmen von Prüfungen als Teil ihrer Ausbildung oder als Voraussetzung dafür zu bewerten, sollten als hochriskant angesehen werden, da sie über den Verlauf der Bildung und des Berufslebens einer Person entscheiden und daher ihre Fähigkeit beeinträchtigen können, ihren Lebensunterhalt zu sichern. Bei unsachgemäßer Konzeption und Verwendung können solche Systeme das Recht auf allgemeine und berufliche Bildung sowie das Recht auf Nichtdiskriminierung verletzen und historische Diskriminierungsmuster fortschreiben.
- KI-Systeme, die in den Bereichen Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit eingesetzt werden, insbesondere für die Einstellung und Auswahl von Personen, für Entscheidungen über Beförderung und Kündigung sowie für die Zuweisung, Überwachung oder Bewertung von Personen in Arbeitsvertragsverhältnissen, sollten ebenfalls als hochriskant eingestuft werden, da diese Systeme die künftigen Karriereaussichten und die Lebensgrundlagen dieser Personen spürbar beeinflussen können. Einschlägige Arbeitsvertragsverhältnisse sollten Beschäftigte und Personen erfassen, die Dienstleistungen über Plattformen erbringen, auf die im Arbeitsprogramm der Kommission für 2021 Bezug genommen wird. Solche Personen sollten grundsätzlich nicht als Nutzer im Sinne dieser Verordnung gelten. Solche Systeme können während des gesamten Einstellungsverfahrens und bei der Bewertung, Beförderung oder Nichtbeförderung von Personen in Arbeitsvertragsverhältnissen historische Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen, bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung. KI-Systeme zur Überwachung der Leistung und des Verhaltens dieser Personen können sich auch auf ihre Rechte auf Datenschutz und Privatsphäre auswirken.
- Ein weiterer Bereich, in dem der Einsatz von KI-Systemen besondere Aufmerksamkeit verdient, ist der Zugang zu und die Nutzung von bestimmten grundlegenden privaten und öffentlichen Diensten und Leistungen, die erforderlich sind, damit die Menschen uneingeschränkt an der Gesellschaft teilhaben oder ihren Lebensstandard verbessern können. Insbesondere KI-Systeme, die zur Kreditpunktebewertung oder zur Bewertung der Kreditwürdigkeit natürlicher Personen verwendet werden, sollten als Hochrisiko-KI-Systeme eingestuft werden, da sie den Zugang dieser Personen zu Finanzmitteln oder wesentlichen Dienstleistungen wie Wohnraum, Elektrizität und Telekommunikationsdienstleistungen bestimmen. KI-Systeme, die zu diesem Zweck eingesetzt werden, können zur Diskriminierung von Personen oder Gruppen führen und historische Diskriminierungsmuster, beispielsweise aufgrund der rassischen oder ethnischen Herkunft, einer Behinderung, des Alters oder der sexuellen Ausrichtung, fortschreiben oder neue Formen von Diskriminierung mit sich bringen. Angesichts des sehr begrenzten Auswirkungen und der auf dem Markt verfügbaren Alternativen ist es angezeigt, KI-Systeme zur Kreditwürdigkeitsprüfung und Kreditpunktebewertung auszunehmen, wenn sie von kleinen Anbietern für den Eigenbedarf in Betrieb genommen werden. Natürliche Personen, die staatliche Unterstützungsleistungen und ‑dienste von Behörden beantragen oder erhalten, sind in der Regel von diesen Leistungen und Diensten abhängig und befinden sich gegenüber den zuständigen Behörden in einer prekären Lage. Wenn KI-Systeme eingesetzt werden, um zu bestimmen, ob solche Leistungen und Dienste von den Behörden verweigert, gekürzt, widerrufen oder zurückgefordert werden sollten, können sie erhebliche Auswirkungen auf die Existenzgrundlage der Menschen haben und ihre Grundrechte wie das Recht auf sozialen Schutz, Nichtdiskriminierung, Menschenwürde oder einen wirksamen Rechtsbehelf verletzen. Solche Systeme sollten daher als hochriskant eingestuft werden. Dennoch sollte diese Verordnung die Entwicklung und Anwendung innovativer Ansätze in der öffentlichen Verwaltung nicht behindern, die von einer breiteren Verwendung konformer und sicherer KI-Systeme profitieren würde, sofern diese Systeme kein hohes Risiko für juristische und natürliche Personen bergen. Schließlich sollten KI-Systeme, die bei der Entsendung oder der Priorisierung der Entsendung von Rettungsdiensten eingesetzt werden, ebenfalls als hochriskant eingestuft werden, da sie in für das Leben und die Gesundheit von Personen und für ihr Eigentum sehr kritischen Situationen Entscheidungen treffen.
- Maßnahmen von Strafverfolgungsbehörden im Zusammenhang mit bestimmten Verwendungen von KI-Systemen sind durch ein erhebliches Machtungleichgewicht gekennzeichnet und können zur Überwachung, Festnahme oder zum Entzug der Freiheit einer natürlichen Person sowie zu anderen nachteiligen Auswirkungen auf die in der Charta verankerten Grundrechte führen. Insbesondere wenn das KI-System nicht mit hochwertigen Daten trainiert wird, die Anforderungen an seine Genauigkeit oder Robustheit nicht erfüllt werden oder das System nicht ordnungsgemäß konzipiert und getestet wird, bevor es in Verkehr gebracht oder in anderer Weise in Betrieb genommen wird, kann es Personen in diskriminierender oder anderweitig falscher oder ungerechter Weise ausgrenzen. Darüber hinaus könnte die Ausübung wichtiger verfahrensrechtlicher Grundrechte wie des Rechts auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht sowie die Unschuldsvermutung und Verteidigungsrechte behindert werden, insbesondere wenn solche KI-Systeme nicht hinreichend transparent, erklärbar und dokumentiert sind. Daher ist es angezeigt, eine Reihe von KI-Systemen, die im Rahmen der Strafverfolgung eingesetzt werden sollen und bei denen Genauigkeit, Zuverlässigkeit und Transparenz besonders wichtig sind, als hochriskant einzustufen, um nachteilige Auswirkungen zu vermeiden, das Vertrauen der Öffentlichkeit zu erhalten und die Rechenschaftspflicht und einen wirksamen Rechtsschutz zu gewährleisten. Angesichts der Art der betreffenden Tätigkeiten und der damit verbundenen Risiken sollten diese Hochrisiko-KI-Systeme insbesondere KI-Systeme umfassen, die von Strafverfolgungsbehörden für individuelle Risikobewertungen, als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands natürlicher Personen, zur Aufdeckung von Deepfakes , zur Bewertung der Zuverlässigkeit von Beweismitteln in Strafverfahren, zur Vorhersage des Auftretens oder erneuten Auftretens einer tatsächlichen oder potenziellen Straftat auf der Grundlage des Profils natürlicher Personen oder zur Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder vergangenen kriminellen Verhaltens von natürlichen Personen oder Gruppen, zur Erstellung eines Profils während der Aufdeckung, Untersuchung oder strafrechtlichen Verfolgung einer Straftat sowie zur Kriminalanalyse in Bezug auf natürliche Personen eingesetzt werden. KI-Systeme, die speziell für Verwaltungsverfahren in Steuer- und Zollbehörden bestimmt sind, sollten nicht als Hochrisiko-KI-Systeme gelten, die von Strafverfolgungsbehörden zum Zwecke der Verhütung, Aufdeckung, Untersuchung und strafrechtlichen Verfolgung von Straftaten eingesetzt werden.
- KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, den Schutz des Privatlebens und personenbezogener Daten, den internationalen Schutz und die gute Verwaltung, zu gewährleisten. Daher ist es angezeigt, KI-Systeme als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustand einer natürlichen Person; zur Bewertung bestimmter Risiken, die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Überprüfung der Echtheit der einschlägigen Dokumente natürlicher Personen; zur Unterstützung der zuständigen Behörden bei der Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates 49 , der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates 50 und anderen einschlägigen Rechtsvorschriften entsprechen.
- Bestimmte KI-Systeme, die für die Rechtspflege und demokratische Prozesse bestimmt sind, sollten angesichts ihrer möglichen erheblichen Auswirkungen auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten sowie das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht als hochriskant eingestuft werden. Um insbesondere den Risiken möglicher Verzerrungen, Fehler und Undurchsichtigkeiten zu begegnen, sollten KI-Systeme, die Justizbehörden dabei helfen sollen, Sachverhalte und Rechtsvorschriften zu ermitteln und auszulegen und das Recht auf konkrete Sachverhalte anzuwenden, als hochriskant eingestuft werden. Diese Einstufung sollte sich jedoch nicht auf KI-Systeme erstrecken, die für rein begleitende Verwaltungstätigkeiten bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht beeinträchtigen, wie die Anonymisierung oder Pseudonymisierung gerichtlicher Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal, Verwaltungsaufgaben oder die Zuweisung von Ressourcen.
- Die Tatsache, dass ein KI-System gemäß dieser Verordnung als hochriskant eingestuft wird, sollte nicht dahingehend ausgelegt werden, dass die Verwendung des Systems nach anderen Rechtsakten der Union oder nach nationalen Rechtsvorschriften, die mit dem Unionsrecht vereinbar sind, zwangsläufig rechtmäßig ist, beispielsweise in Bezug auf den Schutz personenbezogener Daten, die Verwendung von Lügendetektoren und ähnlichen Instrumenten oder anderen Systemen zur Ermittlung des emotionalen Zustand einer natürlichen Person. Eine solche Verwendung sollte weiterhin ausschließlich im Einklang mit den geltenden Anforderungen erfolgen, die sich aus der Charta , dem anwendbaren Sekundärrecht der Union und nationalen Recht ergeben. Diese Verordnung sollte nicht so verstanden werden, dass sie eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten bildet, auch nicht für besondere Kategorien personenbezogener Daten.
- Zur Minderung der Risiken für Nutzer und betroffene Personen, die von auf dem Unionsmarkt in Verkehr gebrachten oder anderweitig in Betrieb genommenen Hochrisiko-KI-Systemen ausgehen, sollten bestimmte verbindliche Anforderungen gelten, wobei der Zweckbestimmung des Systems und dem vom Anbieter einzurichtenden Risikomanagementsystem Rechnung zu tragen ist.
- Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf die Qualität der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für die Gesundheit, die Sicherheit und die Grundrechte entsprechend der Zweckbestimmung des Systems wirksam zu mindern, und es stehen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung, sodass ungerechtfertigte Handelsbeschränkungen vermieden werden.
- Eine hohe Datenqualität ist für die Leistung vieler KI-Systeme von wesentlicher Bedeutung, insbesondere wenn Techniken eingesetzt werden, bei denen Modelle mit Daten trainiert werden, um sicherzustellen, dass das Hochrisiko-KI-System bestimmungsgemäß und sicher funktioniert und nicht zur Ursache für Diskriminierung wird, die nach dem Unionsrecht verboten ist. Für hochwertige Trainings-, Validierungs- und Testdatensätze müssen geeignete Daten-Governance- und Datenverwaltungsverfahren umgesetzt werden. Die Trainings-, Validierungs- und Testdatensätze sollten im Hinblick auf die Zweckbestimmung des Systems hinreichend relevant, repräsentativ, fehlerfrei und vollständig sein. Ferner sollten sie die geeigneten statistischen Merkmale haben, auch bezüglich der Personen oder Personengruppen, auf die das Hochrisiko-KI-System bestimmungsgemäß angewandt werden soll. Insbesondere sollten die Trainings-, Validierungs- und Testdatensätze, soweit dies angesichts der Zweckbestimmung erforderlich ist, den Eigenschaften, Merkmalen oder Elementen entsprechen, die für die besonderen geografischen, verhaltensbezogenen oder funktionalen Rahmenbedingungen oder den Zusammenhängen, in denen das KI-System bestimmungsgemäß verwendet werden soll, typisch sind. Um das Recht anderer auf Schutz vor Diskriminierung, die sich aus Verzerrungen in KI-Systemen ergeben könnte, zu wahren, sollten die Anbieter angesichts des erheblichen öffentlichen Interesses auch besondere Kategorien personenbezogener Daten verarbeiten dürfen, um Verzerrungen in Hochrisiko-KI-Systemen zu beobachten, zu erkennen und zu korrigieren.
- Für die Entwicklung von Hochrisiko-KI-Systemen sollten bestimmte Akteure wie Anbieter, notifizierte Stellen und andere einschlägige Stellen wie Zentren für digitale Innovation, Erprobungs- und Versuchseinrichtungen und Forscher in der Lage sein, in ihren jeweiligen Tätigkeitsbereichen, die mit dieser Verordnung in Zusammenhang stehen, auf hochwertige Datensätze zuzugreifen und diese zu nutzen. Die von der Kommission eingerichteten gemeinsamen europäischen Datenräume und die Erleichterung des Datenaustauschs im öffentlichen Interesse zwischen Unternehmen und mit Behörden werden entscheidend dazu beitragen, einen vertrauensvollen, rechenschaftspflichtigen und diskriminierungsfreien Zugang zu hochwertigen Daten für das Training, die Validierung und das Testen von KI-Systemen zu gewährleisten. Im Gesundheitsbereich beispielsweise wird der europäische Raum für Gesundheitsdaten den diskriminierungsfreien Zugang zu Gesundheitsdaten und das Training von KI-Algorithmen mithilfe dieser Datensätze erleichtern, und zwar unter Wahrung der Privatsphäre, auf sichere, zeitnahe, transparente und vertrauenswürdige Weise und unter angemessener institutioneller Leitung. Die einschlägigen zuständigen Behörden, einschließlich sektoraler Behörden, die den Zugang zu Daten bereitstellen oder unterstützen, können auch die Bereitstellung hochwertiger Daten für das Training, die Validierung und das Testen von KI-Systemen unterstützen.
- Informationen darüber, wie Hochrisiko-KI-Systeme entwickelt wurden und wie sie während ihres gesamten Lebenszyklus funktionieren, sind unerlässlich, um die Einhaltung der Anforderungen dieser Verordnung überprüfen zu können. Dies erfordert die Führung von Aufzeichnungen und die Verfügbarkeit einer technischen Dokumentation, die alle erforderlichen Informationen enthält, um die Einhaltung der einschlägigen Anforderungen durch das KI-System zu beurteilen. Diese Informationen sollten die allgemeinen Merkmale, Fähigkeiten und Grenzen des Systems, die verwendeten Algorithmen, Daten, Trainings-, Test- und Validierungsverfahren sowie die Dokumentation des einschlägigen Risikomanagementsystems umfassen. Die technische Dokumentation sollte stets auf dem neuesten Stand gehalten werden.
- Um der Undurchsichtigkeit entgegenzuwirken, die bestimmte KI-Systeme für natürliche Personen unverständlich oder zu komplex erscheinen lässt, sollte für Hochrisiko-KI-Systeme ein gewisses Maß an Transparenz vorgeschrieben werden. Die Nutzer sollten in der Lage sein, die Ergebnisse des Systems zu interpretieren und es angemessen zu verwenden. Hochrisiko-KI-Systemen sollte daher die einschlägige Dokumentation und Gebrauchsanweisungen beigefügt sein und diese sollten präzise und eindeutige Informationen enthalten, gegebenenfalls auch in Bezug auf mögliche Risiken in Bezug auf die Grundrechte und Diskriminierung.
- Hochrisiko-KI-Systeme sollten so konzipiert und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen können. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen.
- Hochrisiko-KI-Systeme sollten während ihres gesamten Lebenszyklus beständig funktionieren und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit entsprechend dem allgemein anerkannten Stand der Technik aufweisen. Der Genauigkeitsgrad und die Genauigkeitskennzahlen sollte den Nutzern mitgeteilt werden.
- Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandfähig gegenüber Risiken im Zusammenhang mit den Grenzen des Systems (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen) sowie gegenüber böswilligen Eingriffen sein, die die Sicherheit des KI-Systems gefährden und zu schädlichen oder anderweitig unerwünschtem Verhalten führen können. Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ergebnisse hervorbringt.
- Die Cybersicherheit spielt eine entscheidende Rolle, wenn es darum geht sicherzustellen, dass KI-Systeme widerstandsfähig gegenüber Versuchen böswilliger Dritter sind, unter Ausnutzung der Schwachstellen der Systeme deren Verwendung, Verhalten, Leistung oder Sicherheitsmerkmale zu verändern. Cyberangriffe auf KI-Systeme können KI-spezifische Ressourcen wie Trainingsdatensätze (z. B. Datenvergiftung) oder trainierte Modelle (z. B. feindliche Angriffe) nutzen oder Schwachstellen in den digitalen Ressourcen des KI-Systems oder der zugrunde liegenden IKT-Infrastruktur ausnutzen. Um ein den Risiken angemessenes Cybersicherheitsniveau zu gewährleisten, sollten die Anbieter von Hochrisiko-KI-Systemen daher geeignete Maßnahmen ergreifen, wobei gegebenenfalls auch die zugrunde liegende IKT-Infrastruktur zu berücksichtigen ist.
- Als Teil der Harmonisierungsrechtsvorschriften der Union sollten Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Hochrisiko-KI-Systemen im Einklang mit der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates 51 über die Vorschriften für die Akkreditierung und Überwachung von Produkten, dem Beschluss Nr. 768/2008/EG des Europäischen Parlaments und des Rates 52 über einen gemeinsamen Rechtsrahmen für die Vermarktung von Produkten und der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates 53 über Marktüberwachung und die Konformität von Produkten ( neuer Rechtsrahmen für die Vermarktung von Produkten ) festgelegt werden.
- Es ist angemessen, dass eine bestimmte als Anbieter definierte natürliche oder juristische Person die Verantwortung für das Inverkehrbringen oder die Inbetriebnahme eines Hochrisiko-KI-Systems übernimmt, unabhängig davon, ob es sich bei dieser natürlichen oder juristischen Person um die Person handelt, die das System konzipiert oder entwickelt hat.
- Der Anbieter sollte ein solides Qualitätsmanagementsystem einrichten, die Durchführung des vorgeschriebenen Konformitätsbewertungsverfahrens sicherstellen, die einschlägige Dokumentation erstellen und ein robustes System zur Beobachtung nach dem Inverkehrbringen einrichten. Behörden, die Hochrisiko-KI-Systeme für den Eigengebrauch in Betrieb nehmen, können unter Berücksichtigung der Besonderheiten des Bereichs sowie der Zuständigkeiten und der Organisation der betreffenden Behörde die Vorschriften für das Qualitätsmanagementsystem als Teil des auf nationaler oder regionaler Ebene eingesetzten Qualitätsmanagementsystems annehmen und umsetzen.
- Wird ein Hochrisiko-KI-System, bei dem es sich um eine Sicherheitskomponente eines Produkts handelt, das unter einschlägige sektorale Rechtsvorschriften des neuen Rechtsrahmen fällt, nicht unabhängig von dem Produkt in Verkehr gebracht oder in Betrieb genommen, so sollte der Hersteller des Endprodukts im Sinne der einschlägigen Rechtsvorschriften des neuen Rechtsrahmens die in dieser Verordnung festgelegten Anbieterpflichten erfüllen und insbesondere sicherstellen, dass das in das Endprodukt eingebettete KI-System den Anforderungen dieser Verordnung entspricht.
- Um die Durchsetzung dieser Verordnung zu ermöglichen und gleiche Wettbewerbsbedingungen für die Akteure zu schaffen, muss unter Berücksichtigung der verschiedenen Formen der Bereitstellung digitaler Produkte sichergestellt sein, dass unter allen Umständen eine in der Union ansässige oder niedergelassene Person den Behörden alle erforderlichen Informationen über die Konformität eines KI-Systems zur Verfügung stellen kann. Daher benennen Anbieter, die außerhalb der Union niedergelassen sind, vor der Bereitstellung ihrer KI-Systeme in der Union schriftlich einen in der Union niedergelassenen Bevollmächtigten für den Fall, dass kein Einführer ermittelt werden kann.
- Im Einklang mit den Grundsätzen des neuen Rechtsrahmens sollten besondere Verpflichtungen für einschlägige Wirtschaftsakteure, wie Einführer und Händler, festgelegt werden, um die Rechtssicherheit zu gewährleisten und die Einhaltung der Rechtsvorschriften durch die betreffenden Wirtschaftsakteure zu erleichtern.
- Angesichts des Charakters von KI-Systemen und der Risiken für die Sicherheit und die Grundrechte, die mit ihrer Verwendung verbunden sein können, ist es angebracht, besondere Zuständigkeiten für die Nutzer festzulegen, auch im Hinblick darauf, dass eine angemessene Überwachung der Leistung eines KI-Systems unter realen Bedingungen sichergestellt werden muss. Die Nutzer sollten insbesondere Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung verwenden, und es sollten bestimmte andere Pflichten in Bezug auf die Überwachung der Funktionsweise der KI-Systeme und gegebenenfalls auch Aufzeichnungspflichten festgelegt werden.
- Es ist angemessen, davon auszugehen, dass der Nutzer des KI-Systems eine natürliche oder juristische Person oder eine Behörde, Einrichtung oder sonstige Stelle ist, die für den Betrieb eines KI-Systems verantwortlich ist, es sei denn, das KI-System wird im Rahmen einer persönlichen nicht beruflichen Tätigkeit verwendet.
- Angesichts der Komplexität der Wertschöpfungskette im Bereich der künstlichen Intelligenz sollten einschlägige Dritte, insbesondere diejenigen, die am Verkauf und der Bereitstellung von Software, Software-Tools und Komponenten, vortrainierten Modellen und Daten beteiligt sind, oder Netzdienstbetreiber gegebenenfalls mit Anbietern und Nutzern, denen die Einhaltung der Verpflichtungen aus dieser Verordnung ermöglicht werden soll, und mit den gemäß dieser Verordnung eingerichteten zuständigen Behörden zusammenarbeiten.
- Die Normung sollte eine Schlüsselrolle dabei spielen, den Anbietern technische Lösungen zur Verfügung zu stellen, um die Einhaltung dieser Verordnung zu gewährleisten. Die Einhaltung harmonisierter Normen gemäß der Verordnung (EU) Nr. 1025/2012 des Europäischen Parlaments und des Rates 54 sollte den Anbietern den Nachweis der Konformität mit den Anforderungen dieser Verordnung ermöglichen. Die Kommission könnte jedoch gemeinsame technische Spezifikationen in Bereichen annehmen, in denen es keine harmonisierten Normen gibt oder diese unzureichend sind.
- Um ein hohes Maß an Vertrauenswürdigkeit von Hochrisiko-KI-Systemen zu gewährleisten, sollten diese Systeme einer Konformitätsbewertung unterzogen werden, bevor sie in Verkehr gebracht oder in Betrieb genommen werden.
- Damit für die Betreiber möglichst wenig Aufwand entsteht und etwaige Doppelarbeit vermieden wird, sollte bei Hochrisiko-KI-Systemen im Zusammenhang mit Produkten, die nach dem neuen Rechtsrahmen unter bestehende Harmonisierungsrechtsvorschriften der Union fallen, im Rahmen der bereits in diesen Rechtsvorschriften vorgesehenen Konformitätsbewertung bewertet werden, ob diese KI-Systeme den Anforderungen dieser Verordnung genügen. Die Anwendbarkeit der Anforderungen dieser Verordnung sollte daher die besondere Logik, die Methodik oder die allgemeine Struktur der Konformitätsbewertung gemäß den einschlägigen spezifischen Rechtsvorschriften des neuen Rechtsrahmens unberührt lassen. Dieser Ansatz spiegelt sich voll und ganz in der Wechselwirkung zwischen dieser Verordnung und der [Maschinenverordnung] wider. Bei den Anforderungen in dieser Verordnung geht es um die Sicherheitsrisiken, die von KI-Systemen ausgehen, die Sicherheitsfunktionen in Maschinen steuern, wogegen bestimmte spezifische Anforderungen der [Maschinenverordnung] gewährleisten werden, dass ein KI-System auf sichere Weise in die gesamte Maschine integriert wird, damit die Sicherheit der Maschine insgesamt nicht beeinträchtigt wird. In der [Maschinenverordnung] wird der Begriff KI-System genauso wie in dieser Verordnung definiert.
- Angesichts der umfassenderen Erfahrung professioneller dem Inverkehrbringen vorgeschalteter Zertifizierer im Bereich der Produktsicherheit und der unterschiedlichen Art der damit verbundenen Risiken empfiehlt es sich, zumindest während der anfänglichen Anwendung dieser Verordnung für Hochrisiko-KI-Systeme, die nicht mit Produkten in Verbindung stehen, den Anwendungsbereich der Konformitätsbewertung durch Dritte einzuschränken. Daher sollte die Konformitätsbewertung solcher Systeme in der Regel vom Anbieter in eigener Verantwortung durchgeführt werden, mit Ausnahme von KI-Systemen, die zur biometrischen Fernidentifizierung von Personen verwendet werden sollen, bei denen die Beteiligung einer notifizierten Stelle an der Konformitätsbewertung vorgesehen werden sollte, soweit diese Systeme nicht ganz verboten sind.
- Damit KI-Systeme, die zur biometrischen Fernidentifizierung von Personen verwendet werden sollen, einer Konformitätsbewertung durch Dritte unterzogen werden können, sollten die notifizierten Stellen gemäß dieser Verordnung von den zuständigen nationalen Behörden benannt werden, sofern sie eine Reihe von Anforderungen erfüllen, insbesondere in Bezug auf Unabhängigkeit, Kompetenz und Nichtvorliegen von Interessenkonflikten.
- Im Einklang mit dem allgemein anerkannten Begriff der wesentlichen Änderung von Produkten, für die Harmonisierungsrechtsvorschriften der Union gelten, ist es angebracht, dass ein KI-System einer neuen Konformitätsbewertung unterzogen wird, wenn eine Änderung eintritt, die die Einhaltung dieser Verordnung durch das System beeinträchtigen könnte, oder wenn sich die Zweckbestimmung des Systems ändert. Darüber hinaus müssen in Bezug auf KI-Systeme, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen (d. h. sie passen automatisch an, wie die Funktionen ausgeführt werden), Vorschriften festgelegt werden, nach denen Änderungen des Algorithmus und seiner Leistung, die vom Anbieter vorab festgelegt und zum Zeitpunkt der Konformitätsbewertung bewertet wurden, keine wesentliche Änderung darstellen sollten.
- Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Die Mitgliedstaaten sollten keine ungerechtfertigten Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind.
- Unter bestimmten Bedingungen kann die rasche Verfügbarkeit innovativer Technik für die Gesundheit und Sicherheit von Menschen und für die Gesellschaft insgesamt von entscheidender Bedeutung sein. Es ist daher angebracht, dass die Mitgliedstaaten aus außergewöhnlichen Gründen der öffentlichen Sicherheit, des Schutzes des Lebens und der Gesundheit natürlicher Personen und des Schutzes des gewerblichen und kommerziellen Eigentums das Inverkehrbringen oder die Inbetriebnahme von KI-Systemen, die keiner Konformitätsbewertung unterzogen wurden, genehmigen könnten.
- Um die Arbeit der Kommission und der Mitgliedstaaten im Bereich der künstlichen Intelligenz zu erleichtern und die Transparenz gegenüber der Öffentlichkeit zu erhöhen, sollten Anbieter von Hochrisiko-KI-Systemen, die nicht mit Produkten in Verbindung stehen, die unter die einschlägigen Harmonisierungsrechtsvorschriften der Union fallen, dazu verpflichtet werden, ihr Hochrisiko-KI-System in einer von der Kommission einzurichtenden und zu verwaltenden EU-Datenbank zu registrieren. Die Kommission sollte im Einklang mit der Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates 55 als für die Datenbank verantwortliche Stelle gelten. Um die volle Funktionsfähigkeit der Datenbank zu gewährleisten, sollte das Verfahren für die Einrichtung der Datenbank auch die Ausarbeitung von funktionalen Spezifikationen durch die Kommission und einen unabhängigen Prüfbericht umfassen.
- Bestimmte KI-Systeme, die mit natürlichen Personen interagieren oder Inhalte erzeugen sollen, können unabhängig davon, ob sie als hochriskant eingestuft werden, ein besonderes Risiko in Bezug auf Identitätsbetrug oder Täuschung bergen. Unter bestimmten Umständen sollte die Verwendung solcher Systeme daher – unbeschadet der Anforderungen an und Verpflichtungen für Hochrisiko-KI-Systeme – besonderen Transparenzpflichten unterliegen. Insbesondere sollte natürlichen Personen mitgeteilt werden, dass sie es mit einem KI-System zu tun haben, es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Darüber hinaus sollten natürliche Personen informiert werden, wenn sie einem Emotionserkennungssystem oder einem System zur biometrischen Kategorisierung ausgesetzt sind. Diese Informationen und Mitteilungen sollten für Menschen mit Behinderungen in entsprechend barrierefrei zugänglicher Form bereitgestellt werden. Darüber hinaus sollten Nutzer, die ein KI-System zum Erzeugen oder Manipulieren von Bild-, Ton- oder Videoinhalten verwenden, die wirklichen Personen, Orten oder Ereignissen merklich ähneln und einer Person fälschlicherweise echt erscheinen würden, offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden, indem sie die Ergebnisse künstlicher Intelligenz entsprechend kennzeichnen und auf ihren künstlichen Ursprung hinweisen.
- Künstliche Intelligenz bezeichnet eine Reihe sich rasch entwickelnder Technologien, die neuartige Formen der Regulierungsaufsicht und einen sicheren Raum für die Erprobung erfordern, wobei gleichzeitig eine verantwortungsvolle Innovation und die Integration geeigneter Schutzvorkehrungen und Risikominderungsmaßnahmen gewährleistet werden müssen. Um einen innovationsfreundlichen, zukunftssicheren und gegenüber Störungen widerstandsfähigen Rechtsrahmen sicherzustellen, sollten die zuständigen nationalen Behörden eines oder mehrerer Mitgliedstaaten angehalten werden, Reallabore für künstliche Intelligenz einzurichten, um die Entwicklung und Erprobung innovativer KI-Systeme vor deren Inverkehrbringen oder anderweitiger Inbetriebnahme unter strenger Regulierungsaufsicht zu erleichtern.
- Die Ziele der Reallabore sollten darin bestehen, Innovationen im Bereich KI zu fördern, indem eine kontrollierte Versuchs- und Erprobungsumgebung für die Entwicklungsphase und die dem Inverkehrbringen vorgelagerte Phase geschaffen wird, um sicherzustellen, dass die innovativen KI-Systeme mit dieser Verordnung und anderen einschlägigen Rechtsvorschriften der Union und der Mitgliedstaaten in Einklang stehen. Darüber hinaus sollen sie die Rechtssicherheit für Innovatoren sowie die Aufsicht und das Verständnis der zuständigen Behörden in Bezug auf die Möglichkeiten, neu auftretenden Risiken und der Auswirkungen der KI-Nutzung verbessern und den Marktzugang beschleunigen, unter anderem indem Hindernisse für kleine und mittlere Unternehmen (KMU) und Start-up-Unternehmen abgebaut werden. Im Interesse einer unionsweit einheitlichen Umsetzung und der Erzielung von Größenvorteilen sollten gemeinsame Vorschriften für die Umsetzung von Reallaboren und ein Rahmen für die Zusammenarbeit zwischen den an der Beaufsichtigung der Reallabore beteiligten Behörden festgelegt werden. Die vorliegende Verordnung sollte im Einklang mit Artikel 6 Absatz 4 der Verordnung (EU) 2016/679 und Artikel 6 der Verordnung (EU) 2018/1725 sowie unbeschadet des Artikels 4 Absatz 2 der Richtlinie (EU) 2016/680 die Rechtsgrundlage für die Verwendung personenbezogener Daten, die für andere Zwecke erhoben werden, zur Entwicklung bestimmter KI-Systeme im öffentlichen Interesse innerhalb der KI-Reallabore bilden. Die am Reallabor Beteiligten sollten angemessene Schutzvorkehrungen treffen und mit den zuständigen Behörden zusammenarbeiten, unter anderem indem sie deren Anweisungen befolgen und zügig und nach Treu und Glauben handeln, um etwaige hohe Risiken für die Sicherheit und die Grundrechte, die bei der Entwicklung und Erprobung im Reallabor auftreten können, zu mindern. Das Verhalten der am Reallabor Beteiligten sollte berücksichtigt werden, wenn die zuständigen Behörden entscheiden, ob sie eine Geldbuße gemäß Artikel 83 Absatz 2 der Verordnung (EU) 2016/679 und Artikel 57 der Richtlinie (EU) 2016/680 verhängen.
- Um Innovationen zu fördern und zu schützen, ist es wichtig, die Interessen kleiner Anbieter und Nutzer von KI-Systemen besonders zu berücksichtigen. Zu diesem Zweck sollten die Mitgliedstaaten Initiativen ergreifen, die sich an diese Akteure richten, darunter auch Sensibilisierungs- und Informationsmaßnahmen. Darüber hinaus sind die besonderen Interessen und Bedürfnisse kleinerer Anbieter bei der Festlegung der Gebühren für die Konformitätsbewertung durch die notifizierten Stellen zu berücksichtigen. Übersetzungen im Zusammenhang mit der verpflichtenden Dokumentation und Kommunikation mit Behörden können für Anbieter und andere Akteure, insbesondere den kleineren unter ihnen, erhebliche Kosten verursachen. Die Mitgliedstaaten sollten möglichst dafür sorgen, dass eine der Sprachen, die sie für die einschlägige Dokumentation der Anbieter und für die Kommunikation mit den Akteuren bestimmen und akzeptieren, eine Sprache ist, die von der größtmöglichen Zahl grenzüberschreitender Nutzer weitgehend verstanden wird.
- Um die Risiken bei der Durchführung, die sich aus mangelndem Wissen und fehlenden Fachkenntnissen auf dem Markt ergeben, zu minimieren und den Anbietern und notifizierten Stellen die Einhaltung ihrer Verpflichtungen aus dieser Verordnung zu erleichtern, sollten die KI-Abruf-Plattform, die europäischen Zentren für digitale Innovation und die Erprobungs- und Versuchseinrichtungen, die von der Kommission und den Mitgliedstaaten auf nationaler oder EU-Ebene eingerichtet wurden/werden, möglichst zur Durchführung dieser Verordnung beitragen. Sie können Anbieter und notifizierte Stellen im Rahmen ihres jeweiligen Auftrags und ihrer jeweiligen Kompetenzbereiche insbesondere technisch und wissenschaftlich unterstützen.
- Es ist angezeigt, dass die Kommission den Stellen, Gruppen oder Laboratorien, die gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union eingerichtet oder akkreditiert sind und Aufgaben im Zusammenhang mit der Konformitätsbewertung von Produkten oder Geräten wahrnehmen, die unter diese Harmonisierungsrechtsvorschriften der Union fallen, soweit wie möglich den Zugang zu Erprobungs- und Versuchseinrichtungen erleichtert. Dies gilt insbesondere für Expertengremien, Fachlaboratorien und Referenzlaboratorien im Bereich Medizinprodukte gemäß der Verordnung (EU) 2017/745 und der Verordnung (EU) 2017/746 .
- Um eine reibungslose, wirksame und harmonisierte Umsetzung dieser Verordnung zu erleichtern, sollte ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden. Der Ausschuss sollte für eine Reihe von Beratungsaufgaben zuständig sein und Stellungnahmen, Empfehlungen, Ratschlägen oder Leitlinien zu Fragen im Zusammenhang mit der Umsetzung dieser Verordnung abgeben, darunter zu technischen Spezifikationen oder bestehenden Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen; außerdem sollte er die Kommission in spezifischen Fragen im Zusammenhang mit künstlicher Intelligenz beraten und unterstützen.
- Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung dieser Verordnung beaufsichtigen. Um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine offizielle Kontaktstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten, sollte in jedem Mitgliedstaat eine nationale Behörde als nationale Aufsichtsbehörde benannt werden.
- Damit Anbieter von Hochrisiko-KI-Systemen die Erfahrungen mit der Verwendung von Hochrisiko-KI-Systemen bei der Verbesserung ihrer Systeme und im Konzeptions- und Entwicklungsprozess berücksichtigen oder rechtzeitig etwaige Korrekturmaßnahmen ergreifen können, sollten alle Anbieter über ein System zur Beobachtung nach dem Inverkehrbringen verfügen. Dieses System ist auch wichtig, damit den möglichen Risiken, die von KI-Systemen ausgehen, die nach dem Inverkehrbringen oder der Inbetriebnahme dazulernen, wirksamer und zeitnah begegnet werden kann. In diesem Zusammenhang sollten die Anbieter auch verpflichtet sein, ein System einzurichten, um den zuständigen Behörden schwerwiegende Vorfälle oder Verstöße gegen nationales Recht und Unionsrecht zum Schutz der Grundrechte zu melden, die sich aus der Verwendung ihrer KI-Systeme ergeben.
- Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Verpflichtungen gemäß dieser Verordnung, bei der es sich eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch nationale Behörden oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichstellungsstellen, Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben.
- Die Rechtsvorschriften der Union über Finanzdienstleistungen enthalten Vorschriften und Anforderungen für die interne Unternehmensführung und das Risikomanagement, die für regulierte Finanzinstitute bei der Erbringung solcher Dienstleistungen gelten, auch wenn sie KI-Systeme verwenden. Um eine kohärente Anwendung und Durchsetzung der Verpflichtungen aus dieser Verordnung sowie der einschlägigen Vorschriften und Anforderungen der Rechtsvorschriften der Union für Finanzdienstleistungen zu gewährleisten, sollten die für die Beaufsichtigung und Durchsetzung der Rechtsvorschriften im Bereich der Finanzdienstleistungen zuständigen Behörden, gegebenenfalls einschließlich der Europäischen Zentralbank, auch als zuständige Behörden für die Überwachung der Durchführung dieser Verordnung, einschließlich der Marktüberwachungstätigkeiten, in Bezug auf von regulierten und beaufsichtigten Finanzinstituten bereitgestellte oder verwendete KI-Systeme benannt werden. Um die Kohärenz zwischen dieser Verordnung und den Vorschriften für Kreditinstitute, die unter die Richtlinie 2013/36/EU des Europäischen Parlaments und des Rates 56 fallen, weiter zu verbessern, ist es ferner angezeigt, das Konformitätsbewertungsverfahren und einige verfahrenstechnische Anbieterpflichten in Bezug auf das Risikomanagement, die Beobachtung nach dem Inverkehrbringen und die Dokumentation in die bestehenden Verpflichtungen und Verfahren gemäß der Richtlinie 2013/36/EU aufzunehmen. Zur Vermeidung von Überschneidungen sollten auch begrenzte Ausnahmen in Bezug auf das Qualitätsmanagementsystem der Anbieter und die Beobachtungspflichten der Nutzer von Hochrisiko-KI-Systemen in Betracht gezogen werden, soweit diese Kreditinstitute betreffen, die unter die Richtlinie 2013/36/EU fallen.
- Die Entwicklung anderer KI-Systeme als Hochrisiko-KI-Systeme im Einklang mit den Anforderungen dieser Verordnung kann zu einer stärkeren Verbreitung vertrauenswürdiger künstlicher Intelligenz in der Union führen. Anbieter von KI-Systemen, die kein hohes Risiko bergen, sollten angehalten werden, Verhaltenskodizes zu erstellen, um eine freiwillige Anwendung der für Hochrisiko-KI-Systeme verbindlichen Anforderungen zu fördern. Darüber hinaus sollten die Anbieter auch ermutigt werden, freiwillig zusätzliche Anforderungen anzuwenden, z. B. in Bezug auf die ökologische Nachhaltigkeit, die barrierefreie Zugänglichkeit für Menschen mit Behinderungen, die Beteiligung der Interessenträger an der Konzeption und Entwicklung von KI-Systemen und die Vielfalt der Entwicklungsteams. Die Kommission kann Initiativen, auch sektoraler Art, ergreifen, um den Abbau technischer Hindernisse zu erleichtern, die den grenzüberschreitenden Datenaustausch im Zusammenhang mit der KI-Entwicklung behindern, unter anderem in Bezug auf die Infrastruktur für den Datenzugang und die semantische und technische Interoperabilität verschiedener Arten von Daten.
- Es ist wichtig, dass KI-Systeme im Zusammenhang mit Produkten, die gemäß dieser Verordnung kein hohes Risiko bergen und daher nicht die in dieser Verordnung festgelegten Anforderungen erfüllen müssen, dennoch sicher sind, wenn sie in Verkehr gebracht oder in Betrieb genommen werden. Um zu diesem Ziel beizutragen, würde die Richtlinie 2001/95/EG des Europäischen Parlaments und des Rates 57 als Sicherheitsnetz dienen.
- Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union und der Mitgliedstaaten, sollten alle an der Anwendung dieser Verordnung beteiligten Parteien die Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen und Daten wahren.
- Die Mitgliedstaaten sollten alle erforderlichen Maßnahmen ergreifen, um sicherzustellen, dass die Bestimmungen dieser Verordnung eingehalten werden, und dazu u. a. wirksame, verhältnismäßige und abschreckende Sanktionen für Verstöße festlegen. Bei bestimmten Verstößen sollten die Mitgliedstaaten die in dieser Verordnung festgelegten Spielräume und Kriterien berücksichtigen. Der Europäische Datenschutzbeauftragte sollte befugt sein, gegen Organe, Einrichtungen und sonstige Stellen der Union, die in den Anwendungsbereich dieser Verordnung fallen, Geldbußen zu verhängen.
- Damit der Rechtsrahmen erforderlichenfalls angepasst werden kann, sollte der Kommission die Befugnis übertragen werden, gemäß Artikel 290 AEUV Rechtsakte zur Änderung der in Anhang I genannten Techniken und Konzepte für die Einstufung von KI-Systemen, der in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union, der in Anhang III aufgeführten Hochrisiko-KI-Systeme, der Bestimmungen über die technische Dokumentation in Anhang IV , des Inhalts der EU-Konformitätserklärung in Anhang V , der Bestimmungen über die Konformitätsbewertungsverfahren in den Anhängen VI und VII und der Bestimmungen zur Festlegung der Hochrisiko-KI-Systeme zu erlassen, für die das Konformitätsbewertungsverfahren auf der Grundlage der Bewertung des Qualitätsmanagementsystems und der technischen Dokumentation gelten sollte. Es ist von besonderer Bedeutung, dass die Kommission im Zuge ihrer Vorbereitungsarbeit angemessene Konsultationen, auch auf der Ebene von Sachverständigen, durchführt, die mit den Grundsätzen in Einklang stehen, die in der Interinstitutionellen Vereinbarung vom 13. April 2016 über bessere Rechtsetzung 58 niedergelegt wurden. Um insbesondere für eine gleichberechtigte Beteiligung an der Vorbereitung delegierter Rechtsakte zu sorgen, erhalten das Europäische Parlament und der Rat alle Dokumente zur gleichen Zeit wie die Sachverständigen der Mitgliedstaaten, und ihre Sachverständigen haben systematisch Zugang zu den Sitzungen der Sachverständigengruppen der Kommission, die mit der Vorbereitung der delegierten Rechtsakte befasst sind.
- Zur Gewährleistung einheitlicher Bedingungen für die Durchführung dieser Verordnung sollten der Kommission Durchführungsbefugnisse übertragen werden. Diese Befugnisse sollten im Einklang mit der Verordnung (EU) Nr. 182/2011 des Europäischen Parlaments und des Rates 59 ausgeübt werden.
- Da das Ziel dieser Verordnung von den Mitgliedstaaten nicht ausreichend verwirklicht werden kann, sondern vielmehr wegen des Umfangs oder der Wirkung der Maßnahme auf Unionsebene besser zu verwirklichen ist, kann die Union im Einklang mit dem in Artikel 5 EUV verankerten Subsidiaritätsprinzip tätig werden. Entsprechend dem in demselben Artikel genannten Grundsatz der Verhältnismäßigkeit geht diese Verordnung nicht über das für die Verwirklichung dieses Ziels erforderliche Maß hinaus.
- Diese Verordnung sollte ab dem … [Amt für Veröffentlichungen – bitte das in Artikel 85 festgelegte Datum einfügen] gelten. Die Infrastruktur für die Leitung und das Konformitätsbewertungssystem sollte jedoch schon vorher einsatzbereit sein, weshalb die Bestimmungen über notifizierte Stellen und die Leitungsstruktur ab dem... [Amt für Veröffentlichungen – bitte Datum einfügen – drei Monate nach Inkrafttreten dieser Verordnung] gelten sollten. Darüber hinaus sollten die Mitgliedstaaten Vorschriften über Sanktionen, einschließlich Geldbußen, festlegen und der Kommission mitteilen sowie dafür sorgen, dass diese bis zum Geltungsbeginn dieser Verordnung ordnungsgemäß und wirksam umgesetzt werden. Daher sollten die Bestimmungen über Sanktionen ab dem [Amt für Veröffentlichungen – bitte Datum einfügen – zwölf Monate nach Inkrafttreten dieser Verordnung] gelten.
-
Der Europäische Datenschutzbeauftragte und der Europäische Datenschutzausschuss wurden gemäß Artikel
42
Absatz
2
der Verordnung
(EU) 2018/1725
angehört und haben am [...] eine Stellungnahme abgegeben —
HABEN FOLGENDE VERORDNUNG ERLASSEN: