Der EU AI Act – ein Spagat zwischen Chancen und Risiken

Die Vorschriften des AI Act legen Verpflichtungen für den Einsatz und den Umgang mit KI fest und sollen sicherstellen, dass die Grundrechte, die Demokratie, die Rechtsstaatlichkeit und die ökologische Nachhaltigkeit vor den Risiken der KI-Technologie geschützt werden, während gleichzeitig Innovationen gefördert werden.

Der AI Act soll die Entwicklung und den Einsatz von KI-Technologien maßgeblich regeln, indem er Transparenz, Rechenschaftspflichten und Sicherheitsstandards vorschreibt. Er soll die Grundrechte der Bürger schützen, ethisch vertretbare KI-Modelle fördern und die Entwicklung diskriminierender KI-Modelle verhindern. Dabei gilt der Grundsatz: Je riskanter ein System ist, desto höher werden die Sicherheitsanforderungen sein.

„Die Regulierung unter dem EU AI Act wird eine vertrauenswürdige künstliche Intelligenz (KI) verfügbar machen, die auf den Menschen ausgerichtet ist und sich an demokratischen, ethischen und moralischen Grundsätzen orientieren wird“, lobt Dr. Dirk Stenkamp, Vorstandsvorsitzender, TÜV Nord AG, das Gesetzeswerk.

Der AI Act gilt für alle Anbieter von KI-Systemen, die auf dem europäischen Markt vermarktet werden. Der Begriff „Anbieter“ umfasst Personen oder Einrichtungen, die ein KI-System entwickeln und in Verkehr bringen. Auch Importeure, Händler und Nutzer unterliegen dem Gesetz, müssen in den meisten Fällen jedoch lediglich die erforderlichen Dokumentationsnachweise des Anbieters beschaffen.

Kern des AI Act ist die Einteilung von KI-Systemen in vier Risikoklassen, abhängig von ihrem potenziellen Schadensrisiko:

1. Inakzeptables Risiko
2. Hohes Risiko (Hochrisiko-KI-Systeme)
3. Begrenztes Risiko
4. Niedriges Risiko

Zudem unterliegen KI-Anwendungen mit einem hohen Risiko für die Demokratie, die Gesundheit oder die Sicherheit besonders strengen Vorschriften und einer intensiven Überwachung.

Je nach Risikoklasse gelten unterschiedliche Auflagen und Vorschriften für die Entwicklung, Bereitstellung und Nutzung der KI-Systeme. Ulrich Heun, CEO der IT-Beratung Carmao, erläutert: „Je höher das potenzielle Risiko eines KI-Systems, desto strenger sind die Auflagen wie beispielsweise Risikobewertungen, Dokumentationspflichten, EU-Konformitätserklärungen oder Monitoring auf Unternehmensseite. Das schließt auch Verbote für KI-Systeme mit besonders hohem Risiko ein. Dazu zählen unter anderem Systeme, die im großen Stil Gesichtserkennung mit öffentlich verfügbaren Bildern nutzen. Systeme mit erheblichem Schadenspotenzial werden ebenfalls streng reguliert, während andere, wie Chatbots, weniger Auflagen haben.“

„Hochrisiko-Anwendungen sollen zukünftig durch neutrale Drittprüfer wie TÜV NORD überprüft werden. Dazu gehören biometrische Systeme, bei denen es um die Fingerabdruckerkennung geht, oder Systeme, die in der kritischen Infrastruktur, der Kreditvergabe, im Personalwesen (Analyse von Lebensläufen) sowie der Medizintechnik (z. B. OP-Roboter) zum Einsatz kommen“, erklärt Dirk Stenkamp, Vorstandsvorsitzender der TÜV NORD AG im Podcast „ENTDECKT. ERKLÄRT. ERZÄHLT“. Inakzeptable KI-Anwendungen wie die Emotionserkennung sollen nach der Verordnung gar nicht zum Einsatz kommen dürfen.

Um die unabhängige Drittprüfung durch einen KI-TÜV umsetzen zu können, werden Prüfmethoden und -kriterien benötigt. Sobald die EU den Gesetzestext zum AI Act veröffentlicht, starten Normungs- und Standardisierungsgremien damit, diesen in überprüfbare Regeln für Produkte zu übersetzen.

Ähnlich wie bei der DSGVO drohen Verstößen hohe Geldstrafen führen. Unternehmen, die gegen das Gesetz verstoßen, müssen mit Strafen von bis zu 35 Millionen Euro oder sieben Prozent ihres weltweiten Umsatzes rechnen. Mittelständische Unternehmen und Start-Ups soll aber günstiger wegkommen als große Konzerne.

Weil die Umsetzung der neuen Regelungen erkennbar mit einem mehr oder weniger großen Aufwand verbunden ist, tritt der AI Act nicht sofort mit allen Bestimmungen in Kraft. Je nach Risikoklasse der zugrundeliegenden KI-Systeme gibt es Übergangsfristen von 6 bis 36 Monaten, innerhalb derer Organisationen die Anforderungen umsetzen müssen. Die meisten KI-Systeme müssen bis Mitte 2026 den Anforderungen des AI Acts entsprechen. „[Die Übergangsfrist] ermöglicht Unternehmen die Umsetzung und das Testen von Anwendungen ähnlich wie bei der EU-Datenschutz-Grundverordnung“, erklärt Carmao-Chef Ulrich Heun.

Einen Geschäftszweig wird der EU AI Act in jedem Fall mit mehr Arbeit versorgen: die Test- und Zertifizierungsbranche. So hat etwa die TÜV NORD GROUP schon angekündigt, „als neutraler Prüfdienstleister das Regelwerk zum EU AI Act bei spezifischen Produktprüfungen“ anzuwenden. Betroffene Produkte könnten zum Beispiel Software-Lösungen zur Spracherkennung sein, die Large-Language-Modelle nutzen, oder KI-basierte Algorithmen für autonom fahrende Fahrzeuge.

Laut TÜV kommt es bei der KI-Prüfung vor allem auf vier Basiskriterien an:

• Transparenz des Algorithmus
• Täuschbarkeit der KI
• Biasing (tendenziöse oder diskriminierende Entscheidungen der KI)
• Verlässlichkeit (der gleiche Input muss denselben Output liefern) 

Das Engagement der TÜV NORD GROUP für die Entwicklung von Prüfkriterien- und Methoden ist bereits groß. „Wir haben inhouse über TÜVIT-Expert:innen viel Knowhow aufgebaut. Wir arbeiten mit führenden Hochschulen und Forschungsinstitutionen zusammen und haben bereits vor Jahren über den TÜV-Verband ein AI Lab begründet. Dieses wurde nun in Form einer AI Lab GmbH als eigenständige Gesellschaft mit den führenden TÜV-Unternehmen als Gesellschafter umgesetzt. Die AI Lab GmbH entwickelt vorrangig Prüfmethoden und -verfahren, die auf den Normen und Standards des EU AI Act aufsetzen“, so Vorstandschef Dirk Stenkamp.

Die Macher des Gesetzes sind von ihrem Werk sehr überzeugt. Stolz ist die Rede davon, dass der AI Act die weltweit erste staatliche Regulierung von Künstlicher Intelligenz sei. Ein Zyniker könnte sagen, dass die erste Regelung ihrer Art zunächst einmal auf jeden Fall auch die beste ist. Ob das aber so bleibt, wenn andere Staaten mit eigenen Regulierungen nachziehen, ist völlig offen. Angesichts der notorischen Tendenz in EU und Bundesregierung bei der praktischen Umsetzung zu überziehen und bürokratische Hemmnisse zu errichten, statt den Innovationsgeist zu fördern, darf zumindest ein großes Fragezeichen gemacht werden.

Aber es gibt durchaus auch Stimmen, die davon ausgehen, dass andere Staaten sich am AI Act orientieren werden und dass vor allem auch die großen Konzerne mit KI-Ambitionen die Regelungen proaktiv übernehmen werden – wenn auch nicht zwingend aus eigener Einsicht, sondern weil sie ihre KI-Lösungen ja in der EU verkaufen wollen.

GlobalData, ein Unternehmen für Datenanalysen in London, erwartet als Folge des AI Acts einen verstärkten Fokus auf ethische KI in den Unternehmen. Mit der Verabschiedung werde die Einführung von Strategien für eine ethische KI zu einem dringenden Gebot für alle multinationale Unternehmen, die in der EU tätig seien.

„Die neuen Verpflichtungen bieten zwar den dringend benötigten Verbraucherschutz, führen aber auch zu einer erhöhten Komplexität für Unternehmen, die bereits damit zu kämpfen haben, ihren Einsatz von KI zu skalieren“, urteilt Rena Bhattacharyya, Chief Analyst of Enterprise Technology and Services Research von GlobalData. Er fordert die Unternehmen dazu auf, damit anzufangen, Strategien zu entwickeln, um die Dokumentation und Überwachung der KI-Technologie zu verbessern.

Bhattacharyya folgert: „Während die Branche seit langem über den Mangel an KI-Experten in der Datenwissenschaft spricht, werden nun Personen benötigt, die Unternehmen dabei helfen können, Geschäftsprozesse an die sich entwickelnden ethischen KI-Anforderungen anzupassen.“

Im Großen und Ganzen ist das Echo von Experten und Unternehmen auf den Beschluss des EU-Parlaments ist positiv ausgefallen, auch wenn kaum einer umhin kommt, auf das Risiko hinzuweisen, dass in der praktischen Umsetzung Fehler gemacht werden können, die Innovationen abwürgen oder hohe Kosten verursachen.

„Der AI Act gibt einen EU-weiten Regulierungsrahmen für Künstliche Intelligenz vor, lässt aber viele entscheidende Fragen offen,“ bilanziert etwa Bitkom-Präsident Ralf Wintergerst. Er fordert eine rechtssichere und innovationsfreundliche Umsetzung in Deutschland und warnt: „Die Bundesregierung darf nicht die Fehler der Datenschutz-Grundverordnung wiederholen und das nationale Regulierungskorsett so eng schnüren, dass den Unternehmen der Freiraum für Innovationen fehlt.“

Ziel müsse es sein, die Voraussetzungen dafür zu schaffen, dass deutsche Unternehmen und Startups auf Augenhöhe mit den starken internationalen Playern der Künstlichen Intelligenz kommen könnten.

Besonders wichtig ist Wintergerst, dass in Europa kein Flickenteppich an nationalstaatlichen Einzelregelungen entsteht. „Deshalb muss das EU AI Board als neue zentrale Institution schnell arbeitsfähig werden und für eine EU-weite Koordinierung sorgen. Die Bundesregierung muss ihrerseits umgehend die Weichen für die nationale Umsetzung stellen, um sich pro-aktiv in die Gestaltung des EU AI Boards einbringen zu können. Bei den sogenannten General Purpose AI Models muss das neu eingerichtete AI Office auf EU-Ebene die Anforderungen an diese KI-Basismodelle bürokratiearm und praxisnah gestalten.“

Deutschland müsse die Chancen der KI in den Mittelpunkt rücken, fordert der Bitkom-Präsident unter Verweis auf aktuelle Zahlen. Demnach setzen erst 13 Prozent der hiesigen Unternehmen Künstliche Intelligenz ein, obwohl 82 Prozent ihr eine große Bedeutung für die künftige Wettbewerbsfähigkeit der deutschen Wirtschaft zusprechen.

Generative KI – etwa Chatbots oder Tools zur Bilderzeugung – nutzen sogar nur 3 Prozent aller Unternehmen zentral in ihrer Organsation. „KI in die Breite von Wirtschaft, Gesellschaft und Verwaltung zu bringen, ist die größte Herausforderung der kommenden Monate und Jahre. Die Bundesregierung muss und kann hier mit einer innovationsförderlichen Umsetzung des AI Acts flankieren,“ betont Wintergerst.

Besonders kritisch urteilt Iris Plöger, Mitglied der BDI-Hauptgeschäftsführung, über den AI Act in der beschlossenen Form. Sie warnt nachdrücklich: „Mit dem AI-Act droht Europa, bei einer zentralen Schlüsseltechnologie ins Hintertreffen zu geraten.“ Plögers Meinung nach wird das Ziel, durch den AI Act einen sicheren und vertrauensbildenden Rechtsrahmen auf Basis eines risikobasierten Ansatzes zu wählen, zumindest teilweise verfehlt.

„Mit der umfassenden Regulierung von KI-Basismodellen und KI-Anwendungen gefährdet der AI Act die Wettbewerbs- und Innovationsfähigkeit sowohl auf Hersteller- als auch auf Anwenderseite.“ Der Kompromiss bremse den Wirtschaftsstandort bei der KI-gestützten Transformation aus, die gerade für die Bewältigung von Fachkräftemangel und Energiewende dringend gebraucht werde.

Insbesondere Rechtssicherheit für Unternehmen in Form einer praxisnahen und vorausschauenden Regulierung vermisst Plöger bislang. „Der auf unausgereiften Kriterien basierende zweistufige Ansatz (Tiered Approach) bewirkt das Gegenteil. Gemeinsam mit der Produkthaftungsrichtlinie, die die Beweislast zwischen Herstellern und Verbrauchern von KI umzukehren droht, ergibt sich eine überproportionale Belastung der Unternehmen im KI-Ökosystem. Europa riskiert auf diesem Weg, den Anschluss an die weltweiten KI-Entwicklungen zu verlieren.“

Michael Baldauf, Industry Architect/Strategist Financial Service EMEA bei Pegasystems, findet auch und gerade aus Sicht der Finanzbranche lobende Worte für den AI Act. „Das Gesetz ist begrüßenswert, weil es einen ersten Rahmen dafür schafft, welche KI wir wollen und welche nicht. Davon werden auch Banken profitieren, denn wenn verbindlich geklärt ist, was sie mit Künstlicher Intelligenz tun dürfen und was nicht, steigt das Sicherheitsgefühl ihrer Kunden, weil sie darauf vertrauen, dass ihre Bank beim Einsatz von KI ihre Rechte nicht verletzt.“

Baldau betont aber auch: „Der EU AI Act ist nur der Anfang. Weitere Regelwerke auf europäischer Ebene werden folgen und einzelne Mitgliedstaaten werden Vorschriften auf nationaler Ebene einführen oder Gütesiegel mit besonderen Standards etablieren. So wird etwa in Deutschland bereits über eine Art KI-TÜV und ein Siegel „AI made in Germany“ nachgedacht.“ Auch Länder außerhalb der EU werden seiner Erwartung nach mit ähnlichen Gesetzeswerken nachziehen, und mit diesen werden sich die Banken auseinandersetzen müssen, wenn sie dort Geschäfte machen wollen. 

Den Banken empfiehlt Baldauf, jetzt und sofort damit zu beginnen, für Transparenz zu sorgen. „Transparenz ist für sie der mit Abstand wichtigste Aspekt des EU AI Act und wird es auch bei allen künftigen KI-Vorgaben sein“, erklärt Baldauf. Dabei unterscheidet er zwei Szenarien. Wenn eine Bank sich von einer KI Vorschläge für eine Optimierung ihrer Prozesse machen oder eine App erzeugen lasse, sei es unerheblich, wie genau eine KI zu ihren Ergebnissen kommen – wenn diese am Ende von Menschen geprüft und validiert würden.

Anders dagegen sehe es aus, wenn Banken prädiktive KI für automatisierte Entscheidungen einsetzen. „Natürlich werden Banken auch künftig KI-gestützte Kreditentscheidungen treffen dürfen – sie müssen aber jederzeit nachweisen können, wie diese Entscheidungen zustande gekommen sind, begründen können, warum ein Kredit genehmigt oder abgelehnt wurde, und aufzeigen können, dass sie dabei kein Profiling betrieben haben“, betont Baldauf. Eine solche Transparenz werde in allen Fällen erforderlich sein, in denen Banken KI für Geschäftsentscheidungen einsetzen und dabei Daten verarbeiten, die Regularien wie MaRisk, der DSGVO oder Verbraucherschutzgesetzen unterliegen.

Banken sollten Baldauf zufolge daher vor allem zwei Dinge tun. Zum einen sollten sie in den fraglichen Bereichen die eingesetzten KI-Verfahren auf den Prüfstand stellen. Solche Machine-Learning- und Deep-Learning-Methoden, die es vornherein unmöglich machen, ihre Entscheidungen nachzuvollziehen, sollten Banken ausschließen.

Zum zweiten sollten sie auf Software-Tools mit automatischer Auditierbarkeit setzen, die es ihnen also ermöglichen, auch noch lange Zeit später aufzuzeigen, wie eine Entscheidung zustande kam. Es gebe Lösungen auf dem Markt, die bis auf die Ebene einzelner Datenfelder nachweisen könnten, was wann wie mit welchem KI-Modell entschieden wurde. „Dem Tag, an dem der Prüfer klingelt, können Banken dann gelassen entgegensehen“, stellt Michael Baldauf den Finanzinstituten in Aussicht.