Suche
Contact
16.07.2024 | KPMG Law Insights

AI Act: Die EU möchte die Risiken von KI in den Griff bekommen

Am 1. August 2024 tritt der AI Act in Kraft. Er gilt als das weltweit erste Gesetz zur Regulierung künstlicher Intelligenz (KI). Der AI Act teilt KI in Risikogruppen ein. Je höher das Risiko einer Anwendung, desto höher sollen die Anforderungen und Pflichten sein.

Künstliche Intelligenz ist für viele Menschen der große Hoffnungsträger für die Wirtschaft, das Gesundheitswesen und die Wissenschaft. Doch es gibt auch eine ganze Menge Kritiker, die die Risiken der KI fürchten und nach Regeln verlangen. Mit dem AI Act (auch KI-Gesetz) will die EU künstliche Intelligenz für den europäischen Raum nun regulieren und so die größten Risiken für die Nutzerinnen und Nutzer in den Griff bekommen. Am 21. Mai 2024 hatten die EU-Mitgliedstaaten der Verordnung zugestimmt. Am 12. Juli erfolgte schließlich die Veröffentlichung im Amtsblatt der EU. Die finale Fassung der Verordnung weicht erheblich von dem Entwurf aus dem Jahr 2021 ab.

Die Idee der Verordnung: Je höher das Risiko eines KI-Systems, desto höher sind die damit verbundenen Anforderungen und Pflichten. Die KI-Regulierung soll das Vertrauen der Nutzerinnen und Nutzer in Künstliche Intelligenz innerhalb der EU stärken und so auch für Hersteller und Verwender von KI-Anwendungen bessere Voraussetzungen für Innovation schaffen.

Verstöße können Geldbußen von bis zu 35 Millionen Euro oder bis zu sieben Prozent des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres nach sich ziehen. Die Sanktionen sind damit mit denen der DSGVO zu vergleichen.

Der AI Act soll begleitet werden von einer KI-Haftungsrichtlinie. Und auch die Produkthaftungsrichtlinie möchte die EU-Kommission aktualisieren. Das Ziel: Haftungslücken beim Einsatz von KI-Systemen sollen geschlossen und Beweisschwierigkeiten bei Rechtsverletzungen im Zusammenhang mit Künstlicher Intelligenz begegnet werden.

Die Pflichten des EU AI Act treffen Hersteller, Anbieter und Händler von KI-Systemen, Produkthersteller, die KI-Systeme in ihre Produkte einbinden, sowie Nutzer von KI-Systemen, also praktisch jedes Unternehmen.

KI mit einem „unannehmbaren“ Risiko verbietet der AI Act

Der AI Act teilt Künstliche Intelligenz in drei Risikoklassen ein: „unannehmbar“, „hoch“ und „gering/minimal“.

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die ein unannehmbares Risiko darstellen, sind verboten. Hierzu zählen insbesondere solche KI-Systeme, die dazu bestimmt sind, menschliches Verhalten unterschwellig nachteilig zu beeinflussen. Auch KI, die der Ausnutzung von Schwächen schutzbedürftiger Personen dient, ist nicht annehmbar und damit verboten. Untersagt ist auch die Nutzung von KI-Systemen durch Behörden zur Bewertung oder Klassifizierung von Vertrauenswürdigkeit natürlicher Personen („Social Scorings“). KI-Systeme dürfen ebenso grundsätzlich nicht zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken eingesetzt werden.

Für KI-Systeme mit Risikoklasse „hoch“ gelten besondere Anforderungen

KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen, werden als „Hochrisiko-KI-Systeme“ bezeichnet. Darunter fallen zum Beispiel die Würde des Menschen, die Achtung des Privat- und Familienlebens, der Schutz personenbezogener Daten, die Freiheit der Meinungsäußerung und die Informationsfreiheit und die Versammlungs- und Vereinigungsfreiheit.

An die Gestaltung und Nutzung von Hochrisiko-KI-Systemen stellt der AI Act hohe Anforderungen, zum Beispiel an die Qualität der Datengrundlage, an die Sicherheit, die Funktionsweise, aber auch an die Dokumentation und Aufsicht durch Menschen sowie das Qualitäts- und Risikomanagement.

Die Konformität mit dem AI Act sollte mit einer CE-Kennzeichnung sichtbar gemacht werden.

Geringere Anforderungen an Systeme mit Risikoklasse „gering/minimal“

Sofern KI-Systeme nicht unannehmbar und auch nicht als Hochrisiko-KI-System einzustufen sind, fallen sie in die dritte Kategorie. Sie unterliegen dann weniger strengen Anforderungen. Anbieter solcher Systeme sollen aber dennoch Verhaltenskodizes erstellen und ermutigt werden, die Regelungen für Hochrisiko-KI-Systeme freiwillig anzuwenden. Zudem fordert der EU AI Act, dass auch KI-Systeme mit geringem Risiko sicher sein müssen, sofern sie in den Verkehr gebracht oder in Betrieb genommen werden. Sicherheit kann insbesondere dadurch gewährleistet werden, dass freiwillig die Regelungen für Hochrisiko-KI-Systeme beachtet werden.

Neue Regelungen für General Purpose AI Models (GPAI)

Der AI Act enthält zusätzlich konkrete Regelungen für KI-Modelle mit allgemeinem Verwendungszweck, auch General Purpose AI (GPAI) genannt. Diese KI-Modelle können unterschiedlichen Zwecken dienen und als selbständiges System oder als integrativer Bestandteil anderer Systeme auftreten. Sie stellen grundsätzlich KI-Systeme mit begrenztem Risiko dar und unterfallen damit den Transparenzpflichten aus Art. 52. Zusätzlich wurde jedoch im neuen Art. 52a die Kategorie der „GPAI-Modelle mit systemischem Risiko“ eingeführt. Darunter fallen GPAI-Modelle mit einer „hohen Wirkungsmöglichkeit“. Die Wirkungsmöglichkeit ist hoch, wenn die Fähigkeiten des Modells den Fähigkeiten der fortschrittlichsten GPAI-Modelle entsprechen oder diese übertreffen. Dies soll anhand von Benchmarks oder auf Grund von Feststellungen der EU-Kommission ermittelt werden. Wenn der Rechenaufwand für das Training, gemessen in „floating point operations“, 10^25 übersteigt, wird es vermutet. Für GPAI-Modelle gibt es einige Pflichten, zum Beispiel: die Bereitstellung technischer Unterlagen und Gebrauchsanweisungen, die Beachtung des Urheberrechts und die Zusammenfassung der für das Training verwendeten Inhalte. Für GPAI-Modelle mit systemischem Risiko treten weitere Verpflichtungen bezüglich der Risikosteuerung und der Gewährleistung der Cybersicherheit hinzu.

Ab wann gilt der AI Act?

Die Anwendung der Regelungen des AI Acts ist zeitlich gestaffelt: Regelungen zu verbotener KI gelten nach sechs Monaten, bestimmte Regelungen für Hochrisiko-KI und GPAI nach einem Jahr und die restlichen Regelungen gelten zwei Jahre nach dem Inkrafttreten. Für KI-Systeme, die einer in Annex II des AI Acts aufgezählten Regulierung unterfallen, ist derzeit sogar eine Umsetzungsfrist von 36 Monaten vorgesehen.

Mit einer KI-Governance können Unternehmen Risiken absichern

Unternehmen sollten aktiv jede einzelne Anwendung evaluieren und in eine Governance-Struktur einbinden.

Auch alle KI-basierten Lösungen sollten betrachtet werden. Anwendungsfälle und die damit verbundenen Risiken sollten Unternehmen kennen. Hersteller eines Endprodukts müssen die im AI Act festgelegten Anbieterpflichten erfüllen und sicherstellen, dass das in das Endprodukt eingebettete KI-System den Anforderungen entspricht. Zu den Risiken gehört auch das Haftungsrisiko aus dem KI-Gesetz.

Beim Aufbau einer KI-Governance ist entscheidend, wer die Einstufung der Risiken verantwortet. Damit die Einschätzung möglich objektiv wird, sollte das Team interdisziplinär sein.

Wie ein KI-Risikomanagement gelingen kann

Für ein effektives Risikomanagement sollten Unternehmen Guidelines, Prozesse und Monitoring-Lösungen etablieren. Verschiedene Institutionen und Organisationen wie BSI, IDW oder DIN erarbeiten bereits Standards hierfür.

Es ist empfehlenswert, Compliance und Performance nicht voneinander zu trennen. Das Management und die IT sollten daher eng mit den Rechts- und Compliance-Funktionen zusammenarbeiten. Nur wenn sichergestellt ist, dass Rechtsvorschriften eingehalten sind und Haftungsrisiken minimiert werden, kann das Potenzial von Künstlicher Intelligenz tatsächlich ausgeschöpft werden.

Nachdem der AI Act jetzt final verabschiedet ist, sollten  Unternehmen mit der Risikoeinschätzung beginnen und eine entsprechende Governance etablieren.

Erfahren Sie mehr zum Thema „KI-Risiken im Blick“: Unser Whitepaper gibt Empfehlungen für eine KI-Governance, die eine verantwortungsvolle Nutzung der neuen Technologie sicherstellt. Jetzt herunterladen.

Autoren:
KPMG AG Wirtschaftsprüfungsgesellschaft: Dr. Justus H. Marquardt, Oleg Brodski
KPMG Law Rechtsanwaltsgesellschaft mbH: Francois Heynike

 

Explore #more

12.09.2025 | Dealmeldungen

Die KPMG Law Rechtsanwaltsgesellschaft mbH (KPMG Law) hat den geschäftsführenden Gesellschafter der Deutschen Werkstätten Beteiligungs GmbH, Herrn Fritz Straub, bei dem Verkauf einer Mehrheitsbeteiligung an Ateliers de France beraten

Der geschäftsführende Gesellschafter der Deutschen Werkstätten, Fritz Straub, verkauft mit 75 Prozent die Mehrheit der Geschäftsanteile an der Deutsche Werkstätten Beteiligungs GmbH an die französische…

12.09.2025 | KPMG Law Insights

Der Data Act gilt. Das sind die Eckpunkte

Ab dem 12. September 2025 gilt der EU Data Act.  Das Gesetz soll Innovation durch die bessere Verfügbarkeit von Daten fördern. Betroffene Unternehmen befürchten jedoch,

09.09.2025 | Dealmeldungen

KPMG Law und Tax beraten Adiuva Capital GmbH mit Fact Books beim Verkauf der KONZMANN Gruppe.

Die KPMG Law Rechtsanwaltsgesellschaft mbH (KPMG Law) und die KPMG AG Wirtschaftsprüfungsgesellschaft (KPMG) haben die Adiuva Capital GmbH, eine Hamburger Private-Equity-Gesellschaft (Adiuva), im Rahmen des…

04.09.2025 | In den Medien

Gastbeitrag im Unternehmensjurist: Rechtsabteilungen strategisch transformieren: Ein Marktüberblick

Was beschäftigt Inhouse-Teams großer Unternehmen beim Thema digitale Transformation? Welche Themen werden in den kommenden Jahren entscheidend sein? Auf diese Fragen wirft der Rechtsabteilungsreport „Recht…

04.09.2025 | In den Medien

Gastbeitrag im Unternehmensjurist: Erfolgreiches Change Management in der HR-Abteilung

Die HR-Abteilung spielt eine entscheidende Rolle bei der digitalen Transformation. Sie ist nicht nur Betroffene, sondern Gestalterin des Wandels. Zwischen Transformation, Mitbestimmung und Vertrauen der…

03.09.2025 | In den Medien

Gastbeitrag in der Versicherungswirtschaft: Embedded Insurance – Mehr als nur ein neuer Vertriebsweg

Die Versicherungsbranche steht vor einem Paradigmenwechsel. Traditionelle Vertriebsmodelle werden zunehmend durch innovative Ansätze ergänzt, die darauf abzielen, den Zugang zu Versicherungspolicen zu erleichtern und die…

03.09.2025 | KPMG Law Insights

Lieferkettengesetz: Berichtspflicht entfällt, Sanktionen werden reduziert

Im Koalitionsvertrag haben die Koalitionspartner vereinbart, das Lieferkettensorgfaltspflichtengesetz (LkSG) im Zuge der Umsetzung der europäischen Lieferkettenrichtlinie CSDDD abzuschaffen und zuvor die Berichtspflicht des LkSG zu…

29.08.2025 | In den Medien

Statement von Ulrich Keunecke zum Sondervermögen Infrastruktur in Politico

KPMG Law Finanzexperte Ulrich Keunecke erklärt, wie das Sondervermögen Infrastruktur mit Kapital von Privatanlegern gehebelt werden kann. Sie finden den Beitrag in Politico (PayWall). „Wenn…

25.08.2025 | Dealmeldungen

KPMG Law berät APELOS im Rahmen der Refinanzierung und dem Kauf einer Praxisgruppe mit rund 50 Praxisstandorten.

Die KPMG Law Rechtsanwaltsgesellschaft mbH (KPMG Law) und die KPMG AG Wirtschaftsprüfungsgesellschaft (KPMG) haben die APELOS Therapie GmbH, eine führende Therapiepraxisgruppe in Deutschland, im Rahmen…

15.08.2025 | In den Medien

KPMG Law Statement in Die-Stiftung.de zum Thema Stiftungsregister – Der lange Weg zur digitalen Ordnung

Das Inkrafttreten der Stiftungsrechtsreform am 1. Juli 2023 markiert einen Wendepunkt im deutschen Stiftungswesen. Die Liste der nicht unumstrittenen Änderungen ist lang und soll auch…

Kontakt

Francois Heynike, LL.M. (Stellenbosch)

Partner
Leiter Technologierecht

THE SQUAIRE Am Flughafen
60549 Frankfurt am Main

Tel.: +49-69-951195770
fheynike@kpmg-law.com

© 2025 KPMG Law Rechtsanwaltsgesellschaft mbH, assoziiert mit der KPMG AG Wirtschaftsprüfungsgesellschaft, einer Aktiengesellschaft nach deutschem Recht und ein Mitglied der globalen KPMG-Organisation unabhängiger Mitgliedsfirmen, die KPMG International Limited, einer Private English Company Limited by Guarantee, angeschlossen sind. Alle Rechte vorbehalten. Für weitere Einzelheiten über die Struktur der globalen Organisation von KPMG besuchen Sie bitte https://home.kpmg/governance.

KPMG International erbringt keine Dienstleistungen für Kunden. Keine Mitgliedsfirma ist befugt, KPMG International oder eine andere Mitgliedsfirma gegenüber Dritten zu verpflichten oder vertraglich zu binden, ebenso wie KPMG International nicht autorisiert ist, andere Mitgliedsfirmen zu verpflichten oder vertraglich zu binden.

Scroll