EU AI Act: Was die neuen KI-Regeln für Softwareprojekte bedeuten

Der EU AI Act – Was ist das?

Der EU AI Act schafft einen einheitlichen Rechtsrahmen für den Einsatz künstlicher Intelligenz in der Europäischen Union. Ziel ist es, Innovationen im Bereich der KI zu fördern und gleichzeitig Risiken für Gesundheit, Sicherheit und die Grundrechte von Menschen zu begrenzen.

Ein zentrales Element des AI Acts ist der risikobasierte Regulierungsansatz. Je nach Risiko eines KI-Systems gelten unterschiedlich strenge Anforderungen. Ergänzend enthält die Verordnung Transparenzpflichten für bestimmte KI-Anwendungen. Nutzer sollen beispielsweise erkennen können, wann sie direkt mit einem KI-System interagieren oder wann Inhalte mithilfe von KI erstellt oder verändert wurden. Dadurch soll Vertrauen in KI-Systeme gestärkt und deren Einsatz verantwortungsvoller gestaltet werden.

Der AI Act ist am 1. August 2024 in Kraft getreten. Seine Regelungen werden schrittweise anwendbar: erste Vorschriften, darunter Verbote bestimmter KI-Praktiken, gelten bereits seit Februar 2025. Ein Großteil der weiteren Regelungen, darunter die Transparenzpflichten, gelten seit dem 2. August 2026. Die Anforderungen für bestimmte Hochrisiko-KI-Systeme folgen später: für Hochrisiko-Anwendungsfälle aus dem Anhang III ab dem 2. Dezember 2027 und für Hochrisiko-KI in bestimmten regulierten Produkten ab dem 2. August 2028.

Die Verordnung richtet sich unter anderem an Anbieter (Provider) von KI-Systemen, Betreiber (Deployer), die KI beruflich einsetzen, sowie an Importeure, Händler und Hersteller von Produkten mit KI-Komponenten, die diese auf dem EU-Markt bereitstellen.

Das risikobasierte Regelungsmodell

Der EU AI Act verfolgt einen risikobasierten Ansatz. Je höher das Risiko eines KI-Systems für Menschen und Gesellschaft ist, desto strengere Anforderungen gelten für dessen Entwicklung und Einsatz. Vereinfacht lassen sich die Regelungen in vier Risikokategorien einteilen:

Unannehmbares Risiko

Bestimmte KI-Anwendungen mit einem unannehmbaren Risiko sind grundsätzlich verboten. Dazu gehören beispielsweise bestimmte Formen des Social Scoring, des sogenannten Predictive Policings (etwa wenn das Risiko einer Straftat ausschließlich anhand von Profiling oder persönlichen Merkmalen bewertet wird) sowie bestimmte Formen der Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen.

Hohes Risiko

Für Hochrisiko-KI gelten umfangreiche Anforderungen, beispielsweise an das Risikomanagement, die Dokumentation und die menschliche Aufsicht. Hierzu zählen unter anderem bestimmte KI-Systeme in kritischen Infrastrukturen, im Bildungsbereich, im Recruiting und Personalmanagement sowie in der Strafverfolgung. Entscheidend ist dabei nicht allein die verwendete Technologie, sondern vor allem der konkrete Einsatzzweck des Systems.

Begrenztes Risiko

Für bestimmte KI-Systeme und KI-generierte Inhalte gelten Transparenzpflichten. Dazu zählen beispielsweise direkt mit Menschen interagierende KI-Systeme wie Chatbots sowie Deepfakes und bestimmte KI-generierte Texte zu Themen von öffentlichem Interesse.

Minimales Risiko

Für KI-Anwendungen mit minimalem oder keinem Risiko sieht der AI Act grundsätzlich keine zusätzlichen risikospezifischen Anforderungen vor. Hierzu zählen beispielsweise Spamfilter oder viele alltägliche Assistenzfunktionen, sofern sie nicht für einen besonders regulierten Anwendungsfall eingesetzt werden.

Was bedeutet das konkret für Softwareprojekte?

Für Softwareteams stellt sich vor allem die Frage, wie KI im jeweiligen Projekt eingesetzt wird. Macht es beispielsweise einen Unterschied, ob GitHub Copilot lediglich beim Schreiben von Code unterstützt oder ob ein KI-Assistent direkt mit den Nutzern einer Anwendung kommuniziert? Ja, denn je nach Einsatz unterscheiden sich auch die relevanten Anforderungen.

KI im Entwicklungsprozess

Wer generative KI im Entwicklungsprozess nutzt, beispielsweise für Designs, Quellcode, Textentwürfe oder Illustrationen, muss diese Ergebnisse nicht allein aufgrund des Einsatzes von KI pauschal kennzeichnen.

Für bestimmte Inhalte gelten jedoch besondere Offenlegungspflichten. Die Europäische Kommission stellt hierfür freiwillig nutzbare Kennzeichnungssymbole bereit. Dazu gehören insbesondere:

• Deepfakes: KI-generierte oder manipulierte Bild-, Audio- oder Videoinhalte, die bestehende Personen, Objekte, Orte, Entitäten oder Ereignisse so darstellen, dass sie fälschlicherweise authentisch oder wahr erscheinen können.
• KI-generierte oder manipulierte Texte zu Themen von öffentlichem Interesse: Werden solche Texte mit dem Zweck veröffentlicht, die Öffentlichkeit zu informieren, muss grundsätzlich offengelegt werden, dass sie künstlich erzeugt oder verändert wurden. Eine Kennzeichnung ist nicht erforderlich, wenn der Inhalt einer inhaltlichen menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurde und eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung übernimmt.

Beispiel	Kennzeichnung für Nutzer erforderlich?	Begründung
Sourcecode einer Website, der mithilfe eines KI-Tools generiert wurde	Nein	Sourcecode muss nicht als KI-generiert gekennzeichnet werden.
KI-generierte Illustration als Headerbild einer Website	In der Regel nein	Eine gewöhnliche KI-generierte Illustration muss gegenüber Nutzern nicht allein aufgrund KI-Erzeugung gekennzeichnet werden.
KI-generierter Produkttext auf einer Unternehmenswebsite	In der Regel nein	Die besondere Offenlegungspflicht für KI-generierte Texte betrifft nur Veröffentlichungen über Themen von öffentlichem Interesse.
Vollständig KI-generierter Newsartikel, der automatisiert und ohne menschliche redaktionelle Prüfung veröffentlicht wird	Ja, wenn es ein Thema von öffentlichem Interesse betrifft	Für KI-generierte Texte, die veröffentlicht werden, um die Öffentlichkeit über Themen von öffentlichem Interesse zu informieren, gilt grundsätzlich eine Offenlegungspflicht.
Authentisches Foto eines Hotelzimmers, aus dem mithilfe von KI Gegenstände entfernt wurden, sodass das Zimmer anders erscheint als auf der ursprünglichen Aufnahme	Ja	Ein bereits vorhandenes, authentisches Foto wurde mithilfe von KI inhaltlich verändert. Wenn die Veränderung dazu führt, dass der tatsächliche Zustand des Zimmers fälschlicherweise authentisch dargestellt wird, fällt das Bild unter die Deepfake-Regelung.
Video der tatsächlichen Betreiber eines Restaurants, bei dem ihre Stimmen mithilfe von KI synthetisch nachgebildet wurden	Ja	Das Video enthält KI-generierte Stimmen realer Personen und kann dadurch fälschlicherweise wie eine authentische Aufnahme wirken. Der KI-Badge wird dabei mit einem kurzen Hinweis wie "Stimmen mit KI generiert" verwendet.

Tabelle 1: Beispiele für Kennzeichnungspflichten bei KI-generierten Inhalten

KI als Funktion in der eigenen Anwendung

Wird KI direkt Bestandteil einer Anwendung, muss zunächst betrachtet werden, welche Rolle ein Unternehmen im konkreten Fall nach dem AI Act einnimmt. Die Verordnung unterscheidet unter anderem zwischen Anbietern und Betreibern und weist ihnen unterschiedliche Transparenzpflichten zu. Für typische Softwareprojekte können folgende Anforderungen relevant sein:

• Direkte Interaktion mit einer KI: Anbieter von KI-Systemen, die direkt mit Menschen interagieren, müssen die Systeme grundsätzlich so gestaltet, dass Nutzer zu Beginn der ersten Interaktion erkennen können, dass sie mit einem KI-System kommunizieren. Eine zusätzliche Information ist nicht erforderlich, wenn dies für den Nutzer ohnehin offensichtlich ist. Das kann beispielsweise bei Chatbots oder KI-Assistenten relevant sein.
• Generierte Inhalte: Anbieter von KI-Systemen, die synthetische Texte, Bilder, Audio- oder Videoinhalte erzeugen oder manipulieren, müssen deren Outputs soweit technisch möglich, grundsätzlich in einem maschinenlesbaren Format markieren und technisch als künstlich erzeugt oder verändert erkennbar machen.

Fazit

Der EU AI Act bedeutet nicht, dass jede Nutzung von ChatGPT, Claude oder anderen KI-Werkzeugen automatisch neue Kennzeichnungspflichten auslöst. Entscheidend sind der konkrete Einsatzzweck und die Rolle, die ein Unternehmen innerhalb eines KI-Systems einnimmt.