Bildquelle: Pexels.com – Foto von Markus Winkler
Der EU AI Act ist seit August 2024 in Kraft, doch die volle Anwendbarkeit mit allen zentralen Pflichten für Hochrisiko-KI-Systeme wurde schrittweise umgesetzt. Im Jahr 2026 stehen IT-Teams und Entwickler nun vor konkreten Compliance-Anforderungen, die nicht länger theoretisch sind. Wer KI-Systeme entwickelt, betreibt oder integriert, muss handeln – und zwar jetzt.
Was der EU AI Act grundlegend regelt
Der EU AI Act ist das weltweit erste umfassende rechtliche Rahmenwerk zur Regulierung künstlicher Intelligenz. Das Gesetz klassifiziert KI-Systeme nach ihrem Risikopotenzial in vier Stufen: unzulässige Risiken (verboten), Hochrisiko-KI, begrenzte Risiken und minimale Risiken. Für die IT-Praxis besonders relevant ist die Hochrisiko-Kategorie, da sie viele systemkritische Anwendungen umfasst, die in Unternehmen bereits im Einsatz sind.
Verbotene Anwendungen umfassen soziale Bewertungssysteme, manipulative KI und bestimmte biometrische Überwachungssysteme in Echtzeit. Diese sind seit Anfang 2025 definitiv untersagt. Für IT-Teams, die solche Systeme noch in irgendeiner Form betreiben, besteht dringender Handlungsbedarf.
Welche KI-Systeme als Hochrisiko gelten
Als Hochrisiko-KI gelten unter anderem Systeme in folgenden Bereichen:
- Kritische Infrastruktur: Systeme, die Energie-, Wasser- oder Verkehrsnetze steuern oder überwachen
- Personalentscheidungen: KI für Recruiting, Leistungsbewertung oder Kündigung von Mitarbeitern
- Bildung: Systeme zur Bewertung von Lernenden oder zur Steuerung von Bildungszugängen
- Wesentliche Dienste: KI im Bereich Kreditvergabe, Versicherungen oder öffentlicher Leistungen
- Strafverfolgung und Justiz: Systeme für Risikoeinschätzungen oder Entscheidungsunterstützung
- Biometrie: Gesichts- und Verhaltensbiometrie in bestimmten Kontexten
Für IT-Teams in Unternehmen mit entsprechenden Anwendungen bedeutet das: Ohne Compliance-Nachweis drohen Bußgelder von bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes.
Die konkreten Pflichten für Hochrisiko-KI
Für Systeme der Hochrisiko-Kategorie schreibt der EU AI Act umfangreiche technische und organisatorische Maßnahmen vor. IT-Teams müssen verstehen, dass diese Pflichten sowohl Entwickler als auch Betreiber betreffen.
Risikomanagement
Unternehmen müssen ein kontinuierliches Risikomanagementsystem für Hochrisiko-KI etablieren. Dieses muss während des gesamten Lebenszyklus aktiv sein – von der Entwicklung über den Betrieb bis zur Außerbetriebnahme. Identifizierte Risiken müssen dokumentiert und durch geeignete Maßnahmen minimiert werden.
Datenqualität und -governance
Trainingsdaten, Validierungsdaten und Testdatensätze müssen relevant, repräsentativ und so fehlerfrei wie möglich sein. Es braucht klare Governance-Prozesse dafür, wie Daten ausgewählt, aufbereitet und für das KI-Training verwendet werden. Datenlücken oder Verzerrungen müssen systematisch identifiziert und adressiert werden.
Technische Dokumentation
Eine detaillierte technische Dokumentation des KI-Systems muss vor Inbetriebnahme vorliegen und aktuell gehalten werden. Sie umfasst die Architektur des Systems, die verwendeten Algorithmen, die Trainingsdaten sowie die Leistungsmetriken und Grenzen des Systems.
Transparenz und Nutzerinformation
Personen, die mit einem Hochrisiko-KI-System interagieren, müssen klar darüber informiert werden. Insbesondere wenn KI Entscheidungen mit erheblichen Auswirkungen trifft oder vorbereitet, sind Transparenzpflichten einzuhalten. Das schließt auch eine verständliche Erklärung der Systemlogik ein.
Menschliche Aufsicht und Logging
Hochrisiko-KI-Systeme müssen so gestaltet sein, dass eine wirksame menschliche Kontrolle möglich ist. Das bedeutet: Es muss technisch möglich sein, das System zu überwachen, zu unterbrechen, zu korrigieren oder außer Betrieb zu nehmen. Darüber hinaus schreibt der EU AI Act automatisiertes Logging vor: Alle wesentlichen Entscheidungen und Systemzustände müssen protokolliert werden, sodass im Nachgang nachvollzogen werden kann, wie das System zu einem Ergebnis gekommen ist.
Robustheit, Sicherheit und Genauigkeit
Die Systeme müssen gegenüber Fehlern, Ausfällen und Manipulationsversuchen robust sein. Das schließt auch den Schutz vor adversariellen Angriffen auf KI-Modelle ein. Regelmäßige Tests und eine klare Fehlerbehebungsstrategie sind Pflicht.
Was IT-Teams jetzt konkret tun müssen
Die Compliance-Arbeit beginnt mit einem strukturierten Inventar der eingesetzten KI-Systeme. Viele Unternehmen sind überrascht, wie viele KI-gestützte Komponenten sie tatsächlich im Einsatz haben – oft nicht als eigenständige KI-Systeme erkennbar, sondern eingebettet in bestehende Softwareprodukte von Drittanbietern.
Der erste Schritt ist immer: Welche KI-Systeme betreiben wir überhaupt, und wozu dienen sie? Erst wenn das bekannt ist, lässt sich eine sinnvolle Risikobewertung durchführen.
- KI-Inventarisierung: Alle KI-Systeme und KI-gestützten Dienste erfassen, intern entwickelte wie eingekaufte
- Risikoeinstufung: Für jedes System prüfen, ob es in die Hochrisiko-Kategorie fällt oder unter eine Ausnahme
- Gap-Analyse: Bestehende Dokumentation und Governance-Strukturen gegen die EU-AI-Act-Anforderungen prüfen
- Zuständigkeiten klären: Wer im Unternehmen ist verantwortlich für KI-Compliance?
- Technische Maßnahmen umsetzen: Logging, Monitoring und Human-in-the-Loop-Funktionen einbauen oder nachrüsten
- Lieferantenbewertung: Auch Drittanbieter-KI unterliegt Pflichten – Verträge und Lieferantendokumentation prüfen
General-Purpose AI Models: Sonderpflichten für Foundation Models
Eine besondere Regelung betrifft sogenannte GPAI-Modelle wie große Sprachmodelle. Anbieter dieser Modelle unterliegen eigenen Transparenz- und Dokumentationspflichten. Für Unternehmen, die solche Modelle über APIs nutzen, entstehen daraus indirekte Anforderungen: Sie müssen prüfen, ob der Anbieter die EU-AI-Act-Pflichten erfüllt, und dies auch vertraglich absichern.
Fazit: Compliance ist Infrastruktur
Der EU AI Act ist kein bürokratisches Übel, sondern ein Rahmen, der bei konsequenter Umsetzung die Qualität und Verlässlichkeit von KI-Systemen verbessert. Für IT-Teams bedeutet das: Compliance ist keine Aufgabe der Rechtsabteilung allein, sondern ein technisches und organisatorisches Projekt mit konkreten Auswirkungen auf Architektur, Logging, Monitoring und Governance.
Wer frühzeitig investiert, baut nicht nur regulatorisches Risiko ab, sondern verschafft sich auch einen Vorsprung beim Aufbau robuster, transparenter und vertrauenswürdiger KI-Systeme.
Quellen: Europäisches Parlament – Volltext EU AI Act (Verordnung 2024/1689); European AI Office – Leitlinien für GPAI-Modelle; Bundesministerium für Digitales und Verkehr – Informationen zur nationalen Umsetzung
