Ethische Schulden: Regulierung im Angesicht von KI-Entdeckungen (2026)

Das strukturelle Problem der KI-Regulierung lässt sich in einem Satz beschreiben: Das Recht basiert auf Vorhersehbarkeit, während KI Folgen erzeugt, die zum Zeitpunkt der Gesetzgebung noch niemand gesehen hat. Der AI Act versucht, dieses Problem anzugehen, ohne es vollständig zu lösen.

Ethische Schulden sind die Differenz zwischen dem, was Technologie bereits kann, und dem, was die Gesellschaft durchdacht, reguliert und vor Missbrauch geschützt hat. Dieses Konzept ist analog zu technischen Schulden in der Softwareentwicklung: Abkürzungen, die jetzt genommen werden, bringen schnelle Ergebnisse, häufen aber Kosten an, die irgendwann jemand bezahlen muss.

Im Fall von KI wachsen ethische Schulden aus mehreren Gründen gleichzeitig. Erstens sind Innovationszyklen kürzer als legislative Zyklen. Eine EU-Verordnung benötigt von der Vorschlag der Kommission bis zum Inkrafttreten durchschnittlich drei bis fünf Jahre. Ein Sprachmodell durchläuft alle ein bis zwei Jahre eine neue Generation. Zweitens sind Nebenwirkungen von KI-Systemen oft bis zur großflächigen Implementierung verborgen. Bias in einem Rekrutierungsmodell zeigt sich nach Tausenden von Entscheidungen, nicht nach einer.

Wir bei Cashcrown beobachten dieses Muster bei jeder Implementierung: Ein Unternehmen möchte einen Prozess automatisieren, der auf dem Papier risikoarm erscheint, doch während des Audits stellt sich heraus, dass die Trainingsdaten diskriminierende Muster enthalten, die von früheren menschlichen Entscheidungen übernommen wurden. Ethische Schulden sind nicht virtuell. Sie stecken in den Daten.

Der AI Act trat im August 2024 in Kraft. 2025 begannen die Verbote für Systeme mit inakzeptablem Risiko sowie Transparenzanforderungen für GPAI-Modelle zu gelten. Die verbindliche Frist für die vollständigen Anforderungen an Hochrisikosysteme aus Anhang III bleibt August 2026. Im Rahmen des Vereinfachungspakets (Digital Omnibus) hat die Kommission vorgeschlagen, diese Frist auf den 2. Dezember 2027 zu verschieben – bis zur Annahme durch Parlament und Rat bleibt jedoch August 2026 das verbindliche Datum, sodass Unternehmen ihre Konformität auf diese Frist ausrichten sollten. Dies ist der weltweit erste Versuch, KI durch die Risikoperspektive und nicht durch den Technologietyp zu regulieren.

Die zentrale Logik des AI Act: Je höher das Risiko für Grundrechte und Sicherheit, desto strenger die Anforderungen.

Was der AI Act nicht löst: Er definiert nicht, wie Bias in Modellen in spezifischen Forschungskontexten gemessen werden soll. Er sagt nicht, wer haftet, wenn ein KI-System in der Lieferkette auf der Inferenzebene versagt. Und er beantwortet nicht die Frage, wie ein Modell reguliert werden soll, das nach der Implementierung lernt und sein Verhalten auf eine Weise ändert, die für die Entwickler unvorhersehbar ist.

Hier wird AI-Governance zu einem praktischen Werkzeug, nicht nur zu einem rechtlichen Konzept: Ein Unternehmen oder eine Forschungseinrichtung muss eigene KI-Managementprozesse haben, weil die Regulierung allein nicht ausreicht.

Von Daten geerbte Voreingenommenheit.

Ein Modell, das auf historischen Daten trainiert wird, reproduziert historische Ungerechtigkeiten. Ein Algorithmus zur Kreditrisikobewertung, der auf Daten von 1990–2010 trainiert wurde, könnte unvermeidlich demografische Gruppen bevorzugen, die damals besseren Zugang zu Krediten hatten – nicht weil er schlecht ist, sondern weil die Daten schlecht sind.

Die regulatorische Lösung (Anforderung eines Bias-Audits für Hochrisikosysteme) ist notwendig, aber nicht ausreichend. Das Gesetz legt fest, dass ein Audit durchgeführt werden muss. Es sagt nicht, wer es durchführt, mit welchem Tool und wie die Ergebnisse im Kontext des spezifischen Bereichs interpretiert werden sollen. Diese Entscheidung bleibt beim Forscher oder Systemingenieur.

In der Praxis sehen wir, dass Unternehmen fragen: „Hat unser Modell das Audit bestanden?“ statt zu fragen: „Funktioniert unser Modell fair für jede Untergruppe von Nutzern?“ Die erste Antwort ist rechtlich konform. Die zweite ist ethisch.

Erklärbarkeit und das Recht auf Begründung.

Explainability ist die technische Fähigkeit zu erklären, warum ein Modell eine bestimmte Entscheidung getroffen hat. DSGVO Art. 22 garantiert das Recht, nicht ausschließlich automatisierten Entscheidungen unterworfen zu werden, sowie das Recht auf eine menschliche Überprüfung. Der AI Act erweitert diese Anforderungen für Hochrisikosysteme.

Das Problem ist, dass „regulatorische Erklärbarkeit“ (Dokumentation, dass das System auditiert wurde) sich von „operativer Erklärbarkeit“ (der Nutzer versteht, warum das System einen Antrag abgelehnt hat) unterscheidet. Modelle mit der höchsten Effektivität, wie tiefe neuronale Netze, sind oft am schwierigsten in einer Sprache zu erklären, die ein Laie versteht.

Wir bei Cashcrown wenden bei jedem Entscheidungssystem für Kunden eine Begründungsebene an: Das Modell generiert eine Entscheidung, eine separate Komponente generiert eine Begründung in natürlicher Sprache, und Human-Oversight prüft die Konsistenz beider vor der Übermittlung an den Nutzer. Dies ist keine Anforderung des AI Act für alle Systeme, aber wir haben es als ethisches Minimum für jedes System anerkannt, das Entscheidungen über Menschen beeinflusst.

Verantwortung in der KI-Lieferkette.

Wer haftet, wenn ein KI-System, das von Firma A entwickelt, von Firma B implementiert und von Firma C genutzt wird, einem Nutzer Schaden zufügt? Der AI Act führt eine Unterscheidung zwischen Anbietern und Implementierern ein, aber die Lieferketten sind oft länger: Das Basismodell stammt von einem Anbieter, die Anpassungsschicht von einem zweiten, die Implementierung führt ein dritter durch. Die Verantwortung ist zwischen den Gliedern verwischt. Die Regulierung adressiert dies erst. In der Zwischenzeit treffen konkrete Personen in konkreten Unternehmen ethische Entscheidungen.

Human-Oversight im Kontext des AI Act ist eine Anforderung für Hochrisikosysteme. Im Kontext der Ethik in Forschung und Implementierung ist es mehr: eine Designentscheidung, die festlegt, wo der Mensch für das Ergebnis verantwortlich bleibt.

Das Muster, das wir bei der Implementierung analytischer Agenten anwenden, unterscheidet drei Arten von Kontrollpunkten:

Automation Bias, die Tendenz, Ergebnisse automatisierter Systeme ohne kritische Prüfung zu akzeptieren, ist ein reales psychologisches Phänomen. Je schneller und sicherer ein System ist, desto größer ist die Versuchung, die Überprüfung zu überspringen. Ein gut gestalteter Human-Gate verlangsamt den Prozess nicht. Er schützt vor diesem konkreten Fehler.

DSGVO und der AI Act sind zwei separate Verordnungen mit teilweise überlappenden Anforderungen. DSGVO regelt personenbezogene Daten. Der AI Act regelt KI-Systeme. In der Praxis verarbeiten die meisten KI-Systeme personenbezogene Daten, sodass beide gleichzeitig gelten.

DPIA (Datenschutz-Folgenabschätzung) ist obligatorisch, wenn die Verarbeitung personenbezogener Daten ein hohes Risiko für die Rechte natürlicher Personen darstellen kann. Für KI-Systeme, die die Kriterien für hohes Risiko gemäß AI Act erfüllen, ist eine DPIA praktisch immer erforderlich.

Wichtige Überschneidungspunkte:

• Automatisiertes Profiling in großem Maßstab (DSGVO Art. 22 + AI Act Hochrisikoklassifizierung)
• Sensible Daten im Modelltraining (DSGVO Art. 9 + AI Act Anforderungen an Datenmanagement)
• Recht auf Löschung von Daten vs. Vektoren in der Wissensbasis des Modells (DSGVO Art. 17 + kein klarer Mechanismus im AI Act)

Dieser letzte Punkt ist offen. Wenn personenbezogene Daten in das Modell als Teil des Trainingsdatensatzes eingeflossen sind, entfernt das Löschen aus der Rohdatenbank nicht ihren Einfluss auf die Modellgewichte. Die Regulierung löst dies nicht. Die Systemarchitektur löst es: RAG-Systeme mit separater Wissensdatenbank ermöglichen das Löschen von Dokumenten ohne erneutes Training des Modells. Dies ist eine Designentscheidung mit ethischer Konsequenz.

Ethische Schulden verschwinden nicht durch die Verabschiedung von Gesetzen. Sie verringern sich durch bewusste Designentscheidungen, Prozesse und Organisationskultur. Basierend auf den Implementierungen, die wir beobachten, lassen sich mehrere praktische Ebenen unterscheiden:

Register der KI-Systeme. Jedes in einer Organisation eingesetzte KI-System sollte katalogisiert werden: Zweck, Trainingsdaten, Nutzerpopulation, Risikostufe gemäß AI Act, verantwortliche Person. Ohne Register gibt es keine Governance.

Bias-Audit vor der Implementierung. Keine Zertifizierung, sondern strukturierte Fragen: Woher stammt der Trainingsdatensatz, welche Gruppen sind überrepräsentiert, welche historischen Entscheidungen sind in diesen Daten enthalten und wollen wir sie fortschreiben?

Dokumentation der Systemgrenzen. Jedes KI-System hat eine Vertrauensgrenze. Jenseits dieser Grenze sollte die Antwort an einen Menschen gehen, nicht an den Endnutzer. Die Definition dieser Grenze vor der Implementierung ist eine ethische Entscheidung, nicht nur eine technische.

Überprüfung nach der Implementierung. KI-Systeme driften. Eingabedaten ändern sich. Das Verhalten des Modells nach sechs Monaten im Produktivbetrieb kann sich vom Verhalten in Tests unterscheiden. Regelmäßige Überprüfungen der Ergebnisse auf systematische Anomalien sind Teil einer verantwortungsvollen Implementierung.

Mehr dazu, wie man Datenmanagementprozesse für KI organisiert, im Artikel über Daten-Governance für KI und wie man Risiken in Entscheidungssystemen identifiziert, im Artikel über das Black-Box-Problem.

Teilweise. Die Verbote für Systeme mit inakzeptablem Risiko traten im Februar 2025 in Kraft. Anbieter von Modellen für allgemeine Zwecke (GPAI) haben seit August 2025 Transparenzpflichten. Im Rahmen des Digital-Omnibus-Pakets hat die Kommission vorgeschlagen, die vollständigen Anforderungen für Hochrisikosysteme (Anhang III) vom August 2026 auf den 2. Dezember 2027 zu verschieben; der Vorschlag ist noch nicht angenommen, sodass August 2026 die verbindliche Frist bleibt und man sich auf diesen Termin vorbereiten sollte. Unternehmen, die KI-Systeme implementieren, sollten prüfen, ob ihre Anwendungsfälle als Hochrisiko eingestuft werden, und falls ja, rechtzeitig mit der Vorbereitung der technischen Dokumentation und Konformitätsbewertung beginnen.

Der AI Act definiert Hochrisikosysteme durch Anhang III: Dazu gehören Rekrutierung, Kreditbewertung, biometrische Systeme, Management kritischer Infrastruktur, Entscheidungen über den Zugang zu öffentlichen Dienstleistungen, medizinische Diagnosesysteme, die die Behandlung beeinflussen, und einige andere Kategorien. Wenn ein System personenbezogene Daten verarbeitet und Entscheidungen trifft, die erhebliche Auswirkungen auf das Leben, die Beschäftigung oder die Finanzen einer natürlichen Person haben, handelt es sich wahrscheinlich um ein Hochrisikosystem. Im Zweifel ist es sicherer, eine DPIA durchzuführen und sich mit dem Datenschutzbeauftragten (DPO) zu beraten.

Teilweise. Methoden wie SHAP, LIME und Attention Maps liefern lokale Erklärungen: warum das Modell diese konkrete Entscheidung für diesen konkreten Input getroffen hat. Eine globale Erklärung des gesamten Modells, verstanden als vollständige Ursache jeder Entscheidung, ist für tiefe neuronale Netze unerreichbar. Gute Praxis ist es, Systeme so zu gestalten, dass für jede Entscheidung automatisch eine lokale Erklärung generiert und dem Nutzer auf Anfrage zur Verfügung gestellt wird, insbesondere bei Hochrisikosystemen.

Die Strafen sind strukturell ähnlich wie bei der DSGVO: bis zu 35 Millionen Euro oder 7 % des globalen Jahresumsatzes für Verstöße gegen Systeme mit inakzeptablem Risiko, bis zu 15 Millionen Euro oder 3 % für andere Verstöße. Für GPAI-Systeme bis zu 15 Millionen Euro oder 3 % des Umsatzes. Das Europäische Amt für KI (AI Office) überwacht die Einhaltung bei GPAI-Modellen, während nationale Aufsichtsbehörden die übrigen Vorschriften durchsetzen.

Nicht durch den Kauf eines Tools. Sondern durch drei Fragen an jedes KI-System, das bereits im Einsatz ist: (1) Wer ist für die Ergebnisse dieses Systems verantwortlich? (2) Welche Trainingsdaten wurden verwendet und woher stammen sie? (3) Was passiert, wenn sich das System irrt? Die Antworten auf diese drei Fragen offenbaren mehr ethische Lücken als die meisten formalen Audits. Die Artikel über verantwortungsvolle Innovation und über die Rolle des Menschen im Loop vertiefen diese Aspekte im Kontext konkreter Implementierungen.

Das Thema der KI-Regulierung ist untrennbar mit der Frage verbunden, wie LLM Hypothesen generieren in der Forschungspraxis. Wenn Sie ein KI-System in Ihrer Organisation implementieren und bewerten möchten, wo Ihre ethischen Prozesse stehen, hilft Ihnen das Bewertungstool für die Einsatzbereitschaft, Lücken zu identifizieren, bevor ein Vorfall auftritt.