AI Act in der Medizin: rechtliche Rahmenbedingungen für Hochrisikosysteme

2023 genehmigte der europäische Regulator ein KI-System zur Unterstützung der Triage in der Notaufnahme. Ein Jahr später wurde derselbe Systemtyp in die Liste der Fälle aufgenommen, in denen KI Patienten mit atypischen klinischen Bildern fälschlicherweise depriorisiert hatte. Beide Situationen sind gleichzeitig möglich: KI in der Medizin funktioniert und versagt — oft mit denselben Daten und aus denselben Gründen. Der AI Act verbietet diese Anwendungen nicht. Er legt die Bedingungen fest, unter denen sie verantwortungsvoll eingesetzt werden können.

Der AI Act unterteilt Systeme nach dem potenziellen Schadensausmaß, nicht nach Branchen. Doch die Liste der Hochrisikosysteme in Anhang III zielt direkt auf das Gesundheitswesen ab:

• Pkt. 5a: KI-Systeme zur Unterstützung klinischer Entscheidungen (Diagnostik, Behandlungsplanung, Analyse medizinischer Bilder),
• Pkt. 5b: Systeme zur Steuerung des Zugangs zur Gesundheitsversorgung oder Ressourcenallokation (Priorisierung, Triage),
• Pkt. 5c: Systeme zur Echtzeitüberwachung des Gesundheitszustands von Patienten.

Für jede dieser Anwendungen gilt das vollständige Paket der Hochrisiko-Pflichten. Ein Chatbot an der Krankenhausrezeption, der nur über Öffnungszeiten informiert — begrenztes Risiko. Derselbe Chatbot, der Symptome erfasst und eine Station vorschlägt — fällt unter Pkt. 5b und zieht technische Dokumentation, Validierung, menschliche Aufsicht und ein Incident-Register nach sich.

Der AI Act präzisiert die Pflichten in Kapitel III. Für medizinische Systeme lassen sie sich auf vier Säulen reduzieren:

Jede dieser Säulen ist keine Checklisten-Position — sie ist eine prozessuale Anforderung. Fehlende Logs bedeuten, dass die Konformität im Falle einer Kontrolle oder eines unerwünschten Ereignisses nicht nachgewiesen werden kann.

Die häufigste Frage von Krankenhäusern und Kliniken lautet: „Wie erkläre ich einem Arzt, warum die KI diese Entscheidung getroffen hat?“ Diese Frage hat nun eine rechtliche Dimension.

Art. 13 AI Act verlangt, dass Hochrisikosysteme so gestaltet sein müssen, dass ihr Betrieb ausreichend transparent ist, damit Nutzer die Ergebnisse interpretieren und korrekt anwenden können. In der Praxis bedeutet das:

• Der Arzt muss nicht nur das Ergebnis, sondern auch eine Begründung erhalten (welche Bildmerkmale, welche klinischen Parameter die Entscheidung beeinflusst haben),
• Die Begründung muss für einen Menschen ohne Kenntnis der Modellarchitektur verständlich sein,
• Das System muss über Grenzen der Sicherheit informieren — wann seine Empfehlung weniger zuverlässig ist.

In unserer Arbeit mit erklärbaren KI-Systemen (XAI) unterscheiden wir drei Ebenen: lokale Erklärung (warum diese Entscheidung für diesen Patienten), globale Erklärung (wie das Modell allgemein funktioniert) und Audit-Trail (was es im Zeitverlauf getan hat). Der AI Act verlangt mindestens die erste und dritte Ebene. Methoden wie SHAP, LIME oder Attention Maps sind Implementierungswerkzeuge — keine wird namentlich verlangt, aber jede kann zur Nachweisführung der Konformität dienen.

AI Act und DSGVO sind zwei separate Regime, die sich in der Medizin fast vollständig überschneiden. Patientendaten sind Gesundheitsdaten — eine besondere Kategorie im Sinne von Art. 9 DSGVO, die eine klare Rechtsgrundlage (Einwilligung oder öffentliches Interesse) und ein deutlich höheres Schutzniveau erfordern.

Bei jedem KI-System, das mit medizinischen Daten arbeitet, muss die Frage nach der Datenschutz-Folgenabschätzung (DPIA) gestellt werden. Die DSGVO verlangt sie, wenn die Verarbeitung ein hohes Risiko für die Rechte der Betroffenen darstellen kann — und eine KI, die über Diagnostik oder Behandlung entscheidet, erfüllt diese Schwelle fast immer.

Schlüsselprinzipien für das Design der Datenschicht in medizinischen KI-Systemen:

• Datenminimierung: Das Modell sollte mit dem kleinstmöglichen Datensatz arbeiten — nicht mit der gesamten Krankengeschichte, wenn ein Ausschnitt ausreicht,
• Pseudonymisierung vor dem Training: Patientenidentifikatoren dürfen nicht in den Trainingsdatensatz oder in Prompts gelangen,
• PII-Maskierung vor jedem externen API-Aufruf — sensible Daten dürfen die Krankenhausinfrastruktur nicht verlassen,
• Recht auf Löschung: Wenn das Modell mit Daten eines Patienten trainiert wurde, der seine Einwilligung widerrufen hat, muss ein technisches Verfahren zum Entfernen dieser Daten existieren (Machine Unlearning oder Retraining ohne den betreffenden Subdatensatz).

Ein Krankenhaus, das ein externes KI-System implementiert, bleibt Verantwortlicher für die Daten — diese Verantwortung wird nicht auf den Anbieter übertragen.

Art. 14 AI Act spricht von menschlicher Aufsicht als einem Element, das in das System hineinkonstruiert sein muss — nicht als nachträgliche Option. Im klinischen Kontext bedeutet das eine konkrete Architektur des Arbeitsablaufs:

Der Arzt (oder ein anderer berechtigter Kliniker) sollte die Möglichkeit haben:

1. die Begründung einzusehen, bevor er eine Entscheidung auf Basis der KI-Empfehlung trifft,
2. die Empfehlung abzulehnen, ohne den Zugang zum System zu verlieren oder einen Grund angeben zu müssen,
3. das System zu stoppen, wenn Zweifel an dessen Funktion bestehen.

In agentenbasierten Architekturen (Systeme, die Aktionssequenzen ausführen, z. B. Behandlungsplanung, Anordnung von Untersuchungen, Aktualisierung der Dokumentation) ist ein Human-Gate — also die erforderliche Bestätigung durch einen Menschen vor jeder nicht umkehrbaren Aktion — eine direkte Umsetzung von Art. 14. Das System kann vorschlagen, aber es darf keine nicht umkehrbare Aktion selbstständig ausführen. Diesen Mechanismus beschreiben wir detailliert im Artikel über Sicherheit von KI-Agenten.

Das schränkt die Automatisierung nicht ein. Es begrenzt sie dort, wo ein Fehler dem Patienten schaden könnte.

Hochrisiko-KI-Systeme in der Medizin sind meist gleichzeitig Medizinprodukte im Sinne der Verordnung MDR (2017/745) oder der In-Vitro-Diagnostik-Verordnung (IVDR). Beide Regularien müssen gemeinsam erfüllt werden — der AI Act ersetzt die MDR nicht.

Die benannte Stelle, die das Medizinprodukt zertifiziert, muss nun den AI Act als Teil der technischen Bewertung berücksichtigen. In der Praxis:

• Die technische Dokumentation der KI (gemäß AI Act) wird Teil der MDR-Zertifizierungsakte,
• Der Post-Market-Monitoring-Plan (Art. 72 AI Act) muss mit dem von der MDR geforderten Post-Market Surveillance Plan synchronisiert werden,
• Das Register für unerwünschte Ereignisse muss zwischen beiden Regimen konsistent sein.

Hersteller, die bereits eine MDR-Zertifizierung der Klasse IIa oder höher für ein System mit KI-Komponente besitzen, sollten den AI Act als Erweiterung bestehender Pflichten behandeln, nicht als neues, unabhängiges Projekt. Einen allgemeinen Überblick über die Pflichten von Unternehmen, die KI implementieren — außerhalb des medizinischen Sektors — bietet der Artikel AI Act und DSGVO 2026.

Eine der weniger offensichtlichen Konsequenzen des AI Act in der Medizin: Die Anforderung, dass Trainingsdaten repräsentativ und frei von diskriminierenden Verzerrungen sein müssen (Art. 10). In der klinischen Praxis ist dies ein bekanntes Problem, das nun zur rechtlichen Pflicht wird.

Klassisches Beispiel: Algorithmen zur Vorhersage kardiovaskulärer Risiken, die hauptsächlich an Kohorten westlicher Männer mittleren Alters trainiert wurden. Bei Frauen, älteren Menschen oder anderen ethnischen Gruppen können sie das Risiko systematisch unterschätzen. Das ist ein statistischer Fehler, aber wenn er zu einer verzögerten Behandlung führt — handelt es sich um ein unerwünschtes Ereignis, für das der Betreiber des KI-Systems haftet.

Die Identifizierung und Dokumentation potenzieller Verzerrungen ist Teil der technischen Dokumentation. Wenn der Trainingsdatensatz demografische Einschränkungen aufweist, müssen diese explizit beschrieben werden, zusammen mit Empfehlungen für die Populationen, für die das System validiert wurde. Das Tool Bewertung der KI-Bereitschaft hilft, Lücken zu identifizieren, bevor das Projekt in die regulatorische Dokumentationsphase eintritt.

Beschreiben Sie einen Anwendungsfall eines KI-Systems im medizinischen oder gesundheitlichen Kontext, und das Modell hilft bei der vorläufigen Einschätzung der Risikokategorie gemäß AI Act, zeigt relevante Artikel auf und identifiziert zentrale Pflichten. Dies ist der Ausgangspunkt für das Gespräch mit einem Juristen und dem verantwortlichen Akteur, kein Ersatz dafür (Playground: Daten maskiert, keine Speicherung):

Nein. Ein Chatbot, der auf organisatorische Informationen beschränkt ist (Öffnungszeiten, Adressen, administrative Abläufe), ist ein System mit begrenztem Risiko. Er muss die Transparenzanforderung erfüllen — der Nutzer muss wissen, dass er mit einer KI kommuniziert. Die Grenze verschiebt sich, wenn der Chatbot beginnt, Symptome zu erfassen, Diagnosen vorzuschlagen oder auf Stationen zu verweisen: Dann fällt er unter Anhang III und wird zum Hochrisikosystem mit allen daraus resultierenden Pflichten.

Beide. Der AI Act unterscheidet zwischen dem Anbieter (der das System entwickelt und auf den Markt gebracht hat) und dem Implementierer (das Krankenhaus, das es einsetzt). Der Anbieter ist für die technische Konformität und Dokumentation verantwortlich. Der Implementierer ist für die korrekte Nutzung gemäß der Anleitung, die Aufsicht und das Monitoring unter Realbedingungen verantwortlich. Ein Krankenhaus, das ein fertiges System kauft, überträgt damit nicht die Pflichten des Datenverantwortlichen nach DSGVO auf den Anbieter.

Nein, nicht im Sinne eines „OK“-Klicks bei jeder Empfehlung — das wäre unpraktikabel. Er verlangt, dass der Kliniker eingreifen, das Ergebnis ablehnen oder das System stoppen kann. In der Praxis wird dies so gestaltet: Das KI-Ergebnis ist neben den klinischen Daten sichtbar, die Möglichkeit zur Ablehnung mit Notiz ist gegeben, und die Ausführung nicht umkehrbarer Aktionen (z. B. automatische Anordnung einer Untersuchung) ist ohne explizite Bestätigung blockiert. Der Umfang der Aufsicht ist proportional zum Risiko der Entscheidung.

Ja, aber die technische Dokumentation muss eine Beschreibung der Trainingspopulation und ihrer demografischen Einschränkungen enthalten. Wenn das Modell ausschließlich an polnischen Patienten validiert wurde und in Deutschland implementiert werden soll, ist eine Bewertung erforderlich, ob die Kohorten ausreichend ähnlich sind. Der AI Act verlangt, dass Systeme unter vorhersehbaren Nutzungsbedingungen korrekt funktionieren — populationsbedingte Unterschiede können ein solches Risiko darstellen.

Das Minimum umfasst: Sitzungsidentifikator (ohne PII), Modellversion, Art der Empfehlung, ob der Kliniker sie angenommen oder abgelehnt hat, Antwortzeit, Konfidenzindikator des Modells und Zeitstempel. Bei unerwünschten Ereignissen muss das Protokoll die Rekonstruktion des Entscheidungskontexts ermöglichen — ohne dies ist der Nachweis, dass das System korrekt funktioniert hat oder dass der Fehler auf der Nutzungs- und nicht auf der Modellseite lag, unmöglich. Die Aufbewahrungsfrist des Protokolls richtet sich nach den rechtlichen Anforderungen an die medizinische Dokumentation im jeweiligen Land.