Implementierung von KI in der öffentlichen Verwaltung: Transparenz und Compliance

Die Gemeindeverwaltung Kraków-Krowodrza führt einen Chatbot für die Bürgerbetreuung ein. Nach sechs Wochen bearbeitet er täglich 300–400 Anfragen, verkürzt die Zeit bis zum ersten Kontakt von 48 auf 4 Stunden und entlastet Mitarbeiter von routinemäßigen Fragen zu Meldeverfahren, Abfallabfuhrplänen und Antragsfristen. Keine Verwaltungsentscheidung stammt vom Modell. Das ist ein realistisches Szenario, keine Versprechung, denn die Grenze zwischen informativer Unterstützung und Verwaltungsentscheidung ist hart und darf nicht ohne Rechtsbruch überschritten werden.

Im Folgenden beschreibe ich, wo diese Grenze verläuft, welche Anforderungen der AI Act und die DSGVO an kommunale Selbstverwaltungen stellen und wie eine Architektur aufgebaut werden kann, die konform, transparent und mit typischen Behördenressourcen ohne Dutzende IT-Spezialisten wartbar ist.

Der öffentliche Sektor hat einen begrenzten Handlungsspielraum, aber er ist nicht nutzlos. Drei Kategorien von Anwendungen sind technisch umsetzbar und rechtlich sicher bei richtiger Architektur.

Information aus der Wissensdatenbank. Ein RAG-Agent, der auf behördlichen Dokumenten (Regelwerke, BIP, Formularvorlagen, FAQ, Zeitpläne) indexiert ist, beantwortet Bürgerfragen in natürlicher Sprache mit Quellenangaben. Das Modell erfindet keine Inhalte, sondern sucht und paraphrasiert öffentlich zugängliche Dokumente. Mit geeigneten Guardrails verweigert das System Antworten außerhalb des Dokumentationsumfangs und eskaliert an Mitarbeiter. Beispielhafte Fragen: „Welche Unterlagen benötige ich für die Anmeldung?“, „Wann können Anträge auf 500+ eingereicht werden?“, „Wo kann ich nicht abgeholten Müll reklamieren?“

Routing von Angelegenheiten. Ein Klassifikator bestimmt anhand des Anliegens die zuständige Abteilung und Dringlichkeit. Der Bürger beschreibt sein Anliegen in einem Formular, das System weist es ohne Mitarbeiterbeteiligung im ersten Schritt der technischen, finanziellen, sozialen oder rechtlichen Abteilung zu. Dies ist ein Structured Output mit engem Schema: {abteilung: enum, dringlichkeit: 1-3, kategorie: string, ueberpruefung_erforderlich: bool}. Die Weiterleitungsentscheidung trifft ein Mensch, die KI schlägt nur vor.

Vorausfüllung von Anträgen. Basierend auf Sitzungsdaten (z. B. Adresse aus vorheriger Interaktion) oder vom Bürger angegebenen Informationen füllt das System Formularfelder vor. Der Bürger überprüft jedes Feld und bestätigt vor dem Absenden. Das Modell reicht den Antrag nicht für den Bürger ein: Es hilft bei der Vorbereitung. Dies ist ein typischer Agent mit Tool-Use und der Aktion fill_field, ohne die Aktion submit_form ohne menschliche Bestätigung.

Eine Verwaltungsentscheidung im Sinne von Art. 104 KPA ist eine einseitige Entscheidung der Behörde, die Rechte oder Pflichten des Betroffenen gestaltet. Genehmigung, Ablehnung, Anordnung, Verbot, Gebührenfestsetzung. Keine dieser Handlungen darf das Ergebnis einer autonomen Entscheidung eines KI-Systems sein, selbst wenn dies technisch möglich wäre.

Dafür gibt es zwei Gründe. Rechtlich: Das KPA verlangt, dass die Entscheidung von einem bevollmächtigten Mitarbeiter oder einer Behörde unterzeichnet wird, der bzw. die die rechtliche Verantwortung trägt. KI ist kein Rechtssubjekt. Ethisch und regulatorisch: Der AI Act klassifiziert in Anhang III, Punkte 1 und 5 KI-Systeme, die für Entscheidungen über den Zugang zu öffentlichen Dienstleistungen, Sozialleistungen und zur rechtlichen Risikobewertung eingesetzt werden, als hochriskant. Für solche Systeme gelten strenge Anforderungen: technische Dokumentation, Audit-Logs, Human-Oversight als operative Voraussetzung, Explainability auf Anfrage.

Praktische Beispiele für die Grenze:

• Ein Chatbot kann sagen: „Für den Antrag auf Unterstützung benötigen Sie die Unterlagen X, Y, Z.“ Er darf nicht sagen: „Ihr Antrag wird abgelehnt.“
• Ein Routing-Agent kann eine Abteilung vorschlagen. Der Mitarbeiter entscheidet, ob das Anliegen an diese Abteilung weitergeleitet wird.
• Ein vorausfüllendes System kann die PESEL-Nummer aus Sitzungsdaten eintragen. Der Bürger überprüft und bestätigt vor dem Absenden.

Der AI Act behandelt den öffentlichen Sektor mit erhöhter Vorsicht. Öffentliche Verwaltungsbehörden, die KI-Systeme in den in Anhang III genannten Bereichen einsetzen, haben den Status von Betreibern hochriskanter Systeme mit einem vollständigen Satz an Pflichten.

Wesentliche Pflichten des Betreibers für kommunale Selbstverwaltungen:

Register der KI-Systeme. Jedes hochriskante System muss in ein von der Behörde geführtes Register eingetragen werden. Für Systeme, die gegenüber Bürgern eingesetzt werden, betrifft dies unter anderem Systeme zur Antragsbewertung, Scoring bei Zugang zu Dienstleistungen und Überwachung des öffentlichen Raums.

Technische Dokumentation. Der Betreiber muss über die vom Anbieter bereitgestellte technische Dokumentation des Systems verfügen. In öffentlichen Ausschreibungen lohnt es sich bereits im Leistungsverzeichnis (SIWZ), vom Anbieter eine mit dem AI Act konforme Dokumentation (Art. 11 und Anhang IV) zu verlangen.

Menschliche Aufsicht. Art. 26 Abs. 1 AI Act: Der Betreiber setzt „angemessene technische und organisatorische Maßnahmen“ um, um sicherzustellen, dass die für die Aufsicht benannten Personen die Fähigkeit zur Intervention haben, die Grenzen des Systems verstehen und es stoppen können.

Transparenz gegenüber natürlichen Personen. Art. 50 AI Act: Wenn ein KI-System mit natürlichen Personen interagiert (Chatbot für Bürgerbetreuung), muss es offenlegen, dass es sich um ein KI-System handelt. Die Nichtoffenlegung stellt unabhängig davon, ob das System Entscheidungen trifft oder nur Informationen liefert, einen Verstoß dar.

Details zur Klassifizierung und zu den Pflichten beschreiben wir in den Artikeln über AI Act und DSGVO 2026 für Unternehmen sowie über hochriskante Systeme.

Die Verarbeitung personenbezogener Daten durch ein KI-System in der Behörde erfordert mehrere Schritte, die vor dem produktiven Einsatz durchgeführt werden müssen.

Rechtsgrundlage für die Verarbeitung. Für kommunale Selbstverwaltungen ist die Rechtsgrundlage meist Art. 6 Abs. 1 lit. e DSGVO (Aufgabe im öffentlichen Interesse oder Ausübung öffentlicher Gewalt). Wichtig: Die Rechtsgrundlage muss dem konkreten Zweck entsprechen. Die Sammlung von Informationen über ein Bürgeranliegen durch einen Chatbot zur Klassifizierung fällt in diesen Rahmen. Das Profiling von Bürgern für andere Zwecke jedoch nicht unbedingt.

Auftragsverarbeitungsvertrag. Wenn das KI-System von einem externen Anbieter bereitgestellt wird (SaaS oder On-Premise mit externem Modell), muss die Behörde als Verantwortlicher mit dem Anbieter einen Auftragsverarbeitungsvertrag gemäß Art. 28 DSGVO abschließen. Der Einsatz des Systems ohne diesen Vertrag stellt einen Verstoß gegen die DSGVO dar.

DPIA. Die Datenschutz-Folgenabschätzung ist obligatorisch, wenn die Verarbeitung ein hohes Risiko verursachen kann. In der Praxis für kommunale Selbstverwaltungen: Systeme zur Bewertung von Anträgen auf Leistungen, Chatbots, die personenbezogene Daten von Bürgern sammeln (auch in beschreibender Form), Überwachungssysteme mit Bildanalyse, Systeme, die sensible Daten (Gesundheit, Behinderung, sozialer Status) verarbeiten. Die UODO empfiehlt einen präventiven Ansatz: Im Zweifel sollte eine DPIA durchgeführt werden. Die Kosten für die Erstellung einer DPIA für ein einfaches System betragen einige Arbeitstage; die Kosten für einen DSGVO-Verstoß sind um ein Vielfaches höher.

PII-Maskierung. Personenbezogene Daten von Bürgern sollten nicht in Klarform an ein externes Modell gesendet werden. Architektur: PII-Maskierungsmodul vor dem Senden der Anfrage an das Modell, Umkehrung der Maskierung bei der Anzeige der Antwort für den Nutzer. Bei Self-Hosting eines lokalen Modells (Data-Residency in der Infrastruktur der Behörde) ist das Problem geringer, erfordert aber weiterhin die Verwaltung von Logs.

Information über die Verarbeitung (Art. 13/14 DSGVO). Ein Bürger, der mit einem KI-Chatbot interagiert, muss über die Verarbeitung personenbezogener Daten informiert werden: Verantwortlicher, Zweck, Rechtsgrundlage, Rechte. Diese Anforderung überschneidet sich mit der Transparenzanforderung des AI Act (Offenlegung, dass es sich um ein KI-System handelt).

Kommunale Selbstverwaltungen verfügen selten über eigene KI-Teams. Die Implementierung durch einen externen Integrator unter Wahrung der Datensouveränität der Behörde ist möglich, erfordert jedoch entsprechende Klauseln im Vertrag.

Pilotphase im Shadow-Mode. In den ersten 4–8 Wochen arbeitet das KI-System parallel zum bestehenden Prozess: Es beantwortet Anfragen, aber ein Mitarbeiter überprüft jede Antwort, bevor sie an den Bürger geht. Sie sammeln Daten zur Qualität (was das Modell falsch macht, welche Fragen seinen Rahmen sprengen) ohne operatives Risiko.

Umfang der Wissensdatenbank. RAG auf öffentlichen Dokumenten wie BIP, Regelwerken und Formularvorlagen ist sicher. Die Indexierung personenbezogener Daten von Bürgern (Verfahrenshistorie, Daten aus Registern) erfordert eine rechtliche Analyse und ist nur eine Option für die eigene Infrastruktur der Behörde mit entsprechender Rechtsgrundlage.

Öffentliche Guardrails. Ein behördlicher Chatbot sollte eingebaute Einschränkungen haben: Verweigerung von Antworten auf Fragen außerhalb des Zuständigkeitsbereichs der Behörde, Verweigerung der Weitergabe personenbezogener Daten Dritter, Blockade von Fragen, die versuchen, Daten aus dem System zu extrahieren, obligatorischer Schlusssatz in jeder Antwort, der auf die Möglichkeit der Kontaktaufnahme mit einem Mitarbeiter hinweist. Das Guardrails-Muster beschreiben wir im Artikel über AI Governance im Unternehmen.

Monitoring und Reporting. Erfassen Sie: Anzahl der Anfragen, Eskalationsrate an Mitarbeiter, Themen der Fragen (ohne PII), Qualitätsbewertung durch Bürger. Für hochriskante Systeme verlangt der AI Act Audit-Logs, die für einen ausreichenden Zeitraum gespeichert werden, um die Konformität nachzuweisen. Praktisch: 24 Monate für Verwaltungssysteme. Tools zur Implementierungsplanung: Agenten-Blueprint und ROI-Rechner.

Beschreiben Sie Ihre Implementierung oder Ihr geplantes KI-Projekt in der kommunalen Selbstverwaltung, und das Modell zeigt konkrete rechtliche Anforderungen, Grenzen der Autonomie und die empfohlene Architektur auf:

Ja, das ist eine absolute Pflicht. Art. 50 AI Act verpflichtet den Betreiber von KI-Systemen, die mit natürlichen Personen interagieren, offenzulegen, dass es sich um ein KI-System handelt, es sei denn, dies ist aus dem Kontext offensichtlich. Im Fall eines Chatbots für die Bürgerbetreuung reicht die Offensichtlichkeit aus dem Kontext nicht aus: Die Behörde sollte das System im Interface und bei jeder Eröffnung einer Sitzung deutlich als „KI-Assistent“ oder „Chatbot“ kennzeichnen. Die Nichtoffenlegung stellt einen Verstoß gegen den AI Act dar, unabhängig davon, ob das System Entscheidungen trifft.

Unterstützt ja, durch KI getroffen nein. Ein KI-System kann einen Entscheidungsentwurf auf Basis der Akten vorbereiten, fehlende Unterlagen anzeigen, ähnliche Präzedenzfälle in der Rechtsprechungsdatenbank identifizieren und den Wortlaut der Begründung vorschlagen. Die Entscheidung im Sinne von Art. 104 KPA muss jedoch von einem bevollmächtigten Mitarbeiter oder einer Behörde unterzeichnet werden, der bzw. die die rechtliche und administrative Verantwortung trägt. Human-Oversight ist hier keine Option: Sie ist eine Voraussetzung für die Legalität.

Eine DPIA ist obligatorisch, wenn die Verarbeitung personenbezogener Daten ein hohes Risiko verursachen kann. In der Praxis für kommunale Selbstverwaltungen: Systeme zur Bewertung von Anträgen auf Leistungen, Chatbots, die personenbezogene Daten von Bürgern sammeln (auch in beschreibender Form), Überwachungssysteme mit Bildanalyse, Systeme, die sensible Daten (Gesundheit, Behinderung, sozialer Status) verarbeiten. Die UODO empfiehlt einen präventiven Ansatz: Wenn Zweifel bestehen, führen Sie eine DPIA durch. Die Kosten für die Erstellung einer DPIA für ein einfaches System betragen einige Arbeitstage; die Kosten für einen DSGVO-Verstoß sind um ein Vielfaches höher.

Mindestanforderungen rechtlich: Auftragsverarbeitungsvertrag gemäß Art. 28 DSGVO (Zweck, Umfang, Dauer, Pflichten des Anbieters), Klausel zur Datenlokalisierung (wo Daten gespeichert und verarbeitet werden, Pflicht zur Einhaltung der Data-Residency im EWR oder in der Infrastruktur der Behörde), Verpflichtung des Anbieters zur Bereitstellung der technischen Dokumentation gemäß AI Act, falls das System als hochriskant eingestuft wird, sowie eine Klausel, die Audits durch die Behörde oder Aufsichtsbehörden ermöglicht. In öffentlichen Ausschreibungen sollten diese Anforderungen bereits im Leistungsverzeichnis (SIWZ) berücksichtigt werden, um spätere Nachverhandlungen zu vermeiden.

Über zwei Kanäle gleichzeitig. Erstens: DSGVO-Informationsklausel (Art. 13) sichtbar bei der ersten Interaktion mit dem KI-System, enthaltend den Verantwortlichen, Zweck und Rechtsgrundlage der Verarbeitung, Rechte des Bürgers (Zugang, Widerspruch, Löschung). Zweitens: Kennzeichnung der Schnittstelle als KI-System gemäß AI Act Art. 50. Beide Anforderungen können in einer Begrüßungsnachricht des Chatbots kombiniert werden. Es lohnt sich auch, eine Kurzfassung der Informationen an prominenter Stelle im Interface während der gesamten Sitzung sichtbar zu platzieren, nicht nur beim Start. Sowohl die DSGVO-Klausel als auch die KI-Kennzeichnung sollten auf Polnisch ohne juristischen Jargon verfügbar sein.