Das größte DSGVO-Problem bei KI ist nicht das Modell selbst, sondern der Datenfluss. Wenn eine Anfrage mit personenbezogenen Daten an eine Cloud-API geht, verlässt sie Ihre Kontrolle: Es entsteht eine Auftragsverarbeitung, Fragen zur Serverstandort und dazu, was der Anbieter mit den Inhalten macht. Self-Hosting eliminiert diesen Schritt.
Was sich mit einem eigenen Modell konkret ändert#
- Kein Transfer an Dritte – Die Daten bleiben auf Ihren Servern oder in Ihrer privaten Cloud.
- Weniger Auftragsverarbeitungsverträge – Sie geben die Verarbeitung nicht an einen externen LLM-Anbieter ab.
- Volle Kontrolle über die Aufbewahrung – Sie entscheiden selbst, was und wie lange gespeichert wird, und setzen das Recht auf Löschung effektiv um.
- Standort der Verarbeitung – Sie wissen, wo sich die Daten physisch befinden, ohne Vermutungen über die API-Region.
Grundlage ist hier nicht nur das LLM selbst, sondern auch der Embedding-Server BGE-M3, dank dessen RAG auf Unternehmenswissen lokal funktioniert – semantische Suche in Ihren Dokumenten ohne externe Datenübermittlung.
Die folgende Tabelle zeigt, was Self-Hosting bei jeder der wichtigsten DSGVO-Pflichten gegenüber einer Cloud-API konkret ändert. Self-Hosting hebt keine Pflicht auf – es verschiebt nur den Kontrollpunkt vom Anbieter zu Ihnen.
| DSGVO-Pflicht | Cloud-API | Self-hosted LLM |
|---|---|---|
| Rechtsgrundlage der Verarbeitung | Ihre Pflicht + Grundlage für die Auftragsverarbeitung | Ihre Pflicht; keine separate Grundlage für den Transfer zum LLM |
| Datenminimierung | Erfordert Filtern des Prompts vor dem externen Versand | Daten verlassen die Organisation nicht; Minimierung weiterhin empfohlen |
| Aufbewahrung und Löschung | Abhängig von Richtlinie und Logs des Anbieters | Vollständig bei Ihnen – eigene TTLs und Löschverfahren |
| Recht auf Löschung (Art. 17) | Muss Logs und den Index beim Anbieter umfassen | Sie löschen im Haus, inklusive des RAG-Index |
| Transfer außerhalb des EWR | Erfordert oft SCC / eine Bewertung des Serverstandorts | Kein Transfer, wenn die Infrastruktur im EWR steht |
| Auftragsverarbeitung (Art. 28) | Mit jedem Anbieter erforderlich, der die Daten verarbeitet | Gegenüber dem Modellanbieter meist nicht nötig – siehe Auftragsverarbeitung und KI |
Compliance-by-Design, nicht nachträglich#
Compliance wird von Anfang an entworfen, nicht am Ende angehängt. In der Praxis bedeutet das: Datenminimierung (das Modell erhält nur, was nötig ist), Maskierung von PII, bevor etwas zum Modell gelangt, Zugriffsprotokollierung und klare Grenzen, was das System mit den Daten tun darf.
Ebenso lohnt es sich, frühzeitig eine Datenschutz-Folgenabschätzung (DSFA) einzuplanen – bei der Verarbeitung sensibler Daten oder in großem Umfang kann sie erforderlich sein, unabhängig davon, wo das Modell läuft. Über die Fristen und Pflichten von AI Act und DSGVO schreiben wir ausführlicher im Leitfaden zu den Pflichten von Unternehmen 2026 nach AI Act und DSGVO.
Hybride Variante: Cloud, wo es erlaubt ist#
Nicht jeder Anwendungsfall erfordert Lokalität. Nicht-personenbezogene oder anonymisierte Daten können mit einem leistungsstärkeren Modell in der Cloud verarbeitet werden. Ein Router leitet sensible Anfragen an das lokale Modell weiter, den Rest in die Cloud – und maskiert PII vor jedem externen Versand. In der Praxis arbeitet ein solcher LLM-Router nach einer einfachen Regel: Werden in der Anfrage personenbezogene Daten erkannt, geht sie vollständig an das lokale Modell; falls nicht, wird der Prompt maskiert und erst die anonymisierte Fassung erreicht die Cloud. Sicherheit und DSGVO sind wichtiger als ein einzelnes Feature.
Ein beispielhafter Pfad für eine Eingabe mit PII sieht so aus: Entitäten erkennen (Name, Personalausweisnummer, Adresse) → maskieren oder an das lokale Modell leiten → verarbeiten → Kontext lokal in der Antwort wiederherstellen. Nur Anfragen ohne personenbezogene Daten gehen an das leistungsstärkere Cloud-Modell. Unten können Sie prüfen, wie das Modell eine solche Routing-Richtlinie für Ihr eigenes Aufgabenset entwerfen würde.
FAQ#
Bedeutet ein self-hosted LLM automatisch volle DSGVO-Compliance?#
Nein – aber es beseitigt das schwierigste Element, nämlich den Datentransfer aus der Organisation. Sie bleiben weiterhin verantwortlich für Rechtsgrundlage, Minimierung, Aufbewahrung und Betroffenenrechte. Self-Hosting gibt Ihnen volle Kontrolle darüber.
Brauche ich einen teuren GPU-Cluster, um ein Modell selbst zu hosten?#
Nicht unbedingt. Für viele Anwendungen – Klassifizierung, Extraktion, RAG über Unternehmensdokumente – reicht ein kleineres Modell auf einer einzelnen GPU. Erst komplexes Schlussfolgern, langer Kontext oder eine hohe Zahl paralleler Anfragen rechtfertigen eine leistungsstärkere Maschine oder einen Cluster. Hardware behandeln wir als festen, über die Zeit abgeschriebenen Kostenpunkt und nicht als Gebühr pro Aufruf – deshalb wählen wir die Variante nach der realen Auslastung und dem Budget. Entscheidend sind vorhersehbare Kosten, nicht maximale Hardware.
Was ist mit Daten, die trotzdem in die Cloud gehen?#
Wir maskieren PII vor dem Versand, begrenzen den Umfang auf das notwendige Minimum und leiten sensible Pfade an das lokale Modell weiter. Das ist der hybride Ansatz: lokal, wo es nötig ist, Cloud, wo es erlaubt ist.
Beseitigt Self-Hosting den Auftragsverarbeitungsvertrag vollständig?#
Nicht immer. Der Auftragsverarbeitungsvertrag mit dem Modellanbieter entfällt, weil dieser Anbieter die Daten nicht mehr verarbeitet. Steht das Modell aber in einer fremden privaten Cloud und betreibt ein externer Dienstleister die Infrastruktur, kann ein Auftragsverarbeitungsvertrag (Art. 28 DSGVO) gegenüber diesem Hosting-Anbieter weiterhin nötig sein. Die Details beschreiben wir im Artikel zur Auftragsverarbeitung und KI.
Was ist mit dem Recht auf Löschung im RAG-Index?#
Der Vektorindex enthält ebenfalls personenbezogene Daten und unterliegt daher dem Recht auf Löschung. Beim Self-Hosting haben Sie darüber volle Kontrolle: Sie löschen das Quelldokument und entfernen anschließend die zugehörigen Vektoren und Chunks aus dem Index (sowie aus dem Antwort-Cache, falls vorhanden). Es lohnt sich, die Dokument-ID von vornherein mit ihren Embeddings zu verknüpfen, damit das Löschen ein einziger, vorhersehbarer Schritt ist und keine manuelle Suche in der Datenbank.