Cashcrown // ai security layer · 07/11
Guardrails Gateway
guardrails-gwliveEin kontrollierter Einstiegspunkt für jeden LLM-Aufruf: Modell-zu-Aufgabe-Routing, PII-Maskierung vor dem Modell, Input- und Output-Guardrails, Budgets pro Mandant und ein vollständiges Audit-Log.
4 tryby
Guardrail-Modi
zero-retention
Daten
self-host
Deployment
1×
Einstiegspunkt
01
Problem
Über den Code verstreute LLM-Aufrufe sind ein unkontrolliertes Risiko: PII gelangt zum Modell, Prompt-Injection und Jailbreaks passieren ungefiltert, und es fehlen Budgets pro Team sowie ein Audit-Trail. Ohne ein einziges Gateway ist nichts davon steuerbar oder DSGVO-fest.
02
Funktionen
- Modell-zu-Aufgabe-Routing mit Fallback
- PII-Maskierung, bevor etwas das Modell erreicht
- Input- und Output-Guardrails: Prompt-Injection, Jailbreak, Secrets, schädliche Ausgaben
- Zugriff und Budgets pro Mandant + vollständiges Audit-Log
- Zero-Retention: Inhalte werden nach der Verarbeitung nicht gespeichert
03
Lieferumfang
- Ein Proxy-Gateway für alle LLM-Aufrufe mit Caching, Kosten-Qualitäts-Routing und automatischem Fallback
- Lokale PII-Erkennung und -Maskierung (IDs, Karten, Kontaktdaten) vor dem Senden an Cloud-Modelle
- Input- und Output-Guardrails: Schutz vor Prompt Injection, Sperre für Secret-Leaks und Toxizitätsfilter
- Mandanten-Verwaltungspanel, Budgetlimits pro Kunde und auditierbares Log mit Zero-Content-Retention
Wir bauen dieses Produkt aus gemessenen Modellen und Komponenten - die vollständige Live-Pipeline:
04
Pilot mit Belegen
Pilotpaket: souveränes KI-Sicherheits-Gateway
Wir implementieren Guardrails Gateway als zentralen Prüfknoten für Prompts und Outputs: lokale PII-Maskierung, Schutz vor Prompt Injection und strikte Budgets pro Mandant.
100%
Ein-/Ausgangs-Inspektion
<15ms
Latenz-Overhead
0%
Content-Retention im Log
Belege
Fallstudie: LLM-Gateway mit PII-Maskierung und Routing
Erfahren Sie, wie ein zentrales Gateway den Zugriff auf Cloud-Modelle absicherte und Kosten um 38% senkte.
Beleg ansehenSicherheit und Datensouveränität
Lernen Sie unsere Prinzipien zu IP-Schutz, Prozessisolierung und On-Premise-Betrieb kennen.
Beleg ansehenPilotpfad
- 01Schritt 1: Inventur der Modell-Endpunkte und Definition der PII-Richtlinien und Team-Budgets
- 02Schritt 2: Bereitstellung des Staging-Proxys mit Input- und Output-Guardrails
- 03Schritt 3: Umschaltung des Produktivverkehrs, Verifikationsaudit und Übergabe des /studio-Panels
05
Integrationen
OpenClawBGE-M3QdrantOllaman8n
06
Architektur
Knoten wählen, um Beschreibung und Datenfluss zu sehen.
Architektur - Textbeschreibung
- Eingang / Daten
- Datenquellen: Inhalte, Dokumente und Ereignisse speisen den Index. (Fluss zu: BGE-M3)
- BGE-M3: Lokale Embeddings (1024-dim) - PII bleibt lokal. (Fluss zu: OpenClaw-Router)
- KI-Kern
- OpenClaw-Router: Einziger Modellzugang - maskiert PII, wählt Modell, drosselt. (Fluss zu: Guardrails Gateway)
- Guardrails Gateway: Ein kontrollierter Einstiegspunkt für jeden LLM-Aufruf: Modell-zu-Aufgabe-Routing, PII-Maskierung vor dem Modell, Input- und Output-Guardrails, Budgets pro Mandant und ein vollständiges Audit-Log. (Fluss zu: API)
- Ausgabe
- API: REST-Fläche - belegte Antworten mit Zugriffskontrolle. (Fluss zu: OpenClaw, BGE-M3, Qdrant, Ollama)
- OpenClaw: Integration: OpenClaw.
- BGE-M3: Integration: BGE-M3.
- Qdrant: Integration: Qdrant.
- Ollama: Integration: Ollama.
07
Live-Demo
08
FAQ
Was kostet es und wie läuft die Einführung ab?
Wir arbeiten in Spannen je nach Umfang: wir starten mit einem Pilot zu Festkosten, in dem wir das Gateway vor einige bestehende LLM-Aufrufe setzen und das Audit-Log sowie abgefangene Angriffsversuche zeigen. Wenn die Schicht Vorfallsrisiko und manuellen Prüfaufwand reduziert, rechnet sie sich meist in 2–4 Monaten. Sie senkt Risiko und schafft Kontrolle: sie ist keine Garantie für Perfektion. Die Rendite schätzen Sie im ROI-Rechner.
Lässt es sich in unsere Systeme integrieren und ist es DSGVO-konform?
Ja. Das Gateway steht vor Ihren aktuellen Modellaufrufen: Sie wechseln nicht den Anbieter, sondern leiten bestehenden Traffic über einen Punkt. Wir maskieren PII vor dem Modell, verarbeiten sensible Pfade lokal, betreiben Inhalte mit Zero-Retention, und jeder Aufruf landet im Audit-Log. DSGVO- und AI-Act-Konformität ist von Anfang an eingeplant: das macht es belastbar, während ein Mensch bei Entscheidungen im Loop bleibt.
Wo fangen wir an, und stoppt es jeden Angriff?
Wir beginnen mit einem am stärksten exponierten Flow (etwa einem Assistenten über Kundendaten), setzen ihn hinter das Gateway und betreiben die Guardrails zunächst im Beobachtungsmodus, damit Sie den Traffic ohne Blockieren sehen. Dann verschärfen wir die Regeln Schritt für Schritt und weiten auf weitere Aufrufe aus. Ehrlich: kein Filter fängt 100%: das Ziel ist eine deutliche Risikosenkung, Auditierbarkeit und ein Mensch, der bei unumkehrbaren Aktionen final entscheidet.
guardrails-gw · Docker / Kubernetes (On-Premises, Air-Gapped oder private EU-VPC)
Executive Brief 1-Pager (Zusammenfassung für Vorstand & Einkauf)
Über den Code verstreute LLM-Aufrufe sind ein unkontrolliertes Risiko: PII gelangt zum Modell, Prompt-Injection und Jailbreaks passieren ungefiltert, und es fehlen Budgets pro Team sowie ein Audit-Trail. Ohne ein einziges Gateway ist nichts davon steuerbar oder DSGVO-fest.
Guardrail-Modi: 4 trybyDaten: zero-retentionDeployment: self-hostEinstiegspunkt: 1×
Ziel-Integrationen:OpenClawBGE-M3QdrantOllaman8n
→Verwandt