Beobachtetes Signal · 19. Juni 2026 · Technical Release · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Positiv
Open-Source-Firewall blockiert PII-Datenlecks vor dem LLM-Aufruf
Ein Entwickler hat einen quelloffenen Pre-Request-Governance-Stack veröffentlicht, der die Übertragung personenbezogener Daten (PII) an LLM-Provider unterbindet. Auslöser war ein Vorfall beim Benchmarking, bei dem versehentlich reale Kreditkartendaten an GPT-4o übermittelt wurden. Die Lösung basiert auf einer FastAPI-Enforcement-Dependency, die Prompts vor dem Modellaufruf lokal mittels Microsoft Presidio scannt, YAML-basierte Richtlinien (Block, Warn, Alert) evaluiert und Anfragen bei Regelverstößen per HTTP 403 abbricht. Das System protokolliert jeden Inferenz-Aufruf in einem PostgreSQL-Audit-Vault, versendet CloudEvents-kompatible Webhook-Alerts an Plattformen wie Slack oder PagerDuty und unterstützt Multi-Provider-Routing (u. a. OpenAI, Anthropic, Google Gemini, Groq, Ollama). Das Projekt steht auf GitHub zur Verfügung und lässt sich via Docker Compose deployen.
Die Open-Source-Lösung bietet Entwicklern und Data-Teams ein praxisnahes Werkzeug zur Pre-Call-Governance und PII-Prävention bei generativer KI, stellt jedoch keine marktverändernde Plattformankündigung dar.
Marktsignale zu Anthropic in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Entwickler schuf nach versehentlicher Übertragung von Kreditkartendaten an GPT-4o eine PII-Firewall als Schutzmechanismus.
- Prompts werden vor dem LLM-Aufruf lokal via Microsoft Presidio gescannt und mit Konfidenzwerten pro Entität bewertet.
- Regelwerk basiert auf einer YAML-DSL mit Aktionen wie Blockieren (HTTP 403), Warnen oder Alarmieren anhand definierter Kriterien.
- Vollständiges Audit aller Inferenzen und Verstöße in einer PostgreSQL-Datenbank inklusive CloudEvents-Webhook-Alerts.
- Multi-Provider-Unterstützung (OpenAI, Anthropic, Google Gemini, Groq, Ollama) mit verschlüsselter API-Key-Verwaltung auf GitHub via Docker Compose verfügbar.
Verknüpfte Unternehmen
9 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
LLM Gateway Proxy für zentrale Security, Compliance und Observability
Ein Open-Source-Entwickler hat einen LLM Gateway Proxy vorgestellt, der zwischen Client-Applikationen und der OpenAI-API geschaltet wird, um Sicherheits-, Compliance- und Observability-Funktionen zentral zu bündeln. Die Architektur implementiert mehrstufige Guardrails: Regex-basierte PII-Sanitization, heuristische Erkennung von Prompt Injections sowie Response-Validierungen, bevor Anfragen weitergeleitet werden. Zudem erfasst das System granulare Metriken auf Request-Ebene – darunter Latenz, Token-Verbrauch und kalkulierte API-Kosten –, die in einem CSV-Ledger protokolliert und über ein interaktives Streamlit-Dashboard visualisiert werden. Die Lösung ist via Docker containerisiert und verfügt über eine GitHub-Actions-CI-Pipeline für statische Code-Analysen. Als künftige Erweiterungen nennt der Entwickler NER-gestützte PII-Filterung, semantische Embedding-Guardrails, Caching, persistente Datenbanken und Distributed Tracing für den produktiven Produktiveinsatz.
Sicherheits-Audit eines LLM-Gateways: Ergebnisse aus vier Angriffsschleifen
Der Autor beschreibt die Entwicklung und das Red-Teaming eines transparenten, OpenAI-kompatiblen LLM-Sicherheitsgateways, das Anfragen und Antworten auf preisgegebene Geheimnisse, PII, Jailbreaks, Prompt Injection und Exfiltration untersucht. Über vier iterative Durchläufe – von Ingress-Umgehungen über härtere Anfragemethoden und Egress-Prüfungen bis hin zu Streaming-Egress – wurden Erkennungslücken katalogisiert, Korrekturen implementiert und False Positives validiert. Zu den wichtigsten Verbesserungen zählen die Normalisierung von Unicode-Tag-Zeichen, intent-gesteuerte Exfiltrationsregeln, die Wiederverwendung von Request-Regeln für Secrets auf der Egress-Seite, ein optionaler RESPONSE_BLOCK-Modus sowie ein gleitender SSE-Streaming-Scanner gegen fragmentierte Secrets. Verbleibende Limitationen wie Regex-Grenzen oder die Unmöglichkeit, bereits gestreamte Präfixe zurückzuziehen, werden offengelegt. Das Repository ist unter Apache-2.0 veröffentlicht.
Deterministische Tokenisierung bewahrt LLM-Performance; NoPII-Datenschutz-Proxy vorgestellt
In 109 strukturierten Tests mit GPT-4o, Claude 3.5 Sonnet und Gemini 1.5 Pro wurde der Einfluss von PII-Schutzmethoden auf die LLM-Ausgabequalität untersucht. Verglichen wurden Raw-Prompts, generisches Masking via Platzhalter (z. B. [PERSON]) und deterministische opake Tokenisierung. Die Tokenisierung erhielt 91–96 % der ursprünglichen Ausgabequalität, während Platzhalter-Masking die Performance auf 54–68 % senkte – mit deutlichen Verlusten bei Entitätskonsistenz und logischer Kohärenz. Zudem verweigerten Modelle bei 15–20 % der tokenisierten Prompts die Antwort, wenn Labels wie „SSN“ neben Tokens standen; eine Neutralisierung dieser Kontextphrasen behob das Problem. Auf Basis dieser Erkenntnisse entwickelte das Team NoPII: einen Reverse-Proxy, der PII in Transit tokenisiert, Antworten detokenisiert, Streaming unterstützt, einen PCI Level 1/SOC2-Vault nutzt und sich über eine einfache base_url-Änderung in führende LLM-APIs integrieren lässt.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.