Beobachtetes Signal · 16. Apr. 2026 · Technical Release · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Positiv
Sub-Mikrosekunden-Rust-Cache für Plattform mit einer Milliarde Nutzern
Ein Entwickler hat einen seriellen Node.js/Express-Middleware-Stack, der durch mehrere Redis-Roundtrips Latenzen von 100 bis 250 Millisekunden verursachte, durch eine In-Process-Rust-Caching-Engine namens CacheeEngine ersetzt. CacheeEngine nutzt eine benutzerdefinierte CacheeLFU-Eviction-Policy, einen 512 KiB großen Count-Min-Sketch-Admission-Filter, DashMap für lock-freie, nebenläufige Lesevorgänge sowie integrierte Stale-While-Revalidate-Unterstützung. Die Migration auf Rust, Axum und Cachee reduzierte die Middleware-Latenz auf unter fünf Millisekunden und zahlreiche Trust-, Quote- und Rate-Limit-Operationen auf den Sub-Mikrosekunden- oder Nanosekundenbereich. Das komprimierte Binary ist 5,2 MB groß, 15 Tests wurden erfolgreich bestanden, und der RevMine-Dienst ist nun live, wobei Open-Source-Komponenten auf GitHub verfügbar sind. Das Projekt basiert auf Cachee, einer als post-quantum beschrieben Cache-Engine mit CacheeLFU-Eviction.
Dies ist eine praktische Demonstration von extrem latenzarmem In-Process-Caching für Plattformen mit sehr hoher Skalierung. Sie ist nützlich für Ingenieure, die latenzsensible Infrastrukturen aufbauen, jedoch nicht branchenverändernd für das breitere AdTech-Ökosystem.
Marktsignale zu GitHub in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Der ursprüngliche Node.js/Express-Middleware-Stack verursachte einen Overhead von 100 bis 250 ms durch vier serielle Redis-Roundtrips.
- Das Team implementierte CacheeEngine (einen In-Process-Rust-Cache) als Ersatz für den JavaScript-Middleware-Stack.
- CacheeEngine-Komponenten umfassen CacheeLFU-Eviction, einen 512 KiB Count-Min-Sketch-Admission-Filter, DashMap-Speicherung und SWR-Support.
- Gemessene Latenzverbesserungen: Middleware auf unter 5 ms reduziert; mehrere Trust-, Quote- und Rate-Limit-Operationen in Rust auf unter eine Mikrosekunde oder unter 100 Nanzenkunden beschleunigt.
- Das veröffentlichte Binary ist 5,2 MB groß (stripped), 15 Tests sind erfolgreich, und RevMine ist mit Open-Source-Komponenten auf GitHub live.
Verknüpfte Unternehmen
2 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Write-Through-Cache reduziert Black-Friday-Latenzspitzen drastisch
Ein Engineering-Bericht schildert, wie ein großangelegtes ‚Treasure Hunt‘-Feature die p99-Seitenlatenz unter Spitzenlast von unter 200 ms auf 1,8 Sekunden ansteigen ließ. Ursache waren Cache-Misses im Cache-Aside-Modell, die PostgreSQL überlasteten (Query-Spitzen bis zu 9k QPS) und die DB-Verbindungen erschöpften. Weder längere Redis-TTLs noch Read Replicas, die Replikationsverzögerungen und veraltete Daten verursachten, brachten Abhilfe. Erst die Umstellung auf einen eventgesteuerten Write-Through-Cache – bei dem CMS-Events via Kafka an einen Service übergeben wurden, der Redis-Hashes vorbefüllte und Caches zehn Minuten vorab aufwärmte – löste das Problem. Ergänzt um einen Covering Index sanken die p99-Latenzen nach dem Deployment im April 2024 bei 500.000 gleichzeitigen Nutzern auf 210 ms, während die Cache-Miss-Quote auf 1,8 % fiel und die QPS-Last der primären Datenbank von 12k auf 1,8k sank.
Migration von Memcached auf Redis reduziert Cache Misses um 60%
Ein Engineering-Team eines E-Commerce-Unternehmens migrierte von Memcached 1.6 auf Redis 7.2 und verzeichnete eine relative Reduzierung der Cache-Miss-Rate um 60 % sowie signifikante Verbesserungen bei Latenz und Kosten. Nach einem durch ein Botnet verursachten Ausfall am 17.09.2024 entwickelte das Team über drei Monate hinweg einen eigenen Redis-Client mit Consistent Hashing, führte einen Canary-Test sowie ein 48-stündiges Double-Write-Warmup durch und schloss eine schrittweise Umstellung ab. Die Metriken nach der Migration: Die Cache-Miss-Rate sank von 38 % auf 15,2 %, die p99-API-Latenz reduzierte sich auf 280 ms (p99-Cache-Fetch-Latenz von 112 ms auf 19 ms), die CPU-Auslastung der RDS-Read-Replica fiel von rund 92 % auf 41 %, und die monatlichen Infrastrukturkosten sanken um 22.000 US-Dollar. Als entscheidende Faktoren wurden Redis-7.2-Features wie natives TLS, clientseitiges Caching mit Tracking Tables und hybride AOF-Persistenz genannt.
Dreischichtiges Caching-System mit Redis, L1 und MongoDB neu aufgebaut
Ein Entwickler hat die Caching-Schicht des Nexus-Backends vollständig überarbeitet, um Hierarchie-, Korrektheits- und Konkurrenzfehler in einem dreischichtigen System zu beheben. Dieses besteht aus Redis als Master, einem In-Memory-L1-Mirror sowie MongoDB als persistentem Backup. Der Beitrag dokumentiert acht Fehlerklassen der Originalimplementierung – darunter eine invertierte Master-Hierarchie, leisen Datenverlust bei Flush-Fehlern, TOCTOU-Lösch-Races, Deadlock-Gefahren durch verschachtelte Task-Einreichungen, unkontrollierte MongoDB-Request-Storms, ignorierte Redis-Evictions, unvollständige Add-Pfade sowie O(n)-ID-Lookups – und zeigt codebasierte Korrekturen auf. Zu den wichtigsten Änderungen gehören: Redis als Single Source of Truth, das Zurücksetzen von Dirty-Flags erst nach bestätigten Mongo-Schreibvorgängen, atomare Löschvorgänge, ein Batch-Abgleich mit konfigurierbarer Batch-Größe (50), die Wiederherstellung evicteter Redis-Keys aus L1, vereinheitlichte Schreibpfade sowie ein ID-zu-Key-Reverse-Index für O(1)-Lookups. Der Quellcode ist im v1.1.0-Release auf GitHub verfügbar.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.