Beobachtetes Signal · 18. Sept. 2026 · Technical Release · Quelle: SemiAnalysis · Relevanz: 4/5 · Sentiment: Positiv
SemiAnalysis testet Engram-Offloading auf DRAM und SSD
SemiAnalysis analysiert die Engram-Architektur, ein Modelldesign, das Standard-Token-Embeddings um gelernte Multi-Token-Lookups erweitert und ein effizientes Parameter-Offloading auf DRAM oder SSDs ermöglicht. Dadurch sinkt der HBM-Kapazitätsbedarf für Modelle wie DeepSeek-V4.1-Flash erheblich. Die Experimente belegen, dass das Auslagern von Engram-Tabellen in den DRAM die Performance per Dollar signifikant steigert, während ein SSD-Offloading aufgrund des Overheads derzeit wirtschaftlich unrentabel ist. Zudem vergleicht die Analyse die Inferenzleistung zwischen NVIDIA- und AMD-GPUs, was NVIDIAs CUDA-Wettbewerbsvorteil (Moat) und AMDs langsamere Software-Adaption verdeutlicht. Ergänzt durch Ablationsstudien und Gate-Scan-Ergebnisse beleuchtet der Bericht grundlegende Implikationen für die künftige HBM-Nachfrage und Entwicklungen im Bereich der Modellarchitektur.
Die technische Optimierung der Modellarchitektur könnte den HBM-Bedarf spürbar senken und Inferenzkosten reduzieren, was hochgradig relevant für skalierbare KI- und AdTech-Infrastrukturen ist.
Marktsignale zu SemiAnalysis in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren Polaris7-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- SemiAnalysis testete das Offloading von Engram-Tabellen auf DRAM und SSD für DeepSeek-V4.1-Flash.
- DRAM-Offloading verbesserte die Performance per Dollar und reduzierte die erforderliche HBM-Kapazität.
- SSD-Offloading war unrentabel: DRAM erzielte 121 Mio. Tokens pro Dollar gegenüber 52 Mio. bei SSDs.
- NVIDIAs vLLM funktionierte für DeepSeek-V4.1-Flash direkt 'out of the box', während AMDs vLLM-Support verzögert war.
- Die Performance per Dollar der AMD MI355X bleibt um den Faktor 2 bis 4 hinter der NVIDIA B200 zurück.
Verknüpfte Unternehmen
9 verknüpfte Unternehmen“SemiAnalysis analysiert die Engram-Architektur und liefert Benchmarks.”
“NVIDIA vLLM funktionierte für DeepSeek-V4.1-Flash bei allen sechs SKUs sofort.”
“Die vLLM-Unterstützung von AMD für DeepSeek-V4.1-Flash verzögerte sich und die MI355X-Leistung bleibt zurück.”
“DeepSeek hat die originalen Engram-Modelle nicht veröffentlicht; SemiAnalysis hat das Setup repliziert.”
“Die Benchmarks von SemiAnalysis werden unter anderem von Google Cloud validiert.”
“Die Benchmarks von SemiAnalysis werden unter anderem von Microsoft Azure validiert.”
“Die Benchmarks von SemiAnalysis werden von Meta unterstützt.”
“Die Benchmarks von SemiAnalysis werden von großen Laboren wie OpenAI unterstützt.”
“Die Benchmarks von SemiAnalysis werden von der ML-Community einschließlich Hugging Face unterstützt.”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Processing-in-Memory könnte LLM-Dekodierung von GPUs verlagern
Der Artikel argumentiert, dass der Hauptengpass bei der LLM-Inferenz – insbesondere bei der autoregressiven Token-Generierung (Decode) – die Speicherbandbreite und nicht die rohe GPU-Rechenleistung ist. Processing-in-Memory (PIM) verlagert Berechnungen in den Speicherstapel, um Datenbewegungen zu eliminieren. Kommerzielle Produkte umfassen SK Hynix AiM, Samsungs LPDDR5X-PIM (angekündigt Februar 2026) und HBM4 mit integrierten Logik-Dies. Aktuelle arXiv-Papiere (HPIM, PAM) schlagen PIM-Architekturen vor, um Decode zu beschleunigen. PIM bietet erhebliche Vorteile für Decode, ist jedoch für Training oder batched Prefill (GEMM) nicht konkurrenzfähig zu GPUs. Zu den Hürden zählen unreife Programmiermodelle, höhere Speicherkosten und begrenzte Verfügbarkeit in 3 bis 5 Jahren. Eine Rechenzentrums-Adoption könnte Cloud-Inferenzkosten senken und Teile des Stacks zu Speicherherstellern verschieben.
KI-Inferenz: Speichermanagement und DRAM-Preise werden zum entscheidenden Kostenfaktor
Laut TechCrunch entwickeln sich Speichertechnologien (DRAM und Cache-Management) zum zentralen Kosten- und Betriebsfaktor für den Betrieb von KI-Modellen. Angesichts einer Veransiebenfachung der DRAM-Preise im vergangenen Jahr fokussieren sich Unternehmen verstärkt auf die Speicherorchestrierung, um KI-Agenten relevante Daten latenzarm bereitzustellen. Anthropics Preismodell für Prompt-Caching mit definierten Zeitfenstern verdeutlicht die kommerziellen Trade-offs: Zwischengespeicherte Abfragen sind signifikant günstiger, erfordern jedoch ein präzises Cache-Eviction-Management. Branchenexperten wie Doug O'Laughlin und Val Bercovici (Weka) betonen strategische Hardware-Entscheidungen zwischen DRAM und High Bandwidth Memory (HBM) sowie übergeordnete Orchestrierungslayer. Start-ups wie Tensormesh adressieren diese Cache-Optimierung gezielt. Durch intelligentes Speichermanagement und effizientere Modelle lassen sich Token-Nutzung und Inferenzkosten drastisch senken, was die Wirtschaftlichkeit moderner KI-Anwendungen maßgeblich verbessert.
High-Bandwidth Flash etabliert sich als neue Speicheroption für KI-Inferenz
Der Bericht analysiert High Bandwidth Flash (HBF), ein Packaging-Konzept für gestapelten NAND-Speicher, das dem HBM-Stacking (TSVs und gebondete Controller/CBA) ähnelt. HBF erzielt eine sehr hohe Lesebandbreite von rund 1,6 TB/s bei drastisch höherer Kapazität (SanDisk nennt ca. 512 GB pro Stack). Zwar bedingt HBF eine höhere Latenz sowie eine geringere Schreibausdauer als HBM, bietet dafür jedoch ein Vielfaches an Stack-Kapazität. Damit positioniert sich die Technologie ideal für die Speicherung von Modellgewichten in KI-Inferenz-Decode-Workloads. SanDisk rechnet mit Speicher-Samples im zweiten Halbjahr 2026 und ersten Inferenz-Geräten Anfang 2027. Gemeinsam mit SK Hynix treibt SanDisk seit Februar 2026 die OCP-Standardisierung voran. Der Report beleuchtet Auswirkungen auf die Supply-Chain, Leistungs- und Kostenvorteile gegenüber HBM4 sowie das Wettbewerbsumfeld um SanDisk, SK Hynix, Samsung und YMTC.
Alle künftigen Signale zu SemiAnalysis & Wettbewerbern im Briefing erhalten
Verpassen Sie keine M&A-Transaktionen, Führungswechsel, Kunden-Etats oder Produkt-Launches mehr. Polaris7 überwacht über 20.000 Primärquellen rund um die Uhr und liefert evidenzbasierte Telemetrie direkt in Ihr wöchentliches Executive Briefing.