Beobachtetes Signal · 10. Juni 2026 · Technical Release · Quelle: https://martechseries.com/feed/ · Relevanz: 4/5 · Sentiment: Positiv
WEKA und OCI validieren 10-fachen Durchsatz bei AI Inference
WEKA und Oracle Cloud Infrastructure (OCI) haben produktionsskalierte Benchmarks veröffentlicht, die belegen, dass WEKAs NeuralMesh-Plattform mit Augmented Memory Grid die Wirtschaftlichkeit von Long-Context AI Inference auf OCI drastisch verbessert. Getestet auf einem Neun-Knoten-Bare-Metal-H100-Cluster mit 100.000-Token-Kontextfenstern, lieferte die Konfiguration im Vergleich zu einer reinen DRAM-Baseline rund zehnmal mehr gleichzeitige Nutzer, einen zehnmal höheren Token-Durchsatz sowie siebenmal mehr Token pro GPU. OCI veröffentlichte die vollständige Methodik im Mai 2026. Laut WEKA- und Oracle-Managern beseitigt der Ansatz GPU-Speicherengpässe, indem er den nutzbaren Cache von DRAM auf NVMe ausweitet, was eine effizientere und kostengünstigere Long-Context Inference im Produktionsmaßstab ermöglicht.
Produktionsskalierte Benchmarks zeigen größenordnungsmäßige Verbesserungen beim Long-Context LLM-Inference-Durchsatz und den Token-Kosten bei einem großen Cloud-Provider (OCI), was die Kosten und Skalierbarkeit von Echtzeit-KI-Funktionen und agentenbasierten Workflows maßgeblich beeinflusst.
Marktsignale im Bereich Large Language Models (LLM) & AI in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- WEKAs NeuralMesh-Plattform mit Augmented Memory Grid bediente in produktionsskalierten Benchmarks 10x mehr gleichzeitige Nutzer im Vergleich zu einer reinen DRAM-Konfiguration.
- Die Benchmarks zeigten einen rund 10x höheren Token-Durchsatz (~2 Millionen Token/Sek. vs. <200.000 Token/Sek. Baseline) auf OCI H100-Infrastruktur.
- NeuralMesh mit Augmented Memory Grid verarbeitete ca. 7x mehr Token pro GPU (5 Milliarden Token vs. 700 Millionen Token) in einem einstündigen Test mit 2.400 Nutzern.
- Die Tests wurden auf einem Neun-Knoten OCI Bare-Metal H100-Cluster (72 GPUs) mit 100.000-Token-Kontextfenstern validiert.
- Das Setup erweiterte den aktiven Cache-Working-Set von 8,64 TiB DRAM auf 287 TiB nutzbares NVMe und reduzierte KV-Cache-Eviction sowie Session-Stickiness.
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
WEKA veröffentlicht NeuralMesh 6 für KI-Workloads im Produktionseinsatz
WEKA hat NeuralMesh 6 vorgestellt, ein umfassendes Software-Update zur Ausführung von KI-Training, Inferenz und beschleunigten Compute-Workloads auf einem einheitlichen Stack. Zu den Kernfunktionen gehören native Mandantenfähigkeit im Hyperscale-Bereich, ein nativer S3-Protokoll-Stack auf NVMe mit S3-over-RDMA, metadatengesteuerte intelligente Replikation sowie Always-on-Datenreduktion mit vertraglichen Garantien. Laut WEKA ist NeuralMesh 6 auf Oracle Cloud Infrastructure im Einsatz und liefert laut Benchmarks erhebliche Leistungssteigerungen, darunter den zehnfachen Token-Durchsatz, zehnmal mehr gleichzeitige Nutzer und siebenmal mehr Tokens pro GPU. Kunden und Partner hoben verbesserte Inferenz-Wirtschaftlichkeit, Datenmobilität und operative Effizienz hervor.
Huawei stellt OceanStor M900 zur Beschleunigung von KI-Inferenz vor
Auf der HUAWEI CONNECT 2026 hat Huawei mit dem OceanStor M900 ein Context Memory Storage-System vorgestellt, das speziell auf KI-Inferenz-Workloads in Hyperscale-Rechenzentren ausgelegt ist. Die Lösung adressiert Herausforderungen durch ultralange Kontextfenster sowie mehrstufige Dialoge bei Large Language Models durch einen vollständig geteilten Speicherbereich im Petabyte-Bereich. Über das UnifiedBus-Netzwerk nutzt das System einen globalen, mehrstufigen KV-Cache, der den Zwischenspeicher von DRAM auf SSDs erweitert und bis zu 64 PB pro Cluster bereitstellt. Laut Huawei sinkt die Zugriffslatenz auf 60 Mikrosekunden, während der Gesamtdurchsatz auf 40 TB/s steigt. Das adaptive, KV-optimierte Speicherkonzept senkt zudem die Token-Kosten und markiert einen strategischen Schritt hin zu einer tieferen Integration von Rechen-, Netzwerk- und Speicherressourcen in modernen KI-Infrastrukturen.
Microsofts Maia 200 KI-Inferenz-Beschleuniger im Fokus
ChipStrat sprach mit Saurabh Dighe, CVP of Azure Systems and Architecture bei Microsoft, über den Maia 200 — Microsofts KI-Beschleuniger der zweiten Generation zur Optimierung der Inferenz-Ökonomie. Der Fokus liegt auf Performance-pro-Dollar und Performance-pro-Watt, gestützt durch architektonische Entscheidungen zugunsten von Inferenz-Workloads. Zu den besprochenen Merkmalen gehören ein deutlich größerer On-Die-SRAM, eine ausbalancierte Speicherhierarchie aus SRAM, HBM und System-DRAM sowie eine Ethernet-basierte Scale-up-Domain mit eigenem Transportlayer. Microsoft positioniert Maia 200 als Ergänzung zu Standard-GPUs in einer heterogenen Azure-Flotte. Das Interview beleuchtet zudem das KV-Cache-Management für Langkontext-Workloads und die Bedeutung von Softwareinvestitionen wie Compilern und Kernels noch vor dem Silizium.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.