Beobachtetes Signal · 9. Apr. 2026 · Technical Release · Quelle: DEV Community · Relevanz: 3/5 · Sentiment: Positiv
Streaming von Qwen3-TTS mit 50ms Latenz auf RTX 5090
Ein Ingenieur hat AlpinDales qwen_megakernel für die Sprachsynthese mit Qwen3-TTS angepasst und in einen Pipecat Voice Agent integriert, wodurch auf einer einzelnen RTX 5090 eine Time-to-First-Chunk unter 90ms und ein Real-Time Factor unter 0,3 erreicht wurden. Die Optimierung erforderte lediglich drei Zeilen CUDA-Kern-Änderungen, zwei Build-Konstanten sowie Python-seitige Pipeline-Anpassungen wie Streaming-Generator, Warmups und Batching. Eine zentrale Erkenntnis war die Wiederverwendung derselben Megakernel-Binärdatei mit zur Laufzeit angepasstem num_layers für einen 5-Layer-Code-Predictor, wodurch die Latenz pro Frame von 179ms auf 10,9ms sank. Die finalen Messwerte ergaben eine TTFC von 50,5ms (nicht-streaming) bzw. 81,6ms (streaming mit Vocoder) sowie einen RTF von 0,175 bzw. 0,234. Als Einschränkung wurde dokumentiert, dass der Kernel 1D RoPE statt M-RoPE implementiert, was die Erkennung des End-of-Sequence-Signals beeinflusst.
Demonstriert eine praktische und effiziente Methode, um Transformer-basierte TTS-Modelle mit Echtzeit-Latenzen auf einer einzelnen High-End-GPU auszuführen, was für Inferenz-Engineering und latenzkritische Voice-Agent-Implementierungen hochrelevant ist.
Marktsignale zu OpenAI in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Anpassung von AlpinDales qwen_megakernel für Qwen3-TTS mit drei Zeilen CUDA-Änderungen (Embedding Sentinel).
- Änderung der Build-Konstanten LDG_VOCAB_SIZE auf 3072 und LDG_LM_NUM_BLOCKS auf 16.
- Wiederverwendung desselben Megakernels mit num_layers=5 für den Code-Predictor, wodurch die Latenz von 179ms auf 10,9ms pro Frame reduziert wurde.
- Erreichung einer TTFC von 50,5ms (nicht-streaming) und 81,6ms (streaming + Vocoder) sowie eines RTF von 0,175 (nicht-streaming) und 0,234 (streaming) auf einer RTX 5090.
- Integration des Streaming-TTS in eine Pipecat Voice Agent Pipeline (Deepgram STT zu OpenAI LLM zu Megakernel TTS zu Vocoder zu Audioausgabe).
Verknüpfte Unternehmen
1 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Qwen 3.6-35B-A3B auf heterogenem 30GB-GPU-Setup ausgeführt
Ein Entwickler beschreibt das Upgrade einer autonomen Minecraft-KI namens „Kiwi-chan“, die auf einem heterogenen 30GB-Consumer-GPU-Rig (bestehend aus RTX 3060, RTX 3050, GTX 1660 Ti und GTX 1660 Super) betrieben wird, auf das MoE-Modell Qwen 3.6-35B-A3B-Instruct. Die Active 3 Billion-Architektur von Qwen, die etwa 3,5 Milliarden Parameter pro Token aktiv nutzt, übertrifft dichte Modelle auf gemischten PCIe-Systemen durch geringere Rechen- und Bandbreitenengpässe. In Kombination mit dem Split Mode Graph Tensor-Parallelismus von ik_llama.cpp und einer 8-Bit-Quantisierung des KV-Caches (-ctk q8_0 -ctv q8_0) erreicht das Setup unter Ubuntu Server 24.04 LTS mit CUDA 13.0 einen höheren Durchsatz von rund 70–90 Token/s gegenüber 20–35 Token/s bei dichten Modellen sowie ein nutzbares Kontextfenster von 32K bis 64K. Der Beitrag liefert konkrete Deployment-Flags und Empfehlungen für das Tensor-Splitting auf unterschiedlichen GPUs.
Qwen 3.8-27B lokal auf RTX 3090 mit Unsloth und DeepSeek betreiben
Ein technischer Leitfaden von Jacques Gariépy beschreibt Schritt für Schritt, wie sich das Modell Qwen 3.8-27B lokal auf einer NVIDIA RTX 3090 mit 24 GB VRAM ausführen lässt. Als lokale Inferenz-Engine dient Unsloth mit llama.cpp CUDA 13, während DeepSeek Harness als Agent-Orchestrierungs-Runtime fungiert. Der Leitfaden behandelt den Bezug von Token, einen Windows-spezifischen SSLKEYLOGFILE-Patch, die Kompilierung sowie empfohlene Startparameter für llama-server.exe wie FlashAttention-2, Q8-KV-Cache und 32k-Kontext. Zudem werden die Konfiguration via .env und Cordis, Windows-Fehlerbehebungen sowie gemessene Benchmarks von rund 125 Prompt-Token/s und 38 generierten Token/s bei einer VRAM-Auslastung von etwa 23,5 GB erläutert.
Qwen 3.5 gewinnt lokales Benchmark dank direktem llama.cpp-Einsatz
In einer unabhängigen Benchmark-Runde 3 wurde Ollama durch einen direkten llama.cpp-Server ersetzt, um die lokale LLM-Performance präziser zu messen. Getestet wurden fünf Modelle (Qwen 3.5, Gemma 4, Devstral, Codestral und DeepSeek R1) anhand einer automatisierten Suite mit 12 Aufgaben in fünf Kategorien auf einem NVIDIA RTX 5090 System. Qwen 3.5 dominierte das Leaderboard bei Coding, Agenten-Performance und gewichtetem Gesamtscore mit rund 206,7 Tokens pro Sekunde und einem Score von 85,3. Die Migration setzte rund 44 GB Speicherplatz frei, ermöglichte granulare Inferenz-Flags und verdeutlichte den Durchsatzvorteil von Mixture-of-Experts-Modellen bei lokalen Deployments.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.