Beobachtetes Signal · 31. Mai 2024 · Technical Release · Quelle: Trending Topics · Relevanz: 3/5 · Sentiment: Positiv
Groq demonstriert KI-Chatbots mit Rekordgeschwindigkeit von 1.200 Token pro Sekunde
Das US-Startup Groq, gegründet vom ehemaligen Google-Ingenieur Jonathan Ross, demonstriert die enorme Leistungsfähigkeit seiner Language Processing Units (LPUs) für KI-Inferenz. Über eine Chatbot-Schnittstelle auf der Unternehmenswebsite können Nutzer Open-Source-LLMs wie Metas Llama 3, Googles Gemma und Mistral AIs Mixtral 8x7B testen. Mit Llama 3 8B erreicht der Chatbot eine Geschwindigkeit von über 1.200 Token pro Sekunde und übertrifft damit etablierte Cloud-Anbieter wie Amazon Bedrock und Microsoft Azure deutlich, die meist nur niedrige dreistellige Raten erzielen. Das LPU-Design von Groq wurde speziell entwickelt, um Engpässe bei der Rechen- und Speicherbandbreite zu überwinden, was die Generierungszeit pro Wort drastisch verkürzt. Damit positioniert sich Groq als ernstzunehmender Herausforderer von Nvidias Dominanz im Bereich der KI-Inferenz-Hardware.
Groqs LPU demonstriert eine signifikant schnellere LLM-Inferenz, bricht Nvidias GPU-Dominanz auf und kann die Performance von KI-Anwendungen branchenübergreifend – auch im Bereich der AdTech – massiv beschleunigen.
Marktsignale zu Groq in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Der LPU-basierte Chatbot von Groq erreicht mit Llama 3 8B über 1.200 Token pro Sekunde.
- Groq wurde 2016 von Jonathan Ross gegründet, der zuvor die TPUs von Google mitentwickelt hat.
- Die LPUs von Groq übertreffen GPU-basierte Cloud-Dienste von Amazon und Microsoft bei der LLM-Inferenz.
- Die LPU-Architektur überwindet gezielt Engpässe bei Rechenichte und Speicherbandbreite.
- Die Plattform unterstützt führende Open-Source-LLMs wie Llama 3, Gemma und Mixtral 8x7B.
Verknüpfte Unternehmen
8 verknüpfte Unternehmen“Das US-Startup Groq ... lenkt aktuell das Interesse aber auch die Zahl der Token, die pro Sekunde verarbeitet werden können....”
“Gemma von Google...”
“Open-Source-LLMs Llama 3 von Meta...”
“Mixtral 8x7B von Mistral AI...”
“Azure von Microsoft...”
“Cloud-Anbieter wie Amazon (Bedrock)...”
“Bisher dominiert Nvidia mit seinen GPUs das Geschehen in der generativen AI...”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
US-Regierung schließt Microsoft von Visa-Programm aus
Die US-Regierung hat Microsoft von der Beantragung dauerhafter Aufenthaltsgenehmigungen für ausländische Fachkräfte mit H-1B-Visa ausgeschlossen und wirft dem Unternehmen Missbrauch des Programms vor. Vizepräsident JD Vance erklärte, Microsoft habe im vergangenen Jahr 6.000 amerikanische Mitarbeiter entlassen, aber von 6.300 H-1B-Visainhabern profitiert. Das Arbeitsministerium unter Keith Sonderling wird keine neuen Anträge von Microsoft, mehreren Beratungsunternehmen und Adobe annehmen. Dieser Schritt erfolgt wenige Wochen vor den Parlamentswahlen und spiegelt die Kritik der Trump-Regierung am H-1B-Programm wider, das angeblich amerikanische Arbeiter benachteiligt. Microsoft hat noch nicht reagiert. Der Schritt könnte die Fähigkeit der Tech-Branche beeinträchtigen, qualifizierte ausländische Talente zu halten.
USA suspendieren Microsoft und Adobe vom Green-Card-Programm
Das US-Arbeitsministerium hat die Suspendierung von Microsoft und Adobe vom Programm zur dauerhaften Arbeitszertifizierung angekündigt, zusammen mit Cognizant, Infosys, Capgemini, Tata, Wipro und HCL. Minister Keith Sonderling nannte aktive Bundesuntersuchungen als Grund für Microsoft und Adobe und kritisierte, dass diese Unternehmen amerikanischen Arbeitnehmern Arbeitsplätze wegnähmen. Vizepräsident JD Vance warf Microsoft konkret vor, entlassene Mitarbeiter durch H-1B-Visuminhaber ersetzt zu haben. Microsoft verteidigte seine Einstellungspraktiken und betonte, dass die Mehrheit seiner US-Mitarbeiter Amerikaner seien und die meisten H-1B-Anträge für bestehende Mitarbeiter gestellt würden. Die Ankündigung erfolgte während eines Gipfels im Weißen Haus zur Bekämpfung von H-1B-Betrug, zeitgleich mit der Verleihung der National Medal of Science an mehrere Tech-CEOs durch Präsident Trump.
Amazon stellt neue Alexa-Tablets mit KI und Google Play vor
Amazon hat eine neue Tablet-Generation unter der Marke Alexa angekündigt, darunter das Alexa Tablet 12 Pro, das Alexa Tablet 11 und das Alexa Tablet 8. Alle Geräte laufen mit Android, integrieren den KI-Assistenten Alexa+ und bieten erstmals direkten Zugriff auf den vollständigen Google Play Store, sodass Nutzer neben Amazon-Diensten auch Apps wie YouTube, Netflix und Gmail installieren können. Die Tablets bieten verschiedene Bildschirmgrößen, Prozessoren und Akkulaufzeiten, mit Preisen ab 229,99 US-Dollar. Ein spezieller Kindle-Lesemodus und neue Kindermodelle mit elterlicher Kontrolle wurden ebenfalls eingeführt. Der Verkaufsstart in Nordamerika ist am 8. Oktober, die Auslieferung beginnt am 14. Oktober, und die Verfügbarkeit in Europa, einschließlich Deutschland, startet am 19. Oktober.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.