Sprachagenten gehen über Sprache hinaus: Aktion und Events

Ein Mitglied des Developer-Experience-Teams von OpenAI diskutiert das sich entwickelnde Design von Sprachagenten und argumentiert, dass diese nicht auf Speech-to-Speech-Interaktionen beschränkt sein sollten. Der Artikel identifiziert drei aufkommende Modi: Speech-to-Speech, Speech-to-Action (z.B. Formularausfüllung, kreative Tools, Computer-Nutzung) und Event-to-Speech (z.B. freihändige Erlebnisse, proaktive Ansprache). Er beleuchtet den technischen Wandel von verketteten Architekturen (ASR-LLM-TTS) hin zu nativen Audio-Modellen wie GPT-Realtime und der Hybrid-Architektur von GPT-Live, die ein Frontend-Audio-Modell mit einem Reasoning-Backend-Modell zur Tool-Delegation kombiniert. Der Autor ermutigt Entwickler, Sprachfunktionen als Intelligenzschicht in bestehende Software zu integrieren und dabei Schnittstellen wie Hover-Zustände und Benachrichtigungen zu nutzen. Der Beitrag schließt mit dem Aufruf, sich auf die Rolle der Sprache in der Interaktion zu konzentrieren, und betont das Potenzial sprachgesteuerter Tools zur Verbesserung der Barrierefreiheit und des kreativen Ausdrucks.