OpenAI stellt neue Sprachmodelle und Voice Agents für die API vor

OpenAI hat in seiner API neue Speech-to-Text- und Text-to-Speech-Modelle auf Basis von GPT-4o und GPT-4o mini veröffentlicht, die eine deutlich höhere Transkriptions- und Syntheseleistung als Whisper und ältere TTS-Modelle bieten sollen. Das Text-to-Speech-Modell ermöglicht durch elf Stimmen und fünf Stimmungsvorgaben (Vibes) stark personalisierbare und charakterstarke Sprachausgaben. Entwickler können dem Modell nicht nur den Inhalt, sondern auch die exakte Aussprache und den Tonfall vorgeben. Die beiden neuen Speech-to-Text-Modelle gewährleisten selbst in anspruchsvollen Audio-Umgebungen wie lauten Störgeräuschen oder bei starken Akzenten eine hohe Zuverlässigkeit, was den Einsatz in Callcentern und bei Meeting-Notizen optimiert. Zudem erlaubt die Integration in das Agents SDK die Umwandlung textbasierter Agents in performante Voice Agents, wodurch die Automatisierungsmöglichkeiten für sprachgesteuerte Applikationen in Marketing und Kundenservice maßgeblich erweitert werden.