Google stellt AudioPaLM vor: Multimodales Sprach- und KI-Modell

Google-Forscher haben AudioPaLM vorgestellt, ein multimodales Large Language Model, das sowohl Text als auch gesprochene Sprache verarbeiten und generieren kann. Es kombiniert das textbasierte PaLM-2-Modell mit AudioLM, wodurch nonverbale Merkmale wie Sprecheridentität und Intonation erfasst werden. AudioPaLM unterstützt Zero-Shot Speech-to-Text-Übersetzungen und kann die Stimme eines Sprechers anhand eines kurzen Audio-Prompts sprachübergreifend übertragen. Das Team veröffentlichte ein Whitepaper zu dem Framework und wies darauf hin, dass die Leistung von der Qualität der Trainingsdaten abhängt und erhebliche Rechenressourcen für Training und Deployment erforderlich sind. Zu den verwendeten Datensätzen gehören mehrsprachige TED Talks und Common Voice. Diese Technologie hat das Potenzial, Spracherkennung, Übersetzung und Sprachsynthese maßgeblich voranzutreiben und bietet neue Ansätze für sprachbasierte Schnittstellen und Automatisierungen in Medien und Marketing.