NXAI präsentiert xLSTM als neuen Herausforderer für GPT

NXAI, ein von Sepp Hochreiter mitgegründetes KI-Startup, hat eine wissenschaftliche Arbeit zu xLSTM vorgestellt – einer erweiterten LSTM-Architektur, die darauf abzielt, mit Transformer-basierten Modellen wie GPT-3 zu konkurrieren. Die gemeinsam mit Forschern des Instituts für Machine Learning der JKU Linz entwickelte Arbeit beschreibt exponentielles Gating und modifizierte Speicherstrukturen, die die Leistung und Skalierbarkeit gegenüber aktuellen Transformers und State-Space-Modellen verbessern sollen. xLSTM wurde mit 15 Milliarden sowie 300 Milliarden Tokens trainiert und gegen Modelle wie Llama, Mamba und RWKV-4 getestet. Die Autoren betonen, dass xLSTM im Language Modeling starke Ergebnisse erzielt und Potenzial für Reinforcement Learning, Time Series Forecasting und die Modellierung physikalischer Systeme bietet. NXAI plant industrielle Anwendungen, die von anderen Large Language Models bislang nicht abgedeckt werden.