Große Sprachmodelle wie ChatGPT werden effizienter und kostengünstiger

Große Sprachmodelle wie GPT-3 und GPT-4 verursachen stark steigende Trainings- und Betriebskosten. Während GPT-3 mit 175 Milliarden Parametern mindestens 4,6 Millionen US-Dollar kostete, belaufen sich die Entwicklungskosten von GPT-4 laut Berichten auf über 100 Millionen US-Dollar bei rund einer Billion Parametern. Morgan Stanley schätzt, dass die Bearbeitung von der Hälfte aller Google-Suchanfragen mit einem GPT-Modell jährliche Zusatzkosten von sechs Milliarden US-Dollar erzeugen würde. Um diese Hürden zu überwinden, analysiert der Artikel diverse Effizienzansätze: das Training kleinerer Modelle mit mehr Daten, die Reduzierung numerischer Genauigkeit, Low-Rank Adaptation, Googles Teacher-Student Knowledge Distillation sowie einen chip-basierten Aufmerksamkeitsalgorithmus aus Stanford. Forscher der University of Washington trainierten das Modell Guanaco auf Basis dieser Techniken innerhalb eines Tages auf nur einer GPU. Zudem aktualisierte Meta PyTorch, wodurch sich die Trainingsgeschwindigkeit durch eine einzige Codezeile verdoppeln soll. Experten sehen weiterhin großes Potenzial für architektonische Verbesserungen.