Meta VP Matt Steiner über Ads-Infrastruktur und KI-Skalierung

Meta-VP Matt Steiner erläutert, wie Metas Ad-Stack Hardware- und Softwaredesign für Empfehlungssysteme und generative KI antreibt. Er beschreibt eine zweistufige Ad-Serving-Pipeline: Retrieval, angetrieben von Andromeda auf einer co-designten NVIDIA Grace Hopper SKU, und Ranking, konsolidiert in einem Einzelmodell namens Lattice. Meta trainierte ein großes Foundation Model namens GEM und destillierte es zu einem servierfähigen, adaptiven Ranking-Modell mit rund einer Billion Parametern bei Latenzen im Sub-Sekunden-Bereich. Recommender-Workloads sind speichergebunden mit einem anderen Compute-Memory-Profil als Standard-LLM-GPUs, was Metas Arbeit an eigener MTIA-Hardware motiviert. Steiner hebt zudem durch LLMs geschriebene Kernel hervor, um hardwarespezifische Optimierungen zu automatisieren, und prognostiziert eine steigende Nachfrage nach optimierten Kerneln, während Metas heterogene Flotte wächst. Er betont die End-to-End-Co-Optimierung von Hardware, Networking, Modellen und Software in den kommenden zwei Jahren.