Google stellt mit TPU-8t und TPU-8i eine neue TPU-Generation vor, die speziell für die Anforderungen moderner KI-Modelle entwickelt wurde. Während TPU-8t auf massives Pre-Training ausgelegt ist und mit einer 3D-Torus-Topologie sowie bis zu 9.600 Chips pro Superpod skaliert, richtet sich TPU-8i an das Serving und reasoning-lastige Workloads.
Beide Systeme sind Teil der AI-Hypercomputer-Architektur, die Hardware, Software und Netzwerk eng verzahnt, um große Modelle effizienter zu trainieren und auszuführen.
TPU-8t setzt auf SparseCore-Beschleuniger, native FP4-Unterstützung und deutlich höhere Bandbreiten, um große Embedding-Modelle und MoE-Architekturen schneller zu verarbeiten. Die Virgo-Netzwerktopologie soll die Datenraten im Rechenzentrum um bis zu das Vierfache erhöhen und reduziert Latenzen bei verteilten Trainingsläufen. TPU-8i nutzt dagegen eine neue Boardfly-Topologie, die die Anzahl der Netzwerk-Hops drastisch senkt und damit die Antwortzeiten bei komplexen reasoning-Modellen verbessert. Ein neuer Collectives Acceleration Engine beschleunigt Synchronisationsprozesse und ermöglicht hohe Parallelität bei langen Kontexten.
Beide Systeme profitieren von Arm-Axion-CPUs, die Datenvorbereitung und Orchestrierung beschleunigen, damit die TPUs konstant ausgelastet bleiben. Google verspricht deutliche Verbesserungen bei Preis-Leistung und Energieeffizienz gegenüber der vorherigen Generation. Mit der Spezialisierung auf Training und Serving will Google die Grundlage für die nächste Welle agentischer KI-Modelle schaffen, die lange Kontextfenster, komplexe Logik und hohe Parallelität erfordern.
