Nvidia hat kürzlich die ersten Leistungsdaten seiner kommenden Blackwell-KI-Beschleuniger im Vergleich zu den etablierten H100-Systemen veröffentlicht. Die Ergebnisse des MLPerf, einem Machine-Learning-Benchmark, zeigen eine bis zu 2,2-fach höhere Leistung bei Trainingsaufgaben.
Die DGX B200-Systeme, die in Nvidias Nyx-Supercomputer zum Einsatz kommen, bieten eine um etwa 2,27-fach höhere Spitzenleistung bei Gleitkommaoperationen in verschiedenen Präzisionen im Vergleich zu den H100-Systemen der vorherigen Generation. Diese Leistungssteigerung spiegelt sich auch in den Ergebnissen wider: Beim Feintuning von Llama 2 70B erzielte der B200 eine 2,2-fach höhere Leistung und beim Vortraining von GPT-3 175B sogar die doppelte Leistung.
Ein wesentlicher Faktor für diese Leistungssteigerung ist die deutlich höhere Speicherbandbreite der Blackwell-Beschleuniger, die bei den Spitzenmodellen bis zu 8 TBps erreicht. Nvidia erklärte, dass durch die Nutzung des hochbandbreitigen HBM3e-Speichers nur 64 Blackwell-GPUs im GPT-3-Benchmark eingesetzt werden mussten, um die gleiche Leistung zu erzielen, für die mit Hopper 256 GPUs benötigt wurden.
Nvidia hat bestätigt, dass die B200-Systeme die Grundlage für ihre ersten Trainingseinreichungen bilden, was darauf hindeutet, dass noch weiteres Leistungspotenzial vorhanden ist. Auf dem Papier kann der B200 bis zu 9 PetaFLOPS an sparsamer FP8-Leistung liefern und ist für eine Leistung von einem Kilowatt ausgelegt. Die 1,2 kW GPUs des Flaggschiffs GB200 hingegen erreichen bei gleicher Präzision 10 PetaFLOPS.
Mit der Blackwell-Generation hat Nvidia das NVLink-Domain von acht auf 72 Beschleuniger erweitert, was eine erhebliche Steigerung der Skalierbarkeit bedeutet. Wie groß der Unterschied in der Trainingszeit tatsächlich ist, bleibt abzuwarten, aber es wird erwartet, dass die nächste Runde der MLPerf-Ergebnisse weitere Leistungssteigerungen zeigen wird.
