Mit High-Bandwidth-Flash entsteht nun ein neuer Speichertyp, der hohe Kapazität mit deutlich mehr Bandbreite als herkömmliche NAND-Lösungen verbindet. HBF soll nicht HBM ersetzen, sondern als Zwischenschicht dienen, die große Modelle näher an die Recheneinheiten bringt.
Der Ansatz basiert auf gestapeltem NAND statt DRAM. Dadurch lassen sich Kapazitäten bis 512GB pro Modul realisieren, während die Bandbreite je nach Aufbau zwischen 0.4TB/s und 3TB/s liegt, was für KI-Inferenz auch relevant wird. Modelle mit hunderten Milliarden Parametern passen kaum vollständig in HBM, doch HBF könnte sie in einem schnellen, aber kapazitätsstarken Speicherbereich halten und damit Datenbewegungen reduzieren.
Ein weiterer Vorteil ist die Unterstützung von UCIe. Chiplet-basierte Designs können HBF flexibel an CPUs und GPUs anbinden, was neue Systemarchitekturen ermöglicht. SK hynix sieht darin einen Schritt, die Grenzen zwischen Speicher und Storage zu verwischen und KI-Server effizienter zu machen.
Der Zeitpunkt ist günstig. KI-Infrastruktur stößt zunehmend an Bandbreitengrenzen, und GPUs warten oft länger auf Daten als auf Rechenoperationen. Ein schneller Zwischenspeicher könnte reale Inferenzleistung spürbar verbessern. Parallel arbeitet Samsung an eigenen Hochgeschwindigkeits-NAND-Technologien und extrem hohen Layerzahlen, um ähnliche Probleme zu lösen.
Ob HBF sich durchsetzt, hängt von der Branche ab. Erst wenn Chipdesigner, Serverhersteller und Cloudanbieter den Standard übernehmen, kann er sich etablieren. Der Bedarf ist jedoch klar erkennbar, denn KI-Modelle wachsen weiter und Speicherengpässe werden zum zentralen Problem.
