NVIDIAs GeForce-RTX-30-Serie basiert auf der Ampere-Architektur. Obwohl die Grafikkarten denselben GPU-Chip wie einige professionelle RTX-A-Modelle nutzen, gibt es bei bestimmten KI-Berechnungen einen entscheidenden Unterschied: Consumer-Karten arbeiten bei ausgewählten Tensor-Core-Operationen mit einer geringeren Leistung. Ein neues Open-Source-Projekt namens GPU Unlock soll diese Einschränkung nun umgehen - zumindest unter Linux.
NVIDIA bremst bestimmte Tensor-Core-Operationen aus
Bei professionellen Ampere-Grafikkarten können die Tensor-Cores FP16- und BF16-Befehle mit FP32-Akkumulation mit voller Geschwindigkeit verarbeiten. Bei Consumer-Modellen ist die entsprechende Instruktionsrate dagegen auf die Hälfte reduziert. Darauf weist der Entwickler Zagitta hin in seinem GitHub-Projekt hin.
Betroffen sind vor allem Berechnungen, die bei KI-Anwendungen und Machine Learning eine wichtige Rolle spielen. Dazu gehört insbesondere die Matrixmultiplikation mit halbpräzisen FP16- oder BF16-Werten, bei der die Ergebnisse mit FP32-Genauigkeit akkumuliert werden.
Interessant ist dabei, dass die Hardware grundsätzlich zu einer höheren Leistung fähig ist. Die Einschränkung wird über sogenannte Speed-Selector umgesetzt. Dabei handelt es sich um Hardware-Register, mit denen sich die Instruktionsrate beeinflussen lässt. Beim Start der Grafikkarte konfiguriert NVIDIAs Treiber diese Register so, dass Consumer-Modelle mit einer reduzierten Rate arbeiten, obwohl sie deutlich schneller sein könnten. So verhindert man das Consumer-Modelle für den "professionellen" Einsatz missbraucht werden. Etwa so als ob man einen Sportwagen per Software auf eine geringere Leistung drosselt.
So funktioniert GPU-Unlock.
Genau an dieser Stelle setzt GPU Unlock an. Das Open-Source-Projekt besteht aus einem Linux-Kernel-Modul, das bereits vor der Initialisierung durch den NVIDIA-Treiber eingreift. Dadurch lassen sich die entsprechenden Register verändern, bevor der Treiber die Kontrolle über die Grafikkarte übernimmt.
Dafür kombiniert das Tool zwei Verfahren: eine aus dem Umfeld von NVIDIAs CMP-Kryptowährungs-GPUs bekannte V67/PLM-Firmware-Technik und einen speziellen Initialisierungsansatz, der sicherstellt, dass die Änderungen rechtzeitig vorgenommen werden.
Konkret setzt GPU Unlock die Speed-Selector-Register auf die volle BF16-Instruktionsrate. Anschließend führt das Tool einen Function-Level-Reset (FLR) durch, um die Grafikkarte in einen definierten Zustand zurückzuversetzen. Danach kann der unveränderte NVIDIA-Treiber die GPU wie gewohnt initialisieren. Die zuvor gesetzten Leistungsparameter bleiben dabei erhalten.
Ein Vorteil dieser Methode: Der NVIDIA-Treiber selbst muss nicht verändert werden. Damit entfällt auch die Notwendigkeit, entsprechende Patches nach jedem Treiber-Update erneut einzuspielen.
Der Quellcode und weitere Informationen sind auf der GitHub-Seite von GPU Unlock verfügbar.
Benchmarks zeigen deutliche Leistungssteigerungen
Die im GitHub-Projekt veröffentlichten Messungen zeigen, wie stark GPU-Unlock die Rechenleistung bei bestimmten Matrixoperationen erhöhen kann. Getestet wurden dichte Matrixmultiplikationen (GEMM) mit FP32-Akkumulation.
GeForce RTX 3090 Ti mit 450 Watt
- FP16: von 87,46 auf 118,39 TFLOPS – ein Plus von 35 Prozent
- BF16: von 87,50 auf 157,41 TFLOPS – ein Plus von 80 Prozent
- TF32: von 42,58 auf 82,61 TFLOPS – ein Plus von 94 Prozent
GeForce RTX 3080 Ti mit 315 Watt
- BF16: von 71,59 auf 113,98 TFLOPS – ein Plus von 59 Prozent
- TF32: von 35,65 auf 65,28 TFLOPS – ein Plus von 83 Prozent
GeForce RTX 3080 mit 10 GB VRAM und 320 Watt
- FP16/BF16: von rund 65 auf 110 bis 113 TFLOPS – ein Plus von etwa 70 bis 74 Prozent
Die Ergebnisse zeigen, dass insbesondere bei BF16- und TF32-Berechnungen erhebliche Leistungsreserven freigesetzt werden können. Wie groß der tatsächliche Vorteil ausfällt, hängt allerdings von der jeweiligen Grafikkarte und dem verwendeten Rechenverfahren ab.
Auch KI-Bildgenerierung profitiert
Nicht nur synthetische Benchmarks, sondern auch praktische Tests zeigen Verbesserungen. Bei der Bildgenerierung mit ComfyUI konnte ein Nutzer mit einer RTX 3090 Ti beispielsweise folgende Zuwächse messen:
- MOSS-Image SFT BF16: 58,6 Prozent mehr Durchsatz
- Qwen-Image 2.1 Turbo BF16: 57,2 Prozent mehr Durchsatz
- Z-Image Turbo BF16: 56,1 Prozent mehr Durchsatz
- MOSS-Image SFT INT8: lediglich 0,3 Prozent mehr Durchsatz
Die Ergebnisse machen deutlich, dass vor allem Anwendungen profitieren, die stark auf die betroffenen Tensor-Core-Operationen angewiesen sind. Bei INT8-Berechnungen fällt der Unterschied dagegen praktisch nicht ins Gewicht.
Laut dem veröffentlichten Praxistest waren die erzeugten Bilder mit und ohne GPU Unlock identisch. Die höhere Geschwindigkeit geht demnach nicht mit einer sichtbaren Veränderung der Bildqualität einher.
Auch bei der Ausführung großer Sprachmodelle (LLMs) gibt es erste Ergebnisse. In einem Test mit vLLM und einer RTX 3090 verbesserte sich die Geschwindigkeit der Prompt-Verarbeitung, auch Prefill genannt, um 33 Prozent. Bei der anschließenden Token-Generierung blieb die Leistung dagegen nahezu unverändert.
Das lässt sich technisch erklären: Während die Prompt-Verarbeitung häufig stark von der verfügbaren Rechenleistung profitiert, wird die Token-Generierung bei vielen LLM-Workloads eher durch die Speicherbandbreite begrenzt. Eine höhere Tensor-Core-Leistung bringt in diesem Fall entsprechend wenig.
Diese Einschränkungen gibt es
Trotz der teils erheblichen Leistungssteigerungen ist GPU Unlock kein universelles Upgrade für jede NVIDIA-Grafikkarte und jeden Anwendungsfall.
- Linux als Voraussetzung: Das Kernel-Modul ist derzeit für Linux ausgelegt. Eine experimentelle Umsetzung für Windows über einen UEFI-Ansatz soll ebenfalls existieren, ist aber hardwareabhängig und nicht allgemein verfügbar.
- Keine höhere Speicherbandbreite: GPU Unlock beschleunigt weder den VRAM noch erhöht es die Speicherbandbreite. Auch zusätzliche CUDA-Cores werden dadurch nicht freigeschaltet. Anwendungen, die hauptsächlich durch den Speicher begrenzt werden, dürften deshalb kaum profitieren.
- Keine belegten Vorteile beim Gaming: Bislang gibt es keine belastbaren Nachweise dafür, dass GPU Unlock die Bildraten in Spielen oder die Ausführungszeiten von DLSS verbessert.
- Kaum Vorteile bei INT8: Wie die Praxistests zeigen, fällt der Leistungszuwachs bei INT8-Berechnungen mit 0,3 Prozent praktisch vernachlässigbar aus.
- Unklare Unterstützung neuerer Generationen: Während einige Berichte auch Vorteile für RTX-40-Karten nahelegen, gibt es widersprüchliche Angaben zur Unterstützung der RTX-40- und RTX-50-Serie. Hier sind weitere Tests erforderlich.
Fazit: Mehr KI-Leistung ohne Hardware-Umbau
GPU Unlock zeigt, dass in bestimmten GeForce-RTX-30-Grafikkarten offenbar mehr KI-Rechenleistung steckt, als NVIDIA im regulären Betrieb freigibt. Das Tool verändert keine Hardware und fügt auch keine zusätzlichen Recheneinheiten hinzu. Stattdessen nutzt es vorhandene Funktionen des GPU-Chips, indem es die entsprechenden Speed-Selector-Register bereits vor der Initialisierung durch den NVIDIA-Treiber anpasst.
Für Nutzer, die ihre RTX 3080, RTX 3080 Ti oder RTX 3090 Ti unter Linux für KI-Bildgenerierung, Machine Learning oder bestimmte LLM-Aufgaben einsetzen, könnte das einen erheblichen Leistungsschub bedeuten. In einzelnen Tests steigt die Rechenleistung um mehr als 80 Prozent.
Allerdings befindet sich das Projekt noch in einem experimentellen Stadium. Die Ergebnisse hängen stark von der jeweiligen GPU und dem verwendeten Workload ab. Wer GPU Unlock ausprobieren möchte, sollte sich daher mit den technischen Voraussetzungen und möglichen Risiken eines Eingriffs auf Kernel-Ebene vertraut machen.
Eine professionelle KI-Beschleunigerkarte ersetzt das Tool zwar nicht. Für Besitzer kompatibler RTX-30-Grafikkarten könnte es aber eine interessante Möglichkeit sein, vorhandene Hardware bei geeigneten KI-Aufgaben deutlich besser auszunutzen.
