TweakPC



Passmark: CPU-Benchmarks zugunsten von Intel manipuliert?

Freitag, 13. Mär. 2020 16:50 - [rj] - Quelle: P3DNow

Wieder einmal haben sich in einem Benchmark plötzliche Änderungen der Ergebnisse zugunsten von Intel CPUs gezeigt. Was steckt dahinter?

Der Passmark-Benchmark ist ein weniger bekanntes Benchmark-Suite, dass die verschiedensten Aspekte eines PCs durchtesten kann. Es ist vergleichbar mit bekannteren Tools wie Everest oder Sandra. Teil des Benchmarks sind auch vielfältige CPU-Performance-Tests.

Dem Twitter-User @HansDeVriesNL sind in diesem Zusammenhang plötzliche extreme Änderungen beim PassMark Single Thread Performance-Test aufgefallen. Wurden die CPU-Charts in diesem Test bis vor kurzem (5.4.2020) noch breit von AMD-CPUs dominiert, so finden sich ab dem 12.3.2020 fast nur noch Intel CPUs in den oberen Positionen der Charts.

Der User belegt das anhand von zwei Screenshost in seinem Twitter-Post.

Passmark: CPU-Benchmarks zugunsten von Intel manipuliert?

Die Kollegen von Planet3D-Now sind der Sache schon etwas weiter auf den Grund gegangen. Die drastischen Unterschiede in den aktualisierten Ergebnissen scheinen durch ein Versionsupdate der Software zustande zu kommen. Liegen die AMD CPUs in der Version V9 noch etwa 1,7 % über den Intel CPUs, so fallen sie in der neuen Version V10 um gut 15% zurück.

Dieser Rückfall deckt sich in keiner Weise mit der Performance, die eine AMD-CPU in der Praxis liefert, denn dort sind die CPUs in der Regel in etwa gleich schnell wie Intel CPUs. In unseren eigenen Tests, die wir zum Launch der Ryzen 3000 Serie bei Single-Thread durchgeführt haben liegen die AMD CPUs in der Single-Core Performance pro GHz klar vor den Intel CPUs, in der generellen Performance etwa 3% dahinter, weil die Taktraten der Intel CPUs (getestet bei uns ein Core i7 9900k) in der Regel höher sind.

Wie Planet3Dnow weiter breichtet, fällt in den Release Notes des neuen Passmark Updates auf, dass dieser nun eine Unterstützung für den AVX512 Befehlssatz bietet, der bislang nur von einigen Intel-CPUs unterstützt wird. Der Benchmark wurde damit also für den Einsatz von Intel CPUs die AVX512 einsetzen "optimiert", allerdings unterstützt zum Beispiel der Core i7 9900K diesen Befehlssatz nicht, wurde aber dennoch in dem Benchmark massiv aufgewertet.

Es steht also definitiv die Vermutung im Raum, das Passmark den Benchmark durch Änderungen in der Gewichtung oder am Benchmark selbst zugunsten von Intel CPUs verändert hat. In der Release History des Benchmarks findet sich dazu auch ein Hinweis.

Score rebalancing

- Due to the large amount of changes made to the 2D/3D/CPU/Disk tests all the calculated mark values have been rebalanced and scaled to be similar (but not exactly the same) to that of PerformanceTest 9.

- Individual test scores have not been scaled so a direct comparison cannot be made in many cases between version 9 and version 10.

Der ohnehin nicht besonders beliebte Benchmark dürfte sich mit dem Update keinen Gefallen getan haben und sein Einsatz in Testberichten und der Presse wird damit eher weiter abnehmen, da solche Änderungen unter Testern extrem unbeliebt sind. Machen sie es doch erforderlich, dass sämtliche alten Ergebnisse überarbeitet werden müssen und getroffene Aussagen bezüglich der CPUs nicht mehr stimmig sind. Wir selbst setzen den Passmark-Benchmark nur zum Testen von SSDs ein. Eine eigentlich geplante Nutzung für CPUs werden wir aussetzen.

Verwandte Testberichte, News, Kommentare
ueber TweakPC: Impressum, Datenschutz Copyright 1999-2024 TweakPC, Alle Rechte vorbehalten, all rights reserved. Mit * gekennzeichnete Links sind Affiliates.