Verlässlichkeit von Reviews
 

Da ich ja seit längerem beabsichtigt habe, mir eine neue Grafikkarte zu kaufen, bin ich natürlich nicht darum herum gekommen mir unzählige Reviews und Benchmarks im iNet anzusehen. Nach mehrfachem "stöbern" ist mir dann irgendwann aufgefallen, dass nahezu keines der Ergebnisse der durchgeführten Benchmarks der Realität entspricht. Ein grosses Lob geht dabei an das TPC Team - eure Ergebnisse passen sprichwörtlich wie die Faust aufs Auge. Danke Euch, wenigstens eine Seite auf die man sich verlassen kann.

Ein kleines Beispiel anhand eines -[URL="http://hardware.thgweb.de/2007/02/07/foxconn_geforce_8800_gts_mit_gtx_taktraten/page5.html"]Reviews[/URL]- bei THG. Hier wird die Leistung einer 88GTS OC unter anderem mit einer X1950XTX verglichen. Speziell die Ergebnisse von BF2142 sind mir dabei ins Auge gestochen:
Mit meinem Rechner (lediglich X1900XT OC), kann ich sowohl BF2 als auch die Demo von BF2142 bei 1600x1200, vollen Details, 4xAA, 16xAF und aktiviertem vSync absolut flüssig spielen, ohne dass die Framerate auch nur einmal unter 60 Bilder pro Sekunde fällt. Ohne vSync pendelt die Framerate dann zwischen 90-120 Bildern pro Sekunde. Die 1950XTX im Review würde dagegen schon bei 8xAF, ansonsten identische Einstellungen, mit nur 39FPS im Mittel rumdümpeln o_O

Wie kommen solche Ergebnisse zustande? THG ist ja nicht die einzige Seite, bei man so etwas beobachten kann. Wird da von den Ergebnissen die eine Karte erreicht in Abhängigkeit dessen, was die Konkurrenz an Schmiergeldern gezahlt hat, ein gewisser Wert abgezogen? [I]Result = Result - SpecialMoney / FactorX * Pi + ...[/I]

Wann war der Zeitpunkt, ab dem jeder Enthusiast nurnoch solche Fakten veröffentlicht wie er sie gerne hat, oder sich gar den eigenen Geldbeutel füllen lässt um Mist zu publizieren?

Wie sieht es denn bei euch aus, ist euch noch nichts dergleichen aufgefallen?


//EDIT
Wenn die Interaktiven Benches von TPC nicht wären, würde ich es fast schon wieder bereuen eine 88er Karte gekauft zu haben. Mann du! So nen Hals hab ich...

AW: Verlässlichkeit von Reviews
 

Musst auch immer das "System Drumrum" beachten, da hat jeder ein anderes. Vielleicht sind manche ja so gierig darauf, der erste Reviewer zu sein, dass sie dies nicht ordentlich ausführen.
1. Gucken ob bei allen Test (von einem THG bsp) das selbe System verwendet wurde.
2. Passen die verhältnise der Ergebnisse ungefair zueinander
3. Bleib einfach bei TPC :) würde aber mal sagen computerbase macht auch ganz solide arbeit

AW: Verlässlichkeit von Reviews
 

Bei THG hab ich darauf geachtet und genau aus diesem Grund das Review als Beispiel genannt ;)

THG hat einen X6800, DDR2-800 4-4-4-12 und ein Board mit i975 Chipsatz verwendet. Mein Sys ist ja über die Signatur ersichtlich. Ob mein Rechner nun mit 3.6 oder 3.2 GHz läuft macht keinen grossen Unterschied - in meinem Fall ist definitiv die Grafikkarte der Flaschenhals :) Einer lügt auf jeden Fall. Entweder ich, oder... ;)

AW: Verlässlichkeit von Reviews
 

Ganz klar du :P ne ka, Rechne einfach noch die Luxussteuer von deinen Werten ab, dann weißtes. Ne ka, wenn se bei dir besser läuft, vergleichste deren testergebnis mit deiner in IHrem test, dann guckste ob die abstände einfach "prozentual"bei anderen genauso aussehen, dann freu dich, nimm die bessere, denn die läuft bei dir dann noch bessa

AW: Verlässlichkeit von Reviews
 

[quote=redilS;480353]

Wie sieht es denn bei euch aus, ist euch noch nichts dergleichen aufgefallen?

//EDIT
Wenn die Interaktiven Benches von TPC nicht wären, würde ich es fast schon wieder bereuen eine 88er Karte gekauft zu haben. Mann du! So nen Hals hab ich...[/quote]


Danke für das Lob und JA so was fällt mir ständig auf. Und ich kann dir auch sagen wie das kommt.

1. Viele verwenden Programme die einfach als Benchmark nichts taugen. Auch wenn das Schade ist, es gibt Titel die kann man einfach nicht vernünftig benchen. Obilivon, BF und andere. Trotzdem wird das gemacht, weil diese Titel gerade "IN" sind. Bei machen Programmen hast du bei jedem Durchlauf Abweichungen von 20%.

Als Beispiel nenne ich mal das neue Lost Cost. OK es ist halt der erste DX10 Benchmark, aber es taugt eigentlich nichts, denn die abgespielte Sequenz ist nicht immer gleich. Zum Beispiel kommt es manchmal vor, das die beiden Käfer aus dem Eis brechen und sich "nicht" kloppen sondern nur da stehen. Und das ist eine der schlimmsten Szenen, die dann weg fällt und den Benchwert so ca 3-4 FPS erhöht.
Man muss also wirklich daneben stehen und gucken ob auch alles richtig rennt und dann hat man immer noch keinen wirklich guten Benchmark.

2. Es kommt vor, das bei Benchmarks einfach manchmal unfug raus kommt. Da ist eine 8800 GTS auf einmal schneller als die 8800 GTX, weil das System irgendwie spinnt oder genau im Benchmark gehangen hat. Daher muss man ständig alle Werte vergleichen und auch auf Plausibilität checken und ggf. eben alles noch mal benchen. Und das kostet Unmengen an Zeit.

Ich hatte mal irgendwo geschrieben ein Benchmarkdurchlauf bei uns mit einer Karte dauert bis zu 24 Stunden ! Wenn ich also 3 Karten teste dann dauern alleine die Benchmarks 3 Tage. Und das auch nur dann, wenn alles glatt läuft. In der Regel geht aber immer was schief.

3. Gerad bei NVIDIA fummelt der Treiber städnig in den Einstellungen. Aktiviert man AA wird automatisch die AF Optimierung eingeschaltet usw. daher ist es kaum noch zu überprüfen mit welchen setting man da genau benchmark. Das macht die Sache auch nicht gerade einfacher.

Aktuell bekommt man bei einem Launch Karten teilweise erst 3 Tage vor Verkaufsstart. Einen vernünftigen Test in dieser Zeit hinzuballern ist kaum möglich, wird aber überall gemacht. Und so schwindet und schwindet die Qualität der Reviews immer mehr, zur Freude der Hersteller, die ihre Awards als Gegenleistung für eine "geschenkte" 400 € Grafikkarte kassieren. So sieht es leider aus. Man muss sich nur anschauen, wie manche Webseiten für den letzen Schrott Awards verteilen. Ich hab schon Awards für Hardware gesehen, die bei mir nach 5 Minuten Betrieb abgeraucht ist.

Unsere Stammleser wissen, das wir bei den Reviews nicht die schnellsten sind. Weil wir die Sachen eben gewissenhaft testen. Daher gab es bei uns auch noch keinen 2900 XT Review. Ich will die Karte nicht testen bevor der Treiber nicht ordentlich ist. Lieber teste ich sie gar nicht!

Das Problem daran ist, dass die Leser erst zu den "schnellsten" rennen um was über den R600 zu lesen, auch wenn es der letzte Mist ist. Bisher können wir uns diesem Druck noch entziehen, aber gerade wegen der Werbefinanzierung usw. wird das immer schwiriger, denn immer mehr Werbung geht an die Webseiten die schnell die Reviews online haben.

Die Werbeagenturen und Hersteller interessiert die Qualität des Inhalts meist nicht. Bis auf einige Wenige. Wobei ich hier mal auf unsere Wehrkunden hinweisen will, die genau deshalb bei uns Werbung machen, weil sie wissen halt etwas "anders" sind und das unterstützen wollen.

Es ist auch so, dass wir von einigen Herstellern gar keine Testmuster bekommen, weil die offenbar Angst vor uns haben, oder von uns Reviews in 2 Tagen sehen wollen. Also nicht wundern, wenn wir manche Firmen gar nicht in unseren Reviews haben.