Umstellung des Grafikkarten-Testparcours - ihr seid gefragt!

[Don]

Hallo Luxxer

Das uns in den kommenden Monaten oder gar Wochen eine neue GPU-Generation von AMD und NVIDIA bevorsteht ist sicherlich kein Geheimnis mehr, auch wenn wir noch ausschließlich von Gerüchten sprechen. Im Zuge dessen planen wir das Testsystem für die Grafikkarten und auch die Benchmarks umzustellen.

Wir werden sicherlich auch zukünftig nicht jeden Nutzerwunsch umsetzen können, wollen uns aber bevor wir überhaupt den ersten Benchmark anwerfen, bei euch darüber informieren, welche Benchmarks und Spiele derzeit so gefragt sind.

Natürlich haben wir uns auch selbst schon einige Gedanken gemacht und eine Liste von potenziellen Benchmarks und Spielen im Hinterkopf. Eure Wahl wollen wir damit allerdings nicht beeinflussen und bitten euch daher einfach mal 2-3 eurer Favoriten zu nennen.

Danke für die Teilnahme!

[Katsche]

Mit wäre wichtig, dass die meisten Spiele Genres abgedeckt werden:
- Shooter: Battlefield 3, Crysis 2
- Rennspiele: F1 2012
- Sportspiele: Fifa 12 oder PES
- RPGs: Skyrim, The Witcher 2
- Strategie: irgendwas

Ein paar synthetische Benchmarks wie den 3D Mark 11 vielleicht noch, mir persönlich sind alltagstaugliche Werte, aber bedeutend wichtiger. Inwiedern die Spiele oben welche DirectX Version abdecken, weiß ich spontan gar nicht, es wäre aber sicher nicht verkehrt, die Performance unter DX9,10,11 vergleichen zu können.

Wünsche fröhliches Brainstorming

[LtBill]

Ich bin auch der Meinung, dass die bereiche abgedeckt sein müssen

- Shooter: Battlefield 3
- Rennspiele: F1 2012
- Sportspiele: Fifa 12
- RPGs: The Witcher 2
- Strategie: ANNO 2070

Es sollten keine Konsolenports dabei sein. Diese sind einfach nicht aussagekräftig und vor allem auf fast jedem Computer spielbar. Deswegen auch kein Skyrim.
Außer ihr testet mit mod's dann wäre Skyrim schon was.

DX9, 11, und evtl 11.1

[eselwald]

Wichtig sind finde ich. Test ausn Alltag ... ein 3D Mark ist halt kein Alltag.

daher

BF3, Crysis 2, Skyrim, Metro 2033 & Anno

Also eigentlich alles was aktuell viel Graka-Leistung brauch

[fdsonne]

Zum Testsystem, bitte gerade bei CF/SLI Tests nicht an der CPU sparen...
2600/2700K@4,5-5GHz oder gleich Sandy-E@OC drückt das CPU Limit teils deutlich. Und zeigen dabei die eigentliche Leistung der GPUs...

Die Angaben von Katsche würde ich so auch unterschreiben. Bei den Strategiegames bietet sich wohl Anno 2070 an

Auflösungstechnisch ist denke ich 1680x1050 und 1920x1xx0 interessant. Einmal ohne AA/AF, einmal mit 4xAA/16xAF. Und eventuell sofern machbar in den Games mit SGSSAA erzwungen.
Downsampling wäre auch ne Möglichkeit sich von anderen Tests abzusetzen. Sprich bei sagen wir 2x2 von FullHD zu testen...

@Don, rück doch mal die Liste der Games und Benches raus
Damit die User hier auch darüber abstimmen können.

[Krollorama]

Alle Genres abzudecken finde ich nicht unbedingt sinnvoll.
Wichtig ist eher verschiedene Leistungsbereiche abzudecken.
Es sollten also 2-3 echte grafische Highlights (ala Skyrim, BF3, Crysis 2) und ebenso 2-3 Spiele die den grafischen Mittelstand repräsentieren.

In Hinblick auf Spieletests würde ich mir auch eine Einschätzung der Redaktion zur Online-Spielbarkeit wünschen. Natürlich keine Spielbewertung, sondern eher inwieweit die Grafikkarte in der Lage ist genug Frames wiederzugeben um das Spiel online unter vorher definierten Grafikeinstellungen erfolgreich spielen zu können, da immer mehr Spiele online gespielt werden und gerade dort stabile Framerates sehr wichtig sind.
Bei BF3 zB merkt man sehr stark den Unterschied zwischen SP und MP bezogen auf die Grafiklast.

Ich würde mir außerdem wünschen, dass die ganzen OC Versionen (werksseitig übertaktet) untereinander verglichen werden. Soll heißen, das eine OC Version nicht nur mit der jeweiligen Stock-Version und anderen Grafikkartetypen verglichen wird sondern besonders mit anderen OC Versionen der gleichen Reihe, da in den einzelnen Foren oft die Frage danach aufkommt, welche der zur Verfügung stehenden OC Versionen jetzt eigentlich die geeignetste ist.

[fdsonne]

Deswegen auch kein Skyrim.
Außer ihr testet mit mod's dann wäre Skyrim schon was.

Dat ist Quatsch... Skyrim mit 4xSGSSAA und FullHD bei vollen Details und minimal angepasster INI zwingt ein 580GTX SLI in die Knie... Von wegen mit jedem PC spielbar

[Purator]

Hallo,

es wäre auch schön, die Spiele mal bei ein paar extremen Auflösungen zu testen, also z.B. ein 3x1080p-Setup (ok, das geht jetzt schon in Richtung Spiele-Testparcour), aber mir ist aufgefallen, dass viele Spiele mit solchen Auflösungen nicht mehr klarkommen, obwohl es ohne Probleme vermeidbar wäre. Anno 2070 ist da so ein Beispiel. In den Cutscenes blenden die solche Filmbalken ein, aber die gehen nicht über den ganzen Bildschirm weil sie zu kurz sind.

Viele Grüße
Purator

[Derty Harry]

Finde die 5 Games
Battlefield 3
F1 2012
Fifa 12
Witcher 2
Anno 2070 auch sehr gut und vl. dazu noch eine Auflösung höher als 2560x1440.

[patrick171]

Wäre schön, wenn man die High-End Karten der letzten 2 Generationen mit einbinden könnte. Dann wissen die meisten Anwender, wo ihre aktuelle Karte im Vergleich zur neuen Generation steht.

Also für die Tests von HD7000 und GeForce 600 wäre schön, wenn Benches von HD5850, HD5870, HD5890, HD6950, HD6970, HD6990, GTX470, GTX480, GTX570, GTX580 und GTX590 mit am Start wären.

[fdsonne]

Ich würde mir außerdem wünschen, dass die ganzen OC Versionen (werksseitig übertaktet) untereinander verglichen werden. Soll heißen, das eine OC Version nicht nur mit der jeweiligen Stock-Version und anderen Grafikkartetypen verglichen wird sondern besonders mit anderen OC Versionen der gleichen Reihe, da in den einzelnen Foren oft die Frage danach aufkommt, welche der zur Verfügung stehenden OC Versionen jetzt eigentlich die geeignetste ist.

Auch wenn das sicher interessant für viele Leute ist, ist die Umsetzung dessen quasi unmöglich. Da mit jeder neuen Karte und jedem neuen Treiber eben alle Kartenversionen nochmal getestet werden. Lass mal bei 6 Games zu 2min Test pro Karte, bist du schon bei 12min. Sagen wir für den Anfang es gibt 20 Karten, sind das schon 240min -> 4h reine Testzeit. Dazu kommen Zeit zum Umbauen, hoch runterfahren der Testkiste, mögliche Treiberinstallationen usw.
Das wäre ein Fullzeitjob.

Was man machen könnte, wären alte Ergebnise in jedem Test mitzunehmen. Wobei hier wiederum der Nachteil -> und somit die Falschinfo entsteht, wenn Treiber einen Performanceschub bringen und das dann nur für manche Karten gilt. -> verfälscht das Bild und bringt den Leser nicht weiter.

Also für die Tests von HD7000 und GeForce 600 wäre schön, wenn Benches von HD5850, HD5870, HD5890, HD6950, HD6970, HD6990, GTX470, GTX480, GTX570, GTX580 und GTX590 mit am Start wären.

Wer soll denn das alles testen?
Das sind 11 Karten... Plus nochmal bestimmt ebenso viele neue Karten von NV und AMD mit der nächsten Generation.

[roooot]

Bitte auch in 1440p benchen Gerade bei BF3 habe ich ewig danach gesucht und leider nichts gefunden.

[lubri]

1680x1050 und 1920x1xx0 find ich sehr wichtig.

[CH4F]

Vor allem, seit wann gibts eine HD5890?
Vielleicht sollte man eine High-End und eine Midrange anstatt 2 High-End Karten nehmen.
z.B.
HD5870, HD5770
HD6870, HD6970
GTX460, GTX480
GTX560Ti, GTX580 3GB
Optional dann noch GTX590 und HD6990.
Nicht jeder hat eine High-End Grafikkarte.

[Don]

Wir werden uns denke ich weiterhin auf 1680x1050, 1920x1200 und 2560x1600 beschränken. Damit decken wir die praxisrelevanten Auflösungen ebenso ab, wie die maximale Last an einem Display. Multi-Display-Systeme sind eher schwierig, sowohl was die Handhabung angeht, als auch die Praxisrelevanz.

[Purator]

Hallo,

@Don: Dann würde ich mich ab und an über ein "Multimon"-Spezial freuen, so einfach mal ein paar Spiele, ein paar Graphikkarten, 6 FullHD-Beamer und ein paar verrückte Redakteure, die das aufbauen :-D

Grüße
Purator

[Don]

Wir haben ja schon 2-3mal ein Multi-Monitor-System getestet. Das ist aber mit einem riesigen Aufwand verbunden, da wir immer die Displays anfordern müssen und auch den Platz dazu erst einmal haben müssen. 3x 24" sind ja nicht gerade kompakt

Mit einer neuen GPU-Generation werden wir uns dem Thema dann aber sich auch annehmen.

[grobinger]

Vor allem, seit wann gibts eine HD5890?
Vielleicht sollte man eine High-End und eine Midrange anstatt 2 High-End Karten nehmen.
z.B.
HD5870, HD5770
HD6870, HD6970
GTX460, GTX480
GTX560Ti, GTX580 3GB
Optional dann noch GTX590 und HD6990.
Nicht jeder hat eine High-End Grafikkarte.

Wer ne GTX590 oder HD6990 im Rechner stecken hat, für den sind wohl weniger Alltagsbenchmarks der entscheidende Kaufgrund sondern einfach was gerade am schnellsten ist auf dem Markt.

Aber ich würde schon sehr gerne sehen wenn potentielle Aufrüstkandidaten mit aufgenommen werden. Interessant wäre insbesondere für mich wie sich ne 5850 zu der kommenden 7850/7870 verhält Karten wie 5770 und darunter braucht man denke ich nicht, da ist eh klar daß ein Umstieg sich auf jeden Fall lohnt wenn man mehr performance braucht.

[fdsonne]

Frameverlaufsdiagramme wärend der Tests von den Karten aufzeichen wäre auch schick...
Kostet nahezu keinen Aufwand, gibt aber für den Testzeitraum gute Schlüsse wie sich die FPS aufteilen.

Achso, es wäre in meinen Augen zur Nachvollziehbarkeit sehr hilfreich, wenn von den schlussendlich getesteten Games bzw. den Szenen in Games ein Video angefertigt wird, was der User sich anschauen kann (zum Download, oder auf nem Videoportal)... -> auch nur einmaliger Aufwand.

[Krollorama]

Auch wenn das sicher interessant für viele Leute ist, ist die Umsetzung dessen quasi unmöglich. Da mit jeder neuen Karte und jedem neuen Treiber eben alle Kartenversionen nochmal getestet werden. Lass mal bei 6 Games zu 2min Test pro Karte, bist du schon bei 12min. Sagen wir für den Anfang es gibt 20 Karten, sind das schon 240min -> 4h reine Testzeit. Dazu kommen Zeit zum Umbauen, hoch runterfahren der Testkiste, mögliche Treiberinstallationen usw.
Das wäre ein Fullzeitjob.

Was man machen könnte, wären alte Ergebnise in jedem Test mitzunehmen. Wobei hier wiederum der Nachteil -> und somit die Falschinfo entsteht, wenn Treiber einen Performanceschub bringen und das dann nur für manche Karten gilt. -> verfälscht das Bild und bringt den Leser nicht weiter.



Wer soll denn das alles testen?
Das sind 11 Karten... Plus nochmal bestimmt ebenso viele neue Karten von NV und AMD mit der nächsten Generation.

So war das auch gemeint. Schon klar, dass man nicht bei jeder neue Karte alle älteren nochmal testen kann. Aber der Testrechner könnte zum mindest über die Generation hinweg konstant gehalten werden. Das dann Treiberunterschiede hinzukommen ist klar. Das muss dann halt vermerkt werden. Es würde ausreichen bei gleicher Testhardware andere OC Versionen in den Vergleich miteinzubeziehen, auch wenn diese eventuell mit anderen Treibern gemacht wurden. Die müssen ja nicht zwangsweise neu getestet werden. Solange die Testhardware die selbe ist, sollte man auch ältere Test zum Vergleich heranziehen können.

[fdsonne]

So war das auch gemeint. Schon klar, dass man nicht bei jeder neue Karte alle älteren nochmal testen kann. Aber der Testrechner könnte zum mindest über die Generation hinweg konstant gehalten werden. Das dann Treiberunterschiede hinzukommen ist klar. Das muss dann halt vermerkt werden. Es würde ausreichen bei gleicher Testhardware andere OC Versionen in den Vergleich miteinzubeziehen, auch wenn diese eventuell mit anderen Treibern gemacht wurden. Die müssen ja nicht zwangsweise neu getestet werden. Solange die Testhardware die selbe ist, sollte man auch ältere Test zum Vergleich heranziehen können.

Wäre es dann nicht eher sinnvoller händisch OC Tests durchzuführen um zu schauen, wie gut die jeweile Kartengeneration mit dem OC skaliert?
Sofern es sich anbietet, OC Versionen zu testen braucht man so nicht auf unter Umständen deutlich ältere Testwerte zurück greifen sondern kann sich jeweils vom Basismodell selbst ausrechnen, wie weit höher das OC Modell ansiedelt
Das hällt die Arbeit für den Tester deutlich geringer, weil er sich auf die Basismodelle konzentrieren kann und es schafft durch das Testen nur der nötigsten Modelle eben die Zeit, diese auch hin und wieder mal mit ner neuen Treiberversion nochmal durch den Parcours zu treten. -> um immer auf dem aktuellen Stand zu sein.

Ich kenne die Kommentare in den Tests zu genügend, wo sich User muckieren warum Modell xy im Test eben anders abschneidet als in anderen Tests. Durch das aktuell halten der Werte gibt man wenig Angriffsfläche für sowas, durch das mitschleifen von alten Werten hingegen stimmt nach zwei drei Treibern so gar nix mehr. Vor allem, wenn getestete Games nen ordentlichen Sprung durch nen neueren Treiber vollziehen, was dann den mit alten Treibern getesteten OC Versionen nicht zu gute kommt und die Reihenfolge durcheinander wirft.
Schnell kommt dann das Argument, der Test ist unbrauchbar, weil OC Modelle ja nicht langsamer sein können als die Stino Versionen

[Krollorama]

Wir werden uns denke ich weiterhin auf 1680x1050, 1920x1200 und 2560x1600 beschränken. Damit decken wir die praxisrelevanten Auflösungen ebenso ab, wie die maximale Last an einem Display. Multi-Display-Systeme sind eher schwierig, sowohl was die Handhabung angeht, als auch die Praxisrelevanz.

Warum eigentlich 1920x1200? 1920x1080 sollte doch deutlich verbreiteter sein. Und es sind immerhin 230k Pixel mehr.
Wenn man mal bei geizhals schaut, dann finden sich um den Faktor 7 mehr 1080er Monitore als 1200er.

@fdsonne:

Hast schon recht. Warum nimmt man dann nicht einfach zum Testen immer den selben Treiber? Man muss ja nicht immer den neusten Treiber nutzen, wozu auch? Bei erscheinen einer neuen Generation wird ein Treiber verwendet, der in aktuellen Spielen gut funktioniert und gut ists. Klar bringen neue Treiber einigen Karten in ausgewählten Spielen ein paar Prozent mehr Frames. Es geht doch bei diesen Tests aber eher um den Vergleich verschiedener Karten und Generationen und nicht darum die exakte max. Framezahl auf dem Testrechner zu ermitteln, oder irre ich da?

EDIT: Post Nr. 1000 - Ich beglückwünsche mich hiermit selbst

[Don]

Die 1920x1200 stammen noch aus Zeiten, zu denen 24"-Displays eben diese Auflösung hatten. Denkbar ist auch auch die Umstellung auf 1920x1080. Auch hier gilt aber wieder: wir wollen und können keine direkte 100 prozentige Vergleichbarkeit mit den Systemen der Leser herstellen. Ob nun 1920x1200 oder 1920x1080 macht da nicht den entscheidenden Unterschied, es geht um die Vergleichbarkeit der Karten untereinander.

[fdsonne]

Hast schon recht. Warum nimmt man dann nicht einfach zum Testen immer den selben Treiber? Man muss ja nicht immer den neusten Treiber nutzen, wozu auch? Bei erscheinen einer neuen Generation wird ein Treiber verwendet, der in aktuellen Spielen gut funktioniert und gut ists. Klar bringen neue Treiber einigen Karten in ausgewählten Spielen ein paar Prozent mehr Frames. Es geht doch bei diesen Tests aber eher um den Vergleich verschiedener Karten und Generationen und nicht darum die exakte max. Framezahl auf dem Testrechner zu ermitteln, oder irre ich da?

Richtig, aber es ist ziemlich wichtig Karten der Altgeneration mit aktuellen Treibern zu testen, da eben bei zu alten Treibern der Leistungsgewinn der neuen Karten zu groß erscheint, der in der Praxis so gar nicht gegeben ist... Unterm Strich wird der Leser dann ggf. enttäuscht, weil er meint, die als Beispiel 50% mehr Leistung von Neukarte zu Altkarte sind fix. In der Praxis sinds dann vllt nur 30 oder 40% Mehrleistung durch den Treibernachteil...
Großen Murks gibts beim Testen von verschiedenen Treibern innerhalb der selben Generation, wie es CB damals gern mal gemacht hat...
Und schaut man sich das mal durch die Bank an, CB testet zum Beispiel zwischen 11.2 und aktuellem CCC 5-9% im Schnitt an Leistungszuwachs. Bei NV sinds zwischen 266er und aktuellem Treiber 10% Zuwachs.

~10% aus nix ist ne ganze Menge Holz für ein halbes-dreiviertel Jahr Wartezeit, wo sich an den Karten selbst nix geändert hat...

[SaKuLification]

Ich fände es sehr wichtig, dass weiterhin alle DirectX Versionen ab 9 abgedeckt werden. Für mich persönlich sind Benchmarks von Games um einiges wichtiger als synthetische, da diese für Gamer kaum aussagekräftig sind. Fehlen dürfen sie natürlich nicht, da Reviews kommender Grafikkartengenerationen natürlich nicht nur für Gamer interessant sein sollen, sondern auch alle anderen Nutzer von PC-Hardware.
Wichtig finde ich es weiterhin, dass Verschiedene Leistungsbereiche, welche natürlich mit verschiedenen Genres verbunden sind, verglichen werden können.
Daher empfinde ich persönlich folgende Spiele und Benchmarks wichtig und aussagekräftig (Wichtig auf Grund von eigenen Erfahrungen beim Wechsel von verschiedenen Grafikkarte, da ich selbst immer einen Vergleich zwischen meiner "alten" und
nachfolgenden Grafikkarte durchführe).
Den Vorschlag auch SLI- oder Crossfire-Systeme mit älteren Karten im Vergleich zu neueren, wesentlich leistungsstärkeren Karten zu testen halte ich für sehr sinnvoll aus bereits genannten Gründen wie Kosten und hohem Vorkommen in der Praxis, sprich in PCs vieler User.

1. Thema zu testende Auflösungen:

An dieser Stelle möchte ich auf eine Umfrage im PCGH-X hinweisen (Quickpoll: In welcher Auflösung spielst du am meisten (September 2011)
Auch wenn nicht gerade sehr viele User abgestimmt haben ist eindeutig zu erkennen, dass 1920x1080 und 1680x1050 die am häufigsten gewählten Auflösungen sind, erst mit einigem Abstand folgen die Auflösungen 1920x1200 und 2560x1600. Ich denke, dass es daher durchaus angebracht wäre die klassische FullHD Auflösung von 1920x1080 Pixeln in das Testschema auf zunehmen.

2. Thema Multi-Monitoring:

Ich selbst nutze 3 FullHD Monitore, an meinem PC, wenn auch nur selten zum Spielen, da eine einzige Grafikkarte selten die nötige Leistung für gehobenen Qualität bereitstellen kann. In Multi-GPU Tests würde ich jedoch gerne Tests in Auflösungen wie 5760x1080 sehen.

3. Benchmarks:

3.1. synthetische Benchmakrs (unverändert):

- Futurmark 3DMark 11
- 3DMark Vantage
- Unigine Heaven 2.5

3.2. Spielbenchmarks:

- Anno 1404 eventuell auch Anno 2070, hier besitze ich aber noch keine Erfahrungen
- Die Sims 3, hier ist sicher die Benchmarkszene sehr schwer zu wählen
- Battlefield: Bad Company 2, sehr aussagekräftig auf Grund hoher Verbreitung
- Crysis Warhead, auch nach langer Zeit noch sehr interessant und verbreitet
- Crysis 2 wird durch Battlefield 3 ersetzt, da mMn Crysis 2 nichts besonderes darstellt
- F1 2010 wird durch Dirt 3 ersetzt
- GTA IV mit ENB Series Mod, da hier besonders schwächen bei hohem Speicherbedarf aufgedeckt werden können
- Mafia II, schon allein durch APEX interessant
- Metro 2033, aufgrund der hohen Anforderungen


Ich hoffe meine Meinung ist hilfreich und vielleicht wird auch der ein oder andere Fakt umgesetzt. Den Vorschlag von fdsonne, Szenen welche zum testen bestimmter Games gewählt wurde als Video bereit zustellen finde ich sehr gut und es würde mich auch sehr freuen, wenn dieser beherzigt werden würde.

MfG SaKuL