boxleitnerb
Enthusiast
Thread Starter
- Mitglied seit
- 11.01.2007
- Beiträge
- 6.549
Ein immer wieder brisanter Diskussionsstoff bei Spielebenchmarks im Zuge von CPU-Tests ist die Frage, wie man testen sollte. Es gibt hier grundsätzlich zwei Ansichten.
1. Man muss Spiele so benchen wie man sie auch spielt. Mit möglichst hohen Auflösungen und viel AA/AF. Also sozusagen realitätsnah.
Da kann dann z.B. sowas hier bei rauskommen (hohe Auflösung, 4xMSAA/16xAF):

2. Man muss die relative Last anderer Komponenten (z.B. der Grafikkarte) soweit wie möglich senken, um die Unterschiede in den fps möglichst gut hervorzuheben (selbes Spiel, 800x600, ohne AA/AF):

Ich lasse das mal ohne jegliche Wertung so stehen. Es sei nur gesagt, dass man aus dem Diagramm in 1. praktisch keine nützlichen Informationen ziehen kann, soviel ist offensichtlich. Diagramm 1 ist für die Entscheidungsfindung, welche CPU nun besser ist - samt Unterbau natürlich - (=mehr fps liefert), völlig nutzlos.
Eine wichtige Frage war seit dem Aufkommen der Benchmarks in niedrigen Auflösungen ohne AA/AF, ob man diese beiden Ansichten halbwegs unter einen Hut bekommen kann. Es wird ja oft behauptet, dass die Ergebnisse in z.B. 640x480 nutzlos sind, da nicht übertragbar.
Diese Aussage fand ich interessant und habe mal ein bisschen gesucht:
Computerbase hat gegen Ende 2010 das Testsystem umgebaut und eine stärkere Grafikkarte (vorher HD5870, nachher GTX580) eingebaut. Computerbase ist auch die einzige Seite, die ich kenne, die sowohl in hohen als auch in niedrigen Auflösungen bencht - perfekt für eine nähere Untersuchung.
Test 1 (mit 5870):
Test: AMD Phenom II X6 1100T Black Edition - 07.12.2010 - ComputerBase
Test 2 (mit 580):
Test: Prozessoren 2010 - 24.12.2010 - ComputerBase
Als Kandiatenpaare seien beispielhaft i5-750/P2-965BE bzw. i5-760/P2-970BE genommen, weil beide dieselbe Anzahl von Threads ausführen können (um nicht später durch multithreaded-Optimierungen einen Kandidaten zu bevorzugen). Der Wechsel kommt daher, weil die alten CPUs im neuen Test rausgeflogen sind. Die Taktverhältnisse beider Paare unterscheiden sich nur um 2,4%
Test 1:
800x600-Rating: 21% Differenz
1680x1050-Rating: 4% Differenz
Test 2:
640x480-Rating: 18% Differenz
1680x1050-Rating: 14% Differenz
Hierbei sei darauf hingewiesen, dass sich auch der Spieleparcour verändert hat. Ein Vergleich zwischen den beiden Tests gestaltet sich somit als schwierig - interessanter ist jedoch, die beiden Differenzen in den Tests getrennt zu vergleichen:
Während in Test 1 der beachtliche Vorsprung der stärkeren CPU auf nur 19% (4/21) zusammenschmilzt, ist dieses Phänomen bei Test 2 deutlich abgeschwächt. Hier sind es nur gut 77% (14/18).
Wie ist das zu erklären, wenn nicht in Test 1 die Grafikkarte die CPU ausbremst?
Anders gesagt: Ist die Grafikkarte schnell genug, bewirkt eine schnellere CPU samt Unterbau auch in höheren Auflösungen mit AA und AF ein Plus an fps - in diesem Fall (Test 2) immer noch 14%.
Schaut man sich die Ergebnisse in niedrigen Auflösungen an, kann man also grob abschätzen, wie zwei Systeme mit unterschiedlichen CPUs bzgl. der am Ende gelieferten fps zueinander stehen können, wenn eine ausreichend starke Grafikkarte (oder SLI/CF) zum Einsatz kommt.
Hier hat xbitlabs mal einen sehr interessanten Skalierungsartikel gemacht:
May Power Be with You: Find the Best CPU for a Single ATI Radeon HD 5870 and ATI Radeon HD 5870 CrossFireX Configuration - X-bit labs
Auch hier sieht man:
Das CPU-Testfeld ist nah beieinander, wenn eine schwache Grafiklösung verwendet wird und zieht sich auseinander, wenn die Grafikleistung massiv erhöht wird.
Noch ein kurzes Wort zum Benchmarken an sich:
Dynamische Szenen, in denen viel Wegfindung, KI und Physik berechnet werden muss, können kaum oder nur mit erheblichem Aufwand reproduzierbar gebencht werden. Da in Timedemos vieles vorberechnet ist, wird die CPU-Plattform hier im Vergleich zu einer wirklichen Spielsituation (Savegame) oft unterfordert - ungeschickt für einen CPU-Benchmark.
Das kriegt man nur in den Griff, wenn man das Lastverhältnis zwischen GPU-Subsystem und CPU-Subsystem verschiebt, sei es durch Übertakten/Untertakten, Abschalten von Cores usw. Alles suboptimal und zu aufwändig. Einfachste Methode ist es wohl, dem Grafiksystem weniger zu tun zu geben bzw. die Grafikleistung zu erhöhen (nicht möglich, wenn man schon die schnellste Karte verbaut hat). MGPU ist problematisch, weil hier zusätzliche Unwägbarkeiten wie Bugs, Skalierung usw. hinzukommen.
Angesichts dessen und der Messergebnisse/Betrachtungen von weiter oben bin ich der Meinung, dass Benchmarks in "realitätsfernen" Einstellungen durchaus Wert haben, wenn man sie zu interpretieren weiß.
Wie denkt ihr darüber? Habt ihr selbst Benchmarks/Untersuchungen zu dem Thema gemacht oder seid ihr auf einen informativen Artikel gestoßen?
Ein Hinweis noch zur Diskussion:
Jeder hat seine freie Meinung, die kann man niemandem verbieten. Für diesen Diskurs wäre es aber wünschenswert, wenn man Thesen und Behauptungen auch anhand von Beispielen irgendwie belegen kann. Und wenn es Material von jemand anderem ist, egal - substanzlose Posts bringen uns hier nicht weiter. Wisst ihr etwas, was der Rest nicht weiß? Könnt ihr den anderen Thesen und Zusammenhänge erklären, die ihr für wichtig erachtet? Dann tut es bitte auch
1. Man muss Spiele so benchen wie man sie auch spielt. Mit möglichst hohen Auflösungen und viel AA/AF. Also sozusagen realitätsnah.
Da kann dann z.B. sowas hier bei rauskommen (hohe Auflösung, 4xMSAA/16xAF):

2. Man muss die relative Last anderer Komponenten (z.B. der Grafikkarte) soweit wie möglich senken, um die Unterschiede in den fps möglichst gut hervorzuheben (selbes Spiel, 800x600, ohne AA/AF):

Ich lasse das mal ohne jegliche Wertung so stehen. Es sei nur gesagt, dass man aus dem Diagramm in 1. praktisch keine nützlichen Informationen ziehen kann, soviel ist offensichtlich. Diagramm 1 ist für die Entscheidungsfindung, welche CPU nun besser ist - samt Unterbau natürlich - (=mehr fps liefert), völlig nutzlos.
Eine wichtige Frage war seit dem Aufkommen der Benchmarks in niedrigen Auflösungen ohne AA/AF, ob man diese beiden Ansichten halbwegs unter einen Hut bekommen kann. Es wird ja oft behauptet, dass die Ergebnisse in z.B. 640x480 nutzlos sind, da nicht übertragbar.
Diese Aussage fand ich interessant und habe mal ein bisschen gesucht:
Computerbase hat gegen Ende 2010 das Testsystem umgebaut und eine stärkere Grafikkarte (vorher HD5870, nachher GTX580) eingebaut. Computerbase ist auch die einzige Seite, die ich kenne, die sowohl in hohen als auch in niedrigen Auflösungen bencht - perfekt für eine nähere Untersuchung.
Test 1 (mit 5870):
Test: AMD Phenom II X6 1100T Black Edition - 07.12.2010 - ComputerBase
Test 2 (mit 580):
Test: Prozessoren 2010 - 24.12.2010 - ComputerBase
Als Kandiatenpaare seien beispielhaft i5-750/P2-965BE bzw. i5-760/P2-970BE genommen, weil beide dieselbe Anzahl von Threads ausführen können (um nicht später durch multithreaded-Optimierungen einen Kandidaten zu bevorzugen). Der Wechsel kommt daher, weil die alten CPUs im neuen Test rausgeflogen sind. Die Taktverhältnisse beider Paare unterscheiden sich nur um 2,4%
Test 1:
800x600-Rating: 21% Differenz
1680x1050-Rating: 4% Differenz
Test 2:
640x480-Rating: 18% Differenz
1680x1050-Rating: 14% Differenz
Hierbei sei darauf hingewiesen, dass sich auch der Spieleparcour verändert hat. Ein Vergleich zwischen den beiden Tests gestaltet sich somit als schwierig - interessanter ist jedoch, die beiden Differenzen in den Tests getrennt zu vergleichen:
Während in Test 1 der beachtliche Vorsprung der stärkeren CPU auf nur 19% (4/21) zusammenschmilzt, ist dieses Phänomen bei Test 2 deutlich abgeschwächt. Hier sind es nur gut 77% (14/18).
Wie ist das zu erklären, wenn nicht in Test 1 die Grafikkarte die CPU ausbremst?
Anders gesagt: Ist die Grafikkarte schnell genug, bewirkt eine schnellere CPU samt Unterbau auch in höheren Auflösungen mit AA und AF ein Plus an fps - in diesem Fall (Test 2) immer noch 14%.
Schaut man sich die Ergebnisse in niedrigen Auflösungen an, kann man also grob abschätzen, wie zwei Systeme mit unterschiedlichen CPUs bzgl. der am Ende gelieferten fps zueinander stehen können, wenn eine ausreichend starke Grafikkarte (oder SLI/CF) zum Einsatz kommt.
Hier hat xbitlabs mal einen sehr interessanten Skalierungsartikel gemacht:
May Power Be with You: Find the Best CPU for a Single ATI Radeon HD 5870 and ATI Radeon HD 5870 CrossFireX Configuration - X-bit labs
Auch hier sieht man:
Das CPU-Testfeld ist nah beieinander, wenn eine schwache Grafiklösung verwendet wird und zieht sich auseinander, wenn die Grafikleistung massiv erhöht wird.
Noch ein kurzes Wort zum Benchmarken an sich:
Dynamische Szenen, in denen viel Wegfindung, KI und Physik berechnet werden muss, können kaum oder nur mit erheblichem Aufwand reproduzierbar gebencht werden. Da in Timedemos vieles vorberechnet ist, wird die CPU-Plattform hier im Vergleich zu einer wirklichen Spielsituation (Savegame) oft unterfordert - ungeschickt für einen CPU-Benchmark.
Das kriegt man nur in den Griff, wenn man das Lastverhältnis zwischen GPU-Subsystem und CPU-Subsystem verschiebt, sei es durch Übertakten/Untertakten, Abschalten von Cores usw. Alles suboptimal und zu aufwändig. Einfachste Methode ist es wohl, dem Grafiksystem weniger zu tun zu geben bzw. die Grafikleistung zu erhöhen (nicht möglich, wenn man schon die schnellste Karte verbaut hat). MGPU ist problematisch, weil hier zusätzliche Unwägbarkeiten wie Bugs, Skalierung usw. hinzukommen.
Angesichts dessen und der Messergebnisse/Betrachtungen von weiter oben bin ich der Meinung, dass Benchmarks in "realitätsfernen" Einstellungen durchaus Wert haben, wenn man sie zu interpretieren weiß.
Wie denkt ihr darüber? Habt ihr selbst Benchmarks/Untersuchungen zu dem Thema gemacht oder seid ihr auf einen informativen Artikel gestoßen?
Ein Hinweis noch zur Diskussion:
Jeder hat seine freie Meinung, die kann man niemandem verbieten. Für diesen Diskurs wäre es aber wünschenswert, wenn man Thesen und Behauptungen auch anhand von Beispielen irgendwie belegen kann. Und wenn es Material von jemand anderem ist, egal - substanzlose Posts bringen uns hier nicht weiter. Wisst ihr etwas, was der Rest nicht weiß? Könnt ihr den anderen Thesen und Zusammenhänge erklären, die ihr für wichtig erachtet? Dann tut es bitte auch

Zuletzt bearbeitet: