> > > > Benchmarking: Was hinter FCAT steckt und die Konsequenzen für Hardwareluxx

Benchmarking: Was hinter FCAT steckt und die Konsequenzen für Hardwareluxx

Veröffentlicht am: von

hardwareluxx news newDerzeit wird bei den Tests der aktuellen Grafikkarten vor allem eines heiß diskutiert: Wie und was wird eigentlich gemessen? Kommt kein synthetischer Benchmark mit Punkte-System oder eine integrierte Version des Spiels bzw. der Engine zum Einsatz, verwenden die meisten Redaktionen und auch wir FRAPS. Das Rendering eines Frames ist sehr komplex und führt durch unterschiedliche komplexe und vor allem tiefe Rendering-Pipelines. FRAPS klemmt sich an den Anfang dieses Prozesses, misst also wie viele Frames in die Pipeline hineingeschickt werden, kann aber nicht mehr messen, wann und vor allem nach welcher Zeit diese die Pipeline wieder verlassen.

FCAT
FCAT-Benchmarking (Bild: Anandtech)

Zwar lassen sich mit Hilfe von FRAPS auch Frametimes und damit Effekte wie das Stuttering oder die Mikro-Ruckler von Multi-GPU-Systemen messen, dies allerdings nur bis zu einem gewissen Rahmen. Das menschliche Auge ist aber weitaus empfindlicher und die Wahrnehmung eine andere, als dies FRAPS meist wiedergibt. Offenbar weitaus stärker betroffen ist AMD, was NVIDIA dazu veranlasst hat, einige Redaktionen mit einer speziellen Hard- und Software auszustatten.

FCAT
FCAT-Benchmarking (Bild: Anandtech)

Mit Hilfe von FCAT, dem Frame Capture Analysis Tool, will NVIDIA zeigen, wie man sich das Frame Interval Benchmarking vorstellt. Doch hinter der kompletten Methodik verbirgt sich weit mehr, als nur eine kleine Software. Vielmehr muss die Ausgabe des Benchmarks komplett abgegriffen und analysiert werden. Dazu nötig ist eine Capture-Hardware zur Aufnahme der Ausgabe und möglichst schnelle SSDs/HDDs, um die unkomprimierte Video aufzuzeichnen. Eine Analyse-Software kann dann anhand des Videos bzw. der dort eingeblendeten Farbcodes erkennen, welcher Frame wann die Render-Pipeline verlassen hat. Anstatt also eine Benchmarks-Szene zusammen mit FRAPS laufen zu lassen, muss die Szene komplett und unkomprimiert aufgezeichnet und dann analysiert werden. Zwar gibt das FCAT seine Ergebnisse in einer CSV-Datei aus, die sich recht leicht weiterverarbeiten lässt, dennoch ist der Arbeitsaufwand pro Benchmark enorm.

Was bedeutet dies nun für Hardwareluxx?

Wir haben uns die verschiedenen Berichte zu FCAT angeschaut und sind zu folgendem Ergebnis gekommen: Die FCAT-Methode ist genauer und gibt vor allem Probleme beim Rendering unter Verwendung unterschiedlichster GPUs und Treiber besser wieder. Für uns stellt dies allerdings keine Alternative zur aktuellen Methode dar. Unser derzeitiger Benchmark-Parcours besteht aus zehn Spielen und 51 Einzeltests unterschiedlichster Auflösung und Settings. Der Zeitaufwand lässt sich also recht leicht ermessen und steht in keinem Verhältnis zu dem, was die Unterschiede zwischen FCAT und FRAPS ausdrücken können.

Karten-Pool
Referenzkarten-Übersicht

Neben dem zeitlichen Aufwand bedeutet ein FCAT-Setup auch auf Seiten der Hardware eine relative große Investition. Neben dem Testsystem muss ein weiteres aufgebaut werden, dass mit der Video-Capture-Karte und vier SSDs zur Aufzeichnung des unkomprimierten Materials ausgestattet ist.

Uns ist bewusst, dass die FRAPS-Methode keine 100-prozentig ideale Lösung ist. Allerdings verhilft uns FRAPS zu realistischen Ergebnissen, die unseren Lesern eine Einschätzung der Performance ermöglichen. Es geht auch nicht darum, die Ergebnisse zu Hause nachzustellen, sondern nur um eine Einordnung der Performance. Für Multi-GPU-Systeme ergeben sich noch einmal andere Szenarien, die allerdings ebenfalls bereits heute gut darzustellen sind.

Unsere Hoffnung besteht in einer neuen Software, die anders als FRAPS später im Rendering-Prozess die Ergebnisse abgreift. Vielleicht stößt die aktuelle Diskussion die Entwicklung eben einer solchen Software an.

Social Links

Ihre Bewertung

Ø Bewertungen: 5

Tags

Kommentare (207)

#198
customavatars/avatar145021_1.gif
Registriert seit: 12.12.2010

Banned
Beiträge: 5646
Du meinst wohl im Post 195.
#199
Registriert seit: 19.03.2007

Kapitänleutnant
Beiträge: 1930
Zitat scully1234;20608641
Warum schleichst du denn schon wieder wie die Katze um den heißen Brei,sag doch offen heraus das es dir wieder mal um die Fata Morgana "höherer Inputlag" geht,den ein gewisses Klientel nur all zu gerne als negative Auswirkung von SLI Framemetering brandmarken würde


Die Frage könnte man auch umdrehen. Wieso sollte man dieses Aspekt (was tatsächlich zum flüssiges Spielmempfinden beiträgt) ignorieren nur damit bloß kein möglicher Nachteil von Nvidia aufgedeckt werden kann. Wenn es wie bisher von vielen angenommen nicht spürbar ist dann würden es die Messungen auch bestätigen.
#200
Registriert seit: 07.02.2005

Obergefreiter
Beiträge: 78
So siehts aus.

Vorallem könnten die Entwickler eventuell besser einschätzen, wo die Grenze zwischen merkt niemand/FPS Profi/nur Hardcorezocker/auch Casuals/jeder der nicht blind ist denn genau liegt.
#201
Registriert seit: 31.10.2009

Oberstabsgefreiter
Beiträge: 456
ich bin für fcat.

Haters gonna hate.
#202
customavatars/avatar145021_1.gif
Registriert seit: 12.12.2010

Banned
Beiträge: 5646
Ignoranten gonna ignorier?
#203
customavatars/avatar150456_1.gif
Registriert seit: 18.02.2011
Bad Godesberg
Flottillenadmiral
Beiträge: 5346
Zitat Schaffe89;20616597
Ignoranten gonna ignorier?


An deinem englisch musst du aber noch kräftig feilen.
#204
customavatars/avatar84710_1.gif
Registriert seit: 10.02.2008

Admiral
Beiträge: 15046
Zitat CH4F;20616631
An deinem englisch musst du aber noch kräftig feilen.


Oder an seinem Deutsch, dass kann man so und so sehen... :D
#205
Registriert seit: 29.10.2012

Oberleutnant zur See
Beiträge: 1504
Ich mag die pussycat :fresse:
#206
customavatars/avatar72146_1.gif
Registriert seit: 05.09.2007
Nürnberg
Moderatorin
Frauenbeauftragte
Beiträge: 11503
Wieso erinnert mich das nur an Hans... :rolleyes:
Weniger auf der sprachlichen Formulierung rumhacken und dafür mehr Inhalt bitte! :btt:
#207
customavatars/avatar3377_1.gif
Registriert seit: 15.11.2002
www.twitter.com/aschilling
[printed]-Redakteur
Tweety
Beiträge: 30660
FCAT Teil 1: Die Theorie
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

NVIDIA Titan V: Volta-Architektur im Gaming-Test

Logo von IMAGES/STORIES/2017/NVIDIA-TITANV

In der letzten Woche hatte NVIDA noch eine Überraschung für uns parat: Die brandneue NVIDIA Titan V wurde vorgestellt. Damit gibt es das erste Consumer-Modell mit der neuen Volta-Architektur, das auch für Spieler interessant sein kann, in erster Linie aber auch professionelle Nutzer ansprechen... [mehr]

Sapphire Radeon RX Vega 64 Nitro+ im Test

Logo von IMAGES/STORIES/2017/SAPPHIRE-VEGA

Heute ist es endlich soweit: Wir können uns das zweite Custom-Design der Radeon RX Vega anschauen. Dabei handelt es sich um die Sapphire Radeon RX Vega 64 Nitro+, die besonders durch die Kühlung auf sich aufmerksam machen will. Drei Slots, drei Axiallüfter und sogar eine spezielle... [mehr]

Mega-Roundup: 14 aktuelle GeForce-Grafikkarten in 11 Blockbuster-Spielen...

Logo von IMAGES/STORIES/2017/GPU_BLOCKBUSER_VGL_ZOTAC-TEASER

In Kooperation mit Zotac Auch in diesem Jahr veranstalteten die Spielepublisher wieder ein regelrechtes Feuerwerk an neuen Videospielen. Vor allem in den letzten Wochen des Jahres wurden zahlreiche neue Triple-A-Titel veröffentlicht, wie beispielsweise ein neues "Call of Duty",... [mehr]

Die ersten Custom-Modelle der GeForce GTX 1070 Ti im Test

Logo von IMAGES/STORIES/LOGOS-2017/GTX1070TI-LOGO

Nach der Vorstellung aller Details dürfen wir heute die Leistungswerte der GeForce GTX 1070 Ti veröffentlichen. Dabei stand uns dieses Mal keine Founders Edition zur Verfügung, die nur von NVIDIA verkauft wird, dafür aber einige Custom-Modelle. Diese stammen aus dem Hause ASUS, Inno3D und... [mehr]

Erstes Custom-Design: ASUS ROG Strix Radeon Vega 64 OC Edition im Test

Logo von IMAGES/STORIES/2017/ASUS-VEGA

Es ist endlich soweit: Wir können uns das erste Custom-Modell der Radeon RX Vega 64 anschauen. ASUS war der erste Hersteller, der ein entsprechendes Modell vorgestellt hat, nun erreichte uns das finale Produkt. Im Zentrum steht natürlich die Frage, welche Verbesserungen ASUS mit der ROG Strix... [mehr]

Die GeForce RTX 2080 Ti und RTX 2080 Founders Edition im Test

Logo von IMAGES/STORIES/2017/GEFORCERTX2080

Heute nun ist es endlich soweit und wir präsentieren die vollständigen Leistungsdaten und Messwerte zu den beiden ersten Karten der GeForce-RTX-20-Serie von NVIDIA. Nach der Vorstellung der Pascal-Architektur im Mai 2016 sind die neuen Karten für NVIDIA in vielerlei Hinsicht ein... [mehr]