Vorschlag zur Erweiterung der Benchmarkmethoden

[boxleitnerb]

Vorab:

Ich möchte nicht zwei Threads aufmachen, aber dieser Vorschlag soll sowohl für GPU- als auch für CPU-Benchmarks gelten.


Wird außer dem avg-Wert noch ein fps-Wert angegeben, sind es eigentlich immer die Minimum-fps.

Erachtet ihr eine Reduktion der fps-Informationen auf zwei Werte für sinnvoll? Ist das aussagekräftig (genug)?
Da ich generell dafür bin, soviel Informationen in ein Benchmarkergebnis zu packen wie möglich (ohne dass es zu kompliziert wird), frage ich mich, ob nicht der Ansatz sinnvoller wäre, den damals Fear mitgebracht hat:

Zusätzlich zu den Absolutwerten, mit denen man alleine recht wenig anfangen kann, eine prozentuale Information über die fps-Verteilung. Das geht natürlich nur, wenn man selbst mit fraps bencht und jede Sekunde einen Wert hat. Ein netter Nebeneffekt wäre auch, dass man somit fast gezwungen wäre auf Timedemos und vorgefertigte Benches zu verzichten und "echte" Ergebnisse zu generieren.

PCGH hat sowas glaub ich mal gehabt in Form eines Balkendiagramms. Eine Tabelle fände ich hier fast besser (zusätzlich zu den normalen avg- und min-fps Balken), da man sonst ein extra Diagramm mit 3 Balken pro CPU/GPU (die Bereichsgrenzen, z.B. 25, 40, 60fps) anschauen muss, was je nach Anordnung recht verwirrend sein kann.

Man könnte zumindest die Prozentwerte, die unter einem gewissen Komforniveau liegen (25 oder 30 fps), der Anschaulichkeit halber in einem Graphen darstellen. Natürlich muss man dann deutlich hinschreiben, dass mehr hier nicht besser ist.

Diese Methode würde auch wertvolle Praxisinformationen liefern, nämlich über die Spielbarkeit und sogar teilweise den subjektiven Anforderungen gerecht werden:

Je nachdem, welche Ansprüche man hat, kann man sich an den verschiedenen Grenzen orientieren. Dem einen reichen 30 fps für ein flüssiges Spielerlebnis, dem anderen erst 60. Dementsprechend schaut man dann eben auf die Prozentwerte für >30 oder >60.

Was denkt ihr darüber?

 

[fdsonne]

Halte ich nicht für wirklich brauchbar muss ich sagen... Denn der Betrachter weis immernoch nicht, wann und bei welcher Szene die FPS derart niedrig sind, das es ihm zu schlecht wird.

Ich nenne da immer gerne Gothic 3. Nutzt man einen Teleportstein sinkt die FPS Rate selbst mit den besten GPUs auf weit unter 10. Nur hat man in der Zeit sowieso keine Möglichkeit zu agieren. Sprich es läuft eine Szene von selbst, nach dem abgeschlossenen Teleport, wo der User wieder agieren kann, sind die FPS normal.
Unterm Strich heist das, die min FPS und auch der Prozentwert für unter 25FPS wäre in dem Beispiel immer recht negativ. Nur hat das auf den Spielfluss quasi gar keinen Einfluss...


Das einzige was man wirklich als sinnvolle Ergänzung einführen könnte, wären Frameverlaufsdiagramme. Wie sie bei manchen Benches und Reviews ja schon vorhanden sind. Leider kostet sowas Zeit und diese haben die Tester bekanntlich nur sehr begrenzt, gerade wenn es um Neueinzuführende Karten geht, sind die Karten oft nur wenige Tage bei den Testern...
Mit einem Frameverlaufsdiagramm und der seitens der Tester gestellten Szene kann jeder User nachprüfen, wie sich sein System im Vergleich zu den getesteten Karten/Systemen verhält. Und er weis, in welcher Szene genau die FPS wegbrechen.
Am besten stellt man dem Frameverlaufsdiagramm gleichzeitig ein VRAM Verbrauchdiagramm des Tests darunter. So sieht der User auch gleich, ob die Karte wegen VRAM Mangel/Nachladeruckler wegbricht oder was auch immer der Grund ist...


Aber wie schonmal angesprochen, umfangreiche Tests zu fordern ist immer gut und schön... bedenkt aber, die Tester müssen den Aufwand erstmal stemmen. Bei 20 Games mit sagen wir 120sec. Testzeit sind schonmal 40min für eine Karte weg... Testet man nun 20 Karten so bleiben schonmal allein über 13h reine Zeit, welche man fürs Testen ansich brauch.
Dazu kommt noch das Umbauen der Systeme, das Auswerten der Daten usw.
Oft ist es auch nötig, gerade bei selbst abgelaufenen Testszenen, wo man nie 100% exakt den selben Weg erwischt, Szenen mehrfach zu testen und dann aus sagen wir 3 Durchläufen den Durchschnitt zu nehmen...

Wenn so ein ausführliches Review unterm Strich auf 20h Arbeitszeit kommt ist das schon recht knapp bemessen... Und das muss erstmal jemand aufbringen, gerade bei Sachen, wo die Tester quasi ehrenamtlich/unentgeldlich agieren und nebenbei noch ein privat/berufsleben haben...

 

[boxleitnerb]

Nun, die Szene sollte natürlich schon repräsentativ und sinnvoll gewählt werden. Das ist bei deinem Beispiel mit Gothic 3 wie du schon erwähnt hast nicht der Fall - es ist eine Ausnahme.

Ich denke, solange die Szene ordentlich gewählt wird, ist auch das FEAR-Modell genügend aussagekräftig zumal die Szene eh nur ein Ausschnitt aus dem Spiel ist und sich bei anderen Abläufen wieder andere Ergebnisse ergeben. Mehr als eine Tendenz geben kann ein Benchmark eh nicht.

Frameverläufe sind wohl das Optimum. Ein VRAM-Verbrauchsdiagramm dazu ist auch eine exzellente Idee! Aber wenn du ansprichst, dass man wissen sollte, wo genau die FPS einbrechen, muss der Leser den Ablauf des Benchmarks mit den Ergebnissen wieder kombinieren, was vielen dann doch zu umständlich oder kompliziert wäre. Wo die Einbrüche unter einen bestimmten Wert im Bench genau liegen, wird den meisten egal sein. Dass Produkt A 50% öfters unter diese Grenze fällt als Produkt B eher nicht. Das kriegt man durch zwei Werte (avg und min) aber nicht mit.
Speziell der min-Wert kann durch Nachladeruckler, eine momentane Limitierung durch die andere Komponente oder einen sonstigen Glitch auftreten.

Beide Varianten haben Vor- und Nachteile. Bei dem FEAR-Modell finde ich gut, dass man die Ergebnisse schon ein wenig interpretiert bekommt bzgl. der Spielbarkeit.

Bei Grafikkartenbenchmarks kann man eigentlich weiterhin Timedemos und Flybys etc. benutzen, denn im Gegensatz zu CPU-Benchmarks sind die Werte hier deutlich praxisnäher. So muss man zumindest bei Grafikkarten nicht mühsam von Hand benchen.

Generell halte ich den Mehraufwand für vertretbar. Korrigiere mich bitte, wenn ich falsch liege, aber man müsste doch "nur":

1. Fraps mitlaufen lassen
2. Die Werte in eine vorgefertigte Exceltabelle kopieren und berechnen lassen
3. Eine Tabelle oder einen Graphen für die Publikation generieren.

Drei Durchläufe sind sowieso Pflicht, so oder so.
Und was ist besser:
20 Spiele mehr schlecht als recht testen oder 5-10 so, dass der Leser mit den Ergebnissen auch möglichst viel anfangen kann?

 

[fdsonne]

Die Frage ist doch eher, was vermitteln die Prozentwerte dem User denn mehr als es avg., min. und max. FPS tun würden?

Wenn der avg FPS Wert bei sagen wir 25 liegt, so wird man wohl selbst feststellen, das eben im Schnitt die Szene keine signifikannt höheren FPS Raten ausspuckt. Da brauch man keine Prozentwerte für. Auch wenn die Karte sagen wir 50FPS avg ausspuckt.
Bei CPUs kann sowas denke ich vllt mehr Sinn machen. Im GPU Bereich denke ich nicht. Denn die CPUs liegen Spieleleistungstechnisch sehr nah beieinander. GPUs hingegen haben welten Unterschied. Bencht man eine 470GTX gegen eine 260GTS oder 450GTS sind da mal gut und gerne doppelte FPS drin. Mit "nur" drei dieser Prozenteinstufungen sagt man da wie ich finde sogut wie nichts aus, der Mehrwert ist einfach nicht gegeben... Klar sehe ich dann wohl, das die kleinere Karte weniger hohe FPS Werte liefert, aber genau das sehe ich an den avg. FPS auch.

Richtig repräsentativ wird das auch erst bei längeren Messungen. Oft werden ja nur wenige Sekunden teils sogar weit unter einer Minute gemessen.


Zum letzten, das ist wohl Ansichtssache... Mir als Leser nutzen 5 Messungen (und seien sie noch so umfangreich) gar nix, wenn ich mit den Spielen nix anfangen kann. Aber bei 20 schnöden avg. FPS Messungen habe ich ein viel breiteres Betrachtungsfeld.
Die Anzahl der Benches zugunsten des Umfangs der Messungen zu reduzieren halte ich für nicht Sinnvoll. Vor allem kommt dann wieder die Frage auf, nach welchen Kriterien man die Games ausgesucht hat.

EDIT:
übrigens, mir fällt weiterhin auf, das viele User nur die Zusammenfassung anschauen... sprich die einzelnen Tests aufzublasen bringt soviel auch nich...

 

[boxleitnerb]

Es wird ja nicht erwartet, die avg-Werte zu begraben (das würde von der Allgemeinheit wohl auch nicht akzeptiert werden), sondern zu ergänzen. Wenn du den Ansatz nicht für sinnvoll erachtest, trifft das zu einem gewissen Grad auch auf die Frameverläufe zu.

Zumindest im unteren Spektrum ist der Informationsgehalt höher. Der Min-Wert kann durch Nachladeruckler, Limitierung der anderen Komponente oder einen sonstigen Glitch auftreten.
Weiterhin schau mal folgendes Beispiel an:

Komponente A:

Dauer: 60s
Sek. 1-20: 20 fps
Sek. 21-40: 40 fps
Sek. 41-60: 60 fps

Komponente B:

Dauer: 60s
Sek. 1-5: 20 fps
Sek. 6-20: 30 fps
Sek. 21-40: 40 fps
Sek. 41-60: 53 fps

Komponente C:

Dauer: 60s
Sek. 1-20: 40 fps
Sek. 21-40: 40 fps
Sek. 41-60: 40 fps

Mittelwert ist 40 bei allen dreien. Wo wäre die Spielbarkeit besser? Wohl bei C, oder? Genau das geht beim Pressen der Messwerte auf einen einzigen Mittelwert gnadenlos unter. Dass bei A das Minimum 20 Sekunden lang gefahren wird, bei B aber nur 5 Sekunden lang, ist durch Angabe eines Wertes nicht ersichtlich.
Zugegeben - es ist ein eher konstruierter Extremfall. Aber kann man sich sicher sein, dass das nichtmal tendenziell doch irgendwo auftritt? Speziell bei Grafikkarten, wo ein Kandidat szenenweise mal stark vorne liegt (Tessellation z.B.).

Längere Messungen sind Gift für die Vergleichbarkeit (jedenfalls bei CPU-Benches).

 

[Don]

Gute Vorschläge, danke dafür erst einmal.

Mit dem Launch der GTX 480 haben wir uns ja auch noch einmal an Verlaufsdiagrammen versucht. Wir oder besser ich habe aber auch festgestellt, dass es nicht so einfach ist wie man glaubt. Einfach eine Szene mit Fraps 3x laufen zu lassen, den Mittelwert zu nehmen und dann ein Diagramm zu erstellen dauert schon etwas und man muss aufpassen immer den gleichen Einstiegspunkt zu erwischen etc.

Hinzu kommt, will man mehrere Auflösungen und Qualitätsstufen anbieten, dann wird das schon ein erheblicher Aufwand. Nicht immer haben wir auch ausreichend Vorlauf z.B. beim Launch einer neuen GPU-Generation. Andreas Stegmüller und ich sind aber derzeit dabei uns etwas für die Zukunft zu überlegen. Sicher werden wir versuchen ein paar Benchmarks weniger, dafür diese mit mehr Aussagekraft zu erstellen. Dazu müssen wir uns erst einmal wieder die komplette Modell-Palette auf den Tisch legen, geeignete Benchmarks/Spiele heraussuchen und uns noch ein paar Bedingungen dazu überlegen. Wir arbeiten derzeit daran. Eigentlich wollte ich das schon im Sommer gemacht haben, aber immer kommt etwas dazwischen.

 

[boxleitnerb]

Danke für die Antwort!

Mal ne Laienfrage - ich hab nicht so den Überblick über den Aufwand:

Wenn eine Szene vermessen werden soll, muss ja sowieso eine Vergleichbarkeit vorliegen bzgl. Szenenbeginn und -ende sowie dem Ablauf. D.h. es wird eh 3x gemessen. Ob man jetzt die generierten Informationen "vernichtet" und einen Wert raushaut oder die Informationen in geeigneter Form in ihrer Gesamtheit präsentiert, dürfte für den Aufwand doch relativ egal sein, oder?

Das mit den Verlaufsdiagrammen ist aber schonmal top wie gesagt

 

[Don]

Das ist richtig, aber im Falle von Fraps passiert folgendes:

Fraps läuft, du startest das Game und lässt eine Timedemo laufen. Sobald diese losläuft startest du die Aufzeichnung von Fraps und musst sie auch im richtigen Moment beenden. Das ganze 3x und du solltest halt immer die gleichen Anfangs- und Endpunkte finden, sonst kannst du die Werte gleich wegschmeißen.

 

[boxleitnerb]

Kann man nicht Fraps früher starten und später beenden und - sofern der Verlauf gleich ist -die Kurven danach anhand verschiedener markanter Punkte übereinanderlegen und dann an Beginn und Ende einfach alle gleichzeitig abschneiden? Oder mache ich es mir damit zu einfach?

 

[Le_Frog99]

Nein das funktioniert leider nicht.

Nicht jeder Frameverlauf ist identisch da kannst schlecht durch Vergleichen die gleichen Stellen finden.

 

[mirko10]

Das ist richtig, aber im Falle von Fraps passiert folgendes:

Fraps läuft, du startest das Game und lässt eine Timedemo laufen. Sobald diese losläuft startest du die Aufzeichnung von Fraps und musst sie auch im richtigen Moment beenden. Das ganze 3x und du solltest halt immer die gleichen Anfangs- und Endpunkte finden, sonst kannst du die Werte gleich wegschmeißen.

Timedemo höre ich nicht so gerne. Optimal sollte im Spiel gemessen werden, da Timedemos andere Lastbedingungen verursachen können. Ganz schlimm wäre das bei CPU Tests. Fraps musst du nicht selber beenden. Wenn exakte Vergleichbarkeit gegeben ist, stellst du zum Beispiel in Fraps ein stop benchmark after 30 seconds. Dann brauchst du nur im richtigen Moment die Aufzeichnung anschmeißen und das Beenden erledigt Fraps von alleine.

 

[Don]

Jaein

Klar, so kann man das machen und so muss man das auch machen, so lange man Fraps nicht irgendwie auf die Szene synchronisieren kann. Aber jetzt überleg dir mal:

- 3x durchlaufen lassen
- 3x in der Excel-Tabelle die Messpunkte synchronisieren
- Mittelwerte bestimmen
- Diagramm erstellen

Jetzt bist du mit einer Karte, bei einer bestimmten Auflösung in einem Game/Benchmark fertig

 

[Don]

Timedemo höre ich nicht so gerne. Optimal sollte im Spiel gemessen werden, da Timedemos andere Lastbedingungen verursachen können. Ganz schlimm wäre das bei CPU Tests. Fraps musst du nicht selber beenden. Wenn exakte Vergleichbarkeit gegeben ist, stellst du zum Beispiel in Fraps ein stop benchmark after 30 seconds. Dann brauchst du nur im richtigen Moment die Aufzeichnung anschmeißen und das Beenden erledigt Fraps von alleine.

Ok, sagen wir nicht Timedemo sondern beispielsweise eine gescriptete Szene zu Beginn eines Levels.

Ja ich kann Fraps eine Zeit vorgeben, denn muss ich nur noch den passenden Startpunkt finden.

 

[mirko10]

Naja Diagramme würde ich auch nicht für jedes Spiel und jede Auflösung anfertigen. Das wäre dann doch zu viel verlangt. Wenn man sich die Mühe bei 2-3 Spielen in einer ausgewählten Auflösung macht, ist das schon ok. Das wäre mehr als 99% aller Tester, da sich so gut wie niemand die Mühe macht.

 

[boxleitnerb]

Sehe ich genauso. Man kann den Aufwand schon verringern.

z.B. in neueren Spielen, die von Tessellation profitieren, wo Nvidia und AMD ja doch einen deutlicheren Unterschied vorweisen, könnte man die Betrachtung etwas ausführlicher machen. Oder generell in gängigen Settings wie 1080p mit 4xAA/16xAF.

Bei CPUs kann man die Methodik auf das ganze Testfeld ausweiten, denn:

1.
Ist die Szene CPU-limitiert (800x600, viel Action mit Physik, KI etc.), braucht man nicht alle Modelle benchen. Das Plus durch 133 oder 200 MHz mehr oder weniger kann man sich dann selbst prozentual ausrechnen.

2.
Ein Setting reicht auch, da es keinen Sinn macht, in HD-Auflösung mit verschiedenen AA-Stufen CPUs zu testen.

3.
Sollte man eh auf geskriptete Abläufe verzichten.

Schon ist der Aufwand deutlich geringer geworden.

 

[fdsonne]

Komponente A:

Dauer: 60s
Sek. 1-20: 20 fps
Sek. 21-40: 40 fps
Sek. 41-60: 60 fps

Komponente B:

Dauer: 60s
Sek. 1-5: 20 fps
Sek. 6-20: 30 fps
Sek. 21-40: 40 fps
Sek. 41-60: 53 fps

Komponente C:

Dauer: 60s
Sek. 1-20: 40 fps
Sek. 21-40: 40 fps
Sek. 41-60: 40 fps

Neja die Beispiele sind denke ich äußerst Praxisfremd... Derart konstante FPS Raten wird man wohl nicht finden...

 

[boxleitnerb]

Deshalb schrieb ich ja "tendenziell". Außerdem: Kannst du das für jede Benchszene behaupten? Es ist auch nur ein Beispiel, warum ein Mittelwert allein nicht sinnvoll ist.

Fakt ist, durch Bildung eines Mittelwerts werden Informationen vernichtet, die nützlich sein können. Deswegen macht man ja Frameverläufe und dergleichen

 

[fdsonne]

z.B. in neueren Spielen, die von Tessellation profitieren, wo Nvidia und AMD ja doch einen deutlicheren Unterschied vorweisen, könnte man die Betrachtung etwas ausführlicher machen. Oder generell in gängigen Settings wie 1080p mit 4xAA/16xAF.

Ja aber was hat der Leser davon?
Er weis immernoch nicht, warum die AMD Karte auf einmal mehr wenigbricht bei steigender Tesselationsanforderung. Und vor allem, ob das ganze immer im Spiel ist, oder ob sich das nur auf wenige Szenen beschränkt oder wie auch immer...

Es gilt ja mit einem Review einen möglichst objektiven Vergleich zwischen verschiedenen Modellen zu präsentieren. Klar kann man sich Szenen rauspicken, aber das ist dann nicht mehr Objektiv. Da man den einen oder anderen schlechter dastehen lässt.
In der Allgemeinheit aller Leser geht denke ich der Gedanke rum, das derartige Tests auf alle Anwendungsfälle ausweitbar sind. Was definitiv nicht richtig ist. Allenfalls schafft man einen Überblick über die getesteten Anwendungen. Bei rausgepickten Szenen sogar nur über diese Testszenarien...

Ich denke schlussendlich kommt es auch drauf an, was man überhaupt präsentieren will. Wenn ich Vorzüge von 2GB Grafikkarten zeigen will, brauch ich nicht mit mittleren Details oder ohne AA usw. benchen. Sprich der eigentliche Testkurs, welchen die Karten im normalen Review nehmen ist ziemlich ungeeignet um Vorteile von 2GB Modellen zu zeigen.
Wird aber oft gemacht... Im Fazit steht dann, das die Karte xy mit 2GB sich nicht lohnt usw.
Bei nem Grafikkarten Review neuer Produkte beispielsweise will ich möglichst gute Vergleichbarkeit in gängigen Szenarien zu älteren Produkten haben. Hier wiederum eignet sich ein Testsetting welches auf VRAM Vor- und Nachteile zugeschnitten ist wiederum weniger bis gar nicht...
Derartige Beispiele gibts noch viele. Tesselationsleistung, PhysX Leistung, Sachen ala SLI/CF. BQ Vergleiche usw.

Wie man sieht, hängt die Präsentation von Werten stark davon ab, was man schlussendlich zeigen will. Ich würde denke ich so einiges anders machen als Reviewschreiber, da ich aber kein Reviewschreiber bin und mir auch die Mittel (zu testende Produkte) sowie der geeignete Unterbau dazu fehlen, kann ich sowas nur immer wieder erwähnen

Deshalb schrieb ich ja "tendenziell". Außerdem: Kannst du das für jede Benchszene behaupten? Es ist auch nur ein Beispiel, warum ein Mittelwert allein nicht sinnvoll ist.

Fakt ist, durch Bildung eines Mittelwerts werden Informationen vernichtet, die nützlich sein können. Deswegen macht man ja Frameverläufe und dergleichen

Damit verfolgst du schon erstmal den richtigen Ansatz
Mittelwerte sind im allgemeinen erstmal schlecht.
Bedenke aber, wir reden hier über FPS, FPS Werte sind Mittelwerte. Nehmlich die Summe der Anzahl der Bilder in einer Sekunde. Unabhängig davon, wie sich diese Anzahl zusammensetzt. --> siehe MR Problematik von Multi GPU Systemen.
Wobei stimmt gar nicht, FPS sind keine Mittelwerte, sondern Summen. Aber gemessen über einen Zeitraum von einer Sekunde... Da dieser Zeitraum aber so lang ist, das das menschliche Auge starke unterschiede bei unterschiedlich langen Frametimes warnimmt, macht es wenig(er) Sinn damit zu hantieren, ohne zu wissen wie sich der FPS Wert zusammen setzt.

Echte Vergleichbarkeit bekommt man über Frameverlaufsdiagramme am besten diese gebildet anhand der Frametimes. So geht keine Information verloren. Die Frage wäre aber, interessiert sowas den Leser wirklich? Der normalo Leser kennt idR nur FPS. Mehr FPS heist mehr gut

Um jetzt nochmal auf deine Werte von oben zurück zu kommen, bilde dochmal die Prozentwerte für diese Szene.

In Szene A wären das: (in Klammern der Vergleich mit einer exakt 20% schnelleren Karte)
min: 20, max: 60, avg: 40 (24, 72, 48)
33,3% (33,3%) <25FPS
33,3% (0%) 25-40FPS
33,3% (66,6%) >25FPS

B: min: 20, max: 53, avg: 40 (24, 64, 48)
8,3% (8,3%) <25FPS
58,3% (25%) 25-40FPS
33,3% (66,6%) >40FPS

C: min: 40, max: 40, avg: 40 (48, 48, 48)
0% (0%) <25FPS
100% (0%) 25-40FPS
0% (100%) >25FPS

So aber was sagt mir das jetzt genau? Ich sehe das sich die FPS Zahlen bei der schnelleren Karte nach oben geschoben haben, aber das kann ich mir auch erahnen, wenn ich mir den avg. FPS Wert ansehe... Ich finde ehrlich gesagt den Mehrwert an der Sache nicht...

EDIT:
und 20% Unterschied sind sehr wenig zwischen zwei Karten... Man bedenke, es gibt Dual GPU Karte, HighEnd Single GPU Klasse, Mittelklasse usw. da liegen zwischen der Mittelklasse und den Dual GPU Monstern oft 400%+ dazwischen. Wenn ich meine Einstufungsskala für die Prozentwerte nun so wähle, das eine Leistungsklasse repräsentative Werte bringt (sprich sinnvolle Prozentwerte) so werden die Klassen drüber/drunter eher wie im Beispiel C: dastehen. Sprich fast 100% in einer der drei Einstufungen... Und das ist der Punkt, wo sich sage, der Vergleich bringt dem Leser dann nix mehr. Man müsste das ganze feiner Abstufen... Um so feiner, um so besser, nur kommen wir dann wieder zum Frameverlaufsdiagramm dieser Werte Also ein direkter Vergleich zwischen allen Messwerten im Millisekundentakt.

 

[Dampfkanes]

- 3x in der Excel-Tabelle die Messpunkte synchronisieren <-- eine manuelle Funktion hierfür ist bereits integriert
- Mittelwerte bestimmen <- ist drin, sowohl wie min, max und Standardabweichung.
- Diagramm erstellen <-- müsste ich eventuell noch etwas verschönern, ist aber bereits drin

All das wär mit meinem Tool bereits möglich.
ich seh schon. Ich müsste an meinem Framverlaufstool vielleicht doch noch weiter machen und schon könnte ich es vermarkten.
Der Bedarf scheint da zu sein.
Versteht mich nicht falsch. Ich bin nicht geldgeil. Ich bin nur schon länger am überlegen, mich als Programmierer selbstständig zu machen (gelernt hab ich eigentlich was anderes). Noch dazu kostet die Lizenz der Progammiersoftware ebenfalls Geld.

Ich hab es für die Frameverläufe im Heaven 2.1-Benchmarkthread verwendet:
http://www.hardwareluxx.de/community/f153/unigine-heaven-2-1-benchmark-thread-mit-frameverlaeufen-720931.html
Blättert ruhig mal ein paar Seiten durch. Ich hab auch MultiGPU-Vergleiche in Abhängigkeit der Mittelungsdauer für die Fps-Werte angestellt (Posting #43, #51, #74, #94, #112, #114, #122).

ciao Tom

 

[fdsonne]

Ob sowas jemand kaufen würde? Ich meine, es handelt sich hier ja nicht um was weltbewegendes, was man umbedingt haben muss...
Denke mal als Freie Software kann sowas durchaus anklang finden... Aber als Lizensierte Version wohl denke ich nicht.

Übrigens, wenn du dich nochmal an das Tool setzt, mach mal bitte die Gitternetzlinien in den Verlaufsdiagrammen weniger auffällig. Das stört massiv beim betrachten der Diagramme

 

[Dampfkanes]

Ob sowas jemand kaufen würde? Ich meine, es handelt sich hier ja nicht um was weltbewegendes, was man umbedingt haben muss...

naja, gejammert wird ja genügend, wie aufwändig solche Diagramme in der Erstellung sind.
Mit dem Tool gehts in 1-2 Minuten (egal wieviele Grakas in den Vergleich rein sollen).
Ob der/das verwendete Benchmark/Spiel und zeit- oder framebasiert ist, keine Problem. Kann man umstellen.
Auch gibts wie gesagt die Möglichkeit, auszuwählen, für welche Zeitabstände die Fps-Werte berechnet werden.
Dieses Thema kommt imho bisher ohnehin bei den Reviews viel zu kurz. Meist werden hier wohl nur die Fps-Werte verwendet, die Fraps ausspuckt und für jeweils 1 Sekunde berechnet hat.

Frei geht leider offiziell nicht. Das lässt afaik das Lizenzmodell der Programmiersoftware, welche ich verwendet hab, nicht zu.

Ja, die Diagramme sind noch so eine Sache. Exportiert oder als Screenshot verlieren sie leider arg an Qualität. Daran wäre wie oben bereits erwähnt noch zu arbeiten. Als Deluxe-Version müsste aber auch eine Erweiterung machbar sein, welche die Diagramme über VBA in Excel erstellt. Und leider nein, VBA kann ich so gut wie gar nicht und Ambitionen/Zeit, dass zu erlernen, nur um das Tool in einer frei verfügbaren Version (Excel-Tabellenblatt mit Makros) anzubieten, hab ich leider auch nicht.

ciao Tom

 

[fdsonne]

Was verwendest du denn für eine Programmiersoftware?

 

[Dampfkanes]

NI LabVIEW - Die grafische Programmierumgebung für Ingenieure und Wissenschaftler
hier noch ein Ausschnitt vom Quellcode:

 

[liath]

Finde es viiiiel wichtiger, dass mittels Frametime-Abständen die FPS auf subjektive FPS reduziert werden. Das ist nicht nur bei MGPU Karten oder SLI/CFX von Belang. Wer das nicht glaubt braucht nur mal mit FRAPS nachzumessen.... Und das variiert (bei konst. FPS!!) von Spiel zu Spiel. Insbesondere wenn man VSync aktiviert reduzieren sich die subjektiven FPS ganz erheblich (da hilft dann auch Triplebuffering nicht viel), und das obwohl FPS konstant gehalten werden. Wenn der FPS Wert dann von der Refreshrate bzw. halben Refreshrate auch noch verschiedene ist, ist der Einfluss von VSync mitunter ziemlich verheerend auf die subjektiven FPS. Habe zb mal einen "kleinen Test" gemacht im Freundeskreis. Mit dem Tool "Mikroruckler Tester" habe ich (natürlich im Single GPU Modus) jedem einmal 30 FPS und dann 51 FPS vorgespielt und die linke obere Ecke wo die FPS angezeigt werden habe ich verdeckt.
Dann habe ich gefragt "Was glaubt ihr waren die höheren FPS". Als Antworten kamen fast immer, dass die 30 FPS die höher/flüssiger seien. Und ansonsten "beide gleich denk ich mal", aber niemals wurden die 51 FPS richtig erraten. (Das Ganze bezieht sich auf 60 Hz Refreshrate)

Natürlich ist das bei reinen Benchmarks wie 3dMark oder Heaven oder so Quatsch. Aber bei Ingame-Benchmarks absolut sinnvoll und nötig wie ich finde.

So wie Grakas hier oder woanders getestet werden, sagt mir das null ob ich mit der Karte zufrieden sein werde..

@Dampfkanes (Sorry für Offtopic): Könntest du theoretisch einen universellen FPS Limiter programmieren ? Also im Prinzip genau das, was FRAPS macht, wenn man auf "FPS Lock" ein Video aufzeichnet ?

 

[fdsonne]

@Dampfkanes
ich werd mir mal die 30 Tage Trail von der Software runterladen und mal schauen ob ich in irgend ner Weise da ne Excelanbindung hinbekomm
Wenn gar nix hilft könnte man ja auch die Daten in eine Datei blasen und dann automatisiert in Excel wieder einlesen...

 

[Dampfkanes]

@Dampfkanes (Sorry für Offtopic): Könntest du theoretisch einen universellen FPS Limiter programmieren ? Also im Prinzip genau das, was FRAPS macht, wenn man auf "FPS Lock" ein Video aufzeichnet ?

nö, dazu ist zum einen LabVIEW nicht geeignet und zum anderen hab ich von DirectX und Co zu wenig Ahnung
vielleicht kann man ja den Erschaffer von Fraps dafür begeistern.

@fdsonne
in eine Excel-Datei schreiben geht. Ich hab dazu ganz zu Beginn mal fertige VIs (so nennen sich die Programme in LabVIEW) verwendet
Naja, jetzt ists wohl genug für OT<--- das sagt sich immer so leicht

ciao Tom

 

[liath]

Ah okay das mit LabView hab ich überlesen. Die Software ist mir sogar bekannt ;-)

Na ja, hatte schon eMail Kontakt mit dem FRAPS-Fritzen. Der meint, dass dafür wohl zu wenig Nachfrage da wäre... und na ja. Da kann ich ihm einfach nicht zustimmen, immer mehr Leute haben Stotterprobleme (= Frametime Schwankungen), die sich mit einem FPS Limit lösen lassen (Bitte jetzt nicht die leidige VSync Diskussion starten!)

 

[mirko10]

Ein Anfang wäre es auch mit aktuellen Treibern zu testen.

 

[Mr.Soapdown]

Ein Anfang wäre es auch mit aktuellen Treibern zu testen.

Zumal man zwischendurch eine grafikkarte benchen könnte. Wenn doch voraussehbar ist, dass was neues am markt ankommt, muss ich nicht die uralt treiber nehmen, aber den letzen aktellen wäre schon was. Man hat dann auch nicht gleich 30 stunden arbeit einer kompletten sitzung vor sich, da man sich die arbeit aufteilen kann. Wenn die auslieferung einer neuen karte mit einem neuen treiber daher her kommt kann man darauf hinweisen und vielleicht gezielt mit diesem treiber einzelne dinge nachbenchen.