> > > > Benchmark-Schummeleien: Meizu und OnePlus wurden ertappt

Benchmark-Schummeleien: Meizu und OnePlus wurden ertappt

Veröffentlicht am: von

oneplus 3tEs ist per se bekannt, dass viele Hersteller in Benchmarks dezent schummeln. Das Procedere läuft so ab, dass die jeweiligen Smartphones beim Starten eines Benchmarks zum Beispiel darauf achten, die höchsten CPU- / GPU-Takte anzulegen, auch wenn jene im Alltag sonst niemals angewendet werden. Im Ergebnis verhält sich die Hardware dann in synthetischen Benchmarks anders als bei der regulären Nutzung.

In den vergangenen Jahren wurden etliche Hersteller wie HTC, LG, Samsung und Sony dieser Praktiken überführt. Am Ende gab es in den Medien und einschlägigen Communities viele Kontroversen um diese Benchmark-Manipulationen. Die genannten Hersteller hörten schließlich als Folge mit den Schummeleien auf, zumal auch die Benchmark-Entwickler neue Maßnahmen einführten, um die Mogeleien der Hersteller zu erschweren. Aus diesem Grund sind etwa die Benchmark-Tests in Geekbench 4 zeitlich länger als in Geekbench 3, damit die Hersteller nicht so einfach die Möglichkeit haben, speziell für das Benchmark über längere Zeit zu übertakten.

OnePlus 3

Nun ist allerdings bekannt geworden, dass einige Unternehmen nicht die Finger von Benchmark-Schummeleien lassen konnten. So konnten die Kollegen von XDA Developers nachweisen, dass OnePlus beim OnePlus 3 und OnePlus 3T für Benchmark-Apps ein spezielles CPU-Verhalten herbeiführt. Weitere Tests in Zusammenarbeit mit Primate Labs, den Entwicklern von Geekbench, wiesen auch beim Hersteller Meizu bzw. speziell dem Meizu Pro 6 Plus fragwürdiges Benchmark-Verhalten nach. Das ist besonders prekär, da Meizu die SoCs in seinen Smartphones oft im Alltag stark heruntertaktet bzw. sie sehr konservativ nutzt. Dadurch bleiben oft leistungsfähige Kerne deaktiviert und die Performance ist selbst bei den High-End-Modellen überraschend moderat. In Geekbench aktiviert Meizu beim Pro 6 Plus ebenfalls Taktraten-Obergrenzen, die im Alltag im Grunde nie erreicht werden können und nutzt dort auch die leistungsfähigen Kerne des Exynos 8890 viel stärker als im normalen Betrieb.

XDA Developers nahm nach den Tests mit OnePlus Kontakt auf. OnePlus gelobte schlichtweg Besserung. Meizu hat sich offenbar noch nicht zu den Benchmark-Verzerrungen geäußert.

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (22)

#13
customavatars/avatar7321_1.gif
Registriert seit: 30.09.2003
MD
Bootsmann
Beiträge: 610
Zitat Performer;25274822
Genau wie Benchmarks.


Unsinniger Kommentar, merkst du hoffentlich selbst.
#14
customavatars/avatar1651_1.gif
Registriert seit: 01.04.2002

Admiral
Beiträge: 13682
Zitat G00fY;25274839
Benchmarks sind aber die einzige Möglichkeit eine gewisse Vergleichbarkeit herzustellen.

Aber es ist nur eine theoretische Vergleichbarkeit für die maximale mögliche Leistung eines Produkts also muss diese auch freigeschalten werden !
Die Seiten brauchen doch nur praxisnah zu testen und schon ist das Problem gelöst. Wenn die es sich einfach machen warum nicht der Hersteller ?
#15
Registriert seit: 18.03.2007

Oberleutnant zur See
Beiträge: 1301
wenn alle hersteller beschei...n dann ist es ja am ende eh wieder gleich ^^^jetzt wurden halt 2 erwischt der rest machts eben nur besser ;)

mfg
#16
customavatars/avatar202850_1.gif
Registriert seit: 06.02.2014
Im sonnigen Süden
Admiral
Beiträge: 11745
Zitat Performer;25274946

Die Seiten brauchen doch nur praxisnah zu testen und schon ist das Problem gelöst. Wenn die es sich einfach machen warum nicht der Hersteller ?

Und wie soll man das bitteschön anstellen?
Man braucht eine Software die Werte ausspuckt, sonst sind alle resultate extrem objektiv.
Wenn die Hersteller nicht solche besonderen modi einsetzen würden, dann wären die Benchmarks auch praxisnah, denn man könnte davon ausgehen dass eine normale App auch diese Leistung abrufen könnte - grad das ist aber offenbar nicht der Fall.
#17
customavatars/avatar215183_1.gif
Registriert seit: 01.01.2015
€uropäische Union - Bairischer Sprachraum
Fregattenkapitän
Beiträge: 2613
Ich sehe mir diese Benchmarks schon lange nicht mehr an, betrügen tun doch alle, wer das auch noch verteidigt schadet sich auch selbst, was hat man schon von 500€ Hardware wenn sie die Leistung einer 200€ Hardware im Alltag gleichgestellt ist - eine Krankheit die die Kunden wollen.
#18
customavatars/avatar202850_1.gif
Registriert seit: 06.02.2014
Im sonnigen Süden
Admiral
Beiträge: 11745
Zitat lll;25275568
was hat man schon von 500€ Hardware wenn sie die Leistung einer 200€ Hardware im Alltag gleichgestellt ist - eine Krankheit die die Kunden wollen.
Naja, so ists nun auch wieder nicht. Das zusätzliche Silizium bringt schon auch was in der App-Praxis. Die Benchmarks sind eher nützlich um Phones der Selben Preisklasse zu vergleichen, denn da gibt es ja auch bei selbem CHip oft Unterschiede was Takt und Drosselung angeht...
#19
Registriert seit: 08.11.2015

Bootsmann
Beiträge: 625
Zitat Performer;25274946
[...] Die Seiten brauchen doch nur praxisnah zu testen und schon ist das Problem gelöst. Wenn die es sich einfach machen warum nicht der Hersteller ?

ach, und wie soll man da dann etwas messen?

"gefühlt ist das smartphone a etwas schneller als b. aber das kommt mir nur heute so vor, gestern hatte ich noch das gefühl es ist andersrum. mein kollege x dagegen schwört darauf, dass sein smartphone c viel schneller ist, was kollege y dagegen nicht bestätigen kann."

wow, das lohnt natürlich richtig.
du lässt immer einen schwachsinn ab, man kann sich nur noch an den kopf fassen.

kaufst du auch grafikkarten aufgrund von "fühlt sich bei mir flüssig an, muss also schnell sein" aussagen von irgendwelchen hanswürsten?
#20
customavatars/avatar179024_1.gif
Registriert seit: 29.08.2012

Flottillenadmiral
Beiträge: 5274
Stellt Euch einfach mal vor, Euer Provider würde im Speedtest 100Mbit/s liefern und Euch sonst überall auf 10Mbit/s drosseln, weil ihr ja fast nie die Leistung braucht... Ohh, da würdet Ihr aber direkt durch die Decke gehen. Auch beim Desktoprechner wäre es doch hirnlos, wenn CPUs für einen fünfminütigen 3DMark- Run auf 5GHz hoch gehen würden, die bei normalen Anwendungen über eine Stunde hinweg total instabil wären. Man führt Benchmarks aus, um die Leistungsfähigkeit der Hardware zu vergleichen und beeinflusst damit Kunden zum Kauf, die möglicherweise in der Praxis dann sogar noch Nachteile dadurch erfahren.

Ich sehe das auch als bewusste Täuschung an.
#21
customavatars/avatar156734_1.gif
Registriert seit: 08.06.2011
Tirol
Oberbootsmann
Beiträge: 866
Zitat oooverclocker;25275712
Stellt Euch einfach mal vor, Euer Provider würde im Speedtest 100Mbit/s liefern und Euch sonst überall auf 10Mbit/s drosseln, weil ihr ja fast nie die Leistung braucht... Ohh, da würdet Ihr aber direkt durch die Decke gehen. Auch beim Desktoprechner wäre es doch hirnlos, wenn CPUs für einen fünfminütigen 3DMark- Run auf 5GHz hoch gehen würden, die bei normalen Anwendungen über eine Stunde hinweg total instabil wären. Man führt Benchmarks aus, um die Leistungsfähigkeit der Hardware zu vergleichen und beeinflusst damit Kunden zum Kauf, die möglicherweise in der Praxis dann sogar noch Nachteile dadurch erfahren.

Ich sehe das auch als bewusste Täuschung an.


"Benchmarks". Gibts dazu die Sources? Nein? Schade .. dann ist es nur ein Tool das irgendwelche nicht nachvollziehbaren Zahlen auswirft.
AMD und Nvidia regarieren übrigens beide schon seit jeher "anders" auf Heaven und 3DMark und das kümmert auch niemanden. In FurMark geht das sogar soweit dass eigene sonst ungenutzte Schutzmechanismen zugeschaltet werden. Aber ja, "Bechmark".

Der Typ oder? Imgur: The most awesome images on the Internet

Wenn man Ergebnisse für Alltags-Apps haben möchte, soll man doch mit diesen Testen.
Täuschung ist es zu suggerieren dass ein einfaches Tool die Performance von Alltags-Apps nachstellen und bewerten kann. Und das alles noch ohne Faktoren wie Cherrypicking.

mfg,
Markus
#22
customavatars/avatar202850_1.gif
Registriert seit: 06.02.2014
Im sonnigen Süden
Admiral
Beiträge: 11745
Zitat markus88;25276398
Wenn man Ergebnisse für Alltags-Apps haben möchte, soll man doch mit diesen Testen.

Hast du gelesen was n0dder geschrieben hat?
Und Fettschreiben macht einen Post nicht unbedingt sinnvoller...

Klar sind Benchmarks auch nicht das Ideale, aber was besseres und gleichzeitig praktikables gibt es nicht.
Furmark wird außerdem selten als benchmark für Leistung genutzt, sondern nur zum Messen der max Temperatur.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

Samsung Galaxy A3 (2017) und Galaxy A5 (2017) im Test

Logo von IMAGES/STORIES/REVIEW_TEASER/SAMSUNG_GALAXY_A3_A5_2017

Einmal befriedigend, einmal gut, zweimal zu teuer: Vor fast genau einem Jahr konnten Samsungs Galaxy A3 und Galaxy A5 des Jahrgangs 2016 überraschen, aber nicht vollends überzeugen - trotz teilweise großer Fortschritte. Erfolgreich war das Gespann dennoch, eine Neuauflage mehr als... [mehr]

Samsung Galaxy S8 im Test - Technik toll, Format mau (Video-Update)

Logo von IMAGES/STORIES/2017/SAMSUNG_GALAXY_S8_02

Für Samsung bricht eine neue Zeitrechnung an. Denn das Galaxy S8 ist nicht nur Topmodell Nummer 1 nach dem Desaster rund um das Galaxy Note 7, mit dem erstmaligen Einsatz des Infinity Display ist eine gravierende Design-Änderung verbunden. Der Test zeigt, warum die Fakten anders als die... [mehr]

Huawei P10 im Test - die neue 5-Zoll-Referenz

Logo von IMAGES/STORIES/REVIEW_TEASER/HUAWEI_P10

Aus der Smartphone-Landschaft ist Huawei spätestens seit dem Frühjahr 2016 nicht mehr wegzudenken. Mit dem P9 schaffte es das Unternehmen, sich selbst in der Oberklasse zu etablieren. Im Herbst legte man mit dem Mate 9 eine Größenklasse weiter oben nach, nun folgt das P10. Die Fußstapfen sind... [mehr]

Huawei P10 lite im Test

Logo von IMAGES/STORIES/REVIEW_TEASER/HUAWEI_P10_LITE

Wer P sagt, muss auch lite sagen: Wie schon im vergangenen Jahr setzt Huawei 2017 auf eine P-Familie mit drei Mitgliedern. Durften das P10 und P10 Plus ihre Premiere im Rampenlicht des MWC schon Ende Februar feiern, wurde des P10 lite nun knapp vier Wochen später nachgereicht. Vielleicht nicht... [mehr]

HTC U11 im Test

Logo von IMAGES/STORIES/2017/HTC_U11_TEST

Auf 10 folgt U11: Was falsch klingt, ist nach Ansicht HTCs die logische Weiterentwicklung des letztjährigen Flaggschiffs. Denn nicht nur die Technik wurde auf den aktuellen Stand der Dinge gebracht, auch neue Funktionen wie Edge Sense oder Active Noise Cancelling sollen Käufer locken. Doch dass... [mehr]

Moto G5S im Test: Fast das Brot-und-Butter-Smartphone

Logo von IMAGES/STORIES/2017/MOTO_G5S

Halbjahres- statt Jahresrhythmus: Ungewöhnlich schnell hat Motorola respektive Lenovo das Moto G5 und Moto G5 Plus überarbeitet. Offiziell handelt es sich beim Moto G5S und Moto G5S Plus zwar jeweils nur um eine Special Edition, tatsächlich aber sind die Änderungen nicht unerheblich.... [mehr]