> > > > Huawei räumt Benchmark-Manipulation bei diversen Smartphones ein

Huawei räumt Benchmark-Manipulation bei diversen Smartphones ein

Veröffentlicht am: von

huawei mate 10 pro

Spätestens seit Mitte 2013 ist bekannt, dass auch Smartphone-Hersteller Benchmark-Resultate verfälschen. Die ertappten Unternehmen gelobten in schöner Regelmäßigkeit Besserung, eine abschreckende Wirkung hatte das aber nicht, wie sich zeigt. Denn eine genauere Inaugenscheinnahme zeigt, dass Huawei bei diversen neuen Smartphones für falsche Werte gesorgt hat. Die Verantwortung dafür schiebt man auf andere.

Entdeckt wurde der Betrug von Anandtech beim Testen des neuen Honor Play. Während der üblichen Messung sei man auf merkwürdige Ergebnisse gestoßen, die nicht zum verbauten Kirin 970 passten, bzw. sich nicht mit den Werten übereinstimmten, die das im Frühjahr vorgestellte P20 liefert. Das nahm man zum Anlass, einige Geräte mit dem gleichen SoC erneut zu testen, dieses mal gründlicher und mit Benchmark-Versionen, die nicht erkannt werden konnten. Das Ergebnis: Alle überprüften Smartphones verfügen über eine Benchmark-Erkennung, die das Leistungsverhalten des SoCs manipuliert.

Beim Honor Play sorgt die im GFXBench (T-Rex Offscreen) nahezu für eine Verdoppelung der Framerate von etwa 66 auf 127 fps. Gleichzeitig steigt der durchschnittliche Energiebedarf während des Benchmarks von knapp 4,4 auf annähernd 8,6 W. Im 3DMark (Sling Shot 3.1 Extreme Unlimited Graphics) liegt das Plus bei 38 %, das Huawei P20 ist im gleichen Test 25 % schneller, das P20 Pro (Test) immer noch 7 %.

Dem Bericht zufolge hat Huawei dabei auf eine besondere Form der "Optimierung" zurückgegriffen. War es beispielsweise beim Galaxy S4, HTC One M8 oder beim OnePlus 3T üblich, die SoC-Taktraten über das eigentliche Maximum hinaus anzuheben, wird es hier als umgekehrte Herangehensweise beschrieben. So ruft der Kirin 970 nur dann seine volle Leistung respektive die beworbenen Maximaltaktraten ab, wenn ein Benchmark erkannt wird. Hier greift dann auch das thermische Limit nicht mehr oder erst sehr viel später. Jegliche andere Software läuft hingegen früh in die Begrenzung.

Warum Huawei sich für das Verfälschen entschieden haben könnte, zeigt eine genauere Analyse des Energiebedarfs. Ausgehend von einem „gesunden" Limit in Bezug auf den SoC-Bedarf von etwa 3,5 bis 4,4 W, wäre der Kirin 970 deutlich langsamer als seine Konkurrenten. Denn schon unter normalen Umständen, also nicht erkannten Benchmarks, operiert der SoC im Bereich des üblichen Limits. Alles darüber führt nicht nur zu einer schnelleren Leerung des Akkus, sondern unter Umständen auch zu einer verkürzten Lebensdauer des Smartphones.

Im Gespräch mit Anandtech räumte Huawei die Vorwürfe ein, verwies jedoch auf namentlich nicht genannten Mitbewerber aus China. Diese würden ebenfalls bei Benchmarks betrügen, weshalb man zu diesem Mittel greifen müsse, um wettbewerbsfähig zu bleiben. Was zunächst zumindest in Teilen verständlich klingt, entpuppt sich jedoch schnell als bloße Ausrede. Denn im gleichen Gespräch verwies man darauf, dass Benchmarks für den Alltag keine oder nur eine sehr geringe Aussagekraft hätten.

Während letzteres sehr zutreffend ist, verblüfft es angesichts der Tatsache, dass vor allem die Tochtermarke Honor bei Smartphone-Präsentationen immer wieder auf die hohe Leistung vor allem in Bezug auf Gaming verwiesen hat und dafür auch auf Benchmark-Resultate zurückgegriffen hat.

Zumindest eine Konsequenz hat der Bericht inzwischen gehabt. Denn wie UL, Mutter des 3DMark-Entwicklers Futuremark mitteilt, hat man eigene Nachtests durchgeführt und in Folge dessen das P20 Pro, Nova 3 und Honor Play aus den eigenen Ranglisten entfernt. Hinzu kommt das P20, das aufgrund der Anandtech-Recherche nicht mehr geführt wird. Begründet wird dieser Schritt mit der Verletzung der Nutzungsregeln für Gerätehersteller. Diese untersagen unter anderem eindeutig eine Leistungsanpassung aufgrund der Erkennung eines Benchmarks. Doch bei Huawei arbeitet man bereits an einer Lösung, um wieder aufgenommen zu werden. Gegenüber UL teilte das Unternehmen mit, dass man plant, einen „Performance-Modus" zu integrieren, den Nutzer aktivieren können. Dieser soll die Leistung auf das Niveau anheben, dass derzeit auch nach dem Erkennen eines Benchmarks abrufbar ist.

Social Links

Kommentare (32)

#23
Registriert seit: 01.12.2007

Oberstabsgefreiter
Beiträge: 435
Bei den ganzen Scores geht es um Marketing, und Marketing ist sozusagen definiert als ******.

Die Argumentation dass das alle machen und es deswegen legitim ist, erinnert mich ein wenig ans 3. Reich.
#24
customavatars/avatar95720_1.gif
Registriert seit: 27.07.2008
Nahe München
Vizeadmiral
Beiträge: 6911
War es nicht Samsung, die eine Software auf ihren Topmodellen hatte, die erkannt hat, wenn gerade ein Benchmark läuft und CPU/GPU dann niucht heruntergeregelt wurden?

Dass viele Hersteller irgendwo schummeln stimmt wahrscheinlich. Da viele Käufer da draussen keinerlei Ahnung von den Geräten haben und daher annehmen, ein Benchmarkergebniß sage irgendwas aus, wird das wohl auch erstmal so bleiben, es wird nur besser versteckt.


Wo wir grad beim THema sind - wieso baut VW eigentlich noch keine Smartphones? :fresse:
#25
customavatars/avatar120848_1.gif
Registriert seit: 04.10.2009
Eisscholle hinten links
Fregattenkapitän
Beiträge: 3030
Indirekt schon beim Design mit Huawei Mate Porsche Design RS und Mate 9 Porsche Edition.
#26
Registriert seit: 15.09.2009

Kapitänleutnant
Beiträge: 1707
Zitat Cool Hand;26506234
Die werden von Testern so sehr gelobt, dass ich es auch mal probiert habe. Nicht nochmal. Unfassbar was da für derbe Probleme schon in der Software (aber auch Hardware) in Artikeln komplett ignoriert werden. Da kann ich nur vermuten, dass die von Huawei Geld bekommen. Ähnlich wie sie es ja auch bei Kunden machen: "Gib uns eine Rezension bei Amazon und du bekommst 30 Euro zurück".


Was war das Problem mit Huawei?
Ich habe selber eins. Mich stört nur die Supercharger Sache. An anderen Ladegeräte lädt das Handy nicht.

Ich habe aber auch nicht daran manipiert. Kein root oder so.
#27
customavatars/avatar168454_1.gif
Registriert seit: 18.01.2012

Admiral
Beiträge: 8771
Zitat Kommando;26507316
Puh, da bestätigt sich der Eindruck von Huawei-Smartphones. Damals schon funktionsloser Schrott, jetzt ne Mogelpackung. Gut, dass wir die Firma nach dem ersten Versuch gemieden haben.


Schade das bei dir in der Firma völlige Idioten solche Entscheidungen zu treffen scheinen.
Huawei ist ja nicht ohne Grund derzeit Platz zwei Hinter Samsung.
#28
customavatars/avatar127530_1.gif
Registriert seit: 19.01.2010
NRW
Kapitänleutnant
Beiträge: 2043
Gibts noch Leute, die Smartphone Benchmarks interessieren?
#29
customavatars/avatar281911_1.gif
Registriert seit: 13.02.2018

Fregattenkapitän
Beiträge: 2791
Gibt es. Laut Statistik ist der "Mobilmarkt" bei Spielen sogar der größte. Dabei macht es schon seit 2014 kaum Sinn ein neues Smartphone zu kaufen. Fehlende microSD, weniger Akku, störende Sachen im Display, neu jetzt fehlende Audiobuchse, lass mal. Wer denkt sich so einen Schrott aus (außer Apple)? Ich frage mich auch immer wozu man acht Kerne im Handy braucht, man rendert ja nicht darauf und letztlich throttlen die sowieso.

So ein Sony XZ gibt es ja jetzt schon für 250 €, im letzten Jahr kostete es das Doppelte.
#30
Registriert seit: 15.09.2009

Kapitänleutnant
Beiträge: 1707
Zitat Gubb3L;26508900
Schade das bei dir in der Firma völlige Idioten solche Entscheidungen zu treffen scheinen.
Huawei ist ja nicht ohne Grund derzeit Platz zwei Hinter Samsung.


Lies nochmal. Mit Firma meint er Huawei.
#31
customavatars/avatar95720_1.gif
Registriert seit: 27.07.2008
Nahe München
Vizeadmiral
Beiträge: 6911
Zitat shaderfetischGTxXx;26509105
Laut Statistik ist der "Mobilmarkt" bei Spielen sogar der größte.


Die "Games", die da mit rein fließen sind halt 500 verschiedene Connect-3 Spiele, 2D Rätsler und ähnliche einfache Zeit-tot-treter, nur die wenigsten Spielen überhaupt mal ein Spiel, dass 3D Grafiken beinhaltet.
Von daher ist ein Benchmark für die allermeisten komplett wurst, aber man kann halt einfach Werbung damit machen - 12% schneller als Konkurrenzprodukt B hört sich doch gut an.
Dass der 08/15 Smartphonekäufer eh keine Ahnung hat, fallen die halt auf sowas rein.
#32
customavatars/avatar39948_1.gif
Registriert seit: 10.05.2006

Fregattenkapitän
Beiträge: 2921
Zitat Gubb3L;26508900
Schade das bei dir in der Firma völlige Idioten solche Entscheidungen zu treffen scheinen.
Huawei ist ja nicht ohne Grund derzeit Platz zwei Hinter Samsung.


A) Es geht nicht um eine Firma
B) Die Entscheidung wurde aufgrund persönlicher Erfahrungen getroffen.
C) Wenn Du solche Entscheidungen aufgrund von eigenen Erfahrungen nicht nachvollziehen kannst oder weil du bei denen arbeitest, dann ok.
D) Platz zwei sagt genau was? Samsung ist ja auch trotz TouchWiz Marktführer...
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

Japan Display entwickelt komplett durchsichtigen Fingerabdrucksensor

Logo von IMAGES/STORIES/2017/JDI

Japan Display (JDI) hat einen neuen Fingerabdrucksensor entwickelt, welcher laut Hersteller komplett durchsichtig integriert werden kann. Aufgrund der transparenz sei es für die Hersteller möglich, den Sensor direkt im Display zu verbauen. Vivo hat vor kurzem ein erstes Smartphone mit einem... [mehr]

Huawei Mate 10 Pro im Test: KI und schmaler Rand reichen nicht

Logo von IMAGES/STORIES/2017/HUAWEI_MATE_10_PRO_TEST

Den zweiten Platz fest im Blick: Mit Smartphones wie dem Mate 9 und P10 konnte Huawei sich als drittgrößter Smartphone-Hersteller behaupten, nun soll der Platz hinter Samsung erreicht und Apple damit verdrängt werden. Eine wichtige Rolle spielt dabei das Mate 10 Pro, das nicht nur das... [mehr]

Huawei P20 Pro im Test: Es braucht mehr als Notch und Top-Kamera

Logo von IMAGES/STORIES/2017/HUAWEI_P20_PRO_02

Seit nun mehr zwei Jahren zählt Huawei zur Spitzengruppe, wenn es um die Qualität einer Smartphone-Kamera geht. Die seinerzeit geschlossene Kooperation mit Leica sowie der Einsatz einer Dual-Kamera-Lösung entpuppten sich als Erfolg, den man seitdem behutsam weiterentwickelt hat. Mit dem... [mehr]

LG V30 im Test: Das Smartphone für Musikfans

Logo von IMAGES/STORIES/2017/LG_V30_TEST

Gerade noch rechtzeitig vor Weihnachten hat es LGs V30 in den Handel geschafft. Nachdem Interessierte in Asien und Nordamerika teilweise schon seit Wochen zugreifen können, wird das neue Aushängeschild der Südkoreaner erst jetzt auch in Deutschland angeboten. Unglücklicher könnte das Timing... [mehr]

Honor 7X im Test: Dem Zwilling des Mate 10 lite fehlt Eigenständigkeit

Logo von IMAGES/STORIES/2017/HONOR_7X_TEST

So anders Honor auch sein will: An der Gesetzmäßigkeit regelmäßiger Produktwechsel kommt man nicht vorbei. Entsprechend erhält das Honor 6X nach fast genau einem Jahr eine Ablösung. Neben den üblichen Änderungen im Innern gibt es ein neues Display sowie ein anderes, doch sehr vertraut... [mehr]

Samsung Galaxy S9+ im Test (1/3): SoC und Design sind keine Argumente

Logo von IMAGES/STORIES/2017/SAMSUNG_GALAXY_S9_TEST

Auf das komplett neue Galaxy S8 folgt das nur leicht aufgefrischte Galaxy S9. Mit neuem SoC und neuer Kamera soll der Erfolg des Vorgängers wiederholt, im besten Fall sogar übertroffen werden. Doch garantiert ist das nicht, wie erste Reaktionen unmittelbar nach der Vorstellung des... [mehr]