ID.nl logo
Huis

Samsung en HTC spelen vals met benchmarks

Wanneer je de hardwareprestaties van verschillende toestellen met elkaar wilt vergelijken, is het normaal om benchmarkapplicaties te gebruiken. Deze apps zijn lang niet altijd even betrouwbaar en zeker niet als fabrikanten deze apps extra processorkracht toewijzen.

De chipset van jouw toestel bevat een aantal chips, zoals een processor (CPU) en een grafische chip (GPU). Deze chips hebben een bepaalde maximale kloksnelheid, dieaangeeft hoeveel keer per seconde een signaal gelezen wordt. Hoe hoger de kloksnelheid (op dezelfde processor), hoe sneller de processor werkt.

De maximale kloksnelheid wordt bepaald door de fabrikant en is afhankelijk van een aantal factoren. Aan de ene kant wil je natuurlijk dat de chip zo snel mogelijk werkt. Aan de andere kant zorgt een hogere kloksnelheid voor meer accuverbruik en loopt de temperatuur van de chip hoger op. Er wordt dus getracht hierin een balans te vinden. Het komt dan ook regelmatig voor dat smartphonefabrikanten hun chipsets een lagere maximale kloksnelheid meegeven dan door de chipsetfabrikant wordt vermeld als 'maximaal'. 

Samsung Galaxy S4

In het geval van de de Samsung Galaxy S4 bleek er iets vreemds aan de hand te zijn. Iemand op het forum vanBeyond3D was het opgevallen dat de maximale kloksnelheid van de grafische chip van de Galaxy S4 hoger leek bij bepaalde benchmarkapplicaties dan bij veeleisende games. Benchmarkapps worden gebruikt om een score te berekenen die aangeeft hoe goed de hardwareprestaties van een bepaald toestel zijn. Het feit dat deze apps hogere kloksnelheden van het systeem leken te krijgen was reden genoeg voor de mensen achter de populaire techblog Anandtech om hun Galaxy S4's weer uit de kast te halen.

De Samsung Galaxy S4 is uitgebracht in een aantal varianten, waaronder één met een Samsung-chipset, de Exynos 5 Octa (5410). Deze chipset heeft een grafische chip met een maximale kloksnelheid van 533 MHz. Samsung lijkt deze maximale kloksnelheid in de S4 echter gezet te hebben op 480 MHz. Bij het spelen van games en het draaien van andere grafisch veeleisende apps kwam de gebruikte kloksnelheid nooit boven de 480 MHz uit. Wanneer bepaalde benchmark-applicaties gebruikt werden, bleek de grafische chip ineens wel tot de maximale snelheid van 533 MHz te komen. Dit bleek bij geen enkele game te gebeuren, maar wel bij een aantal specifieke (veelgebruikte) benchmarkapplicaties.

Vergelijking

Niet alle benchmarkapps kregen een hogere kloksnelheid. Dat de verschillende behandeling voor sommige benchmarkapplicaties voor grote verschillen in gemeten prestaties zorgt, wordt al snel duidelijk. Een veelgebruikte benchmarkapplicatie, GLBenchmark, is namelijk van naam veranderd (GFXBench). De oudere versie (die op de gemeten punten gelijk is aan de nieuwe versie volgens de makers van de benchmarkapps) draait op 533 MHz en de nieuwe versie op 480 MHz. Dit zorgt er voor dat de scores maar liefst 13,9% hoger liggen in de oude versie van de benchmarktool.

Samsung ontkent dat er gebruik is gemaakt van een 'specifieke tool' om benchmarkapplicaties beter te laten draaien. Volgens het bedrijf is 533 MHz de normale maximale kloksnelheid en krijgen bepaalde apps, zoals de browser, de camera en benchmarkapplicaties toegang tot de volledige kloksnelheid. De meeste games zouden deze hogere kloksnelheid niet nodig hebben en de gemaakte wijzigingen zijn 'niet bedoeld om bepaalde benchmarkresultaten te verbeteren'. 

Dat valt nog zeker wel te betwijfelen. Anandtech vond namelijk in de code van de applicatie die de kloksnelheid van de grafische chip regelt een aantal interessante teksten. In de tekst waren in ieder geval een aantal applicatienamen van bekende benchmarkapps als GLBenchmark, AnTuTu en Quadrant gevonden. In de tekst werd ook duidelijk het woord 'BenchmarkBooster' gevonden, wat op z'n minst gezegd nogal verdacht is. Inderdaad, het is logisch dat applicaties die veeleisend zijn (zoals benchmarkapps) een hogere kloksnelheid kunnen gebruiken, maar ook voor games kan zo'n hogere kloksnelheid nuttig zijn. Wanneer games deze hogere kloksnelheid niet krijgen, bijvoorbeeld om accuduur te besparen, zorgt de benchmarkscore op zijn minst voor een vertekend beeld. 

Processor en andere toestellen

Ook de processor blijkt bij het opstarten van een benchmarkapplicatie voluit gezet te worden. In de code zijn overigens ook verwijzingen teruggevonden naar de versie van de Galaxy S4 die in Nederland verkrijgbaar is en ook daar zou een 'boost' te vinden zijn. 

Samsung is echter niet het enige bedrijf dat benchmarkapplicaties hogere kloksnelheden geeft. Journalist Arnoud Wokke van Tweakers.net deelde op Twitter een aantal screenshots met informatie over de maximale kloksnelheid van de processoren bij het openen van benchmarkapplicatie Quadrant op de HTC One. Deze geeft aan dat alle vier de processorkernen op het maximale niveau zitten. Dit is vreemd, aangezien het hoofdscherm van de applicatie nog helemaal geen hogere kloksnelheid vereist: er gebeurt helemaal niets op het scherm. Ter vergelijking laat hij zien dat het processorgebruik op een Galaxy S III met een open source-versie van Android in het hoofdscherm een heel stuk lager ligt.

Het lijkt er dus op dat benchmarkresultaten nog minder betrouwbaar zijn dan we aanvankelijk dachten. We wisten al wel dat bepaalde benchmarkapplicaties gemanipuleerd werden, maar niet op deze schaal. Benchmarkresultaten zijn voor veel mensen een belangrijke factor bij het aanschaffen van een nieuwe toestel en deze benchmarkresultaten zijn dan ook een belangrijke marketingtool geworden. Ook wij maken ons daar schuldig aan: wij hebben regelmatig benchmarkresultaten gebruikt om de prestaties van toestellen met elkaar te vergelijken, vooral omdat het lastig is om objectief aan te geven hoe snel een toestel nu eigenlijk is. We proberen wel altijd duidelijk te maken dat benchmarkresultaten een incompleet beeld schetsen: ze zijn nuttig, maar uiteindelijk gaat het er om hoe snel een toestel in de praktijk is. Nu blijkt dus dat ze niet alleen een incompleet, maar ook een vertekend beeld schetsen.   

Bronnen: Anandtech en The Verge

▼ Volgende artikel
It Takes Two- en Split Fiction-maker bezig met opnames voor nieuwe game
Huis

It Takes Two- en Split Fiction-maker bezig met opnames voor nieuwe game

Hazelight Studios, de ontwikkelaar van de succesvolle coöperatieve games It Takes Two en Split Fiction, heeft een nieuwe game in ontwikkeling en is op dit moment bezig met de opnames ervoor.

Enige tijd geleden gaf regisseur Josef Fares al aan dat er een nieuwe game in ontwikkeling was bij de studio, maar nu heeft hij op social media een foto geplaatst waarop Fares te zien is met drie acteurs in motion capturing-pakken. Daarmee wordt dus duidelijk gemaakt dat de opnames voor de game in ieder geval al in volle gang zijn.

Overigens is de identiteit van de acteurs niet bekend. Fares houdt zijn arm voor de gezichten van de acteurs. Mogelijk zijn het dus bekende acteurs en wil hij dat nog verhullen, al is dat speculatie. Over speculatie gesproken: het feit dat er drie acteurs te zien zijn, doet sommige fans vermoeden dat de nieuwe game van Hazelight mogelijk met drie spelers tegelijk te spelen valt in plaats van twee, maar ook dat is nog alles behalve bevestigd.

View post on X

Over de games van Hazelight Studios

Hazelight Studios is gespecialiseerd in het creëren van games die coöperatief doorlopen moeten worden. No Way Out, It Takes Two en Split Fiction vergen allen twee spelers. Daarbij draait het om samenwerken, wat hun games een populaire bezigheid maakt voor gamende koppels en vrienden.

It Takes Two bleek een grote hit voor de studio. In het spel spreekt een dochter van een ruziënd stel een vloek over het tweetal uit, waardoor ze minuscuul worden. Ze zullen moeten leren communiceren en samenwerken om zich uit deze hachelijke situatie te redden, terwijl ze als kleine poppen door een uitvergrote versie van hun huis en tuin reizen.

Na het succes van It Takes Two bracht Hazelight het conceptueel vergelijkbare Split Fiction uit. Die game draait om twee schrijvers, Mio en Zoe, die worden ingehuurd om verhalen te creëren voor een technologie die deze verhalen levensecht kan simuleren. De vrouwen worden door het bedrijf achter de technologie echter gevangen in een simulatie, en in de game wordt er constant tussen de twee verhalen van Mio en Zoe geschakeld. Dat levert zowel fantasievolle als futuristische settings op.

Zowel It Takes Two als Split Fiction komen met een Friend Pass. Dat houdt in dat maar één speler de game hoeft te kopen, en de tweede speler gratis online mee kan spelen. De games zijn ook via splitscreen samen op de bank speelbaar.

Watch on YouTube
▼ Volgende artikel
Apple is nu de volledige eigenaar van hitserie Severance
Huis

Apple is nu de volledige eigenaar van hitserie Severance

Apple heeft de volledige rechten op de Apple TV-serie Severance overgenomen, en gaat de serie voortaan binnenshuis produceren.

De eerste twee seizoenen van Severance staan al op Apple TV, maar de serie werd geproduceerd door Fifth Season. Apple Studios was alleen de distributeur. Daar is nu verandering gekomen: Apple heeft iets minder dan 70 miljoen dollar betaald voor de volledige rechten op de serie.

Dat betekent dat het bedrijf de productie van de serie voortaan ook zelf gaat doen, al zal Fifth Season wel als executive producer aangesteld blijven. Ook showrunner Dan Erickson en uitvoerden producent Ben Stiller (die we natuurlijk ook kunnen van vele comedyfilms) blijven hun rollen bekleden, dus aan de kwaliteit van de serie verandert als het goed is niets.

Watch on YouTube

Financiële stabiliteit

Volgens Deadline zou de overname mogelijk gedaan zijn om de productie van de show financieel stabiel te houden. In het tweede seizoen waren de productiekosten naar het schijnt zo'n 20 miljoen dollar per aflevering, en Apple kan door zijn formaat dit beter dragen.

Het plan is dat Severance in totaal vier seizoenen krijgt - al worden een vijfde seizoen en een spin-off ook niet uitgesloten. De opnames van het langverwachte derde seizoen moet aankomende zomer starten. De makers van de serie willen eerst de scripts zover mogelijk afkrijgen, zodat ze bij schrijfwerk van de laatste afleveringen van het seizoen nog relatief goedkoop terug kunnen gaan naar scripts van eerdere afleveringen om wijzigingen aan te brengen waar nodig.

Watch on YouTube

Over Severance

De Apple TV-serie Severance draait om Mark S., die een opmerkelijke kantoorbaan bij het bedrijf Lumon Industries heeft: zodra hij op kantoor komt, weet hij niets van zijn leven buiten kantoor. Wanneer hij klaar is en weer naar huis gaat, weet hij niets van zijn werk. Dat komt door een speciale procedure waardoor de herinneringen van de werkplek in het privéleven gescheiden worden.

Dit concept is de voedingsbodem voor een ingewikkelde en verrassende serie waarin Mark samen met zijn collega's langzaam maar zeker probeert te achterhalen hoe de vork precies in de steel steekt bij Lumon. Zoals gezegd zijn er inmiddels twee seizoenen uitgekomen, die beiden op streamingdienst Apple TV te zien zijn.