Innrømmer at ny HTC One «jukser» i testprogrammer

[The Norwegian Drone Pilot]

Jo, det er juks når man setter telefonen i en modus som ingen andre applikasjoner kan dra nytte av, og som dermed gjør at testene ikke sier noe om hvordan telefonen yter i daglig bruk.

 

Jeg fatter ikke at noen ved sine fulle fem kan forsvare en slik praksis.

 

Og hvorfor skal et notat program eller Facebook f.eks ha nytte av maks hastighet?

[The Norwegian Drone Pilot]

Nemlig, alle skal testes på like premisser, dvs. hindres i å jukse.

 

Igjen, når det ikke er å jukse med å kjøre GPU'en og CPU'en på maks hastighet under benchmark apps på en datamaskin, så er det samme prinsipp for smarttelefoner.

 

Så som du sier, det skal testes på like premisser, og derfor går Samsung og HTC den rette veien til hva som blir gjort på en datamaskin under benchmarking uavhengig av hva andre produsenter mener eller gjør anngående dette.

[teitur]

Og hvorfor skal et notat program eller Facebook f.eks ha nytte av maks hastighet?

Det er det da heller ingen som har påstått at de skal ha.

[PL610]

Igjen, når det ikke er å jukse med å kjøre GPU'en og CPU'en på maks hastighet under benchmark apps på en datamaskin, så er det samme prinsipp for smarttelefoner.

 

Så som du sier, det skal testes på like premisser, og derfor går Samsung og HTC den rette veien til hva som blir gjort på en datamaskin under benchmarking uavhengig av hva andre produsenter mener eller gjør anngående dette.

Hvilken nytte har den gjennomsnittlige mobilkjøper av slike testresultater?

De sier ingenting om hvor rask telefonen er i vanlig bruk.

M8 scoret jo til og med lavere enn de andre da den ikke kunne jukse.

 

Det vil jo si at den er tregere til vanlig bruk, men kanskje den veier opp for det med økt batteritid.

Det er derfor man sammenligner modeller.

[newnick]

Tror ikke gjennomsnittlig mobilkjøper leser slike tester. Men å kalle dette for juks blir helt feil. At en telefon ikke scorer maks i alle tester er da vitterlig helt vanlig, og har ingenting med juks å gjøre...

[The Norwegian Drone Pilot]

 

Og hvorfor skal et notat program eller Facebook f.eks ha nytte av maks hastighet?

Det er det da heller ingen som har påstått at de skal ha.

 

 

PL610 har jo klart og tydelig sagt flere ganger at alle andre apps skal kjøre på maks hastighet bare fordi benchmarke apps gjør det.

 

 

Igjen, når det ikke er å jukse med å kjøre GPU'en og CPU'en på maks hastighet under benchmark apps på en datamaskin, så er det samme prinsipp for smarttelefoner.

Så som du sier, det skal testes på like premisser, og derfor går Samsung og HTC den rette veien til hva som blir gjort på en datamaskin under benchmarking uavhengig av hva andre produsenter mener eller gjør anngående dette.

Hvilken nytte har den gjennomsnittlige mobilkjøper av slike testresultater?
De sier ingenting om hvor rask telefonen er i vanlig bruk.
M8 scoret jo til og med lavere enn de andre da den ikke kunne jukse.

Det vil jo si at den er tregere til vanlig bruk, men kanskje den veier opp for det med økt batteritid.
Det er derfor man sammenligner modeller.

 

 

Så bare fordi mesteparten ikke bryr seg om slike benchmarks, så betyr det at benchmarke applikasjonene må gi feile resultater på hvor kraftig en enhet er for dem som faktisk bryr seg?

 

Og en benchmark applikasjon er ikke her for å gi oss noe svar på hvordan telefonene er under vanlig bruk. Det er som sagt noe du selv må finne ut med å prøve ut telefonene selv for å finne ut hvordan telefonene fungerer under vanlig bruk for deg. Hva vanlig bruk for meg er kan være 100 ganger mere voldsom enn det du tar for vanlig bruk. Derfor går det ikke ann å gi noen resultater via benchmarks på hvordan en telefon virker under vanlig bruk.

Endret 4. april 2014 av Vindicator

[PL610]

Hvor ligger pengene tror du? Hos vanlige brukere, eller teknonerder?

 

Selskapene er ute etter å tjene penger, derfor vil de alltid prøve å komme best mulig ut i forhold til konkurrentene.

De useriøse selskapene benytter seg av juks som vi jo har sett.

M8 scorer mye lavere enn konkurentene i ytelsestester som er like for alle, men kan klare seg bedre i andre sammenhenger, som f.eks batteritid?

 

Optimalisering for vanlig bruk er noe helt annet enn optimalisering for maks ytelse.

 

Dette var jo både urovekkende og litt morsomt, det ser ut til at de har et litt annet syn på juksing i asiatiske land:

 

 

"We want fairness. There is no fairness if you do not let us cheat."

 

According to the protesters, cheating is endemic in China, so being forced to sit the exams without help put their children at a disadvantage.

http://www.telegraph.co.uk/news/worldnews/asia/china/10132391/Riot-after-Chinese-teachers-try-to-stop-pupils-cheating.html

http://gizmodo.com/026212/cheating-korean-students-to-get-jammed-up/all

http://www.globalpost.com/dispatch/news/regions/asia-pacific/thailand/120103/US-college-application-fraud-asia-elite-economy-china

http://m.gulfnews.com/news/world/other-world/south-korean-cram-schools-probed-over-us-test-scandal-1.1189328

:)

[Syar-2003]

 

...

...

 

Jøsses (latter)

Har dere ikke gitt dere enda.

Sitter oppe om nettene til og med.

Jeg skal ikke si hva det likner på.......

[PL610]

. . . . eller så er det postet på morgenen før man reiser på jobb

[Syar-2003]

. . . . eller så er det postet på morgenen før man reiser på jobb

Det gjør det bare litt bedre.

[newnick]

Selvfølgelig er det ikke juks å la cpu/gpu jobbe på maks mens ytelsen testes. Det er normalt, og klarer ikke andre produsenter sørge for dette så har jo de rett og slett ikke forstått hva en ytelsetest er...

[teitur]

Selvfølgelig er det ikke juks å la cpu/gpu jobbe på maks mens ytelsen testes. Det er normalt, og klarer ikke andre produsenter sørge for dette så har jo de rett og slett ikke forstått hva en ytelsetest er...

Jo det er og blir juks så lenge andre apper som skulle trenge det ikke har samme mulighet.

 

Det du og Vindicator åpenbart ikke klarer forstå, er at systemet skal fungere slik at benchmarks får tilgang til maks ressurser selv uten en slik boost mode,

Forskjellen er at de må vente til systemet oppfatter behovet og tildeler dem. Den tregheten utgjør hele forskjellen i resultatet.

 

På min HTC One (m7), får jeg, hvis jeg husker riktig, nøyaktig samne resultat i benchmarks enten jeg kjører med power saver (som bla. skal klokke ned prosessoren) av eller på. Det kunne være interessant å se hvor mye reduksjon i ytelse denne underklokkingen fører til, men HTC mener altså tydeligvis ikke det.

Hadde man lagt inn performance/balanced/power saver mode i strøminnstillinger hadde jeg ikke sagt noe på det. Når det derimot er en skjult funksjon, som det egentlig ikke var meningenn at noen skulle oppdage, er det ikke noe annet å kalle det en juks, bedrag og svindel.

[The Norwegian Drone Pilot]

 

Selvfølgelig er det ikke juks å la cpu/gpu jobbe på maks mens ytelsen testes. Det er normalt, og klarer ikke andre produsenter sørge for dette så har jo de rett og slett ikke forstått hva en ytelsetest er...

Jo det er og blir juks så lenge andre apper som skulle trenge det ikke har samme mulighet.

Det du og Vindicator åpenbart ikke klarer forstå, er at systemet skal fungere slik at benchmarks får tilgang til maks ressurser selv uten en slik boost mode,
Forskjellen er at de må vente til systemet oppfatter behovet og tildeler dem. Den tregheten utgjør hele forskjellen i resultatet.

På min HTC One (m7), får jeg, hvis jeg husker riktig, nøyaktig samne resultat i benchmarks enten jeg kjører med power saver (som bla. skal klokke ned prosessoren) av eller på. Det kunne være interessant å se hvor mye reduksjon i ytelse denne underklokkingen fører til, men HTC mener altså tydeligvis ikke det.
Hadde man lagt inn performance/balanced/power saver mode i strøminnstillinger hadde jeg ikke sagt noe på det. Når det derimot er en skjult funksjon, som det egentlig ikke var meningenn at noen skulle oppdage, er det ikke noe annet å kalle det en juks, bedrag og svindel.

 

 

Og det du fortsatt ikke forstår er at benchmarke applikasjoner SKAL kjøre på maks hastighet på samme måte som benchmarke programmer gjør på en datamaskin. Hva andre apps gjør eller ikke gjør om dette har ingen betydning. Så lenge benchmarke applikasjonene får gjennomført de oppgavene dem er laget for å gjøre uten noen form for hinder, så er det likegjyldig på hvor mye begrenset eller ubegrenset andre apper er. Det er dette som er poenget.

 

Dette scriptet Samsung bruker er på samme måte som at folk drar ut på en bilbane som er veldig lang som er laget for dragrace f.eks for å lete etter steiner og andre ting som kan ligge i banen som kan være til hinder for dem som skal utføre en dragrace (benchmark). Da fjerner disse folkene disse steinene og det andre om det er noe i banen og påser at dragracet (benchmarkingen) kan bli gjennomført uten problem.

 

Så lenge benchmarke applikasjonene får gjennomført sine tester uten hinder, så er det dette som er hele poenget UAVHENGIG av hva andre apps måtte finne på å gjøre.

 

Skjønner du dette?

Endret 5. april 2014 av Vindicator

[kimare]

Jeg sitter med en følelse av at samtlige argumenter i denne debatten er brukt "et par" ganger. Jeg tror det er på tide å innse at noen ikke blir enige. Å gjenta samme argumentene enda en gang hjelper neppe. Er lov å være uenige, selvom man mener motparten nødvendigvis ikke vil/ evner/ ønsker å se sin eneste og fulle sannhet, og derfor er helt dust.

 

PS siste setning er ikke rettet mot en spesifikk skyttergrav.

Endret 5. april 2014 av kimare

[teitur]

Så lenge benchmarke applikasjonene får gjennomført sine tester uten hinder, så er det dette som er hele poenget UAVHENGIG av hva andre apps måtte finne på å gjøre.

 

Skjønner du dette?

Selvsagt skjønner jeg dette, men hele poenget her er at dette er noe systemet skal sørge for, for alke apps som måtte trenge det. Om nødvendig skal systemet -ved behov - la den aktive applikasjonen få tilgang til alle ressurser som ikke er reservert systemet selv, uavhengig av om det er en (gjenkjent) benchmark app eller noe helt annet.

Som nevnt er jeg heller ikke fremmed for en performance mode, som er tilgjengelig for alt.

 

Det som gjør dette til juks er at man i det skjulte overstyrer all vanlig resdursstyring for et predefinert utvalg [benchmark]apps.

Som nevnt i forrige innlegg kan det for eksempel være interessant å se hvilket utslag strømsparemodus har på ytelsen, men denne overstyringen gjør at det ikke er mulig.

[The Norwegian Drone Pilot]

 

Så lenge benchmarke applikasjonene får gjennomført sine tester uten hinder, så er det dette som er hele poenget UAVHENGIG av hva andre apps måtte finne på å gjøre.

Skjønner du dette?

Selvsagt skjønner jeg dette, men hele poenget her er at dette er noe systemet skal sørge for, for alke apps som måtte trenge det. Om nødvendig skal systemet -ved behov - la den aktive applikasjonen få tilgang til alle ressurser som ikke er reservert systemet selv, uavhengig av om det er en (gjenkjent) benchmark app eller noe helt annet.
Som nevnt er jeg heller ikke fremmed for en performance mode, som er tilgjengelig for alt.

Det som gjør dette til juks er at man i det skjulte overstyrer all vanlig resdursstyring for et predefinert utvalg [benchmark]apps.
Som nevnt i forrige innlegg kan det for eksempel være interessant å se hvilket utslag strømsparemodus har på ytelsen, men denne overstyringen gjør at det ikke er mulig.

 

 

Du har kanskje ikke tenkt på det at det kan være speed throttlingen i Android som gjør at visse apps ikke får den ytelsen dem skal ha?

 

Se på dette: http://www.tomshardware.com/news/samsung-galaxy-s4-4.4-kitkat-performance-cpu-throttling-dvfs,26414.html

 

Går det fortsatt ikke opp for deg på hvorfor Samsung og HTC vil gjøre det på denne måten under benchmarks og på hvorfor enkelte apps ikke får kjørt på maks hastighet?

Endret 5. april 2014 av Vindicator

[PL610]

Det er jo litt spesielt hva Futuremarks bestemmelser har å si om saken:

 

“The platform may not detect the launch of the benchmark executable,” Futuremark’s regulations clearly state. “The platform must not alter, replace or override any parameters or parts of the test, nor modify the usual functioning of the platform based on the detection of the benchmark.”

 

Og følgelig:

 

As noted by The Register, benchmark test creator Futuremark has publicly shamed Samsung and HTC by removing several of their devices from its website. The site ranks smartphones and tablets according to their performance on its 3Dmark test for Android, which measures graphics performance on mobile devices.

http://bgr.com/2013/11/27/samsung-benchmark-cheating-banned-htc/

 

Og dette kommer opp når man søker opp M8 på Futuremarks sider:

 

Delisted

This device does not comply with Futuremark benchmark rules. You should not use this score to compare devices.

http://www.futuremark.com/hardware/mobile/HTC+One+%28M8%29+%28MSM8974AB%29/review

 

De burde jo vite hva de snakker om :)

Endret 6. april 2014 av PL610

[The Norwegian Drone Pilot]

Det er jo litt spesielt hva Futuremarks bestemmelser har å si om saken:

 

“The platform may not detect the launch of the benchmark executable,” Futuremark’s regulations clearly state. “The platform must not alter, replace or override any parameters or parts of the test, nor modify the usual functioning of the platform based on the detection of the benchmark.”

 

Og følgelig:

 

As noted by The Register, benchmark test creator Futuremark has publicly shamed Samsung and HTC by removing several of their devices from its website. The site ranks smartphones and tablets according to their performance on its 3Dmark test for Android, which measures graphics performance on mobile devices.

http://bgr.com/2013/11/27/samsung-benchmark-cheating-banned-htc/

 

Og dette kommer opp når man søker opp M8 på Futuremarks sider:

 

Delisted

This device does not comply with Futuremark benchmark rules. You should not use this score to compare devices.

http://www.futuremark.com/hardware/mobile/HTC+One+%28M8%29+%28MSM8974AB%29/review

 

De burde jo vite hva de snakker om :)

 

Som nevnt tidligere, så er dette kun for oppmerksomheten at dem gjør dette.

 

For hvis ikke dette ikke skulle etterkomme Futuremarks sine regler, så hvorfor er så reglene noe annet når det kommer til PC'er?

 

Igjen, benchmarks er benchmarks.

Endret 6. april 2014 av Vindicator

[PL610]

Niks, de måler faktisk ytelse og gir et sammenligningsgrunnlag som faktisk kan brukes til å velge den telefonen som yter best når kundene faktisk bruker telefonen.

Det er det som er viktig for kundene, ikke fiksede fantasitester noen få nerder mener er alfa og omega.

 

Man bør nok stole mer på f.eks Futuremark, enn på noen få forumbrukere som ikke vil innrømme at favorittselskapene deres jukser på slike tester :)

[The Norwegian Drone Pilot]

Niks, de måler faktisk ytelse og gir et sammenligningsgrunnlag som faktisk kan brukes til å velge den telefonen som yter best når kundene faktisk bruker telefonen.

Det er det som er viktig for kundene, ikke fiksede fantasitester noen få nerder mener er alfa og omega.

 

Man bør nok stole mer på f.eks Futuremark, enn på noen få forumbrukere som ikke vil innrømme at favorittselskapene deres jukser på slike tester :)

 

Så å teste CPU'ene og GPU'ene under 3DMark på en PC (som faktisk kjører CPU'en og GPU'en på maks hastighet) skal være annerledes enn det som skulle være for oss med smarttelefoner?

 

Å kjøre benchmarks på en smarttelefon har NØYAKTIG samme prinsippene som det benchmarking har på en PC. Så hvorfor skulle benchmarking være annerledes for dem med smarttelefoner over for dem som har en datamaskin?

 

Dem som ser etter benchmark resultater er ikke disse "normale" folkene du prøver å si at dem er. Normale folk ser ikke etter benchmark resultater, så dem som faktisk bryr seg om dette, så er rette benchmark resultater på hvor kraftig enhetene er veldig viktig. Ergo, din argumentasjon faller bort.

 

EDIT: Dem som bryr seg om faktisk / normal ytelse er normale folk som ikke havner innenfor gruppen som ser på benchmark resultater. Dem som ser etter benchmark resultater ser ikke etter det for å få noen tall på hvordan den realistiske ytelsen er, men for å kunne se hvor krafig demmes enheter / datamaskiner er under maks ytelse.

 

Så hvorfor skal vi som bryr oss om benchmarks bry oss om den realistiske ytelsen under normal bruk?

Endret 6. april 2014 av Vindicator