Samsung jukser med ytelsestesten på Galaxy Note 3

[teitur]

Jammen, er det juks dette da?

 

 

Med andre ord, hos andre leverandører så går3ikenn prosessoren for fullt når du kjører krevende oppgaver, slik at du ikkje får den fulle ytelsen som er tilgjengelig i prosessoren, ikkje sant?

 

Det er ihvertfall slik eg leser det, at hos Samsung så kjører prosessoren for fullt for best mulig ytelse når det kreves, hos andre gjør den ikkje det, formodentlig for å spare strøm elns.

 

Å kalle det juks er vel ikkje helt riktig.

Problemet er ikke at andre produsenter ikke kjører prosesoren for fullt under benchmarks, fordi det gjør de (med visse hederlige unntak). Problemet er at du aldri elkers vil få prosessoren (i note 3 eler en annen telefon produsenten jukser med) til å kjøre for fullt for andre applikasjoner.

[gammalerik]

 

Når denne funksjonaliteten kun brukes i benchmarks mener jeg det.

 

Vil vel heller si det sånn at andre mobilprodusenter er stokk stupid når de velger å idle seg gjennom en benchmark...

Endret 3. oktober 2013 av gammalerik

[byggeren]

Jeg tenkte også at dette var juks, men jeg har begynt å vike litt det siste døgnet. Helt redelig/ryddig er det ikke, og det beste måtte være om telefonen gav en melding i det du starter de identifiserte programmene om du vil "vekke telefonen" før oppstart JA/NEI.

 

Det Samsung gjør er å "vekke" telefonen fra strømsparing før benchmarkprogrammene starter ytelsestesten. Dette gjør at mobilen yter 100% fra start på testen. Dersom de ikke gjør dette, må en altså vente til den gjeldende strømsparingsinstillingen vekker telefonen, som kan variere i lengde og gjerne ta noen sekunder.

 

Faktisk er dette noe de forskjellige benchmarkprogrammene skulle gjort, da det er forskjellig hvordan produsentene velger å stille inn strømsparingen på telefonen. Først da ville disse ytelsestestene vist forskjellene på hardwaren i telefonen. På ellers lik hardware vil ofte forskjell i ytelse bare gjenspeile hvor aggressiv strømsparing produsenten har valgt å bruke i programvaren, det er jo ikke det vi ønsker å vite svaret på...

 

Dersom en setter seg til å spille et spill, eller redigere en video, vil uansett telefonen etter en liten stund kjøre på "full guffe", og da vil tallene som viser på ytelsestestene av Samsungtelefonene stemme med virkeligheten.

 

Dette ville vært mye verre dersom Samsung overklokket prosessore, GPU og minne når den kjente igjen enkelte programmer. Men det er ikke dette de er blitt avslørt for å gjøre.

[_dundun_]

 

Vil vel heller si det sånn at andre mobilprodusenter er stokk stupid når de velger å idle seg gjennom en benchmark...

 

 

Det er ikke noe problem å lage en telefon som ekstremt mye kjappere enn de vi har i dag. Bare å droppe underklokkinga av prosessoren det. Alle moderne CPUer kjøres på "tomgang" i forhold til hva de faktisk kan, for å spare strøm.

 

Om alle programmer har tilgang til en modus er det selvsagt bra at også benchmark har dette. Problemet oppstår benchmarks behandles annerledes enn alt annet.

[-ɐMoԀ-]

Jeg tenkte også at dette var juks, men jeg har begynt å vike litt det siste døgnet. Helt redelig/ryddig er det ikke, og det beste måtte være om telefonen gav en melding i det du starter de identifiserte programmene om du vil "vekke telefonen" før oppstart JA/NEI.

 

Det Samsung gjør er å "vekke" telefonen fra strømsparing før benchmarkprogrammene starter ytelsestesten. Dette gjør at mobilen yter 100% fra start på testen. Dersom de ikke gjør dette, må en altså vente til den gjeldende strømsparingsinstillingen vekker telefonen, som kan variere i lengde og gjerne ta noen sekunder.

 

Faktisk er dette noe de forskjellige benchmarkprogrammene skulle gjort, da det er forskjellig hvordan produsentene velger å stille inn strømsparingen på telefonen. Først da ville disse ytelsestestene vist forskjellene på hardwaren i telefonen. På ellers lik hardware vil ofte forskjell i ytelse bare gjenspeile hvor aggressiv strømsparing produsenten har valgt å bruke i programvaren, det er jo ikke det vi ønsker å vite svaret på...

 

Dersom en setter seg til å spille et spill, eller redigere en video, vil uansett telefonen etter en liten stund kjøre på "full guffe", og da vil tallene som viser på ytelsestestene av Samsungtelefonene stemme med virkeligheten.

 

Dette ville vært mye verre dersom Samsung overklokket prosessore, GPU og minne når den kjente igjen enkelte programmer. Men det er ikke dette de er blitt avslørt for å gjøre.

Egentlig dette jeg også mener.

[TheMoonMan]

Gode gamle Samsung viser seg fra sin vante side.

[gammalerik]

 

 

Det er ikke noe problem å lage en telefon som ekstremt mye kjappere enn de vi har i dag. Bare å droppe underklokkinga av prosessoren det. Alle moderne CPUer kjøres på "tomgang" i forhold til hva de faktisk kan, for å spare strøm.

 

Om alle programmer har tilgang til en modus er det selvsagt bra at også benchmark har dette. Problemet oppstår benchmarks behandles annerledes enn alt annet.

 

Poenget med en benchmark er å finne ut av hvor kraftig maskinvaren er under load? Da trår man gassen i bånn.

[HKS]

 

Vil vel heller si det sånn at andre mobilprodusenter er stokk stupid når de velger å idle seg gjennom en benchmark...

Men er ikke poenget med flere av disse "benchmarkene" å vise realistisk ytelse på en telefon?

[teitur]

Dersom en setter seg til å spille et spill, eller redigere en video, vil uansett telefonen etter en liten stund kjøre på R.full guffe", og da vil tallene som viser på ytelsestestene av Samsungtelefonene stemme med virkeligheten.

 

Slik jeg husker artiklene på anandtech om dette så er problemet at andre apps enn godkjente benschmarks faktisk ikke nødvendigvis får lov til det, i det minste ikke over lengre perioder

[idos]

Dersom disse hastighetene ikke er tilgjengelig for vanlige applikasjoner er dette å regne som juks, men dersom dette er hastigheter en oppnår når strømsparingen er slått av og en bare har vekket telefonen fra strømsparing før testen er det det vel helt greit.

[byggeren]

Hastigheten på prosessoren er tilgjengelig for applikasjoner som belaster maskinvaren, forskjellen er bare det at vanlige programmer må vente en stund før strømsparefunksjonen skrur seg av og telefonen yter 100%. Dette vil for en vanlig bruker ikke ha noen betydning, verdien av god strømsparing oppveier det at du kanskje må vente et sekund før maskinvaren yter 100%.

 

Det finnes helt sikkert unntak, altså programmer som belaster systemet på en slik måte at strømsparingen ikke skrur seg skikkelig av, men dette vil jeg tro er veldig få.

 

Strømsparingen slår uheldig ut på ytelsestester, og problemet her er at Samsung i det skjulte skrur av denne på populære applikasjoner. Tenk hvor elegant de kunne gjort dette med å gi brukeren et valg i det de identifiserte applikasjonene starter! Det er altså her Samsung dummer seg ut...

Endret 3. oktober 2013 av byggeren

[gammalerik]

Hastigheten på prosessoren er tilgjengelig for applikasjoner som belaster maskinvaren, forskjellen er bare det at vanlige programmer må vente en stund før strømsparefunksjonen skrur seg av og telefonen yter 100%. Dette vil for en vanlig bruker ikke ha noen betydning, verdien av god strømsparing oppveier det at du kanskje må vente et sekund før maskinvaren yter 100%.

 

Det finnes helt sikkert unntak, altså programmer som belaster systemet på en slik måte at strømsparingen ikke skrur seg skikkelig av, men dette vil jeg tro er veldig få.

 

Strømsparingen slår uheldig ut på ytelsestester, og problemet her er at Samsung i det skjulte skrur av denne på populære applikasjoner. Tenk hvor elegant de kunne gjort dette med å gi brukeren et valg i det de identifiserte applikasjonene starter! Det er altså her Samsung dummer seg ut...

 

Samsung har vel rett og slett forbedret en svakhet i OSet med dette. Og det viser seg også at HTC og LG driver med samme løsning.

 

Edit: Link på ny artikkel: http://www.mobili.no/nyheter/flere-produsenter-doper-mobilene-sine/

Endret 3. oktober 2013 av gammalerik

[EirikLF]

Anbefaler alle å lese anandtechs artikkel om dette, de er milevis foran resten av mobilnettsidene med sin omtale av dette:

 

http://www.anandtech.com/show/7384/state-of-cheating-in-android-benchmarks

 

Ser at mange her mener at dette er en smart optimalisering samsung har kommet med, en forbedring av android osv., og noe som vil bety at de har forbedret ytelsen i andre programmer også. Det er jeg helt uenig i, så la meg beskrive hva som skjer:

 

Alle slike mobilCPUer bytter mellom en rekke ulike tilstander med forskjellig klokkefrekvens, spenning, strømforbruk og ofte går de også i et slags hvilemodus. Programvare som kjører i OSet driver og måler temperaturer og hvor mye arbeid prosessen har som må gjøres og justerer klokkefrekvensene etter dette. Det fører til at når CPUene skal gjøre tungt arbeid må de vekkes opp før de begynner på jobben, men dette går fort nok til at det ikke er merkbart, og det må være slik for at strømfobruket skal være levelig.

 

Det samsung og mange andre produsenter gjør er at de inkluderer en liste med navn på applikasjoner som for eksempel Geekbench eller vellamo. Når disse appene startes, så deaktiveres hele strømsparingsfunksjonaliteten på CPUen, og CPUen kjører på maks frekvens så lenge appen er åpen, uavhengig av om du kjører testen eller ikke. (men de beholder fortsatt temperatursperrene, slik at CPUen klokkes ned når den blir for varm) (Arstechnicas teknikk for å teste den reelle ytelsen uten slike optimaliseringer var rettt og slett å bytte navnet på appen)

 

Med galaxy S4 exynos gikk samsung mye lengre, da overklokket de GPUen til en frekvens som det ikke var mulig å oppnå i spill, og de deaktiverte alle temperatursperrer, så det var fare for at telefonen kunne ta skade av å kjøre benchmarks.

 

Det er altså på ingen måte noen smart løsning eller noe som på noen som helst måte forbedrer ytelsen ved vanlig bruk, tvert imot er det bare et forsøk på å skjule problemene med programvaren som fører til at CPUen ikke klokkes opp raskt nok i ytelsestester.

Endret 3. oktober 2013 av EirikLF

[gammalerik]

Det er altså på ingen måte noen smart løsning eller noe som på noen som helst måte forbedrer ytelsen ved vanlig bruk, tvert imot er det bare et forsøk på å skjule problemene med programvaren som fører til at CPUen ikke klokkes opp raskt nok i ytelsestester.

 

Nettopp. Som jeg sier, et forsøk på å skjule svakhet/forbedre OSet når det kommer til benchmarking hvor det skal kunne gis full pinne. Det er allerede etablert en forståelse av at dette gjelder kun under benchmarks og ikke daglig drift.

[_dundun_]

Men da er det ikke lenger benchmarking. Det blir som å sette rakettmotor på en sliten volvo og hevde at den er verdens raskeste bil fordi den var det "i test".

 

Benchmarks er verdiløse dersom de ikke sier noe om reelt tilgjengelig ytelse.

[gammalerik]

Men da er det ikke lenger benchmarking. Det blir som å sette rakettmotor på en sliten volvo og hevde at den er verdens raskeste bil fordi den var det "i test".

 

Benchmarks er verdiløse dersom de ikke sier noe om reelt tilgjengelig ytelse.

 

Mener du tar totalt feil mtp reelt tilgjengelig ytelse her. Det at HTC, LG og Samsung har tatt mobilen ut av slumremodeus før testen begynner er helt reell situasjon i det virkelige liv. Når man kjører f.eks et actionspill går vel ikke mobilen i dvale mens man holder på. Fra et sekund til neste yter mobilen max, akkurat som det gjøres ved "tweaket" oppstart av benchmark hvor mobilen kun har fått tid til å våkne før testen starter.

[Terrasque]

 

Mener du tar totalt feil mtp reelt tilgjengelig ytelse her. Det at HTC, LG og Samsung har tatt mobilen ut av slumremodeus før testen begynner er helt reell situasjon i det virkelige liv. Når man kjører f.eks et actionspill går vel ikke mobilen i dvale mens man holder på. Fra et sekund til neste yter mobilen max, akkurat som det gjøres ved "tweaket" oppstart av benchmark hvor mobilen kun har fått tid til å våkne før testen starter.

 

Problemet er at telefonen faktisk setter cores i idle når du spiller et actionspill, for nettopp å spare strøm. Det er også ingen måte for en app eller bruker å si "Hei, jeg vil gjerne ha full guffe nå, kthx". Så det som benchmark programmet måler vil aldri kunne oppnås av et vanlig action spill.

[UrgeLoL]

Couldn't care less. Den er allerede så rask at ingen vil merke den ekstra ytelsen uansett. Den klarer utmerket godt å behandle 4k-video, mail, telefoni, SMS, notater, kalender, Angry Birds etc. Ytelsestestene er blitt mest en mulighet for de største nerdene til å nappe seg i løken. For hvermannsen betyr dagligopplevelsen mest.

Poenget må vel være at merkelappen "kraftigiste mobil" er utrulig viktig å kunne klistre på produktet sitt. Samsung må altså jukse for å få det til. Om ikke cpu/gpu makter å kjøre samme hastighet i annet en benchmarksw så er det juks.

[UrgeLoL]

 

Poenget med en benchmark er å finne ut av hvor kraftig maskinvaren er under load? Da trår man gassen i bånn.

Skjermkortet og cpu'en min på pcen kjører også med full load under spill, om spillet krever det. Det kan ikke spill på Note 3 gjøre.

 

Skjønner ikke helt at dette er noe å diskutere. Uansett hvilke produsenter som gjør dette så er det juks. En benchmark skal si noe om tilgjengelig ytelse, som Kvasbo sier. Og utviklere av apps og spill skal kunne hente denne kraften ut.

Endret 3. oktober 2013 av UrgeLoL

[Lunalotic]

 

Problemet er at telefonen faktisk setter cores i idle når du spiller et actionspill, for nettopp å spare strøm. Det er også ingen måte for en app eller bruker å si "Hei, jeg vil gjerne ha full guffe nå, kthx". Så det som benchmark programmet måler vil aldri kunne oppnås av et vanlig action spill.

Det her styres jo av governor'en.. den gir den ytelsen spillet trenger, du vil få maks ytelse ut av prosessor/gpu hvis spillet trenger det. Hvis du vil unngå throttling kan man bruke en custom kernel og sette opp thermal limit'en. Du kan altså fint oppnå samme ytelse som i en benchmark med et helt vanlig spill.

Greia med benchmarks er jo at den trenger alt på full guffe på en gang, noe som kan ta litt tid hvis det ikke settes i forkant.

 

 

Skjermkortet og cpu'en min på pcen kjører også med full load under spill, om spillet krever det. Det kan ikke spill på Note 3 gjøre.

Eh. Jo. Den kan helt fint kjøre på full load uten problemer i spill som krever det.

De fleste tunge spillene krever heller ikke så mye av CPU'en, det er GPU'en som står for det meste av jobben.

Mange som låser snapdragon 600/800 CPU'er til 1200-1500 MHz og overklokker GPU'en.

Endret 3. oktober 2013 av Lunalotic