Innrømmer at ny HTC One «jukser» i testprogrammer

[The Norwegian Drone Pilot]

Niks, det er fortsatt juks så lenge man ikke lar alle programmene få tilgang til den samme "benchmark booster"-funksjonen som faktisk aktiviseres i benchmark-tester.

Det kunne løses ved å la brukeren velge de forskjellige modusene i menyen.

 

Da snakker vi.

 

Å dra alle apps under samme kam er ikke den beste veien å gå. Dessuten så er det veldig mange apps som ikke har behov for å ha denne modusen tilgjengelig for å kunne virke optimalt, så hvorfor gå den dårlige veien med å aktivere en modus som ikke gjør noe bedre for veldig mange apps som bare dreper batteri?

 

Det beste er å kun la de applikasjonene som trenger det å få lov til å ta full utnyttelse av hardwaren i stedet for at mange andre apps som ikke har dette behovet skal gjøre dette bare for å drepe batteri.

 

Et notat program vil aldri trenge mere enn 25-30% av den totale ytelsen i dagens smarttelefoner, så hvorfor skal den kjøre på 100% av ytelsen når den ikke vil fungere noe bedre enn om at den kjørte på 30% av den totale ytelsen?

Endret 3. april 2014 av Vindicator

[PL610]

Selvsagt, men det er ikke det denne modusen gjør. Den er der ene og alene for å gi kunstig høy score i ytelsestester.

Straks man forandret navnet på selve testprogrammet, forstod ikke samsungtelefonen at det var et testprogram og beholdt orginal ytelse.

Vips kunne man sammenligne resultatene opp mot andre toppmodeller på markedet.

 

Det var jo derfor de kjørte disse testene i det hele tatt, noe som Samsung, HTC med flere var fullstendig klar over.

[The Norwegian Drone Pilot]

Selvsagt, men det er ikke det denne modusen gjør. Den er der ene og alene for å gi kunstig høy score i ytelsestester.
Straks man forandret navnet på selve testprogrammet, forstod ikke samsungtelefonen at det var et testprogram og beholdt orginal ytelse.
Vips kunne man sammenligne resultatene opp mot andre toppmodeller på markedet.

Det var jo derfor de kjørte disse testene i det hele tatt, noe som Samsung, HTC med flere var fullstendig klar over.

 

Dette scriptet er der kun for å sikre at telefonene til Samsung skal kjøre CPU'en og GPU'en på den hastigheten dem er beregnet til å kjøre på under benchmarking eller andre applikasjoner som krever mest mulig krefter tilgjengelig. Det er som sagt ingen overklokking og det er fortsatt out of the box hastigheten som blir brukt her. Så når ble det galt å la programmer som krever det få lov til å utnytte den hardwaren telefonene kommer med out of the box?

 

Er det galt i å utnytte motoren på en bil fult ut på en bilbane bare fordi det ikke er normalt for all annet normal kjøring å gjøre det?

 

Alle bilprodusenter presser motorene til det ytterste når dem tester hvor lang tid bilen bruker i fra 0-100 km/t osv. I følge deg så kan dem ikke det og må kun teste dette midt i sentrum av en by siden dette er mere normal kjøring for å kunne se hvor fort man kan akslerere der?

Endret 3. april 2014 av Vindicator

[PL610]

Du har nok misforstått hva de er ute etter når de tester de forskjellige modellene opp mot hverandre.

 

De er ikke ute etter hva maskinvaren maksimalt klarer isolert sett, men heller hva telefonen som enhet klarer. Deriblant oppgitt batteritid, ytelse i spill, flyt i menyer, benchmark-resultater osv.

Altså som en komplett enhet.

 

De jukset for å få et fortrinn, ikke for noe annet.

[The Norwegian Drone Pilot]

Du har nok misforstått hva de er ute etter når de tester de forskjellige modellene opp mot hverandre.

 

De er ikke ute etter hva maskinvaren maksimalt klarer isolert sett, men heller hva telefonen som enhet klarer. Deriblant oppgitt batteritid, ytelse i spill, flyt i menyer, benchmark-resultater osv.

Altså som en komplett enhet.

 

De jukset for å få et fortrinn, ikke for noe annet.

 

Det er nok du som misforstår alt her. For som jeg har sagt til deg flere ganger, det er på ingen måter juks å utnytte hardwaren fult ut som kommer out of the box.

 

Du blander juksing med optimalisering. Alt jeg har å si til deg, er, get a clue før du spyr ut tull.

 

Din seriøsitet er på tynn is nå når du kun kan trolle og ikke komme med konkrete bevis på hvorfor det er juksing å utnytte hardwaren fult ut.

Endret 3. april 2014 av Vindicator

[PL610]

Nei, det er ikke optimalisering, det er juks med mål for å fremstå som bedre enn de er.

 

Ærlige benchmark-tester er visst vanskelige å komme over når det gjelder Android-telefoner virker det som:

http://m.androidcentral.com/how-cheat-android-benchmarks

 

Kanskje de i fremtiden burde fokusere mer på virkelig ytelse i programmer og spill istedet?

Det vil gi et mer korrekt bilde av faktisk ytelse.

[The Norwegian Drone Pilot]

Nei, det er ikke optimalisering, det er juks med mål for å fremstå som bedre enn de er.

Ærlige benchmark-tester er visst vanskelige å komme over når det gjelder Android-telefoner virker det som:
http://m.androidcentral.com/how-cheat-android-benchmarks

Kanskje de i fremtiden burde fokusere mer på virkelig ytelse i programmer og spill istedet?
Det vil gi et mer korrekt bilde av faktisk ytelse.

 

Hvem og hvor blir det sagt at det er juks å utnytte hardwaren fult ut på enheter eller datamaskiner?

 

Dette vil jeg vite.

 

Det er optimalisering helt til det blir motbevist.

 

EDIT: Hurra, du linker til en artikkel i fra 2011 som ikke har noe med å kjøre CPU'en og GPU'en på full pinne. Å hacke I/O'en er noe annet enn å kjøre ting på maks hastighet som alle applikasjoner som krever det kan gjøre.

 

At du sammenligner en I/O hack mot å lovlig kjøre visse apps på full hastighet sier at du er useriøs og er her for å trolle. Og du vet jeg har rett og gjør alt for å prøve å motbevise noe som er vanskelig med at datamaskiner gjør det på denne måten med å kjøre benchmark apps på maks hastighet og er derfor like lovlig på en smarttelefon.

Endret 3. april 2014 av Vindicator

[Dr.Akula]

De som forsvarer jukset her må være mer opptatt av å kunne skryte av tallene fra benchmarks enn av faktisk opplevd ytelse.

Hvis andre apper som trenger det ikke har samme mulighetene til å kjøre hw til maks, er benchmatktesten verdiløs.

Det hadde vært interessant å se på burst-ytelse med og uten denne modusen aktivert. Vil vanlige apper få ressurser fort nok til at det ikke går utover ytelsen , (brukeropplevelsen), eller får de ikke ressursene de trenger (dx maks cpu) før de er ferdige med oppgaven(e) som trengte det? Slik jeg har forstått hvordan governor på disse telefonene fungerer i normalmodus får appene tilgang på mer ressurser når de trenger det, men i flere trinn. Dette tar imidlertid litt tid, og derfor gir man "full gass" med en gang i "testmodusen".

Det kunne kanskje sammenliknes med en bil, der man, som vanlig person, er begrenset til å kjøre i eco-modus (tregere gassrespons osv) mens testere får biler som er innstilt (låst) på sport+. Testene vil da ikke gi et korrekt bilde av hvordan bilen oppfører seg.

 

Kunne tatt en tilsvarende analogi på overklokking og ekstra trimming av testbiler sammenliknet med de man får kjøpt, men holder det utenfor denne posten.

 

det er jo det som er poenget, ingen andre apper trenger den extra ytelsen enda, derfor er den plumbert. Men når apper som faktisk trenger den ekstra ytelsen kommer, da blir oppdateringen sluppet, slik at plombering fjernes, dermed slipper folk å kjøpe ny mobil

[PL610]

Det er ingenting galt med å finne ut maksytelsen, men det har ingenting å gjøre i sammenligningstester mellom modeller.

Da får man sette dette som kriterie for selve testen at "optimalisering" kun for benchmark-delen er lov.

 

Artikkelen viser hvor lett man kan jukse med benchmark-tester.

[The Norwegian Drone Pilot]

Det er ingenting galt med å finne ut maksytelsen, men det har ingenting å gjøre i sammenligningstester mellom modeller.

Da får man sette dette som kriterie for selve testen at "optimalisering" kun for benchmark-delen er lov.

 

Artikkelen viser hvor lett man kan jukse med benchmark-tester.

 

Å jukse med becnhmark tester er ikke det samme som å kjøre benchmark applikasjonene på maks hastighet. Alle applikasjoner som krever det kan kjøre på maks hastighet. Så hvorfor er det galt at benchmarke programer gjør det?

Endret 3. april 2014 av Vindicator

[PL610]

I Samsung sitt tilfelle var det bare programmene som stod i "benchmark booster" listen som fikk tilgang. Samsung påstod etterpå at noen andre program også visstnok fikk tilgang.

 

Krevende spill derimot fikk ikke tilgang såvidt jeg husker.

[The Norwegian Drone Pilot]

I Samsung sitt tilfelle var det bare programmene som stod i "benchmark booster" listen som fikk tilgang. Samsung påstod etterpå at noen andre program også visstnok fikk tilgang.

 

Krevende spill derimot fikk ikke tilgang såvidt jeg husker.

 

Ja, og hva er galt med det?

 

Igjen så må jeg minne deg på at du kan ikke kjøre en bilmotor på full pinne i flere foldige timer den heller på samme måte som at du ikke kan kjøre IntelBurnTest på full pinne i flere timer med at den testen utvikler enorme mengder varme på CPU'ene i datamaskinene.

 

Eller er det kanskje juks at IntelBurnTest utnytter hardwarene så mye i forhold til hva vanlige apps gjør?

Endret 3. april 2014 av Vindicator

[PL610]

Det vil si at at alle aplikasjoner som krever det slett ikke får tilgang til full ytelse, bare utvalgte testaplikasjoner.

[The Norwegian Drone Pilot]

Det vil si at at alle aplikasjoner som krever det slett ikke får tilgang til full ytelse, bare utvalgte testaplikasjoner.

 

Spørsmålet jeg fortsatt ikke har fått svar i fra deg enda på er om alle de andre applikasjonene har behov for å kjøre med CPU'en og GPU'en på maks hastighet for å kunne kjøre optimalt?

 

Det er veldig få applikasjoner som krever maks hastighet ut av dagens smarttelefoner, men det betyr jo ikke at man må begrense ytelsestester til å kjøre på samme nivå som alle de andre applikasjonene på grunn av det, for da finner man jo aldri ut på hvor kraftig en smarttelefon er.

 

Skal jeg finne ut hvordan en smarttelefon yter under normalt bruk, så må jeg selv teste ut telefonen å se på hvordan telefonen er. Skal jeg finne ut hvor kraftig en smarttelefon er, så må jeg kjøre benchmarks som vil gi oss noen tall på hvor kraftig enhetene er.

 

At en person skal teste en telefon på hvordan den yter under normalt bruk og gir oss noen tall på det vil aldri fungere med at normalt bruk for meg kan være 1000 ganger mere ekstremt enn det en annen ser på som normalt bruk. Derfor er det mye bedre å ha forskjellige verktøy som kan gi oss en pekepinne på hvor kraftig enhetene er.

Endret 3. april 2014 av Vindicator

[PL610]

Det er snakk om at alle programmer skal ha mulighet til å bruke alle resurser hvis det trengs, ikke tvinges til det.

 

Man sammenligner benchmark-resultater for brukerens del, ikke de som vil presse hardwaren til det ytterste.

Man får også en viss indikasjon på hvor flinke de forskjellige produsentene har vært til å optimalisere ytelse vs batteritid på en gitt hardware.

[The Norwegian Drone Pilot]

Det er snakk om at alle programmer skal ha mulighet til å bruke alle resurser hvis det trengs, ikke tvinges til det.

Man sammenligner benchmark-resultater for brukerens del, ikke de som vil presse hardwaren til det ytterste.
Man får også en viss indikasjon på hvor flinke de forskjellige produsentene har vært til å optimalisere ytelse vs batteritid på en gitt hardware.

 

Men er utviklerne av applikasjonene late og ikke oppdaterer sine apps til å utnytte hardwaren bedre, så stepper Samsung, HTC eller whoever inn å gjør en midlertidig fiks som gjør at telefonene gir oss et mere riktig svar på hvor kraftige telefonene er.

 

Hva andre applikasjoner gjør har ingenting med hva en applikasjon som er der for å finne ut hvor kraftig en enhet er gjør. Skal jeg finne ut på hvor kraftig min smarttelefon er, så ser jeg helst at den blir kjørt til det maksimale under alle benchmarks uavhengig av hva andre apps måtte gjøre.

 

Så lenge Samsung og HTC påser at benchmarke applikasjonene gjør det dem skal og utnytter hardwaren slik dem skal, så tror jeg de fleste er fornøyde med det.

 

Ikke nok med det, men når benchmarke tester i absolutt alle tester i dag blir gjennomført, så er det veldig viktig at benchmarke resultetene viser riktige tall på hvor kraftige enhetene er enn å måtte gi et falskt tall som ikke viser hvor kraftig enhetene er. Dette vet du og dette har du ikke baller til å inrømme fordi du vet at den usle iPhone 5S som du sikkert eier selv blir grisebanket i alt utenom nettlesertestene.

[PL610]

Denne "benchmark boosteren" var hemmeligholdt. Ingen skulle vite om den, så det handler ikke om at utviklerne er late eller ikke.

Slike sammenligningstester gjøres ikke med hensyn til de få som er over snittet interessert i hva prosessoren i telefonen deres maksimalt klarer uten hensyn til strømforbruk.

For den normale bruker er dette helt irrelevant.

 

De vil se hvordan telefonen de vurderer å kjøpe står seg mot andre modeller.

[The Norwegian Drone Pilot]

Denne "benchmark boosteren" var hemmeligholdt. Ingen skulle vite om den, så det handler ikke om at utviklerne er late eller ikke.

Slike sammenligningstester gjøres ikke med hensyn til de få som er over snittet interessert i hva prosessoren i telefonen deres maksimalt klarer uten hensyn til strømforbruk.

For den normale bruker er dette helt irrelevant.

 

De vil se hvordan telefonen de vurderer å kjøpe står seg mot andre modeller.

 

Det var ikke hemmeligholdt fordi det var ingenting å skjule med at det er normalt at man lar krevende app få lov til å utnytte hardwaren slik dem skal om dem ikke gjør det på grunn av lite med optimaliseringer.

 

Og jeg vet ikke hvor ofte jeg må si det, men benchmarking er benchmarking uavhengig av hvor dem blir kjørt. Og skal man vite hvor kraftig en telefon er, så må man ty til benchmake applikasjoner som kjører telefonene til det maksimale på akkurat samme måte som det blir gjort på datamaskiner.

 

Dette vet du og dette er som jeg sier noe du ikke vil inrømme fordi det viser hvor mye kraftigere andre telefoner er over den telefonen du så sårt elsker, nemlig iPhone 5S.

Endret 3. april 2014 av Vindicator

[PL610]

Hvorfor oppga ikke Samsung eller HTC at denne funksjonen var der da?

Det kunne vært et fint bulletpoint i sjekklisten over "features", syns du ikke?

 

Men da ville katten vært ute av sekken og ingen ville giddet å oppgi benchmark-resultatene, bortsett fra de sidene for litt mer interesserte.

 

Nå kom jo katten ut av sekken likevel og begge firmaene fikk seg en solid ripe i lakken

Endret 3. april 2014 av PL610

[The Norwegian Drone Pilot]

Hvorfor oppga ikke Samsung eller HTC at denne funksjonen var der da?
Det kunne vært et fint bulletpoint i sjekklisten over "features", syns du ikke?

Men da ville katten vært ute av sekken og ingen ville giddet å oppgi benchmark-resultatene, bortsett fra de sidene for litt mer interesserte.

Nå kom jo katten ut av sekken likevel og begge firmaene fikk seg en solid ripe i lakken

 

Leser du det jeg skriver?

 

Hvorfor må dem opplyse om noe når dette er noe som ikke trenger å bli opplyst om med at det er helt normalt at man lar slike benchmark apps kjøre på maks hastighet?

 

Opplyser bilprodusentenehver gang at 0-100 km/t testene er gjort på en bane når du kjøper deg en bil når det er normalt at dette er blir testet på en bane og når alle vet om det?