Futuremark, Nvidia krangler om 3DMark03

[int20h]

Futuremark, Nvidia krangler om 3DMark03

En oppdatering til 3DMark03, gjør at visse funksjoner i Nvidia sine ForceWare 52.16 drivere ikke lenger fungerer. Krangelen er dermed i full gang om hva som virkelig er "ekte" ytelse.

 

Les artikkelen her

[sveinsel]

Det er nok Futuremark som kødder. Med to aktører som står for det meste innen GPU så skulle det gå an å lage en test som virker på begge (alle). Selv jeg kan se at driverene er forbetret. Men flyene i 3DMark03 ser likedan ut selv om jeg bruker det ene eller det andre.

Og der er vel det man ser som teller ... ikke?

Testerne bør ihvertfall holde seg til verktøy som ikke er kontroversiellt, og ikke tulle sånn som nå.

[Ar`Kritz]

Futuremark som kødder det til?!?

 

Det eneste de gjør er jo å prøve å nekte driverne til nVidia i å detektere og rendre 3D-Mark tester på sin egen lille måte!

 

Makan...

[johncl]

Kan dere skjønne at Nvidia ikke er ferdig med dette enda? Det er på høy tid de innrømmer at GeForce FX ikke er like bra som ATI sine nye Radeon brikker og at de ønsker at utviklerene lager spesialsydd shader kode beregnet for deres hardware. Nvidias driver oppdatering som til og med sjekket om det var Futuremark sin software som kjørtes er en regelrett skam!

 

Nvidia sin arroganse i dette feltet minner sterkt om Microsofts, og er et direkte resultat av deres "nesten-monolpol" situasjon med de tidligere GeForce kortene. Nvidia er rett og slett en dårlig taper når de ser seg forbigått av ATI sine kort. De minner meg sterkt om adferden til en liten gutt som har tapt i et spill.

 

Mitt råd er å boikotte Nvidia og velge ATI som ser ut til å ha mye mer rent mel i posen og til og med tør å innrømme at de gjorde noen optimaliseringer for å få bedre ytelse, som de også fjernet i releasen etterpå.

 

Nvidia er et pill råttent selskap! Når skal de lære noe?

 

Mvh,

JC

[sheriff]

Kan dere skjønne at Nvidia ikke er ferdig med dette enda?

Nei, kan ikke skjønne at de ønsker å sverte ryktet sitt enda mer enn de allerede har gjort. Samtidig er det også rart at de prioriterer å krangle med futuremark, enn å knappe inn avstanden til ati.

Endret 13. november 2003 av sheriff

[viranth]

Hvorfor kan man heller ikke finnet et bedre benchmarking program? =)

Siden 3dmark03 kom ut har man jo sett ganske overraskende resultater (700mhz maskin med r9700 som gjorde det bedre enn en med høyere mhz eller hva nå enn det var).

 

Jeg driter i Futuremark, jeg har nVidia GF4, men jeg skal ha ATI neste gang =)

[Gjest Slettet-80wCWpIM]

Kan dere skjønne at Nvidia ikke er ferdig med dette enda? Det er på høy tid de innrømmer at GeForce FX ikke er like bra som ATI sine nye Radeon brikker og at de ønsker at utviklerene lager spesialsydd shader kode beregnet for deres hardware. Nvidias driver oppdatering som til og med sjekket om det var Futuremark sin software som kjørtes er en regelrett skam!

 

Nvidia sin arroganse i dette feltet minner sterkt om Microsofts, og er et direkte resultat av deres "nesten-monolpol" situasjon med de tidligere GeForce kortene. Nvidia er rett og slett en dårlig taper når de ser seg forbigått av ATI sine kort. De minner meg sterkt om adferden til en liten gutt som har tapt i et spill.

 

Mitt råd er å boikotte Nvidia og velge ATI som ser ut til å ha mye mer rent mel i posen og til og med tør å innrømme at de gjorde noen optimaliseringer for å få bedre ytelse, som de også fjernet i releasen etterpå.

 

Nvidia er et pill råttent selskap! Når skal de lære noe?

 

Mvh,

JC

et spørsmål, hater du EA ?

[Xell]

Skjønner egentlig ikke helt hva som er blitt gjort her. Hverken av Futuremark eller Nvidia. 3DMark skal jo teste ytelse ved å teste generelle prosesser som er vesentlige i grafikk prossessering. Dersom Nvidia har ting i driverene sine som gir bedre ytelse i disse testene vil jo de samme tingene i driverene gi bedre ytelse i vanlig bruk. Å fjerne denne funksjonaliteten vil jo gi et feil bilde på ytelsen. Men hvis det er så at det er ting i driverene til Nvidia som kun trer i kraft under 3DMark-test er det vel riktig å ikke ta høyde for dette, men da mener jeg at Futuremark ikke tester på generelt grunnlag. Da skulle de heller gjort noe med selve testen enn å disable driveren. Driverene er trossalt en viktig del av graffik-render-løsningen.

[Duke Soforth]

Interessant at Xbit-labs gjør så mye for å miste egen kredibilitet ved å publisere det fullstendig totalt idiotiske søppelet som nVidia (og Gainward) nå presterer å spy ut...

 

Den eneste Futuremark har gjort i patch 340 er å endre registernavn og rekkefølge, noe som hindrer nVidia's driver i å gjenkjenne de forskjellige shaderne bit-for-bit binært.

 

Sitatet fra Gainward ("patch 340 disables the GPU compiler. The compiler has to run on the CPU instead resulting in code harder to digest and taking away 20% of the performance.") er årets mest åpenbare marketing-FUD. Usannsynlig trist. Hva er det de forsøker å få oss til å tro? At det plutselig er CPU som står for rendering??? At kompilatoren liksom egentlig skulle kjørt på GPU men nå plutselig må kjøre på CPU??? Helt meningsløst.

 

Ta for eksempel en kikk på nVidias egen omtale av Unified Compiler Technology. Fra dokumentet:

Transparent benefit from NVIDIA enhancements and special features. Even if the application is written to an API in a manner to maximize portability among platforms, the NVIDIA compiler will take advantage of NVIDIA hardware that goes beyond the API. The three previous examples illustrate this.

Forward and backward compatibility. Today's applications ensure that tomorrows drivers will optimize the same code to best fit tomorrow's GPUs.

Dette kan ikke tolkes annerledes enn at compileren IKKE kan omgås. Fra Ostsol (Beyond3d):

Those points alone tell us that the compiler cannot be bypassed. If it will work on applications written before the introduction of the compiler, it obviously does not need to be "allowed" to do its job -- it simply will. Another thing is that in order for it to be disabled there has to be an interface to such functionality. However, the DirectX spec has not changed and NVidia has not released a new OpenGL extension.

 

In any case, NVidia's Universal Compiler appears to fully compliant with FutureMark's guidelines regarding optimizations. It does not change the mathematical result of a shader and can be applied automatically to any and all applications without any specific application detection. As such, there is no rational reason to try and work against it.

 

viranth: Jeg finner poenget ditt noe bakvendt. 3dmark03 er laget for å være en test av grafikkytelse som i så stor grad som mulig skal være UAVHENGIG av cpu.

 

sveinsel: Nei, det er i dette tilfellet slett ikke det man ser som teller. For å sette det på spissen: Hadde det vært tilstrekkelig så kunne vi jo egentlig bare latt nVidia og Ati lage en pre-rendret film som driveren avspilte hver gang den detekterte at 3dmark ble kjørt. Resultatet ville naturligvis vært rekordhøy score og et skjermbilde som så HELT KORREKT ut. Målet med en benchmark er å få et objektivt bilde på ytelsen til kortet. Den objektiviteten er ikke tilstede dersom driveren tar snarveier (snarveier som er mulig å gjøre rett og slett fordi benchmarkingen foregår med en grafikksekvens som er konstant lik).

[mad_arab]

Og dette kommer opp på nytt og på nytt og på nytt... selv om de aller fleste innser hvor lite interessant 3dmark er. Vi HAR spill som bruker dx9 nå. Kan ikke bare 3dmark få dø en stille død?

 

Ja, jeg vet at det er uetisk å "jukse". Men jeg gir så blanke f*en i det når det gjelder 3dmark. Hvis noen spillprodusenter går ut og forteller noe liknende det Futuremark gjør så er sjansen 10x større for at jeg gidder å høre. Når det gjelder Valve venter jeg dog på at de har et spill ute før jeg orker å høre....

[sveinsel]

sveinsel: Nei, det er i dette tilfellet slett ikke det man ser som teller. For å sette det på spissen: Hadde det vært tilstrekkelig så kunne vi jo egentlig bare latt nVidia og Ati lage en pre-rendret film som driveren avspilte hver gang den detekterte at 3dmark ble kjørt. Resultatet ville naturligvis vært rekordhøy score og et skjermbilde som så HELT KORREKT ut. Målet med en benchmark er å få et objektivt bilde på ytelsen til kortet. Den objektiviteten er ikke tilstede dersom driveren tar snarveier (snarveier som er mulig å gjøre rett og slett fordi benchmarkingen foregår med en grafikksekvens som er konstant lik).

Du vet ikke hva som er inne i GPU til hverken Nvidia eller ATI. Det vet ikke Futuremark heller tydligvis. Men man kan ikke si annet en at det "køddes" når den som skal tolke forsøket på å finne ut hva innmaten gjør lurer på om det er testprogrammet som prøves eller lures.

Endret 13. november 2003 av sveinsel

[Martin Lie]

Urk...

 

Det som er saken med benchmark-programmer er at de alltid utfører den samme testen. For skjermkortene er det som å ta eksamen hver gang testen kjøres, men med den ekstra detaljen at man kjenner til fasiten!

 

Hvis du hadde hatt matte-eksamen, og karakteren din ble avgjort ut i fra hvor fort du klarte å levere riktig svar, og du dessuten visste fasiten på forhånd: Ville det ikke da vært fristende å skrive svaret inn direkte, uten å skrive inn all mellomregningen hver eneste gang? (Hvertfall hvis du dessuten hadde mange penger å tjene på det, pluss at det stod en herskare av dine tilhengere på sidelinjen og ropte "det er svaret som teller, ikke mellomregningen!")

 

Men dersom du lot deg friste, så ville det jo ikke gi et riktig bilde av hvor raskt du egentlig regnet, eller hva?

 

La meg ta et annet helt hypotetisk spørsmål: Dersom du var skjermkortbrikke-produsent, og salget ditt ble avgjort ut i fra hvor fort skjermkortbrikken din kjører benchmarks, og du dessuten visste fasiten på benchmarkene på forhånd (altså: du vet nøyaktig hvilket skjermbilde som benchmark-testen ønsker at du skal sende til skjermen): Ville det ikke da vært fristende å sende skjermbildet som du på forhånd visste var "korrekt svar" direkte til skjermen, uten å beregne hvordan det skulle se ut hver gang (som selvsagt ville ta lenger tid)?

 

Men dersom en skjermkortprodusent lot seg friste til dette, så ville det ikke gi et riktig bilde (no pun intended) av hvor raskt skjermkortet egentlig var til å kalkulere skjermbilder, eller hva?

 

For på akkurat samme måte som din matte-eksamen hadde fått bedre tid, uten å egentlig si noe om hvor flink du var til å løse en tilfeldig matte-oppgave som innebar lignende mellomregning...

 

...så ville skjermkortprodusentens benchmark-score vært høyere, uten å egentlig si noe om hvor raskt kortet var til å beregne et tilfeldig skjermbilde som innebar lignende rendring...

 

Poenget her er, og jeg sier det igjen for å være sikker på at alle får det med seg: I en benchmark er det mulig for skjermkortdrivere å jukse, fordi de vet svaret på forhånd. I et spill som du selv spiller, så kan ikke skjermkortet forutse hva du gjør, og dermed heller ikke levere et skjermbilde like raskt som det kan når det jukser i benchmarks. Altså vil en score i et benchmark-program bli helt misvisende hvis slike snarveier tas. Det er dette som er sakens kjerne her!

 

Edit: Liten typo...

Endret 13. november 2003 av Pureblade

[ØysteinI]

I sier Futuremark sine retningslinjer :

1. En optimalisering må gi nøyaktig det samme resultatet, dvs at den må være matematisk ekvivalent med de instruksjonene som programmet ber om

2. En optimalisering må gi ytelsesforbedringer på et generelt grunnlag, ikke bare til EN applikasjon.

3. En optimalisering må ikke legge inn forhåndsutregnede resultater. Dvs ikke legge inn "svaret" uten å faktisk ha regnet det ut.

 

Jeg må si at dette er meget fornuftige regler. Det at nVIDIA bytter ut de instruksjonssekvensene som 3DMark03 ber om, vil jo ikke gi noen som helst glede i andre situasjoner. Det er KUN 3DMark03 som får glede av den type "optimalisering". Slik vil det også være med andre applikasjoner. nVIDIA kan lage lignende "optimalisering" for CS og Q3 ... men hva med alle de andre spillene på markedet? De vil ikke få noe glede av alt dette ...

 

Vil man da kunne si at nVIDIA hardware er rask? Veldig rask når det får ta snarveier, men dødstreg når det ikke får lov til det? På den måten kan man jo også fake støtte for APIer ol. "Optimalisere" et DX8.1 kort til å "kjøre" DX9-kode. Med nok slike "optimaliseringer" kan man jo da (i teorien) få et Riva TNT 16MB kort til å dra 5-sifra poeng i 3DMark ... men kan man da også si at et 16MB TNT-kort er RASKT ?

 

Personlig vil jeg si:

Generelle forbedringer i ytelsen er optimaliseringer.

Spesielle forbedringer er juks.

[viranth]

mortenj: var under den oppfatning at 3dmark skulle gi en muligheten til å se hva maskinen man hadde var i stand til å utføre... tatt fra futuremark.com

 

The high quality game tests, image quality tests, sound tests and others give you an extremely accurate overview of your system’s current gaming performance.

 

Det sier altså gaming performance, det vil da si alle spill. Så derfor er 3dmark03 litt misvisende synes jeg. Om man ser på ytelsen r9800pro (der scoren er 9000 poeng eller noe slikt) og sammenligner med en gf4 (der scoren er 12-2000 poeng kanskje) så gir det et falskt bilde av hva som faktisk er tilfellet i virkeligheten.

 

Nå sier jeg ikke at gf4 er like bra, men i enkelte spill så gjør kortet nytten nokså likt... (cs for eksempel, regner med at 99fps med gf4 vs 99fps med r9800 ikke gir deg noen forskjell)

 

Ytelsen burde være regnet ut i fra systemet i sin helhet, det er direkte misvisende av futuremark og droppe cpu, eller ha den telle så lite som mulig synes jeg... De sier jo selv i quoten over... "accurate overview of your system's current gaming performance" - om det da er tilfellet, er det da riktig at en 700mhz maskin klarer det samme som en 2ghz maskin?

[Malvado]

Dette kommer jo egentlig ikke som en overraskelse at det skjer i benkmarksprogrammer...

 

Hva blir det neste mon tro? Skjermkort som egner seg bare til benkmarks?

[Tjohei]

@Xell:

Husk at ingen 3d engine er lik. Derfor vil forskjellige kort klare seg forkjellig fra spill til spill. Ta for eksempel Halo. Det går såpeglatt på XBox, fordi den er skreddersydd til den gpu'en og resten av systemet. Når de så prøver å lage en "generell" engine, må de ta vekk den skreddersydde koden, og så funker det ikke spesielt bra.

 

Dette går selvfølgelig på engine lagd for system, men det går andre veien også, altså grafikkort lagd for spesifikke engine'er. Det er ikke noe problem å lage skjermkort (eller altså driverne for det) til å fungere bedre i en spesiell engine. Dere skjønner hvor jeg vil hen, ikke sant? *grin*

 

Det er altså ikke noe problem å lage drivere som kun favoriserer en engine. nVidia klarte det jo tidligere. Jeg husker ikke hvilken versjon det var, men Tomshardware testa den, og den gav ingen, ingen, ytelsesforskjeller i vanlige spill, men den ga en 5-10% økning i 3DMark.

 

Jeg er igrunnen glad for å se at hardware sites ikke lenger vektlegger 3DMark resultater så mye lenger. Vi får se hvordan trenden går nå, med den nye versjonen.

[Xell]

Det som er saken med benchmark-programmer er at de alltid utfører den samme testen.

Det er da jeg mener at testporgrammet bør optimaliseres. Hvis de kun gjør det samme må det jo være en ganske snever test. Du gir et ganske godt eksempel med eksamen. Dersom en utdanningsintutishon er så "lat" at den gir elevene samme eksamen hver gang er det vel ikke elevenes feil at de etter hvert skjønner at de kan pugge fasiten. Når gjennomsnottskarakteren blir bemerkelsesverdig høy endrer man ikke dette ver å f.eks. ta fra elevene muligheten til å bruke formelhefte e.l., men man lager en annen test.

 

Det er mulig at Nvidia har jukset seg til gode resultater her, men det er Futuremark som har sørget for at muligheten for juks er der. Jeg mener at De ahr angreper porblemet fra feil side. De skulle heller ha sett på testrutinene sin og gjort noe med dem hvis det er så enkelt å jukse.

 

edit:

Tjohei: da mener jeg at 3dmark er alt for snever. Et testprogram skal ikke representere en enkel 3d engine, men spenne over mange forskjellige typer prosesser. Kanskje er dt for enkelt med bare ett generelt resultat som den "sluttsummen" i 3dmark gir. Kanskje er man kommet så langt i 3d rendering nå at testprogrammene må teste breder og gi karakterer for forskjellige kategorier prosesser.

Endret 13. november 2003 av Xell

[Martin Lie]

Du misforstår situasjonen, Xell. Hvis ting hadde vært så enkelt som du sier, så hadde det vært løst for lenge siden. La meg forklare...

 

Ved en eksamen er det mulig å gi alle elevene den sammen eksamensoppgaven samtidig.

 

Det er ikke mulig med skjermkort, ettersom man ikke har alle verdens skjermkort samlet på ett sted til samme tid. Dette bør være innlysende, siden testen også skal kunne sammenlignes med fremtidige skjermkort for å måle de nyankommedes ytelse, og ikke bare de kortene som er laget til nå.

 

Hvis testen skulle endre seg fra gang til gang (som såklart er mulig å programmere), så vil man jo ikke kunne sammenligne skjermkortene lenger. Hver test vil være en ny eksamensoppgave, med andre formler, og det er innlysende at man ikke kan gjøre direkte sammenligninger på forskjellig grunnlag.

 

Den eneste fornuftige måten å gjøre dette på er å forvente at skjermkortprodusenter ikke jukser i benchmarks, selv om de vet svarene. På samme måte som alle universiteter forventer at du ikke jukser på eksamen, ved å stjele oppgaven og regne den ut på forhånd.

 

Det du sier er jo at det er helt i orden at nVidia jukser. Vet ikke helt hvor du har fått moral-opplæring, men den samstemmer hvertfall ikke med min. Vi må kunne forvente at ikke produsenter jukser for å fremstille sine egne produkter i bedre lys enn de fortjener.

[tyldum]

Et benchmarkprogram bør være modifiserbart.

Eksempelvis (out of the blue):

En matte-test hvor man får oppgaver a la '34+x=', og x er noe man får oppgitt på hver eksamen. Da kan man ha samme eksamen hvert år, men endre x. Vil man sammenlikne to 'elever'? Null problem, gi dem samme x.

 

Hvordan det lar seg overføre til rendering aner jeg dog ingenting om. Problemet blir da at man ikke kan sammenlikne resultater fra ulike tester.

[Martin Lie]

Om 3DMark03 er for snever er igrunn en helt annen diskusjon. Det kan stilles spørsmålstegn i om testene 3DMark utfører er representative for spill, men det har uansett ingen som helst ting med diskusjonen om juksing å gjøre.

 

Dessuten er 3DMark og andre syntetiske tester til dels laget for å vise fremtidig ytelse, i spill som bruker funksjoner som ikke er på markedet ennå. F.eks. målte 3DMark DX9-ytelse lenge før det kom spill på markedet som benyttet DX9. Hvis du skal kjøpe et skjermkort som støtter DX10 om ett år - vil du ha kjøre DX8 og DX9-spill på det for å finne ut ytelsen, eller vil du kjøre syntetiske benchmarks som simulerer fremtidige DX10-spill for å finne ut noe om det?

 

Hvis poenget er at man ikke bør bruke 3DMark for å finne ut ytelsen i DAGENS spill, så er jeg helt enig. Syntetiske benchmarks av denne typen er til for å vurdere skjermkortets FREMTIDIGE ytelse; altså det gir en pekepinn på hvor lang levetid skjermkortet ditt har.

 

Om 3DMark er flink nok til å simulere fremtidens spill er igjen en annen diskusjon...