Futuremark, Nvidia krangler om 3DMark03

[Duke Soforth]

Pureblade: Veldig bra eksempel!

 

Du vet ikke hva som er inne i GPU til hverken Nvidia eller ATI. Det vet ikke Futuremark heller tydligvis. Men man kan ikke si annet en at det "køddes" når den som skal tolke forsøket på å finne ut hva innmaten gjør lurer på om det er testprogrammet som prøves eller lures.

Hva i all verden har det med saken å gjøre??? Og beklager, det du skriver der er helt umulig å svare på all den tid jeg ikke er i nærheten av å forstå hva du mener...

 

Det er da jeg mener at testporgrammet bør optimaliseres. Hvis de kun gjør det samme må det jo være en ganske snever test.

Husk nå på at skal et testresultat fra en benchmark (det være seg 3dmark eller et spill) være sammenlignbart så må det være samme sekvens som kjøres på de forskjellige testsystemene.

Det er mulig at Nvidia har jukset seg til gode resultater her, men det er Futuremark som har sørget for at muligheten for juks er der. Jeg mener at De ahr angreper porblemet fra feil side. De skulle heller ha sett på testrutinene sin og gjort noe med dem hvis det er så enkelt å jukse.

NEI! Det er å snu problemstillingen fullstendig på hodet. Futuremark fortjener faktisk ganske mye respekt for den måten de har taklet dette på. Jeg gjentar: tester MÅ være standardisert. Den variasjonen du etterlyser oppnår man i dag ved å bruke et utvalg FORSKJELLIGE benchmark (i form av standardsekvenser i ulike spill samt syntetiske program som Aquamark og 3dmark). Det positive som Futuremark nå bringer inn på bordet er at de sørger for å "sertifisere" forskjellige drivere til forskjellige utgaver av 3dmark. Eksempelvis vil driverversjon 52.16 fra nVidia gi et gyldig 3dmark-resultat for bruk i benchmarking dersom den brukes sammen med 3dmarkversjon 340, mens resultat med 3dmarkversjon 330 blir kunstig forhøyet av tvilsomme optimaliseringer på drivernivå. Dette vil være konstant fra nå og i all fremtid. Du må gjerne gi meg et eksempel på andre benchmark (igjen både spill og syntetiske) som gir deg den samme sikkerheten.

 

Og dette kommer opp på nytt og på nytt og på nytt... selv om de aller fleste innser hvor lite interessant 3dmark er. Vi HAR spill som bruker dx9 nå. Kan ikke bare 3dmark få dø en stille død?

Jeg tror du med fordel kunne satt deg ned og reflektert litt mer over hvor komplekst det etterhvert er blitt å skulle hastighetsteste. 3dmark har en nytteverdi (blant annet gjennom den sikkerhetsventilen Futuremark tilbyr i forhold til driverjuks) som er udiskutabel. Og er du virkelig så naiv at du tror at vilje til juks i 3dmark ikke innebærer en like stor vilje til juks i andre typiske benchmarks?

[siDDis]

eg bryr meg ikkje fordi eg veit at i fremtida så vil GFX rule verre over 9800

Endret 13. november 2003 av siDDIs

[Tjohei]

Tjohei: da mener jeg at 3dmark er alt for snever. Et testprogram skal ikke representere en enkel 3d engine, men spenne over mange forskjellige typer prosesser. Kanskje er dt for enkelt med bare ett generelt resultat som den "sluttsummen" i 3dmark gir. Kanskje er man kommet så langt i 3d rendering nå at testprogrammene må teste breder og gi karakterer for forskjellige kategorier prosesser.

Vel, husk at den tester flere ting da. Den har jo egne tester for pixel shaders og fill rate og sånt. Spesielt 3DMark2001 var variert sånn. Så man kan vel egentlig si at 3DMark har flere forskjellige engine'er, og at en pc må score høyt i dem alle for å få en høy poengsum.

 

Men det er fremdeles mulig for nVidia (og ATi) å skrive drivere som yter bedre i spesifikt disse enginene, selv om det er flere av dem.

[MistaPi]

eg bryr meg ikkje fordi eg veit at i fremtida så vil GFX rule verre over 9800

Hvordan vet du det? Det er ikke det diverse tester og utalelser tilsier.

[FJERNET111]

eg bryr meg ikkje fordi eg veit at i fremtida så vil GFX rule verre over 9800

Hvordan vet du det? Det er ikke det diverse tester og utalelser tilsier.

Hehe tydeligvis et utsagn som bare ble skrevet for å provosere... Og det kan godt være som han sier at nyere GFFX kort som NV40-45 osv er bedre enn 9800, men da har ATi laget noe nytt vettu

Endret 13. november 2003 av SBS

[Bullseye88]

Den eneste fornuftige måten å gjøre dette på er å forvente at skjermkortprodusenter ikke jukser i benchmarks, selv om de vet svarene. På samme måte som alle universiteter forventer at du ikke jukser på eksamen, ved å stjele oppgaven og regne den ut på forhånd.

 

Det du sier er jo at det er helt i orden at nVidia jukser. Vet ikke helt hvor du har fått moral-opplæring, men den samstemmer hvertfall ikke med min. Vi må kunne forvente at ikke produsenter jukser for å fremstille sine egne produkter i bedre lys enn de fortjener.

 

Det dere også bør vite er at både nVidia og ATI har optimalisert ytelsen i spill og benchmarks i alle år. Når jeg hadde RivaTNT så gikk ytelsen opp bitte litt i 3DMark2k hver gang det kom en ny driver. Men jeg regner fortsatt ikke dette som juks, BARE bildekvaliteten ikke går ned.

 

Husk at ingen 3d engine er lik. Derfor vil forskjellige kort klare seg forkjellig fra spill til spill. Ta for eksempel Halo. Det går såpeglatt på XBox, fordi den er skreddersydd til den gpu'en og resten av systemet. Når de så prøver å lage en "generell" engine, må de ta vekk den skreddersydde koden, og så funker det ikke spesielt bra.

 

Du sier her at ingen 3d engine er lik, da bør du også tenke over at ingen skjermkort arkitektur er helt lik. Dvs at produsentene av skjermkortene prøver å skrive drivere som gjør at alle 3d engines skal gå så lett som mulig. MEN nVidia har enten jukset/tabbet seg ut noe sinnsykt i 3DMark03 og det tror jeg alle misliker veldig.

 

Men det forsvarer fortsatt ikke at Futumark skal disable alle optimaliseringer i driverne. Det vil da si at hvis feks. en PixelShader virker bedre på ATI enn nVidia så kan dette være at ATI har flaks med måten Futuremark skrev den shaderen.

 

Det jeg vil frem til er at selve 3DMark burde vært optimalisert for alle skjermkort slik at alle skjermkortene for de samme fordelene, i stedet for at noen produsenter kan ha flaks med testene.

 

Det er da jeg mener at testporgrammet bør optimaliseres. Hvis de kun gjør det samme må det jo være en ganske snever test. Du gir et ganske godt eksempel med eksamen. Dersom en utdanningsintutishon er så "lat" at den gir elevene samme eksamen hver gang er det vel ikke elevenes feil at de etter hvert skjønner at de kan pugge fasiten

 

Tenk deg at de hadde pugget resultatet da.. så kan du ta opp 3DMark03 og kode ned til en AVI i 1024*768, nesten uten komprimering... Jeg tror faktisk at driveren ville ha blitt ekstremt stor hvis de skulle ha gjort dette bare for en benchmark.

 

Tror egentlig ikke vi vil få se noen skikkelig test av skjermkortene før HL2 kommer ut, og det blir også lettere å se om noen jukser eller ikke. Da det aller meste av kildekoden til spillet ligger på nett.

 

--

Morten (Som misliker Futuremark nuh)

[Tjohei]

Men det forsvarer fortsatt ikke at Futumark skal disable alle optimaliseringer i driverne. Det vil da si at hvis feks. en PixelShader virker bedre på ATI enn nVidia så kan dette være at ATI har flaks med måten Futuremark skrev den shaderen.

 

Det jeg vil frem til er at selve 3DMark burde vært optimalisert for alle skjermkort slik at alle skjermkortene for de samme fordelene, i stedet for at noen produsenter kan ha flaks med testene.

Jeg vet ikke noe om akkurat hva futuremark har disabla, hvem gjør vel det? Men jeg tror ikke de disabla noen features, bare muligheten for å detecte "navnet" på programmet, slik at nVidia (eller ATi) kunne sjekke hvilket program som kjørte koden, og så velge optimalisert kode for 3dmark.

 

Jeg mener at 3dmark ikke skal være optimalisert i det hele tatt. Det er ikke snakk om at noen (eller alle) skal ha noen fordeler. Ingen skal ha fordeler. Det skal være likt utgangspunkt. Og så er det Futuremarks ansvar å lage en så generell test som mulig.

[mad_arab]

Og det er pga dette at 3dmark er totalt uinteressant. Så godt som alle spill inneholder optimaliseringer, både spesifikt skrevet i driverne og i koden til spillet. Derfor gir jeg totalt blanke i hvordan ATi og NVidia kort oppfører seg i 3dmark. Ikke bare er motoren ikke engang brukt i spill, men den mangler optimaliseringer som omtrent alle spill har... Les spilltester og gi blanke i 3dmark. Futuremark har utspilt sin rolle.

[Martin Lie]

Futuremark har ikke disablet noe som helst. De har bare skrevet om rekkefølgen på instruksjonene. F.eks:

 

- Skrevet 3+2 som 2+3, eller

- Skrevet kode som sier "rendre flammen i bildet, så sverdet" i stedet for "rendre sverdet i bildet, så flammen"

 

Dette gjør at nVidia sine drivere ikke bit-for-bit kan gjenkjenne oppgaven og dermed skrive fasit-svaret direkte uten å faktisk beregne det.

 

Bullseye88: Generelle optimiseringer er selvsagt lov å gjøre. Disse vil også være gyldige i henhold til Futuremark sine regler, som ufo gjengav tidligere i tråden. Men slike gyldige optimiseringer vil ikke bli påvirket av å skrive 3+2 som 2+3 - det er det kun juks som blir, så vidt jeg har skjønt.

 

Uttalelser som bekrefter dette fra Tero Sarkkinen (med den fancy tittelen "Executive Vice President of Sales and Marketing for Futuremark"):

 

- "The only change in build 340 is the order of some instructions in the shaders or the registers they use. This means that new shaders are mathematically equivalent with previous shaders."

 

- "Of course, if there are application specific optimizations in the driver that depend on identifying a shader or parts of it, then you might see performance differences because these optimizations will not work if the driver is not able to detect the shader."

 

nVidias Unified Compiler er en teknologi som skal sette sammen og løse oppgavene den blir gitt på en mer effektiv måte. Dette har med hvordan nVidia velger å utføre kommandoene å gjøre, og denne kan verken slås av eller på av et program som kun forholder seg til DirectX-funksjoner (som 3DMark).

 

Hvis Futuremark har klart å "disable" noe som helst i en microchip de verken har laget eller har oversikt over, så er det kun brikkens mulighet til å gjenkjenne kode den allerede vet svaret på.

 

Referanser:

http://www.xbitlabs.com/news/video/display...1112181114.html

http://www.theinquirer.net/?article=12641

[Martin Lie]

mad_arab: Syntetiske benchmarks er, som jeg har nevnt tidligere, ikke bra til å måle ytelse i dagens spill, bl.a. pga. det du påpeker. Skal man måle ytelsen i et konkret spill, så bruker man såklart det spillet sin innebygde benchmark.

 

Nå som DX9-spill begynner å dukke opp, så er jeg enig i at rollen til 3DMark03 begynner å bli utspilt. Men før de dukket opp var 3DMark en fin pekepinn.

 

Og tilsvarende kommer neste versjon, en gang i fremtiden, til å være en fin pekepinn på DX10- (DXX?) ytelse. Som en annen påpekte bør man aldri stole på én enkelt benchmark. De yter derimot hvert sitt lille bidrag til en større forståelse, og som den lille biten 3DMark er av hele puslespillet, så har den absolutt livets rett også i fremtiden, spør du meg...

 

Edit: Bedre formulering...

Endret 13. november 2003 av Pureblade

[mad_arab]

Pureblade: godt poeng, selv om området er veldig begrenset og tidsperioden kort så er det ihvertfall et teoretisk nytteområde.

[mad_arab]

Og dette kommer opp på nytt og på nytt og på nytt... selv om de aller fleste innser hvor lite interessant 3dmark er. Vi HAR spill som bruker dx9 nå. Kan ikke bare 3dmark få dø en stille død?

Jeg tror du med fordel kunne satt deg ned og reflektert litt mer over hvor komplekst det etterhvert er blitt å skulle hastighetsteste. 3dmark har en nytteverdi (blant annet gjennom den sikkerhetsventilen Futuremark tilbyr i forhold til driverjuks) som er udiskutabel. Og er du virkelig så naiv at du tror at vilje til juks i 3dmark ikke innebærer en like stor vilje til juks i andre typiske benchmarks?

Sikkerhetsventil i forhold til "juks" i sitt eget uinteressante program? Isåfall er Futuremark sin eksistens ifølge deg kun berettiget ved at man kan oppdage "juks" i deres eget program. Ergo eksisterer kun Futuremark for å kunne påvise juks i 3dmark. Snakk om meningsløs tilværelse!

Endret 13. november 2003 av mad_arab

[HEE]

eg bryr meg ikkje fordi eg veit at i fremtida så vil GFX rule verre over 9800

Nå kødder du !

 

Edit : godt jeg har ati!

Endret 13. november 2003 av HEE

[Xell]

(gidder ikke quote for det var blitt så mange poster her )

 

det jeg mente med at testen bør varieres går faktisk ikke på tvers av at nye skjerkort skal kunne sammenliknes med gamle. Det som testes er jo gpu'ens evne til å prossesere forskjellige ting. Altså kan "problemet" være av samme grad uten at regnestykker er nøyaktig likt. man kan variere på variabler og dermed få forskjellig svar hver gang. Da er det vanskelig å jukse. Når man skal teste hvor flink en elev er til å løse en 2.-grads likning er det dumt å bruke f.eks. 4x^2 -7x +3=0 hver gang. Man bruker heller ax^2 -bx +c=0 og varierer a, b og c.

 

Jeg skjønner egentlig ikke helt hvordan 3dmark tester. Jeg har alltid trodd at man testet gpu'en på generelle prosesseringer ikke ikke på det samme regnestykket hver gang. Det som skal prosseseres burde ha en del vilkårlige varieble fra gang til gang uten at det har noe å si for bakover kompabiliteten til testen.

[Duke Soforth]

Sikkerhetsventil i forhold til "juks" i sitt eget uinteressante program? Isåfall er Futuremark sin eksistens ifølge deg kun berettiget ved at man kan oppdage "juks" i deres eget program. Ergo eksisterer kun Futuremark for å kunne påvise juks i 3dmark. Snakk om meningsløs tilværelse!

*sigh*

Min gode mann, skal du legge meninger inn i andres utsagn, så bør du vel i utgangspunktet sørge for at du forstår hva de forsøker å fortelle deg.

 

3dmark står utmerket godt på sine egne bein som en uavhengig test av hastighet. Det ville vært ganske interessant å høre deg gi en saklig argumentasjon for hvorfor du mener at 3dmark er uinteressant.

 

Benchmarking er et stort tema med aspekt som omhandler alt fra at du som enkeltperson sitter og tweaker på egen boks og forsøker å tyne hver siste lille dråpe fps ut av maskina, til omfattende sammenligninger av forskjellige produkt. 3dmark har en rolle å spille der som er akkurat like interessant som eksempelvis UT2003.

 

Det som gir 3dmark et fortrinn fremfor de forskjellige standardiserte spilltestene som benyttes, er det at Futuremark står bak og sertifiserer drivere. Hvordan kan du, neste gang du sitter og fordyper deg i en skjermkorttest og ser graf over resultat fra en standardisert flyby-scene i UT2003, være sikker på at resultatet fra grafen faktisk er representativt for ytelsen i spillet? Det vil være akkurat like lett for kortprodusenten å jukse til seg ekstra ytelse i den spillbaserte benchmarken som i 3dmark. Det vil i tillegg være mye tryggere å jukse i spillet, siden det garantert ikke er en sjel blant de som står bak spillet som gidder løfte en finger for å sjekke om en driver tar snarveier eller ikke. Den sikkerheten får du fra Futuremark.

[mad_arab]

Ser ut som noen har tungt for det. Du er akkurat like langt med juksing i spill uavhengig av om Futuremark eksisterer eller ikke. Kan dette være så vanskelig å skjønne?

[FJERNET111]

Ser ut som noen har tungt for det. Du er akkurat like langt med juksing i spill uavhengig av om Futuremark eksisterer eller ikke. Kan dette være så vanskelig å skjønne?

Det har hjulpet folk til å få øynene opp for juks, anmeldere begynner å se på IQ også når de anmelder ting. Om Futuremark har utspilt sin rolle eller ikke kan diskuteres.

[Bullseye88]

Futuremark har ikke disablet noe som helst. De har bare skrevet om rekkefølgen på instruksjonene. F.eks:

 

- Skrevet 3+2 som 2+3, eller

- Skrevet kode som sier "rendre flammen i bildet, så sverdet" i stedet for "rendre sverdet i bildet, så flammen"

 

Dette gjør at nVidia sine drivere ikke bit-for-bit kan gjenkjenne oppgaven og dermed skrive fasit-svaret direkte uten å faktisk beregne det.

 

Bullseye88: Generelle optimiseringer er selvsagt lov å gjøre. Disse vil også være gyldige i henhold til Futuremark sine regler, som ufo gjengav tidligere i tråden. Men slike gyldige optimiseringer vil ikke bli påvirket av å skrive 3+2 som 2+3 - det er det kun juks som blir, så vidt jeg har skjønt.

Dette med optimaliseringer av shader instruksjoner er litt å gråland. Si vi har en instruksjon: 2+x+3. En optimalisering som da vil være gyldig å gjøre i driverne er f.eks. å endre det til: x+3+2, fordi at dette går kjappere for skjermkortet å beregne.

Men det vil derimot være ulovlig hvis de endrer det til: x+3 fordi at det 2 tallet nesten ikke merkes på skjermbildet.

 

Det jeg vil frem til med posten min er at skjermkort produsenter skal ha lov til å optimalisere ettersom hvilket spill/program som kjører, men det skulle ha vært mulig å fått innsyn i de optimaliseringene som skjer.

 

(Disclaimer: Instruksjonene er abstrakte og forenklet til den graden at den optimalisering som her er gjort ikke ville ha utgjort noen forskjell.)

 

--

Morten

[[-GoMp-]]

*har nå lest og fordøyer*

 

 

Men en ting noen kan få lov til å forklare for meg, er hvordan de nyeste ForceWare driverne til nVidia da jobber bedre med PS2.0 i Halo, men værre med PS2.0 i 3DMark03?

Mener da at Halo fikk bedre ytelse med de nye driverne(ifølge div.tester), antakeligvis pga "Unified Complier"...Men hvorfor klarer den å jobber raskere med PS2.0 i Halo - uten tap av bildekvalitet, mens i 3DMark03, med sin nye patch, så synker ytelsen?

*spent*

[Martin Lie]

Bullseye88: Enig med deg i at det å stokke om på leddene i et pluss-stykke er en lovlig optimisering, og at man burde fått innsyn i optimiseringene (selv om det aldri kommer til å skje). Det er altså lov å optimisere om resultatet blir det samme - i dette tilfellet de genererte skjermbildene.

 

Beyond3D har tatt for seg begge 3DMark-versjonene (330 og 340), og sett på forskjeller i bildene rendret av nVidia-kort her:

http://www.beyond3d.com/articles/3dmark03/340/index.php?p=6

 

Som du kan se, så er det forskjeller i bildet. Legg merke til oppdateringen på bunnen av siden, der Futuremark påpeker hvilke forskjeller som opptrer naturlig - men at det fremdeles er ting som er forskjellig uten opplagt grunn. Dessverre kan jeg ikke nok om 3D-rendring til å ane om de gjenværende avvikene kan forklares.

 

Synes uansett Beyond3D burde gjort samme testing for ATI-kort, for å se om samme endringer oppstod der, samt hatt med GT1-bilder for å se om lignende forskjeller oppstod der, selv om ikke ytelsen ikke ble lavere. For alt jeg vet, så kan det jo hende at de forskjellene som er på bildene nettopp er de endringene Futuremark har lagt inn for å forhindre å blir oppdaget av jukse-rutinene.

 

Edit: Typo, som vanlig...

Endret 14. november 2003 av Pureblade