FutureMark har stoppet Nvidia fra å jukse

[Duke Soforth]

Bare fordi Nvidia har "jukset" i 3dmark03 så jukser de i alt annet fordi: Ikke noe stopper dem OK???

Ikke klart hva du mener her... så jeg vil bare be deg være sikker på at du ikke bommer på poenget mitt. Det er ikke vanskeligere å jukse i en standardsekvens i et populært benchmarkspill enn det er å jukse i 3dmark. Så siden de nå er fakket i juks på 3dmark, hva hindrer de i å gjøre det samme på spillsekvensene (som Antalus og Inferno flyby i UT)? Gjør ikke dette noe med din tillit til benchmarkresultatene du ser i en test? Om svaret er nei, så trist for deg.

 

Men stakkars de som skrver drivere hvis de må gå gjennom hver benchmark der ute frame by frame(som de vistnok hadde med 3dmark03). Kan vere enig i at nVidia har kapra noen bra utviklere til å lage driverene sine, men mirakel klarer nok ikke de...

Eh????????? Ikke lag et poeng som er et fullstendig ikke-poeng. De har fått det til i 3dmark. Da kan de også få det til i UT. I Doom 3. I Quake 3. I Serious Sam. I Comanche. Om de faktisk gjør det/har gjort det er en helt annen sak. Men de har bevist at viljen er der.

[brune-ha]

Bare fordi Nvidia har "jukset" i 3dmark03 så jukser de i alt annet fordi: Ikke noe stopper dem OK???

Ikke klart hva du mener her... så jeg vil bare be deg være sikker på at du ikke bommer på poenget mitt. Det er ikke vanskeligere å jukse i en standardsekvens i et populært benchmarkspill enn det er å jukse i 3dmark. Så siden de nå er fakket i juks på 3dmark, hva hindrer de i å gjøre det samme på spillsekvensene (som Antalus og Inferno flyby i UT)? Gjør ikke dette noe med din tillit til benchmarkresultatene du ser i en test? Om svaret er nei, så trist for deg.

 

Men stakkars de som skrver drivere hvis de må gå gjennom hver benchmark der ute frame by frame(som de vistnok hadde med 3dmark03). Kan vere enig i at nVidia har kapra noen bra utviklere til å lage driverene sine, men mirakel klarer nok ikke de...

Eh????????? Ikke lag et poeng som er et fullstendig ikke-poeng. De har fått det til i 3dmark. Da kan de også få det til i UT. I Doom 3. I Quake 3. I Serious Sam. I Comanche. Om de faktisk gjør det/har gjort det er en helt annen sak. Men de har bevist at viljen er der.

Bommer ikke på poenget ditt, men tviler på at Nvidia jukser i alt selv om "ikke noe" stopper dem, kan selvfølgelig hende... Men når er jeg en slik person som ikke lever av 3dmark, som f.eks virker som DU gjør :wink:

Håpe DU ikke bommer på poenget nå

[Duke Soforth]

Bommer ikke på poenget ditt, men tviler på at Nvidia jukser i alt selv om "ikke noe" stopper dem, kan selvfølgelig hende... Men når er jeg en slik person som ikke lever av 3dmark, som f.eks virker  som DU gjør

Ja selvsagt... det er jo klart som vann... at jeg ikke har sett det før, det er jo 3dmark jeg lever av... *gasp* Nåvel, skal nok innrømme at jeg har snublet over tåpeligere ting enn ovenstående quote, overraskelsen er dog like stor hver gang de kommer. Tror faktisk ikke helt du forstår.

[brune-ha]

Bommer ikke på poenget ditt, men tviler på at Nvidia jukser i alt selv om "ikke noe" stopper dem, kan selvfølgelig hende... Men når er jeg en slik person som ikke lever av 3dmark, som f.eks virker  som DU gjør

Ja selvsagt... det er jo klart som vann... at jeg ikke har sett det før, det er jo 3dmark jeg lever av... *gasp* Nåvel, skal nok innrømme at jeg har snublet over tåpeligere ting enn ovenstående quote, overraskelsen er dog like stor hver gang de kommer. Tror faktisk ikke helt du forstår.

jeg skjønner aldri

Du er smar og jeg er dum...Virker som du er utrolig overlegen...

[Duke Soforth]

jeg skjønner aldri Du er smar og jeg er dum...Virker som du er utrolig overlegen...

Beklager, slett ikke meningen å tråkke på deg, men du stilte deg laglig til for hugg med en setning eller to der...

 

Og overlegen? Ja, det kan du nok ha rett i. Tror dog kanskje "noe for arrogant til tider" kanskje kan være en riktigere karakteristikk...

[brune-ha]

jeg skjønner aldri Du er smar og jeg er dum...Virker som du er utrolig overlegen...

Beklager, slett ikke meningen å tråkke på deg, men du stilte deg laglig til for hugg med en setning eller to der...

 

Og overlegen? Ja, det kan du nok ha rett i. Tror dog kanskje "noe for arrogant til tider" kanskje kan være en riktigere karakteristikk...

:-?

[Duke Soforth]

Flere med samme syn etterhvert...:

Its been a long since held suspicion that IHV’s could use numerous methods, beyond the relatively dumb application name lookup, to detect benchmarks and potentially alter their behaviour to make them appear to run more favourably on their hardware, however this is one of the few times that someone has actually spoken out about it. The extent to which Futuremark allege detections are being made and the differences that are being enabled, some seen through the developer releases and others not, are quite frightening and rock the fundamentals that a site such as us are based upon – if we can’t trust benchmarks is all of our data meaningless?

 

The Futuremark report points out that game benchmarks are just as susceptible to the types of detections shown here, and that presents us with a potentially larger issue. Futuremark’s business is built on having reliable benchmarks, so it is in their interests to police it and make sure it is not being abused, however who is going to do this for game benchmarks? We as reviewers have enough trouble trying to get developers to implement benchmark modes in the first place, they certainly aren’t going to spend time looking for potential issues with their benchmark once its released, they are also not likely to turn their code over to third parties to allow them to investigate as this is their valuable IP.

 

So, where do we go from here?

(fra Dave Baumann, en av gutta bak Beyond3d)

 

Og som svar på spørsmålet i siste setning i innlegget til Dave:

We make our own custom demos without releasing it to the public nor even say what level that demo is based on. There is no doubt now that recorded demos are extremely susceptible to what NVIDIA has done with 3DMark03's various tests and if a recorded game demo is available to the public, it will be just as susceptible. Even if we don't make the demo available to the public, I will be forever paranoid/pessimistic/distrustful and assume that if we even mention what level such a recorded demo was based on, IHVs will simply go and mess with the entire level.

 

Like I said in one of my past posts, the trust is lost and I am not certain how it may be regained.

(Anthony Tan, en av de andre Beyond3d gutta)

 

Tillit ER viktig. Undres på hvordan denne saken kommer til å påvirke fremtidig testing av skjermkort... Blir interessant å se hva hw.no har tenkt å gjøre med 5800-testen de presenterte for noen dager siden, all den tid den testen er basert på 44.03-driveren.

[Civilix]

Eh????????? Ikke lag et poeng som er et fullstendig ikke-poeng. De har fått det til i 3dmark. Da kan de også få det til i UT. I Doom 3. I Quake 3. I Serious Sam. I Comanche. Om de faktisk gjør det/har gjort det er en helt annen sak. Men de har bevist at viljen er der.

 

sorry, var upresis ut den uttalelsen min. Det jeg mente var at man ikke skal tro det verste om nvidia i all fremtid og at de er "the big bad". Ja, vi vet at de er villige til å få korta sine til og se best ut "på papiret", men jeg mener ikke at vi skal dømme de foralltid på grunn av det, da de også gjør mye bra(imho).

 

Og vandligvis har folka som jobber i 'markeding' mere å si hos sjefene enn utviklerene, dette er også ting man må tenke på i slike sammenhenger. Når de gjør slike ting som dette er det av en grunn, de vil selge mere(og som kjendt er det high-end kort som selger mainsteam-korta). Jeg lever i den tro at de er mange snille sjeler i nvidia som vil levere bra kort i fremtiden, og ikke bare noen som lager kort som produserer 3dmark.

[Ikon]

Dette her har null med juks å gjøre. Det har med politikk og penger å gjøre. Det som ligger bak det her er at futuremark er pissed fordi Nvidia har trukket seg fra "programmet" dems og ikke betaler penger til dem lengre. Videre gikk Nvidia ut og ga krass kritikk til futuremark. Dette likte dem nok ikke noe særlig godt. Hadde Nvidia vært en fortsatt ivrig betaler til futuremark hadde dette her aldri kommet ut, trust me..

 

Syns det er litt rart at det kommer kommentarer som:"Ati eier, Nvidia suger" og "umulig å jukse i dataspill performance-tester" Hvem var det som "juksa" med driverene sine for quake3 for ikke så veeldig lenge siden? Jo det var Ati..

Hva er galt med bedre performance? Hvis bilde kvaliteten er dårligere så vil jeg si at det svir mer enn 5-6 fps mer i en hardware test. Ville du virkelig ha kjøpt ett kort som gir 15% bedre fps hvis kvaliteten på bildet var crap? Det ville iallefall ikke jeg ha gjort.

Når jeg kjøper grafikk kort så ser jeg først på hvor lenge jeg tror jeg kan ha grafikk kortet(feks. i mine øyne var gf4 ett dødt produkt da dx9 var rett rundt hjørnet og gf4 var dx8.1 kort) Så ser jeg på bildekvaliteten og performance. Den som ser på det andre veien burde få hodet og lommeboken sin sjekket!

Det virker så veldig desperat når folk begynner med min-er-best diskusjoner. Er vi ikke alle over dette stadiet?

[Mr.Garibaldi]

Nvidia driter på draget igjen. Det koster langt fra "hundreds of thousands of dollars" å delta i Futuremark's beta program.

 

5000,- + lønning til utviklere...

 

er ikke bare en ting (for å forsvare nvidia sitt argument), men kan ikke se bort ifra at det blir endel tusen etterhvert....

 

Tja, skal man følge det argumentet kan man jo si at Nvidia nå betaler gud vet hvor mange tusen for å stå utenfor beta programmet...

Hadde de forstatt vært medlemmer hadde de hatt tilgang til informasjon som hadde gjort juksingen mye enklere, og arbeidstiden mye kortere...

 

Sorry, kunne bare ikke du meg

 

Når det gjelder min tidligere kommentar:

NV30 (FX 5800U) er ikke et dårlig eller tregt kort i seg selv, men når man sammenligner det med andre kort, så er det kanskje ikke like godt..

Hvis du tar en titt på AnandTech's review, mer spesiellt denne siden, så vil du kanskje forstå bedre hva jeg mener...

Hadde kortet kommet ut når det skulle (Vår 2002 ifølge Nvidia), så hadde det vært et utrolig bra[/i} kort... Men når det først dukker opp 1 år etter, så ligger det ganske langt etter ATI...

Følgelig min kommentar ang. dårlig ytelse.

(BTW: den testen du linker til er gjort med driverne som det har blitt bevist jukser med 3dmark 03...)

 

Det er forresten rart at hw.no ikke brukte cat 3.4 i den testen sin...

 

 

Når det gjelder objektivitet...

Jeg prøver ikke å legge skjul på at jeg er pro ATI, et syn som bare er blitt forsterket etter Nvidia's oppførsel i denne saken...

Men poenget er vel ikke om jeg er pro ATI, men snarere å prøve å se det hele fra litt avstand... Og sånn sett føler jeg ikke at jeg har gjort noe galt... F.eks. min kommentar her...

 

 

Stage> Er enig i at det kan lønne seg å undersøke saken litt før man slenger rundt seg med "fakta", men det er kanskje litt uheldig å kalle mesteparten av deltakerne for barnehageunger...

 

For min del innrømmer jeg (gjerne) at jeg ikke har nok kunnskap til å forstå alt som foregår i 3d kort verden, men jeg liker i det minste å tro at jeg lærer litt av å lese B3D...

 

 

 

Ellers må jeg si at dette er en meget morsom tråd å følge... Så mange morsomme uttalelser i en tråd er sjelden å finne... (Selv om diskusjonen om ADSL er full- eller half-duplex kommer nært....)

[CS_eR GøY]

Hehe for meg virker det egentlig som om at Futuremark er en slags "3dkort mafia" som skall ha såkalte "protection money" fra 3dkort produsentene for at ting skall gå bra for demm...

 

selvfølgelig så er dette teit og uakseptabelt.. men nvidia gjør ikke saken bedre ved å jukse i 3dmark..

 

de sier selfølgelig at det ikke var demms skyld men kjenner vi oss ikke igjen der?

 

det er feigt og teit av futuremark og utnytte statusen de har til utpressing og nvida er som kjent ganske avhengige av at fx5900 går bra og var ganske "presset?" til å jukse littt i 3dmark?

 

er helt enig i at viss nvidia betalte protecion money ville denne saken ALDRI under noen omstendigheter blitt tatt opp...

 

men fortsatt så er future mark bare lame mens nvidia bæsja på leggen?

[HKS]

For å være erlig må jeg bare i at jeg bryr meg ikke om nVidia optimaliserer scoren til 3DMark. De er jo ikke med på programmet engang, og så lenge det er filleting som du ikke kan se på en skjerm uten en spesialutgave av 3DMark så er dette fulstendig uinteresant. Så jeg håper faktisk at nVidia bare oppdaterer driverene demmes til å kjenne igjen den nye utgaven av 3DMark. Så lenge en vanlig bruker ikke kan se noe på skjermen så er det helt ok synes jeg!

 

Om jeg skal kjøpe meg et 3D kort ser jeg på ytelsen i virkelige applikasjoner, Doom III & etterhvert Half-Life 2 vil etter min mening være meget interesange, fordi de prepresenterer fremtidige applikasjoner 3DMark er ikke det spør du meg....

[Mr.Garibaldi]

Dette her har null med juks å gjøre. Det har med politikk og penger å gjøre. Det som ligger bak det her er at futuremark er pissed fordi Nvidia har trukket seg fra "programmet" dems og ikke betaler penger til dem lengre. Videre gikk Nvidia ut og ga krass kritikk til futuremark. Dette likte dem nok ikke noe særlig godt. Hadde Nvidia vært en fortsatt ivrig betaler til futuremark hadde dette her aldri kommet ut, trust me..

 

Tja, hvordan passer det med dette:

 

ATI blir for øyeblikket undersøkt av FM om de også jukser i 3dmark03, da de hadde en 8% større ytelse i GT 4 før siste patch...

 

Og det å påstå at dette skjedde kun fordi FM er sure på Nvidia fordi de ikke lenger betaler for å være med i beta programmet deres er ca. like logisk som at ET publiserte sin story ang. driverjuksen 2 dager etter at [H] publiserte sin D3 demo...

 

Ja, FM er sikkert lei seg for at Nvidia ikke vil delta lenger, men det er på langt nær ikke grunn nok til at firmaet skulle risikere sin integritet ved å legge inne en bug for Nvidia's drivere...

 

Og forresten, hvordan forklarer du at 3dmark, som kom ut lenge før NV30 kom til markedet, for ikke å snakke om NV35, kan ha hatt en slik bug rettet mot dette kortet i seg... Og hvordan kunne de bestemme at bug'en først skulle trå ikraft med DetFX 44.03 mange måneder før driveren ble sluppet?

 

For FM er det meget kjedelig at Nvidia gjør det de gjør, da dette undergraver 3dmark03's rolle som et benchmark, og følgelig kan få mye større økonomiske konsekvenser, enn at Nvidia trakk seg....

 

En annen ting er at det var ikke FM som oppdaget jukset først, men ET og B3D, som så fortalte det til FM, og Nvidia....

 

Så du får unskylde om jeg ikke går helt med på den "trust me..."...!

 

Syns det er litt rart at det kommer kommentarer som:"Ati eier, Nvidia suger" og "umulig å jukse i dataspill performance-tester" Hvem var det som "juksa" med driverene sine for quake3 for ikke så veeldig lenge siden? Jo det var Ati..

 

Greit, ATI jukset i Q3, med Radeon 8500... Jukset ble rettet opp i neste driver release, og den økte ytelsen...

 

Men hvem var det som slapp non-WHQL drivere som jukset i 3dmark nå nylig? Du vet, de driverne hvis score ikke ble tillatt i FM's ORB...

Og så slapp WHQL sertifiserte drivere som jukset enda mer i 3dmark?

 

Var det også ATI, eller kan det ha vært den andre store skjermkort produsenten.....?

 

Hva er galt med bedre performance?  

 

Ingenting, så lenge det ikke bryter med hva produsenten av programmet ønsker at skal skje....

 

I 3dmark er hele vitsen at bildet som blir produsert skal være det samme uansett hvilket kort du bruker, samt at programmet skal stresse skjermkortet mest mulig...

 

Tenk deg hvis noen hadde lagt inn egne clipping planes i et FPS... Du hadde fått en utrolig ytelse, men hvis du noen gang så deg bakover, så ville det sett helt forj**lig ut...

 

Hvis bilde kvaliteten er dårligere så vil jeg si at det svir mer enn 5-6 fps mer i en hardware test. Ville du virkelig ha kjøpt ett kort som gir 15% bedre fps hvis kvaliteten på bildet var crap? Det ville iallefall ikke jeg ha gjort.

Når jeg kjøper grafikk kort så ser jeg først på hvor lenge jeg tror jeg kan ha grafikk kortet(feks. i mine øyne var gf4 ett dødt produkt da dx9 var rett rundt hjørnet og gf4 var dx8.1 kort) Så ser jeg på bildekvaliteten og performance. Den som ser på det andre veien burde få hodet og lommeboken sin sjekket!

Det virker så veldig desperat når folk begynner med min-er-best diskusjoner. Er vi ikke alle over dette stadiet?

 

Helt enig!

[Civilix]

(...langt innlegg...)

NV30 (FX 5800U) er ikke et dårlig eller tregt kort i seg selv, men når man sammenligner det med andre kort, så er det kanskje ikke like godt..

Hvis du tar en titt på AnandTech's review, mer spesiellt denne siden

 

Venta bare på en link hvor du hadde resultater med AA enablet, og da er det ikke tvil. Ytelsen med AA på 5800U er ikke bra i forhold til ATI korta, men da vil jeg vise til denne siden i samme testen(f.eks). Da vil du se at ytelsen er så og si lik på de to rivalene(i 1024x), en artig detalj er at 9x00 korta ser ut til og bli overkjørt i 1600x1200 oppløsning på de testene jeg har lest. Og da kan man jo diskutere da; hva er viktigest, oppløsning eller aa...(men vennligs ikke gjør det nå, blir for offtopic).

 

Det jeg vil fram til er; 5800U er ikke et dårlig kort ytelsesmessig, selv ikke når man sammenligner med konkurentene.

[Alastor]

Dette her har null med juks å gjøre. Det har med politikk og penger å gjøre. Det som ligger bak det her er at futuremark er pissed fordi Nvidia har trukket seg fra "programmet" dems og ikke betaler penger til dem lengre. Videre gikk Nvidia ut og ga krass kritikk til futuremark. Dette likte dem nok ikke noe særlig godt. Hadde Nvidia vært en fortsatt ivrig betaler til futuremark hadde dette her aldri kommet ut, trust me..

Hehehehe, dette blir bare for dumt. Kan du gi oss noen kilder på disse uttalelsene?

 

Ting ang. 3dmark03 skjer i denne rekkefølgen:

- nVidia og ATi er begge med i beta-programmet

- nVidia trekker seg rett før applikasjonen er ferdig

- 3dmark03 kommer ut, r300 moser GF4ti i benchmarken

- nVidia mener at dette er urettferdig, og at benchmarken er "feil" i forhold til alle kommende spill osv...

- FM kommer med sitt forsvar, og de fleste er enige i at FM har sitt på det rene.

- GFFX kommer ut, og r300 er faktisk raskere enn dette kortet også

- nVidia slipper en ikke-WHQL certifisert driver som gir tilsvarende ytelsesøkning som vi så med FX-driverne. Dette ble så avslørt som juks, da det ble vist at driveren senket billedkvaliteten til 16bits i 3dmark.

- Nå kom det en ny, denne gang WHQL certifisert driver ut, FX, 44.03. Denne ga stooor økning i score i 3dmark, samt tilsvarende økning i andre kjente benchmarks.

- Extremetech så nærmere på saken, da de hadde tilgang til developers version av 3dmark. Da de frøs et bilde, og flyttet ut og rundt til det skjermen ikke viste, ble hele bildet forvrengt. De fant da ut at nVidia hadde lagt inn egne clipping planes, slik at det ble MYE mindre for grafikkortet å tegne.

- De rapporterte dette til både FM og nVidia, nVidia gjorde IKKE NOE med saken, og nå ser vi resultatet, FM slapp en ny versjon, og denne versjonen gjorde at ytelsen sank til det den var før FX-driverne kom ut.

- ....oooops nVidia?

 

 

 

Hva er galt med bedre performance? Hvis bilde kvaliteten er dårligere så vil jeg si at det svir mer enn 5-6 fps mer i en hardware test. Ville du virkelig ha kjøpt ett kort som gir 15% bedre fps hvis kvaliteten på bildet var crap? Det ville iallefall ikke jeg ha gjort.

 

Hvorfor i all verden er du så for nVidia da? Det er jo ATi som har overlegent best IQ på sine kort

[rvenes]

 

PS! pc'n min har stått på i 16 timer nuh...

 

Wow. Skriver du autografer?

 

jada!

[Kel Sha'in]

Interessant tråd...

Personlig så bryr benchmarks meg midt i (_|_) bare kortet klarer å kjøre spillene jeg har uten problemer, og uten at jeg må senke oppløsningen så mye at jeg får et bilde som ser ut som det er laget av legoklosser...

 

Når det er sagt så tror jeg nok at 'noen' har gjort kraftig steinhøgg her, spesielt med tanke på markedsføringsverdien som 3dMark-scoren har. Ja, det er "showoff", men det finnes mange folk der ute med mye penger og lite peil på data som skal ha det som er "best"...

[lqpl]

3dmark er en standard for testing av 3dkort, at nvidia jukser med

denne er patetisk, og viser at de er desperate. Argumenetet om at

det bare er en test holder ikke, hva om de hadde (eller har) jukset

i Doom III også?

 

Juks er det uansett og viser manglende respekt for oss, vi som

er kjøpere.

 

Grunnen til nvidias desperate handlinger er ATI har tatt innersvingen på de i nesten alt de siste 10 månedene, ytelse, kvalitet og pris.

T.o.m. driverne til ATI er bedre nå etter min mening. Og som ikke det

var nok så kjører nvidia sin Dawn-demo bedre på et ATI 9700 enn

FX5900..

 

nvidia må inse at de ikke lengre er markedsledene og brette opp

armene og lage noe rått slik de gjorde før, ikke syte og klage og

bruke tid på å juske.

 

lqpl

 

l

[vipewan]

mine uttelalser angående bildekvaliteten til nvidia kommer etter å ha lest de fleste reviewene av nettopp 5900 ultra vs 9800 pro, så konkluderer de med at det er tildels umulig å se noen forskjell,mens andre igjen kommenterer at de mener kanskje nvidia ligger litt bedre an.

 

Erm... feil.

 

Har lest de fleste av disse review/preview'ene, og de aller fleste konkluderer med følgende:

 

ATI's FSAA er bedre enn Nvidias, og man kan se forskjeller.

 

Nvidias Anisotropic Filtering er bedre enn ATI's, men forskjellene er meget små.

 

Konklusjon: ATI's bildekvalitet er bedre en Nvidias, men forskjellen er ikke så stor som den var.

 

 

Both cards offer exceptional performance, but if I have to place my finger on which card I would choose for my primary system that I play my games on, I would have to opt for the 256MB 9800 Pro. It has better AA quality, and can play at 6XAA on a 256MB card very easily. It has also proven to be very strong in shader operations

[Mr.Garibaldi]

Venta bare på en link hvor du hadde resultater med AA enablet, og da er det ikke tvil. Ytelsen med AA på 5800U er ikke bra i forhold til ATI korta, men da vil jeg vise til denne siden i samme testen(f.eks). Da vil du se at ytelsen er så og si lik på de to rivalene(i 1024x), en artig detalj er at 9x00 korta ser ut til og bli overkjørt i 1600x1200 oppløsning på de testene jeg har lest. Og da kan man jo diskutere da; hva er viktigest, oppløsning eller aa...(men vennligs ikke gjør det nå, blir for offtopic).

 

Det jeg vil fram til er; 5800U er ikke et dårlig kort ytelsesmessig, selv ikke når man sammenligner med konkurentene.

 

Jeg tror vi begge er enige, men uttrykker det på litt forskjelilge måter, så jeg lar det ligge der...