Om benchmarking av CPU + plattform

[Johan]

Når en kjedet eller nyssgjerrig sjel leser benchmarks på Internett, da kan man komme over mye rart. Det som slår meg er den store bruken av syntetisk benchmark, som 3dMark,SysMark osv. Det finnes et utall av de, men gir de ikke et ganske( eller veldig) urealistisk bilde på den ytelsen man egentlig vil få?

 

I disse dager har vi jo SSE, SSE2, HT, 3dNow! og flere andre instruksjonssett. Da kan det jo være vanskelig å vite hva som er optimalisert for hva, for ikke å snakke om hva som egentlig måles. Vil 8% høyere ytelse i SysMark(f. eks.) ha noen særlig effekt andre steder? Ikke godt å si; for meg ihvertfall. Antageligvis ikke naboen heller. Og i dagens nerde-kretser kan 3dMark poeng sammenlignes nesten direkte med størrelsen på utstyret(der nedentil ja) . Det har jo nærmest blitt en landeplage! Vi spiller ikke Bf1942, Unreal Tournament, neida, 3dMark03 og Aquamark for alle penga!

 

Jeg synes man burde fokusere mer( les: mye mer) på faktiske programmer. WinRAR, de spilllene man måtte finne på å leke med, kompresse /dekompresse MP3 og DivX, rendring i 3d-programmer, ytelsen i lydprogrammer osv. De fleste vil vel finne igjen noen ting som de driver med, og fellesnevneren er at de er ytelseskrevende. Benchmarkingen skal jo gi folk en pekepinn på hva som er det passer for dem. Da er det jo bedre å gjøre målingene med noen av de samme programmene som leseren kommer til å bruke.

 

En annen ting jeg ser er hvor "rettferdig" alt skal være. Jeg tør ikke driste meg langt ut på Intel vs. AMD i disse kretser, men at SSE2 er et stort spar-ess i Pentium 4 erme, det kan vi si. Av den grunn nekter noen å bruke SSE2 optimalisert software til å sammenligne med. Igjen har selve benchmarkingen tatt fokus fra brukeren og hans interesser. Går WinRAR( ett eksempel ut fra luften) mye fortere på Pentium 4 enn det gjør på tilsvarende AMD-plattformer har vel leseren rett til å vite det? Hvem kommer vel noen gang til å bruke PCMark99, SuperPi og lignende til noe nyttig?

 

Ja, dette var mine tanker rundt benchmarking i disse dager. Forhåpentligvis gliste noen litt og tenker litt mer over dette. Det er lenge siden jeg var oppdatert på dagens hardware, så hvis jeg har gjort noen tilgivelige feil håper jeg at meningen fortsatt kommer fram.

 

Mvh.

 

Johan Benum

[satanjapan]

Leste en test en gang der de hadde tatt med winrar,film dekoding og 3d rendring og en p4 3.2 var jo 36-68% raskere i det en en amd xp 3200+ nå har jeg ikke lest noen tester av amd 64 på samme punkt da, bare sett den bli testet i spill og test programmer der den vinner over p4 3.2 ghz noe som jeg driter i for jeg spiller nesten ikke spill driver mest med videoredigering og photoshop og der er p4 best

[Josten]

Er mye riktig i det di sier. Men nå bruker jo faktisk de fleste sider benchmarkene du mener de bør bruke. Se på de siste testene til hw.no. Du finner der mange spill og praktiske programmer. Men det å bruke real life programmer som benchmarks støter jo på en utfordring. Hvordan måler man hvor rask en prosessor er i feks word og excel? Og hvor raske de er i photoshop og premier? I spill er det jo ikke så stort problem pga programmer som lett måler antall fps. Men man kan vel ikke måle fps i word?

 

Er jo der de syntetiske benchmarkene kommer inn. Programmer som 3dmark tror jeg at ser veldig mye om ytelsen på et system. 01se feks bruker jo samme grafikkmotor som max payne, noe som gjør at resultater derifra kan direkte sammenlignes med enkelte spill. Meningen med syntetiske benchmarks er jo også å samle mange vanlige applikasjoner i en "pakke". Dermed får man på en måte mange benchmarks i en. Superpi feks synes jeg at det også er lurt å ha med, fordi den sier en del om prosessorens evne til tallknusing.

 

Et større problem med slike benchmarks er (imo) at de blir så veldig utbredt. Et godt 3dmark03 resultat er jo nå nesten synonymt med en bra maskin. Noe som seff gjør at alle ønsker et bra resultat der. Dette mener jeg er et større problem enn at eventuelle benchmarks ikke utnytter alle fordeler med begge prosessorene. Det er det jo få programmer som gjør.