DxOMark

[knutinh]

Siden dette temaet skaper så mye engasjement i ymse tråder så hadde det kanskje vært greit å ha en samletråd om emnet?

 

http://www.dxomark.com/

 

Hva er DxOMark? DxO lager bl.a. software for framkalling av raw-filer fra digitale kamera. Der trengte de profiler av alle støttede kamera for å kunne gjøre best mulig framkalling. DxOMark later til å være et bi-produkt av denne prosessen. Jeg snakker først og fremst om "sensor score" siden dette er den delen av målingene som skaper mest blest, men de måler også objektiver.

 

Hva er ikke DxOMark? Det er ingen komplett "test" av kamera. De sier ingenting om kameraets ergonomi, om meny-systemet er intuitivt, om batteri-levetiden er bra eller mange andre ting som er viktig for de fleste kamera-brukere, og som en test på f.eks akam.no bør si noe om.

 

Hva er det så DxOMark/sensor-score faktisk måler?

http://www.dxomark.c...t/Sensor-scores

"All sensor scores reflect only the RAW sensor performance of a camera body. All measurements are performed on the RAW image file BEFORE demosaicing or other processing prior to final image delivery."

 

Jeg har valgt å sammenligne et kamera fra Canon (7D), og et fra Nikon (D7100) fordi jeg eier selv 7D, og D7100 er representativ for hva Nikon har fått til de siste årene. D7100 er et nyere kamera enn 7D, og konkurerer i et litt annet segment, men hvis Nikon kommer med en "D400" så antar jeg at den vil ha en sensor som ligner på den i D7100.

http://www.dxomark.c.../(brand2)/Canon

Camera					Nikon D7100	Canon EOS 7D
Overall Score			 83			 66
Portrait (Color Depth)	  24.2 bits	 22 bits
Landscape (Dynamic Range) 13.7 Evs	   11.7 Evs
Sports (Low-Light ISO)	  1256 ISO	   854 ISO

 

Så hva betyr disse tallene? Er D7100 generelt et 83/66 = 1.25x bedre kamera enn 7D? Selvsagt ikke. Overall Score er en vekting av Portrait, Landscape og Sports scoren, og sier oss egentlig ikke så mye (etter min mening).

 

Portrait (Color Depth):

<TBD>

 

Landscape (Dynamic Range):

"Maximum dynamic range is the greatest possible amplitude between light and dark details a given sensor can record, and is expressed in EVs (exposure values) or f-stops, with each increase of 1 EV (or one stop) corresponding to twice the amount of light.

 

Dynamic range corresponds to the ratio between the highest brightness a camera can capture (saturation) and the lowest brightness it can capture (typically when noise becomes more important than the signal, i.e., a signal-to-noise ratio below 0 dB).

 

A value of 12 EV is excellent, with differences below 0.5 EV usually not noticeable."

 

DR er altså maksimal avstand mellom saturering og en SNR på 0dB (støygulvet). Dette skjer vanligvis ved laveste ISO. For fotografer som bruker kameraet på høy ISO så er altså dette tallet ikke nødvendigvis relevant.

 

 

Figuren over viser kjernen i de mange debattene om emnet (her er 5Dmk3 og D800 vist). Målingen er ganske lik over store deler av ISO-verdiene, men for lave ISO-verdier så gir Nikon en større målt verdi enn Canon (og dermed et større tall for "maximal DR").

 

Bill Claff gjør uavhengige målinger av en beslektet parameter, Photographic Dynamic Range. Den viktigste forskjellen later til å være at han stiller kravet til SNR høyere enn 0dB, og dermed får lavere tall for DR. Samsvaret mellom hans og DXO sine målinger later dog til å være godt:

http://home.comcast....ape_scatter.htm

 

<TBD>:

http://www.clarkvisi...l#dynamic_range

http://www.sensorgen.info/ (estimering av grunnleggende fysiske data fra DXO-plot)

 

Gitt at disse målingene er korrekte, hva er den praktiske konsekvensen? Print på papir har ikke så stort dynamisk område (100:1 i beste fall?). Objektiver begrenser dynamisk område for et enkelt bilde. "HDR" (exposure bracketing) kan brukes på enkelte scener for å utvide dynamisk område. Graduated ND-filtre kan brukes på enkelte scener for å utvide dynamisk område.

 

Sports (Low-Light ISO):

"low-light ISO is the highest ISO setting for a camera that allows it to achieve an SNR of 30dB while keeping a good dynamic range of 9 EVs and a color depth of 18bits."

 

Mao: ISO 1256 er den høyeste ISO-settingen hvor (DxO mener at) bildekvaliteten er "god". Tilsvarende for 7D er ISO 854. En SNR på X dB sier oss ingenting om den subjektive kvaliteten på støyen, bare et mål på mengden.

 

Normalisering av oppløsning

Kjøper man et kamera for å studere pixler, eller for å ta bilder? For en fotograf mener jeg at svaret er opplagt: man kjøper et kamera for å ta på bilder, som man så skal titte på. Vil du helst ha et kamera med 24 MP hvor hver pixel her "mer" støy, eller et kamera med 12 MP hvor hver pixel har "mindre" støy? Mange vil kanskje velge alternativ #2, men hva om bildet fra det høyest oppløste kameraet kan skaleres ned til 12 MP og da gir mindre støy per pixel enn kameraet som har 12 MP i utgangspunktet? For å slippe å forholde seg til slike problemer så kan man normalisere alle kamera til en gitt oppløsning. DxO har valgt 8 MP. Dette tilsvarer et print på 20cmx30cm printet ved 300dpi.

 

Hvorfor får dpreview/akam/naboen/... andre resultater enn DxO?

-Noen baserer seg på JPEG-filer, det er noe helt annet enn raw-filer.

-Noen baserer seg på manuell/visuell bedømning. Selv om det kan være en god reality-check så er man sårbar for bias med mindre man bruker gode metoder

-

 

-k

 

Jeg mottar gjerne tilbakemelding på feil og uklarheter og vil prøve å gjøre første post til et godt sammendrag av kunnskapen vi erverver oss utover i tråden.

Endret 2. mai 2013 av knutinh

[Simen1]

Godt tiltak!

 

Jeg synes Luminous Landscape har en glimrende artikkel om Dxomark, hva som måles, hvordan det måles, hvordan man skal tolke resultatene og hvilken relevans de har for forskjellige sider ved bildekvalitet. Styrker og svakheter.

[robertaksland]

Jeg har sett på raw-bildene hos DPReview, og sammenlignet forskjellige kameraer som har fått lik score hos DxOmark. Mitt inntrykk er at de baserer seg på omvendt kontrast i raw-bildene, og ikke detaljrikdom. To forskjellige sensorer som har fått lik score kan ha helt forskjellig ytelse. Nikon/Sony sine sensorer har gjennomgående bløtere raw-output enn Canon sine, slik at når et Canon og et Nikon-kamera har lik DxOmark-score, så gir Canon-kameraet flere detaljer i bildet. Dette er grunnen til at Nikon scorer høyere hoe DxOmark uten å gi bedre billedkvalitet. Et typisk Nikon-raw-bilde må altså skarpes opp, mens et typisk Canon-raw-bilde må softes ned for å få det samme resultatet. Dette tar ikke DxOmark hensyn til, og det er en stor svakhet hos dem.

[Trondster]

Noen av mine kommentarer om DxO:

Positive ting:

- Vitenskapelige utført og godt gjennomførte målinger målt på tvers av kamerasystemer.

- Måler Raw-ytelse - altså hva sensoren kan gi kjørt gjennom en oppdatert Raw-motor - altså hva potensialet fra sensoren er, og ikke amputerte jpeg-filer.

 

Ting som er negativt:

- Man får ikke sett de faktiske bildene de baserer målingene sine på. Hvor stygg støy er er subjektiv (selv om man kan sette opp "standard" målekriterier), og jeg liker å se selv hvordan ting ser ut og om jeg synes støyen er stygg eller ikke.

- Alle dataene er fra DxOs egen Raw-konverteringsmotor - hvis produsenten hypotetisk har en spesiell bedre måte å konvertere dataene fra sensoren er det slett ikke sikkert DxOs motor bruker informasjonen på riktig måte, og derfor gir feil verdier.

- Manglende måling av oppløsning på sensoren - hvor mye detaljer kan man hente ut, både totalt sett og i forhold til oppløsningen. Jo - det er målinger med enkelte objektiver, men det mangler en standard-måte for å bedømme detaljoppløsning på sensoren - dette er etter undertegnedes mening en stor mangel i DxOs test-suite.

- De forenklede poengsummene til DxO. De er etter min mening fysj og teit. De forenklede tallene viser ikke hvordan sensoren yter totalt sett, men hvordan sensoren yter på noen veldig spesifikke tester. Eksempel: score for DR (Dynamic Range=dynamikk) er kun hvordan sensoren yter på laveste kalibrerte ISO - ikke hvordan den yter oppover på andre ISO-verdier. Gir relativt høyere score for en sensor som har dårligere DR på høy ISO (som tildels Hasselblad), og gir dårlig score for en sensor som har lavere DR på lav ISO men relativt høy DR på høy ISO (som for eksempel Canon). Disse forenklede poengsummene gir ikke godt nok bilde på ytelsen - grafene gir derimot et godt bilde og forteller "hele" historien.

[knutinh]

- Man får ikke sett de faktiske bildene de baserer målingene sine på. Hvor stygg støy er er subjektiv (selv om man kan sette opp "standard" målekriterier), og jeg liker å se selv hvordan ting ser ut og om jeg synes støyen er stygg eller ikke.

Bildene de bruker gir ikke nødvendigvis et godt subjektivt inntrykk av bildekvalitet. Dpreview har sånne bilder.

- Alle dataene er fra DxOs egen Raw-konverteringsmotor - hvis produsenten hypotetisk har en spesiell bedre måte å konvertere dataene fra sensoren er det slett ikke sikkert DxOs motor bruker informasjonen på riktig måte, og derfor gir feil verdier.

Hvis DxO snubler så er vel sjanse god for at også Lightroom og andre 3.parts convertere snubler? Hvis Canon hadde et hemmelig hint i raw-filene sine som "låste opp" 2 stop DR@ISO100 så tror jeg at de hadde hintet om det til DxOMark?

 

Hvis ikke, så fortjener de uansett langvarig og smertefull pisk på edle deler...

- Manglende måling av oppløsning på sensoren - hvor mye detaljer kan man hente ut, både totalt sett og i forhold til oppløsningen. Jo - det er målinger med enkelte objektiver, men det mangler en standard-måte for å bedømme detaljoppløsning på sensoren - dette er etter undertegnedes mening en stor mangel i DxOs test-suite.

Oppløsning er viktig, men vi har vel andre kilder?

- De forenklede poengsummene til DxO. De er etter min mening fysj og teit. De forenklede tallene viser ikke hvordan sensoren yter totalt sett, men hvordan sensoren yter på noen veldig spesifikke tester. Eksempel: score for DR (Dynamic Range=dynamikk) er kun hvordan sensoren yter på laveste kalibrerte ISO - ikke hvordan den yter oppover på andre ISO-verdier. Gir relativt høyere score for en sensor som har dårligere DR på høy ISO (som tildels Hasselblad), og gir dårlig score for en sensor som har lavere DR på lav ISO men relativt høy DR på høy ISO (som for eksempel Canon). Disse forenklede poengsummene gir ikke godt nok bilde på ytelsen - grafene gir derimot et godt bilde og forteller "hele" historien.

Noen vil ha bare ett tall å forholde seg til. Disse unngår kanskje DxOMark uansett, så du har et poeng.

 

-k

Endret 2. mai 2013 av knutinh

[ATWindsor]

Kunne gjerne tenkt meg litt mere info om "measured iso", og hvordan dette ikke viser at produsentene "jukser" med iso.

 

AtW

[tomsi42]

Kunne gjerne tenkt meg litt mere info om "measured iso", og hvordan dette ikke viser at produsentene "jukser" med iso.

Blir med på den forespørselen. Så vidt jeg har skjønt, så er det flere "standarder" for ISO målinger.

[Trondster]

Bildene de bruker gir ikke nødvendigvis et godt subjektivt inntrykk av bildekvalitet. Dpreview har sånne bilder.

Og når det gjelder skarphet for objektiver, så hadde dpreview dette. De har for eldre tester fine fargede grafer over skarphet for objektiver, hvor man i flere punkter kan ta mouseover for å se testbildene som ligger til grunn for grafen akkurat der - selv se om det er kromafeil, softhet, kontrast eller hva. Fine testene.

På de nyere testene av objektiver har dpreview gått over til grafer levert av DxO - og så har de tatt vekk det jeg syntes var interessant med dpreviews grafer - nemlig bildene under.

 

Dummingene.

[ATWindsor]

Blir med på den forespørselen. Så vidt jeg har skjønt, så er det flere "standarder" for ISO målinger.

 

Ja, og dessuten bruker produsentene aktivt over og undereksponering for å få mere headroom i mørke eller lyse partier. Det endrer "measured iso", men selve bildet du får ut av kameraet er allikevel like lyst som den "Oppgitte ISOen indikerer", ihvertfall om jeg ikke har misforstått.

 

AtW

[tomsi42]

Ja, og dessuten bruker produsentene aktivt over og undereksponering for å få mere headroom i mørke eller lyse partier. Det endrer "measured iso", men selve bildet du får ut av kameraet er allikevel like lyst som den "Oppgitte ISOen indikerer", ihvertfall om jeg ikke har misforstått.

Det er vel stort sett i de forskjellige utvidete DR -modusene?

 

Untatt Olympus på OM-D & Co som er ett steg utenfor da.

[ATWindsor]

Det er vel stort sett i de forskjellige utvidete DR -modusene?

 

Untatt Olympus på OM-D & Co som er ett steg utenfor da.

 

Det er ganske stor forskjell på measured iso, og det er vel fordi man har gjort noe forskjellige designvalg (headrom, vs støy i skyggepartier osv), poenget er uansett at den oppgitte ISOen er reell i den forstanden som teller for bildene, nemlig at eksponeringen blir den samme på feks olympus 1600 iso, vs nikon 1600 iso. Selv om det er stor forskjell på "Measured iso" på dxomark (igjen med forbehold om misforståelser fra min side)

 

AtW

[Bruker-88036]

helt ærlig. Valget er gjort. Uten å studerer disse sidene. Jeg ser nytten for de som ser nytten i å studere dette. Men jeg tror allikevel at valgene vi gjør underveis når vi tar vilder opphever dette, Hvem studerer dette og tar bilder basert på resultatene? Ingen vil jeg påstå. Dette er bare for i teorien si at et kamera er bedre enn ett annet. I det virkelige liv vil vi nok ikke se noen forskjell, tror jeg.

[seriksen]

DxO sender (hvis jeg har forstått det korrekt) en kjent lysstyrke inn på sensoren og måler resultatet. På en måte likt for alle, men det tar ikke hensyn til hvordan produsneten mener at RAW-dataene skal tolkes. Jeg tenker på dette litt som fremkalling av film. Følger du ikke produsentens beskrivelse kan/vil du også få et annet resultat. For meg og (antar jeg) de fleste som bruker kameraene er det mer interessant å vurdere bilder "fremkalt" som det produsenten ønsker. Men da mister man samtidig DxO's enhetlige måte å gjøre det på siden produsentene alle har sine tolkninger av RAW-data.

[Simen1]

- De forenklede poengsummene til DxO. De er etter min mening fysj og teit. De forenklede tallene viser ikke hvordan sensoren yter totalt sett, men hvordan sensoren yter på noen veldig spesifikke tester. Eksempel: score for DR (Dynamic Range=dynamikk) er kun hvordan sensoren yter på laveste kalibrerte ISO - ikke hvordan den yter oppover på andre ISO-verdier. Gir relativt høyere score for en sensor som har dårligere DR på høy ISO (som tildels Hasselblad), og gir dårlig score for en sensor som har lavere DR på lav ISO men relativt høy DR på høy ISO (som for eksempel Canon). Disse forenklede poengsummene gir ikke godt nok bilde på ytelsen - grafene gir derimot et godt bilde og forteller "hele" historien.

Egentlig forteller ikke de heller hele historien. De forteller bare om differansen mellom de to ytterpunktene av eksponeringen ved ulike ISO, ikke hvordan responsen er i mellom ytterpunktene.

 

Ikke alle gidder å lese og gruble over et titalls grafer og vil ha en "executive summary". Noen vil ha denne dummet ned videre til noe så enkelt som et enkelt tall. De gidder ikke grave dypere i materien eller få den fulle forståelsen.

 

Dxomark er bygget opp som en pyramide med 4 trinn, der det enkelste trinnet, totalscoren, er for soccermoms, andre trinn for de som nettopp har oppdaget PSAM, tredje trinn for de som vil forstå mer uten å bli helt fagnerd. Siste trinn er for fagnerdene. Alle har valgfriheten til å gå rett inn på det nivået de selv ønsker. Jeg synes det blir feil å kritisere soccermoms for å ikke bruke dager og uker på å studere og forstå/misforstå de fulle grafene. De vil bare ut og ta bilder av gullungene/rampen eller hva det måtte være. Vi fagnerder kan sitte og kose oss med besserwissdomen om de mange detaljene bak det hele. Hver sin smak og alle får det nivået de ønsker.

 

- Manglende måling av oppløsning på sensoren - hvor mye detaljer kan man hente ut, både totalt sett og i forhold til oppløsningen. Jo - det er målinger med enkelte objektiver, men det mangler en standard-måte for å bedømme detaljoppløsning på sensoren - dette er etter undertegnedes mening en stor mangel i DxOs test-suite.

Oppløsning er et resultat av både objektiv og sensor. Jeg tror ikke det er mulig å produsere noe meningsfult mål for sensoroppløsning uten at optikk blir en medvirkende faktor. Det er vel derfor sensor og optikk behandles felles i objektivtestene.

 

Kunne gjerne tenkt meg litt mere info om "measured iso", og hvordan dette ikke viser at produsentene "jukser" med iso.

Jeg tror de bruker standard 18% gråkort og regner ut differansen mellom 18%-standarden og målt gråhet i fila. Viser det seg at bildet er eksponert så gråkortet blir 20% grått så vet de hvor mye overeksponert det er. Jeg tror ikke de justerer lysheten i fila for det kan få følger for høylys/støygulv. Jeg tror de kalkulerer det inn i resultatene.

Endret 2. mai 2013 av Simen1

[tomsi42]

Dxomark er bygget opp som en pyramide med 4 trinn, der det enkelste trinnet, totalscoren, er for soccermoms, andre trinn for de som nettopp har oppdaget PSAM, tredje trinn for de som vil forstå mer uten å bli helt fagnerd. Siste trinn er for fagnerdene.

Jeg vil si at pyramiden egentlig har 5 trinn. Det 5 trinnet er for oss som gir blanke i hele DXOmark og finner andre tester og metoder for å finne ut hvilket utstyr vi skal ha

 

Dette er satt på spissen; jeg titter fortsatt innom DXOmark; men tallene (selv på trinn 4) gir meg for lite informasjon til å virkelig være nyttig.

[ATWindsor]

 

Jeg tror de bruker standard 18% gråkort og regner ut differansen mellom 18%-standarden og målt gråhet i fila. Viser det seg at bildet er eksponert så gråkortet blir 20% grått så vet de hvor mye overeksponert det er. Jeg tror ikke de justerer lysheten i fila for det kan få følger for høylys/støygulv. Jeg tror de kalkulerer det inn i resultatene.

 

Dxomark justerer det ikke nei, men kamera-produsenten gjør det når bildet blir tatt. Så selv om feks Dxomark har en "measured iso" på 423 på kameraprodusentenes setting 800 iso blir bildet eksponert som det var 800 iso i fila kameraet produserer.

 

AtW

[knutinh]

DxO sender (hvis jeg har forstått det korrekt) en kjent lysstyrke inn på sensoren og måler resultatet. På en måte likt for alle, men det tar ikke hensyn til hvordan produsneten mener at RAW-dataene skal tolkes. Jeg tenker på dette litt som fremkalling av film. Følger du ikke produsentens beskrivelse kan/vil du også få et annet resultat. For meg og (antar jeg) de fleste som bruker kameraene er det mer interessant å vurdere bilder "fremkalt" som det produsenten ønsker. Men da mister man samtidig DxO's enhetlige måte å gjøre det på siden produsentene alle har sine tolkninger av RAW-data.

Jeg (og mange med meg) bruker ikke JPEG ut av kamera, og ikke Canon sitt program for å fremkalle raw-filer. Hva Canon gjør/mener at man skal gjøre etter raw-stadiet er således irrelevant for oss.

 

Det som derimot _er_ relevant for meg er hvordan jeg kan forvente at bildekvaliteten min endrer seg dersom jeg bytter kamera. For å kunne si noe mer presist om det enn vill subjektiv synsing så må man ha en "enhetlig" måte å gjøre det på.

 

Sammenlign det gjerne med informasjon om Canons "HTP"-modi: det finnes mange motstridende "råd" og "erfaringer" rundt HTP på nettet. Men målinger er det som må til for å si mer presist hva som egentlig skjer (og fortelle oss om/hvordan vi skal bruke det).

 

-k

Endret 3. mai 2013 av knutinh

[ATWindsor]

Jeg (og mange med meg) bruker ikke JPEG ut av kamera, og ikke Canon sitt program for å fremkalle raw-filer. Hva Canon gjør/mener at man skal gjøre etter raw-stadiet er således irrelevant for oss.

 

-k

 

Men de andre produsetene som lager programmer som leser RAW vil jo også (til en viss grad ihvertfall), følge canons instrukser? Dette er jo veldig tydelig på mfT feks, hvor raw-filen har korrigert fortegningen fra objektivet.

 

AtW

[knutinh]

Ja, og dessuten bruker produsentene aktivt over og undereksponering for å få mere headroom i mørke eller lyse partier. Det endrer "measured iso", men selve bildet du får ut av kameraet er allikevel like lyst som den "Oppgitte ISOen indikerer", ihvertfall om jeg ikke har misforstått.

 

AtW

Det blir i alle fall mer komplisert av at kameraene har både analog og digital gain, og dessuten kan legge meta-data i raw-fila som hinter til raw-konverteren at fila skal ha mer/mindre gain. Når disse fungerer på udokumenterte og tildels uintuitive måter så er det ikke rart at vi blir forvirret.

 

-k

[IceBlitz]

Kjempeinteressant tråd

 

DxOMark er for meg bare en av mange kilder til informasjon om hvordan optikk og sensorer yter, men jeg en en av de som liker DxOMark sine testmetoder.

 

De tester på en måte som ingen andre gjør. Man får tall som ikke alltid er helt representativt for virkeligheten, men, som viser syntetiske ytelsesnivåer. Dette sammen med andre nettsteders testmetoder gjør at jeg kan bli så reflektert som mulig før jeg gjør et kjøp. Og nettopp derfor liker jeg DxOMark så godt

Endret 3. mai 2013 av IceBlitz