Hvilket kamera har de beste råfilene?

[knutinh]

Edit: Øh, jeg så egentlig ikke skikkelig på figuren før nå. Du har fått med deg at det står D300 og ikke 700 på tegnforklaringen?

Jeg så min feil, men fikk ikke korrigert meg selv tidsnok.

Men det er nok et stykke igjen til man når den problemstillingen med bildesensorer. Foreløpig er spørsmålet mer om hva man kan produsere med den teknologien sensorprodusentene har råd til å benytte seg av.

My point.

Det er en litt annen diskusjon. Etterhvert som lagringsplass uunngåelig blir større og billigere så vil det som fortoner seg som en unødvendig sløsing med plass, etterhvert bli helt likegyldig.

Ikke hvis filstørrelsen vokser i samme takt som prisen på lagringsplass går ned

Tja. Jeg har noen *.txt-filer på PC-en min. Jeg kunne ha zippet dem, og ville da ha spart litt diskplass. Det er imidlertid irrelevant for meg, siden disker er billig og tiden min bedre kan anvendes andre steder.

 

Jeg har hele CD-samlingen min på harddisk. Jeg kunne ha lagret den som mp3 eller AAC, og for å være helt ærlig tror jeg ikke at jeg ville ha hørt noen forskjell om jeg valgte en fornuftig bitrate. Fordi jeg er litt irrasjonell (og fordi det var innmari kjedelig å rippe dem) så har jeg rubbel og bit lagret som tapsfritt FLAC. Harddisk-kostnaden betyr rett og slett ikke noe.

 

Jeg har alle bilder jeg har tatt med speilrefleks lagret som raw-filer og jpg (en av dem eller begge, avhengig av kameraets innstilling) på disken. Det hadde helt sikkert vært mer diskøkonomisk og rasjonelt å lagre dem i høykvalitet jpg (og bare det) etter at jeg var ferdig med dynamikk-justering, støyfjerning etc. På tross av hva pixel-peeperne hevder, så tror jeg at jpg er bra nok så lenge man ikke skal gjøre voldsomme operasjoner på bildet. Og de voldsomme operasjonene er jeg altså forhåpentligvis ferdig med. Men siden diskplass er billig så sløser jeg med den.

 

-k

Endret 30. desember 2008 av knutinh

[knutinh]

En annen ting å tenke på er jo at når du først ønsker å benytte deg av pikselbinning så er det nettopp fordi du har få elektroner å jobbe med til å begynne med.

Men nå biter det seg selv litt i halen her. Grunnen til at vi begynte å diskutere dette var jo nettopp noen sin påstand om at små pixler kan gi dårligere dynamikk. For å nyttiggjøre seg god dynamikk, så må scenen inneholde mørke og lyse partier.

 

Dersom den eneste/beste måten man kan bedre støy-ytelsen i mørke partier på er å innføre en global pixel-binning, og man møter på "veggen" i lyse partier ved at summasjonen av pixler klipper, så greier man ikke å forbedre dynamikken ytterligere.

 

Dersom man derimot fint greier de lyseste partiene uten klipping/(ukorrigerbar)ulinearitet, så er det bare binningens evne til å reduserer støy i mørke partier som begrenser hvor mye bedre dynamisk område man greier?

Jeg står ved at det største problemet med pikselbinning er dårligere detaljgjengivelse som følge av avstanden mellom fotodioder med samme filterfarge.

Enig.

 

A)Pixelbinning har forutsetning for å utviske forskjellene ved (typisk) vanskelige eksponeringer mellom ellers like kamera med hhv "små" (mange) og "store" (få) pixler, dersom den høyoppløste konkurenten primært er begrenset av at antall fotoner som treffer hver pixel blir redusert proporsjonalt med antall pixler, og SNR-begrensninger (som følge av lavt signalnivå) på veien fra sensor til digital representasjon, hvis man samtidig ikke innfører problemer for demosaicing.

 

B)Digital "pixelbinning" (nedskalering i kameraets dsp eller i photoshop eller digital støyfjerning) har forutsetning for å utviske forskjellene ved (typisk) vanskelige eksponeringer mellom ellers like kamera med hhv "små" (mange) og "store" (få) pixler, dersom den høyoppløste konkurenten primært er begrenset av shot-noise ved at antall fotoner som treffer hver pixel blir redusert proporsjonalt med antall pixler.

 

C)Sensorer med store (større) pixler har sannsynligvis best forutsetning ved (typisk) vanskelige eksponeringer dersom man:

*har nådd "veggen" for pixelstørrelse for en gitt produksjonteknologi, og møter stadig større tap i foton-effektivitet

*dersom man benytter bayer-sensor og trenger/er villig til bare en moderat reduksjon i romlig oppløsning for å få en moderat forbedring i støy

*Dersom betydelig støy/feil innføres av forsterkere og A/D-konvertere etter sensoren, og ekte pixelbinning ikke er tilgjengelig.

 

-k

Endret 30. desember 2008 av knutinh

[EskeRahn]

Jøses, hvor har I været aktive i denne tråd i dag. Vældig interessant

Jeg forsøgte at starte en tråd om binning tidligere i dag, men den bør nok slettes igen (kan man det selv?) da der er langt mere kød på diskussionen her.

Endret 30. desember 2008 av EskeRahn

[EskeRahn]

Det er klart at binning vil give det bedste resultat rent SNR-mæssigt hvis det sker direkte på sensor før AD.

 

Men som Sutekh skriver, giver det praktisk komplikationer med Bayer-gitter, hvor R og B pixels ikke sidder ved siden af nogle i samme farve.

 

Men der er nu også noget at hente hvis Binning sker efter AD, MEN sammen med interpolering.

 

Man skal jo ikke glemme at der normalt ved Bayer 'opfindes' information ved at interpolere således at 2x2 sub pixels bliver til 2x2 RGB-pixels. Altså en slags 'invers binning'

 

Man kan udover det rent støjmæssige også opnå noget hvis man ikke først laver binning, og derefter prøver at interpolere, men gør det i samme arbejdsgang.

 

Det kunne fx ske ved at gøre fx følgende for R-G-G-B gitter:

For hver rød subpixel lægges sensorens output sammen med sensor til venstre for, nedenfor, samt til venstre og nedenfor.

for hver blå subpixel lægges sensorens output sammen med sensor til højre for, ovenfor, samt til højre og ovenfor.

For det grønne par lægges deres samlede indhold sammen med de seks nærmeste omkransende grønne.

Forsøgt skitseret nedenfor.

Endret 30. desember 2008 av EskeRahn

[Sutekh]

Men der er nu også noget at hente hvis Binning sker efter AD, MEN sammen med interpolering.

Hvis det skjer etter AD-omforming så er det strengt tatt ikke binning, selv om noen bruker uttrykket "software binning". Det er egentlig bare bildeskalering.

 

Man kan udover det rent støjmæssige også opnå noget hvis man ikke først laver binning, og derefter prøver at interpolere, men gør det i samme arbejdsgang.

Igjen, dette er "software binning". Det kan være nyttig, men det er også rimelig uavhengig av sensor- og AD-omformerytelse, i og med at det gjøres i etterbehandling. Mest effektive løsning: ta bilder i råformat og gjør alt dette på en PC med mange ganger så stort minne og regnekraft som kameraet ditt.

[Sutekh]

Men nå biter det seg selv litt i halen her. Grunnen til at vi begynte å diskutere dette var jo nettopp noen sin påstand om at små pixler kan gi dårligere dynamikk. For å nyttiggjøre seg god dynamikk, så må scenen inneholde mørke og lyse partier.

Tja, mulig vi har snakket rundt hverandre. Jeg vil si hovedbruksområdet for binning er å bedre signal-støyforholdet ved svake lysforhold.

 

Dersom den eneste/beste måten man kan bedre støy-ytelsen i mørke partier på er å innføre en global pixel-binning, og man møter på "veggen" i lyse partier ved at summasjonen av pixler klipper, så greier man ikke å forbedre dynamikken ytterligere.

Tja. Forbedrer man egentlig dynamisk omfang ved midlet binning? Når man midler sensorverdiene så blir jo utfallsrommet det samme. Og den blir vel heller ikke nødvendigvis dårligere ved summasjonsbinning, bare forskjøvet (man får et nyttig signal der det tidligere ville vært druknet i støy, men man klipper de sterkeste signalene).

 

Og jeg mener fremdeles dynamisk omfang vil være dårligere ved binning enn når man har én enkeltpiksel med tilsvarende større areal.

[Simen1]

En ting jeg har lurt på angående dynamisk omfang er hvorfor de ikke benytter en totrinns lading av kondensatorer for hver subpixel? Jeg ser for meg at dagens subpixler fungerer ved at man har ett sensitivt areal som omdanner fotoner til spenning/strøm og en kondensator som oppbevarer den elektriske ladningen. Det skjer under hele lukkertiden. Etter at lukkeren er lukket så leses sensoren av linje for linje ved at en transistor kobler kondensatorene med parallelle ledere som går til AD-konverteren. Hvis man hadde laget ladeskretsen i to trinn, der den første kondensatoren er liten og lades fort opp så vil den plukke opp mørke områder bra. Når den er fult ladet så kan en zenerdiode føre spenningen videre via en motstand til en ny kondensator. Pga motstanden vil denne lades opp langt tregere. Det gjør at klipping av høylys opptrer mye senere. Etter at lukkeren er lukket kan hver av kondensatorene leses av individuelt og bildeprosessoren vurdere hvilken av verdiene som skal brukes for den subpixelen. Hver av de to kondensatorene koblet til den ene fotosensoren vil altså registrere lysintensitet i to ulike deler av skalaen. En for lavlys og en for høylys.

[tomsi42]

... snip ...

 

Hver av de to kondensatorene koblet til den ene fotosensoren vil altså registrere lysintensitet i to ulike deler av skalaen. En for lavlys og en for høylys.

Da tror jeg det bedre med fuji sin løsning, ved å ha en liten og stor sensor. Tror rett og slettt at din løsning vil trenger for mye "real estate" på bekostning av plass til sensorene. Hvis løsningen din lar seg gjennomføre i det hele tatt.

 

Tom

[Simen1]

Hvis mikrolinsene gjør jobben sin bra så mener jeg det bør gå bra. Ellers så jobbes det med en løsning som plasserer kondensatorene på baksiden av sensoren og en annen løsning der sensoren stables oppå kondensatorene (på samme side av sensorbrikken).

[knutinh]

Tja. Forbedrer man egentlig dynamisk omfang ved midlet binning? Når man midler sensorverdiene så blir jo utfallsrommet det samme. Og den blir vel heller ikke nødvendigvis dårligere ved summasjonsbinning, bare forskjøvet (man får et nyttig signal der det tidligere ville vært druknet i støy, men man klipper de sterkeste signalene).

Slik jeg forstår temaet vi har diskutert, og linken jeg har vist til så kan man i prinsippet øke maksimalt signal med samme faktor som man midler pixler over - dersom man dimensjonerer summasjons-punktene rett. Var ikke vi enige om at binning idealisert sett var samme sak som å øke sensorstørrelsen (gitt en rekke betingelser som kan være mer eller mindre realistiske ). Mener du ikke at større pixler kan gi bedre dynamikk?

 

Og jeg mener fremdeles dynamisk omfang vil være dårligere ved binning enn når man har én enkeltpiksel med tilsvarende større areal.

Hvorfor?

 

-k

[knutinh]

Det kunne fx ske ved at gøre fx følgende for R-G-G-B gitter:

For hver rød subpixel lægges sensorens output sammen med sensor til venstre for, nedenfor, samt til venstre og nedenfor.

for hver blå subpixel lægges sensorens output sammen med sensor til højre for, ovenfor, samt til højre og ovenfor.

For det grønne par lægges deres samlede indhold sammen med de seks nærmeste omkransende grønne.

Forsøgt skitseret nedenfor.

Er ikke det akkurat det samme som jeg sa tidligere i dag?

Dersom man har som mål å redusere med en faktor 1/4 i høyde og bredde (dvs å gjøre en 16 megapixel sensor om til 1 megapixel bildefil), så kan man midle 2x2 røde, 2x2 blå og 8 grønne pixler. For høyoppløste sensorer som den i Canons 50D så kan kanskje det være interessant for å redde bilder som ellers ville være umulig.

[knutinh]

Hvis mikrolinsene gjør jobben sin bra så mener jeg det bør gå bra. Ellers så jobbes det med en løsning som plasserer kondensatorene på baksiden av sensoren og en annen løsning der sensoren stables oppå kondensatorene (på samme side av sensorbrikken).

Det finnes også sensorer som gir gamma-verdier direkte ut. For bilder som skal vises til mennesker så er presisjonen nært svart det man er kritisk opptatt av, presisjonen nært hvitt er på langt nær like viktig.

 

Derfor opererer man med 12-14 bit lineær A/D før dsp, men lagrer (for 95% av verdens kamerabrukere) bildet som 8 bit ulineær, komprimert med jpg.

 

-k

[EskeRahn]

...

Er ikke det akkurat det samme som jeg sa tidligere i dag?

...

redusere med en faktor 1/4 i høyde og bredde (dvs å gjøre en 16 megapixel sensor om til 1 megapixel bildefil

...

Nej ikke helt -men beslægtet. Jeg snakker ikke om at reducere 4x4 til 1x1

Jeg snakker om at reducere OG interpolere 2x2 til 1x1 ved at se på mere end de 2x2

(Altså din 16megapixel til 4megapixel)

 

Hvis du ser på skitse vil du se at jeg ser på værdier udenfor den med fed optrukne 2x2. Det betyder at indhold fra hver sub-piksel vil indgå i 4 endelige pixels (evt med vægtning) nemlig den pixel den ligger I, samt de tre nabopixels til det hjørne af pixel den er i.

 

I jeres diskussionen af binning ser I ikke på at de efterfølgende interpoleres til højere opløsning end der strengt taget er belæg for (altså at 2x2 R-G-G-B subpixels bliver til 2x2 fulde RGB pixels)

 

Man opnår ikke det samme ved først at binne og så interpolere som man gør hvis det sker i samme procces.

 

Men som Sutekh også skriver kan det principielt ske i efterbehandlingen af raw filer. MEN det forudsæter at disse filer er så raw at de har gemt information om de enkelte subpixels, og man kender deres indbyrdes placering i gitter (principielt kan R-G-G-B jo sættes op på mange måder, for nogle sensorer endda drejet 45 grader). I Fuji's nye sensor skifter placering i gitter endda henover sensor (Spejles skiftevis. Det sker i begge retninger).

 

Men ideelt set var sensor lavet så denne binning kan ske før AD, men det vil nok være ret komplekst at gøre i praksis, selv uden 100%-50%-33% vægtning. Det er nok kompliceret, men vel ikke principielt umuligt? Men det er muligt at det vil kræve så meget ekstra elektronik, at det vil føre til så meget mindre sub-pixel-sensor, at det skader mere end det gavner for SNR. I hvert fald sålænge man ikke har fået elektronik om på bagsiden af sensor...

[EskeRahn]

Hvis mikrolinsene gjør jobben sin bra så mener jeg det bør gå bra. Ellers så jobbes det med en løsning som plasserer kondensatorene på baksiden av sensoren og en annen løsning der sensoren stables oppå kondensatorene (på samme side av sensorbrikken).

Et interessant aspekt af mikrolinser er hvad det egentligt betyder for signal-støj-forholdet (SNR)?

 

Hvis linsen er så god at linsetabet er lille eller ligefrem negligibelt, og støjen jo hænger sammen med sensor-størrelse, vil der så gælde at der vil være et bedre SNR til en mindre sensor med mikrolinse over, end en linsefri sensor af samme størrelse som mikrolinsen?

 

Det lyder kontraintuitivt, hvor går ræsonement galt??

 

Men da dynamik falder med sensorstørrelse (som andre har beskrevet i denne tåd), er der et trade-off, selv hvis ovenstående holder vand.

[knutinh]

...

Er ikke det akkurat det samme som jeg sa tidligere i dag?

...

redusere med en faktor 1/4 i høyde og bredde (dvs å gjøre en 16 megapixel sensor om til 1 megapixel bildefil

...

Nej ikke helt -men beslægtet. Jeg snakker ikke om at reducere 4x4 til 1x1

Jeg snakker om at reducere OG interpolere 2x2 til 1x1 ved at se på mere end de 2x2

(Altså din 16megapixel til 4megapixel)

 

Hvis du ser på skitse vil du se at jeg ser på værdier udenfor den med fed optrukne 2x2. Det betyder at indhold fra hver sub-piksel vil indgå i 4 endelige pixels (evt med vægtning) nemlig den pixel den ligger I, samt de tre nabopixels til det hjørne af pixel den er i.

 

I jeres diskussionen af binning ser I ikke på at de efterfølgende interpoleres til højere opløsning end der strengt taget er belæg for (altså at 2x2 R-G-G-B subpixels bliver til 2x2 fulde RGB pixels)

 

Man opnår ikke det samme ved først at binne og så interpolere som man gør hvis det sker i samme procces.

 

Men som Sutekh også skriver kan det principielt ske i efterbehandlingen af raw filer. MEN det forudsæter at disse filer er så raw at de har gemt information om de enkelte subpixels, og man kender deres indbyrdes placering i gitter (principielt kan R-G-G-B jo sættes op på mange måder, for nogle sensorer endda drejet 45 grader). I Fuji's nye sensor skifter placering i gitter endda henover sensor (Spejles skiftevis. Det sker i begge retninger).

Jeg forstår ikke hva du mener med at de dreier sensorer med 45 grader. Men den siste sensor-greia til Fujifilm, Super CCD EXR illustreres slik:

http://www.dpreview.com/news/0809/08092210fujifilmEXR.asp

 

Grunnen til at de gjør det slik forklares nettopp ved det vi har diskutert: Ved å la subpixler med en gitt farge grense opp mot sensorer med samme farge så blir det mye enklere å gjøre pixelbinning. Denne konfigurasjonen er neppe ideell for situasjoner hvor man har rikelig med lys.

Men ideelt set var sensor lavet så denne binning kan ske før AD, men det vil nok være ret komplekst at gøre i praksis, selv uden 100%-50%-33% vægtning. Det er nok kompliceret, men vel ikke principielt umuligt? Men det er muligt at det vil kræve så meget ekstra elektronik, at det vil føre til så meget mindre sub-pixel-sensor, at det skader mere end det gavner for SNR. I hvert fald sålænge man ikke har fået elektronik om på bagsiden af sensor...

Aha. Du snakker altså egentlig om et lavpassfilter for hvert av fargeplanene, og hverken binning, desimering eller interpolering?

 

Jeg er i utgangspunktet skeptisk til det er mulig/økonomisk/hensiktsmessig å utføre vanlig binning mellom f.eks pixel #1 og #3 uten å inkludere pixel #2. Å implementere et 2d FIR-filter med analog teknikk for 15 millioner pixler som jobber på små signaler høres ut som en slitsom affære. Analog signalbehandling er fundamentalt forskjellig fra digital.

 

 

Dersom man kunne separere ut de tre planene og behandle dem hver for seg så hadde det vært en smal sak:

h(n) = [b0 b1 b2], hvor koeffisientene kan være f.eks [1 1 1] eller [0.5 1 0.5] (ser bort fra normalisering).

 

Samme filter påtrykkes vertikalt og horisontalt for alle tre kanaler og resulterer i et "fulloppløst" bilde som i praksis er interpolert ved zero-filling og lavpassfiltrering.

 

Siden vi ikke kan separere de tre planene, de er flettet i en enkelt 2d sensor som aksesserer ved å skifte ut ladninger, så vil prosesseringen måtte ha en tilstandsmaskin og en del logikk.

 

Dersom vi snakker om ren digital signalbehandling på en raw-fil så er selvsagt dette barnemat, og da mener jeg selvsagt at man kan gjøre noe mye lurere enn en ren MxN midling/desimering. Kanskje er det mulig å gjøre en to-trinns prosess hvor man øker SNR tilstrekkelig med binning-lignende teknikker til at videre behandling kan gjøre digitalt og mer skånsomt for detaljgjengivelsen.

 

-k

Endret 31. desember 2008 av knutinh

[EskeRahn]

Jeg forstår ikke hva du mener med at de dreier sensorer med 45 grader...

Jeg mener blot at normalt har man et kvadratisk grid af 2x2 subpixels hvor hver 2x2 'celle' sidder som fx:

R G

G B

Mens fuji har drejet det så man bygger af 2x2 celler (underscore for at kunne få det til at stå 'pænt'):

_B

G G

_R

...

Aha. Du snakker altså egentlig om et lavpassfilter for hvert av fargeplanene, og hverken binning, desimering eller interpolering?

Strengt taget kan man jo godt kalde binning en slags lavpasfilter, da man jo selvfølgelig taber den højopløste information.

Men hvis man kombinerer den interpolering der normal fra med binning i et skridt, så får man et mindre kraftigt filter end hvis man først laver binning og derefter interpolering.

 

Normalt interpolerer man jo fra

R G

G B

til (med A=fuld RGB pixel)

A A

A A

Altså det modsatte af binning.

 

Ved kombinationen af interpolering med binning reducerer det til én RGB pixel

A

Som forsøgt skitseret i tidligere indlæg.

 

I praksis vil man jo gøre det mere avanceret end det jeg har skitseret, da man også vil lade intensitet af de andre farver indgå i regneriet.

 

Men dette kan selvfølgelig gøres endnu simplere ved at undlade interpoleringen og bare at lægge de 2x2 R-G-G-B direkte sammen i én RGB pixel. Ulempen ved dette er at de jo er en smule forskudt. Og så er der ingen Binning - og det er jo det vi har oppe her.

[knutinh]

Strengt taget kan man jo godt kalde binning en slags lavpasfilter, da man jo selvfølgelig taber den højopløste information.

"Filter" brukes i denne sammenhengen vanligvis om lineære, tids/rominvariante funksjoner.

 

Binning kan beskrives som et lavpassfilter etterfulgt av sampledropping, på samme måte som desimering.

Men hvis man kombinerer den interpolering der normal fra med binning i et skridt, så får man et mindre kraftigt filter end hvis man først laver binning og derefter interpolering.

Jeg tror det koker ned til: kan du beskrive prosessen konsist (ved formler eller kode), og kan du beregne støy-ytelse og romlig frekvensrespons.

 

-k

[EskeRahn]

...

Jeg tror det koker ned til: kan du beskrive prosessen konsist (ved formler eller kode), og kan du beregne støy-ytelse og romlig frekvensrespons.

Jeg synes jeg har forsøgt at beskrive den forholdsvis enkle proces i ret stor detalje (Se fx Innlegg #84). Men tvivler på at jeg kan beregne støjydelse eller frekvensrespons.

 

Det bliver selvfølgeligt lidt mere komplekst hvis man vægter.

En 'naturlig' og simpel vægtning ville være med reciprok afstand fra center af resulterende pixel til center af indgående sub-pixels. Det vil give cirka 100%-50%-33% for de subpixels der ligger hhv inde i pixel, kantstøder til pixel og hjørnestøder til pixel, som påført skitse:

(Strengt matematisk burde det være 45%=1/sqrt(5) og ikke 50%, men simplere at regne med 6-3-2 vægtning, og det er alligevel blot en valgt vægtning)