Tanker om bayer-sensorenes fremtid

[Simen1]

 

Bayermønsteret har lenge vært den dominerende teknikken for å skille fargene fra hverandre på digitale bildesensorer, både CCD og CMOS. Bayermønsteret har både styrker og svakheter. Blant styrkene kan nevnes hvor innarbeidet den er og at den per i dag yter meget god bildekvalitet. Blant svakhetene har vi tap av detaljnivå og moiré. Sistnevnte reduseres ved hjelp av AA-filter som "smører" detaljene til hver enkelt piksel litt utover nabopikslene. Dette reduserer mikrokontrasten, kontrasten mellom svært nærliggende detaljer. Bayer har også en lei tendens til å gi en del opplevd ISO-støy på grunn av sitt gjentakende mønster. Bayer har også en teoretisk ulempe i at det blokkerer ute minst 2/3 av lyset i hver piksel siden hver av de har blokkerende fargefiltre.

 

 

Foveon filtrerer ikke ut noen av fargene men slipper alt inn på sensoren, på hver eneste piksel, og registrerer de ulike fargene i hver sin dybde av sensoren. Dette har noen fordeler og noen ulemper. Av fordelene kan nevnes ingen moiré, teoretisk svært høy lysabsorbsjonsevne i hver piksel siden ingen farger filtreres bort, og ingen tap av detaljnivå. Av ulempene har det vist seg i praksis at disse takler høy ISO dårlig og hittil har gitt dårlige videomuligheter. I tillegg er det bare Sigma som produserer kameraer med Foveon og de kameraene har i tillegg en del ulemper som ikke kan knyttes til sensoren. (Det hadde vært gøy å sett hva andre produsenter hadde fått til med lisensiert produksjon av Foveon-kameraer)

 

 

Fujifilm SuperCCD SR og SRII (Super dynamic Range) har et annet pikselmønster enn bayer og ulik størrelse på hver piksel. Dette øker kontrastomfanget (DR) kraftig. Det er også en variant med HR (high resolution) som har til hensikt å øke oppløsningen ved hjelp av interpolering.

 

 

Fujifilm EXR er en videreutvikling av ovennevnte som hevder å kunne kombinere egenskapene fra SR og HR -variantene. Sensoren har både et diagonalt design som de hevder skal øke detaljnivået, og parallelle fargesensorer som skal være optimalisert for ulik lysmengde og dermed gi stort kontrastomfang.

 

 

Fujifilm X-Trans CMOS er også et alternativ til bayer. Denne gangen har de stokket litt om på rekkefølgen til fargemønsteret for å få et mer "tilfeldig" mønster som skal gi penere ISO-støy. Foreløbige tester viser lovende resultater.

 

Kodak RGBW putter inn en fjerde "farge", alle farger, inn i RGB-rekkefølga. Dette vil øke totalt lysinntak med ca 50% i forhold til bayer.

 

Jots. Forsker/pioner innen digitale fotosensorer Erik Fossum har foreslått en radikalt annen tilnærming, vesentlig mindre piksler med kontinuerlig avlesning. Hver pikselavlesning kaller han for "jot", et begrep han mener kan erstatte den gamle piksel-tankegangen. Disse jotene er vist mye simplere enn dagens piksler i og med at det ikke fines noe analogt lager for elektroner og etterfølgende AD-konvertering. Hver jot kan nemlig bare ha to tilstander, av og på. Dette passer som hånd i hanske for heldigital signalbehandling. Gjennom rask avlesning og gjennomsnittsberegninger over mange jots kan man potensielt få bedre sensorer enn vi har i dag. Hvis forskningen leder frem.

 

____________________________________________________________________

 

Tanker om framtiden: Stadig flere er på vei bort fra bayermønsteret og prøver seg med alternativer. Samtidig fortettes pikslene stadig. På sikt tror jeg det kan bety at man satser på større mønstre enn 2x2 piksler. F.eks ved at RGB suppleres med W for bedre lavtlysegenskaper og "dimmede" piksler for bedre høylysegenskaper. Alt dette kombinert i samme sensor, f.eks i et 3x3 mønster eller ennå større.

Endret 9. mars 2012 av Simen1

[tomsi42]

Et interssant spørsmål du stiller der.

 

Jeg tror nok at Foveon sensoren forblir et side-spor; mest fordi kompleksiteten oppveier fordelene.

 

Nå begynner pikseltettheten å bli så høy at det er fler og fler som fjerner AA filtere; som er det største ankepunktet med Bayerfilteret.

 

Men jeg synes allikevel det er interessant at produsentene begynner å se på andre filter-mønstre. Særlig det å blande inn piksler som fanger inn hvitt lys synes jeg høres lovende ut.

Endret 9. mars 2012 av tomsi42

[rocknrolf77]

Kan ikke så mye om det her, men en ting jeg ihvertfall liker med fujifilm er at de kjører på med forskning på områder de fleste andre ikke gidder å bruke penger på.

[Epp]

Foveon filtrerer ikke ut noen av fargene men slipper alt inn på sensoren, på hver eneste piksel, og registrerer de ulike fargene i hver sin dybde av sensoren. Dette har noen fordeler og noen ulemper. Av fordelene kan nevnes ingen moiré, teoretisk svært høy lysabsorbsjonsevne i hver piksel siden ingen farger filtreres bort, og ingen tap av detaljnivå. Av ulempene har det vist seg i praksis at disse takler høy ISO dårlig og hittil har gitt dårlige videomuligheter. I tillegg er det bare Sigma som produserer kameraer med Foveon og de kameraene har i tillegg en del ulemper som ikke kan knyttes til sensoren. (Det hadde vært gøy å sett hva andre produsenter hadde fått til med lisensiert produksjon av Foveon-kameraer)

 

Mente at man ikke filtrerte ut de tre fargene slik vist i illustrasjonen med Foveon. Det er vel en forenkling for å forklare teknologien.

 

Når det gjelder ISO, så tror jeg det ikke nødvendigvis er en begrensning som er knyttet til sensoren, men også hvor langt man har kommet med sensoren per i dag. Mitt Bayern kamera (Nikon D40) fra 2006 er dårligere på høy ISO enn mitt Foevon kamera fra 2006 (SD14). SD15 er bedre og ble forbedret ytterligere med en ny firmware.

 

Når det gjelder video, så tror jeg det for det meste er snakk om mangel på fokus på å lage det som er grunnen her. Foveon sensorteologien var opprinnelig klar for video, men tror ikke Sigma har fokusert på dette, men heller å utvikle sensoren for fotografi først.

 

Ellers, så lurer jeg mest på når de store skal lage noe nytt i form av patentene de sitter på. F.ek Patent på fullfarge sensor:

 

Nikon:

http://www.imaging-resource.com/NEWS/1186694099.html

 

Canon:

http://www.canonrumors.com/forum/index.php?topic=1209.0

 

Sony:

http://www.freepatentsonline.com/y2009/0303371.html

 

Panasonic:

http://translate.google.com/translate?js=n&prev=_t&hl=en&ie=UTF-8&layout=2&eotf=1&sl=auto&tl=en&u=http%3A%2F%2Fegami.blog.so-net.ne.jp%2F2011-08-19

 

og Fuji sin "organiske" sensor

http://translate.google.com/translate?js=n&prev=_t&hl=en&ie=UTF-8&layout=2&eotf=1&sl=auto&tl=en&u=http%3A%2F%2Fegami.blog.so-net.ne.jp%2F2011-08-19

 

Nikon og Canon vil nok jobbe med sin teknologi i bakgrunnen men ikke tvinge frem noen revolusjon med det første. De selger godt med Bayern sensor kamera som det er... De andre er nok mer på hugget. Fuji har i alle fall vist takter.

 

For å si det på en annen måte, hva bør man forbedre i D4 og 1Dx for å rettferdiggjøre å oppgradere? Tror det blir mindre og mindre mulighet for forbedringer...

Endret 9. mars 2012 av Epp

[Sutekh]

Fujifilm X-Trans CMOS er også et alternativ til bayer. Denne gangen har de stokket litt om på rekkefølgen til fargemønsteret for å få et mer "tilfeldig" mønster som skal gi penere ISO-støy. Foreløbige tester viser lovende resultater.

X-trans handler først og fremst om å redusere moire. Fargene dekker samme andeler av sensoren, så noen stor innvirkning på lysfølsomheten har det nok ikke.

[Trondster]

Mønsteret på Bayer-sensoren gir vel mer aliasing enn det gir ISO-støy i seg selv.

Ellers slipper Bayer-filteret ca halvparten av lyset igjennom, og ikke bare en tredjedel. Filteret er nemlig ikke så "rent" at det bare slipper disjunkte frekvenser inn til hver farge.

Spesielt gjelder dette fargene mellom 520 og 620nm.

 

Gammelt bilde, men allikevel.

Endret 10. mars 2012 av Trondster

[Simen1]

Veldig bra artikkel, Trondster. Jeg så det var mye tekst så jeg skal få lest den senere.

 

Epp: Takk for linkene. Jeg skal få lagt de til i første innlegg etter hvert.

[seriksen]

Når det gjelder video, så tror jeg det for det meste er snakk om mangel på fokus på å lage det som er grunnen her. Foveon sensorteologien var opprinnelig klar for video, men tror ikke Sigma har fokusert på dette, men heller å utvikle sensoren for fotografi først.

 

Jeg leste et intervju med Sigma da SD1 ble lansert (husker ikke hvor) hvor video ble tatt opp. Svaret var at det ikke var noe i sensoren som hindret video. Mener de også diskuterte mulighet for å enable det med fimrwareoppgradering og at det ikke kom noe klart svar på det, men husker ikke eksakt hvordan ordlyden var rundt dette.

 

Slik jeg har fortsått dagens versjon av Foveon-teknologien så klarer de ikke å digitralisere "ren" RGB, men får en variant med litt andre farger som krever en del transformasjoner for å "normaliseres" til RGB. For video kan det rett og slett være at de ikke har nok prosessorkraft til å gjøre det bra nok i realtime, men det er kun en gjetning fra meg.

[Epp]

Når det gjelder video, så tror jeg det for det meste er snakk om mangel på fokus på å lage det som er grunnen her. Foveon sensorteologien var opprinnelig klar for video, men tror ikke Sigma har fokusert på dette, men heller å utvikle sensoren for fotografi først.

 

Jeg leste et intervju med Sigma da SD1 ble lansert (husker ikke hvor) hvor video ble tatt opp. Svaret var at det ikke var noe i sensoren som hindret video. Mener de også diskuterte mulighet for å enable det med fimrwareoppgradering og at det ikke kom noe klart svar på det, men husker ikke eksakt hvordan ordlyden var rundt dette.

 

Slik jeg har fortsått dagens versjon av Foveon-teknologien så klarer de ikke å digitralisere "ren" RGB, men får en variant med litt andre farger som krever en del transformasjoner for å "normaliseres" til RGB. For video kan det rett og slett være at de ikke har nok prosessorkraft til å gjøre det bra nok i realtime, men det er kun en gjetning fra meg.

 

Er ikke sikker, men det har vært snakk om liveview og muligheten for å legge det til med firmware. Men som jeg har forstått sigma så er de redd for stabiliteten. Vet ikke helt hva det er som er er problemet da DP serien har liveview. Det har også DPxM prototypene.

 

Men ja, prosesseringa er mer kompleks enn det enkle Bayern mønsteret. Fuji sin modifikasjon vil også medføre mer beregninger, men ikke som Foveon. Det kan man se i at de første SD kameraene hadde ikke jpg men kun raw. Man ser også forbedringer i bildefremkallingen etter som softwaren utviklest. Det lyset som fanges i et underliggende lag vil være avhengig av foreliggende lags absorption, så det trengs en del prosessorkraft. Særlig på SD1 raw filer som er True 15Mpx og har 3 x 15 Mpx å prosessere mot Bayern somber pseudo 15Mpx og kun har 15 Mpx å prosessere.

 

DP2 f.eks har video, men veldig lav oppløsning. Det kan nok henge sammen med det du sier om prosessering.

 

Men ettersom mobiler snart er spillPCer så burde det være mulig å utstyre kamera med mer prosessorkraft...

[Epp]

Veldig bra artikkel, Trondster. Jeg så det var mye tekst så jeg skal få lest den senere.

 

Epp: Takk for linkene. Jeg skal få lagt de til i første innlegg etter hvert.

 

Kan være at noen av linkene som trenger å oppdateres til mer direkte kilder, du får se. Jeg hadde ikke tida til å dypdykke på alle. Har mest sett på Nikon sin.

[seriksen]

Men ja, prosesseringa er mer kompleks enn det enkle Bayern mønsteret.

 

Hvis du ser bort fra fargetransformasjoner bør en Foveon-sensor gi enklere prosessering da du med Foveon slipper å interpolere de to manglende fargene i hvert punkt siden Foveon sampler alle farger i hvert punkt. Gitt to 15MP sensorer får du imidlertid 3x så mye data som skal AD-konverteres og leses ut fra sensoren sensoren og det kan være en flaskehals.

 

Det er nok uansett lettere å få til LiveView enn video da LiveView setter mye lavere krav til videostrømmen enn HD eller Full HD video som skal se bra ute på en stor skjerm.

[Trondster]

Foveon trenger nok mye mer prosessering enn Bayer - lagene deler seg ikke pent opp i RGB - det er kraftig prosessering og kompliserte algoritmer for å finne ut hvilken farge det var i det hele tatt - kraftig med prosessering for alle tre farger, i stedet for enkelt å "få" riktig farge for en kanal og forholdsvis enkelt knabbe de to andre fra kjente piksler i nærheten.

Så - min gjetning er at Bayer-sensoren har en enklere prosesseringsoppgave.

[Epp]

Men ja, prosesseringa er mer kompleks enn det enkle Bayern mønsteret.

 

Hvis du ser bort fra fargetransformasjoner bør en Foveon-sensor gi enklere prosessering da du med Foveon slipper å interpolere de to manglende fargene i hvert punkt siden Foveon sampler alle farger i hvert punkt. Gitt to 15MP sensorer får du imidlertid 3x så mye data som skal AD-konverteres og leses ut fra sensoren sensoren og det kan være en flaskehals.

 

Det er nok uansett lettere å få til LiveView enn video da LiveView setter mye lavere krav til videostrømmen enn HD eller Full HD video som skal se bra ute på en stor skjerm.

 

Nei, fordi sensoren bygger på hvor langt blå, grønn og rød-farger trenger ned i silisium-lagene. Dvs den første sensoren vil fange blå+grønn+rød-farger, den neste grønn+rød+(blått som går lenger) og den siste rødt+ (grønt og blått som går lenger enn forventet). Dermed må du når du skal prosessere bilde sammenstille lagene og gjøre beregninger utifra hva de gir.

 

Se: http://www.foveon.com/files/CIC13_Hubel_Final.pdf

[seriksen]

Nei, fordi sensoren bygger på hvor langt blå, grønn og rød-farger trenger ned i silisium-lagene.

 

Nei hva? Jeg skrev "Hvis du ser bort fra fargetransformasjoner" bør en Foveon ha enklere prosessering for å generere et videosignal. Dvs når dette er gjort har de et ferdig bilde med RGB i alle punkter, sannsynkligvis med minimalt av artefakter, eventuelt bortsett fra støy. Dette som svar til ditt utsagn som jeg hadde quotet (Men ja, prosesseringa er mer kompleks enn det enkle Bayern mønsteret.).

 

Så jeg er ikke sikker på hva du egentlig sier nei it. Fargetransformasjonene er jo det "kjente" prosessorintensive steget med Foveon-sensor som jeg kommenterte to innlegg tilbake.

Endret 10. mars 2012 av seriksen

[Epp]

Nei, fordi sensoren bygger på hvor langt blå, grønn og rød-farger trenger ned i silisium-lagene.

 

Nei hva? Jeg skrev "Hvis du ser bort fra fargetransformasjoner" bør en Foveon ha enklere prosessering for å generere et videosignal. Dvs når dette er gjort har de et ferdig bilde med RGB i alle punkter, sannsynkligvis med minimalt av artefakter, eventuelt bortsett fra støy. Dette som svar til ditt utsagn som jeg hadde quotet (Men ja, prosesseringa er mer kompleks enn det enkle Bayern mønsteret.).

 

Så jeg er ikke sikker på hva du egentlig sier nei it. Fargetransformasjonene er jo det "kjente" prosessorintensive steget med Foveon-sensor som jeg kommenterte to innlegg tilbake.

 

Mulig jeg misforstod deg på dette:

 

Hvis du ser bort fra fargetransformasjoner bør en Foveon-sensor gi enklere prosessering da du med Foveon slipper å interpolere de to manglende fargene i hvert punkt siden Foveon sampler alle farger i hvert punkt

 

Det jeg tenkte på er at fargetransmisjonen er mer kompleks enn Bayern's interpolering for å finne en farge.

 

Men det som også er et poeng er at for video om man ikke kan konvertere hvert bilde i realtime, så må man lagre i RAW og det blir 3x HD-res. Regner med at det er en utfordring å få til sammenlignet med et Bayern kamera hvor man har bare HD-res å lagre. Dvs. det kan nok gå om man bare kan lagre forskjellene fra bilde til bilde. Det fins jo 4k video, men ikke i noen DSLR vel?

[seriksen]

Det jeg tenkte på er at fargetransmisjonen er mer kompleks enn Bayern's interpolering for å finne en farge.

 

OK, da var det nok litt misforsåtelse.

 

Skal man lage Full HD (1920x1080) fra en sensor med mye høyere oppløsning er det flere metoder å gjøre det på. Det ideelle er å konvertere hvert enkelt bilde i sensorens fulle oppløsning (i praksis et 16:9 utsnitt av hele sensoren) og så bruke en skaleringsalgortime for å redusere oppløsningen ned til Full HD. Med nåværende sensorer og prosessorkraft er det en ganske formidabel jobb og produsentene har brukt diverse forenklinger som til en viss grad går ut over oppløsning. Jeg er ikke oppdatert på dette, men Panasonic har vært kjent for ganske gode algoritmer.

 

Det å fikse video med en Foveon sensor hvis man ikke greier å gjøre konvertering i realtime burde være mulig hvis man godtar et ekstra step som må gjøres på PCen (de første Foveon-kameraene klarte ikke JPG engang og lagret kun RAW). Problemet er imidlertid at det kan hende det er mye data som må lagres siden en vanlig video-komprimering neppe bevarer nok av originaldataene for å gjøre fargetranformasjonen i etterkant. Å lagre enkeltbilder i 1920x1080 ville sikkert gjøre nytten, men vil gi digre filer.

 

Det er ringen speilreflekser i dag som lagrer 4K video, men det er egentlig et annet problem, det Foveon-kameraer vil kreve er nok mer at videoen må lagres i et slags RAW-format, i beste fall som JPGer. Det er forøvrig ventet et 4K Canon-kamera realtivt raskt, men om det også vil være et speilrefleks for generell bruk vet jeg ikke, heller ikke om det vil kunne lagre RAW-video som du i dag må opp til RED for å få.

 

Edit: Rettet til den litt ukurante 1980x1050 til 1920x1080

Endret 10. mars 2012 av seriksen

[Trondster]

Det var da en spenstig oppløsning, seriksen? Sikker på at det ikke var 1920x1080 du mente?

[seriksen]

Det var da en spenstig oppløsning, seriksen? Sikker på at det ikke var 1920x1080 du mente?

 

Syntes den så litt rar, jeg retter. Får skylde på influensaen.

[tomsi42]

Syntes den så litt rar, jeg retter. Får skylde på influensaen.

Influensaen eller kanskje egen-medisineringen

 

Når vi er inne på HD video; det er jo tydelig hvorfor Canon 5DMkIII gikk opp til 22MB - 3x1920 i bredden. Men det har vel dere andre sett for lenge siden ...