Megapixel-ræs og små objektiver

[EskeRahn]

Akkurat dette har vært gjort før med standardkomponenter for å lage veldig høye oppløsninger. Tviler på det var pixel perfect. Det ville vel kreve perfekt kant-i-kant eller en spesialdesignet linse for å distribuere lyset vekk fra kantene for å ikke miste detaljer.

Kunne være vældigt interessant med en korrektionslinse(*) for dette foran sensor-array, og for at nøjagtigheden ikke skal være hel sindsyg, kunne man jo forestille sig at den splittede det så langt fra hinanden at man mistede nogle extra pixel-bredder ved hver samling, som man så måtte kalibrere efter.

 

(*) edit, strengt taget er det vel mere et facetslebet prisme end en linse?

Endret 30. januar 2015 av EskeRahn

[EskeRahn]

Ræset går videre. Hvis ryktene stemmer skal Canon og Sony samarbeide om 50,6 Mp fullformatsensorer.

 

Jeg kom også over en forenklet fremstilling av sensorpriser. Jeg er overrasket over å se at sensorpriser på systemkamera er så lave som i området 40-140 dollar ASP (average sale price), mens sensorer i kompaktkamera har en ASP på 4-9 dollar. Mulig jeg leser grafikken feil, men hvis det er gjennomsnittlig salgspris for de minste og mestselgende sensorene i sin klasse så er det temmelig lavt etter min mening.

 

Lurer på om det er mulig å sette sammen to mindre sensorer for å tilsvare en større, uten at det blir mellomrom mellom de.

Med fullformat er Rayleigh-limit

2156.0/F²

så med 50.6Mp vil det give en grænse på F6.5, men det er jo ikke en urealistisk lille blændeåbning. Så det betyder at folk må blænde ned for lys med et ND-filter hvis de ikke vil tabe detaljer.

[EskeRahn]

Faldt forresten over denne interessante artikel fra Stanford, med et par år på bagen, der illustrerer hvad pixelstørrelse for samme sensorstørrelse betyder ved forskelligt lys

http://white.stanford.edu/~brian/papers/pdc/2009-CameraShake-Xiao.pdf

 

Det sammenfattes i de to grafer (har her lige skaleret den sidste så de begge viser MPixel)

Og for lysstyrken her fx:

Der ganske vist vender den anden vej.

[Simen1]

Jeg måtte tenke litt for å skjønne de grafene. Det de mener med "effektivt pikseltall" må være gjenværende detaljgrad etter at støyen har gjort seg gjeldende.

 

I så fall ser det ut som et omslagspunkt i lysstyrke der sensorene med minst piksler gir mer detaljer i mye lys enn store piksler. Og vise versa for store piksler i lite lys. Det ser også ut som omslagspunktet ligger rundt 1000-3000 lux "near windows" for 1/8" sensorer og 2000-7000 lux "shade outdoors" for 1/3,2" sensorer.

 

Dette sier litt mer folkelig at "mobiltelefonkamera gir god detaljgrad i dagslys".

 

I 100 000 lux "full sun beam": Øker man sensorstørrelsen med 2,5x så øker effektivt pikseltall med 6x. (Dette følger jo arealet veldig fint)

I 5000 lux "near windows": Øker man sensorstørrelsen med 2,5x så øker man effektivt pikseltall med 4x - 5,7x

I 300 lux "modern office": Øker man sensorstørrelsen med 2,5x så øker effektivt pikseltall med ca 2x. (Dette følger teorien for fotonstøy/shot noise veldig fint)

 

Det er flere interessante observasjoner her:

- Man trenger stadig sterkere dagslys for å nyttiggjøre seg av den fulle sensoroppløsningen når sensorstørrelsen øker. Det gir altså mindre mening å ha 1,4 mikron piksler på store sensorer enn på små.

- En 0,3 Mp lavoppløst 1/8" sensor gir inntil 4 ganger høyere effektivt pikseltall i 300 lux enn en like liten 0,6 Mp sensor.

- En 2 Mp lavoppløst 1/3,2" sensor gir inntil 3 ganger høyere effektivt pikseltall i 1000 lux enn en like liten 4 Mp sensor.

 

Folkelig: "Lav sensoroppløsning gir høy effektiv oppløsning i lite lys" Interessant!

 

Framtiden for pikselkappløpet er flersidig:

- Dagslysfoto: kjør på med større sensorer og flere piksler

- Innendørsfoto: Kjør på med større sensorer, men begrens antall piksler og ha effektiv stabilisering.

- Nattfoto: Kjør på med større sensorer, men begrens antall piksler og behold stativ og lange lukkertider.

 

Den eneste klare trenden her er altså større sensorer. Kanskje vi også heller mer mot to typer kamera: Dagslyskamera med mange piksler og innendørs/natt-kamera med få piksler og mulighet for å velge enten stabilisering eller lange lukkertider. Nå som dobbeltkamera er på vei inn i telefoner kan det være en idé å kombinere disse ulike optimaliseringene i en telefon. De to kameratypene setter også vesentlig forskjellige krav til optikken. Dagslyskamera skal gjerne ha størst mulig oppløsning og da gir det ikke mening å ha ekstremt store blenderverdier. Innendørs/natt-kamera trenger ikke høyoppløst optikk, men stor blender er desto viktigere. Optisk zoom strider mot begge designkriteriene så det får vi neppe mer av i framtida.

 

Ellers vil jeg kritisere rapporten for å ikke vektlegge høyere DR. De har kun et minimum SNR på 30 dB som kriterium for å være "godt nok". Høyere DR er et økende krav i takt med etterspørselen etter råformat og større utbredelse av skjermer med høy DR. Færre/større piksler bidrar til høyere DR. Edit: Rapporten er vist fra 2009. Da er de unnskylt angående råformatet som ikke var aktuelt den gangen. Vi må antagelig flytte kurvene til høyre med en faktor 0,5 på skalaen for å tilpasse de til dagens BSI sensorer. Årstallet forklarer også fraværet av kurven for 1,0 - 1,1 mikron piksler.

Endret 22. mai 2015 av Simen1

[Simen1]

Et lite tips om nytt telefonkamera: Sony hadde med sin Xperia Z1-Z3 den teoretiske fordelen med sensorstørrelse over andre telefonkamera (og tabbet seg ut med tanke på etterbehandling som hvitbalanse, oppskarping etc). Nå har LG lansert G4 med en litt mindre sensor (i teorien en ulempe), med større blender og færre piksler (to fordeler som mer enn opphever størrelseulempen teoretisk), samt råformat. Nå har jeg ikke sett grundige nok kameratester av G4 ennå, men dette lover i hvert fall godt.

[johome]

 Her er noen testbilder av LG G4 :

 

Eksempel 1

 

Eksempel 2

 

Eksempel 3

 

Eksempel 4

Endret 22. mai 2015 av johome

[Simen1]

Med grundige nok, mente jeg blant annet utnyttelse av råformatet, og sammenlignet med andre telefonkamera i toppklassen. Målinger av DR vs ISO, oppløsning osv.

 

Bildene ser fine ut de, men de sier meg ikke hvordan det yter sammenlignet med andre.

[EskeRahn]

....

Glem ikke dit tidligere forslag om kamera-arrays. Da telefoner er blevet så tynde som de er, er det troligt 'svaret', hvis de har linsesystemer der kan indstilles til enten at tage billede af samme motiv, eller tage billeder af del-motiv der klistres sammen, og dermed give få eller mange pixler efter lysforhold. Sider de med nogen afstand, kan der enddog laves 3D med samme data.

 

En interessant detalje er at 'faldet' tilsyneladende kommer ved højere lysstyrker med stigende sensorstørrelse.

Det er jo lidt kedeligt, For en meget stor sensor vil derfor gavne allermest i meget lys - hvor der er mindst brug for den... Men den vil selvfølgelig gå ned til et højere niveau end de mindre sensorer i mindre lys.

 

...En skam de ikke har nogen formler med, det kunne være interssant at se tilsvarende for de PT meget udbredte 1/2.3", samt nogle større almindeligt forekommende up til 24x36.

 

Ad 1/2.3" var du klar over at der er ret stor forskel på hvad forskellige fabrikater bruger af faktor mellem fysiske størrelser og reklame-mål?

Det FujiFilm kalder 1/2" har en diagonal på 8mm, Sonys IMX220 har en diameter på 7.87mm, altså blot 1.6% mindre, men den kalder Sony for 1/2.3", skulle Sony navngive Fujis, ville den så til sammenligning med 1/2.30 skulle hedde 1/2.26 ...

 

Det er IKKE et spørgsmål om at 1/2 ikke skal læses som 1/2.0, for ser man på Fujis tidligere 1/1.6" og 1/1.7" så har de meget tæt på samme forhold mellem diagonal og reklame.

Se et lille skriv jeg har lavet her: http://eskerahn.dk/wordpress/?p=659

[EskeRahn]

....

Har du set denne?

  http://connect.dpreview.com/post/5942018287/samsung-working-on-slimmer-rbw-camera-sensors

 

En RWB sensor!!

Genialt i alt sin enkelthed! Det er jo ligeså simpelt at trække fra under interpolationen, for at 'gætte' grønt, som at konventionelt lægge til for at gætte hvidt, og på denne måde får man meget mere lys ind på sensoren. For hvidt lys DOBBELT så meget.

....Så må vi bare håbe at det ikke giver udbrændte områder fordi de fyldes for hurtigt.

Endret 28. mai 2015 av EskeRahn

[Simen1]

Ja, jeg så det der. Flott utvikling.

 

R-G-G-B -> R-RGB-RGB-B

 

For lys eksponering fikser man med kortere lukkertid og det er sjeldent noe problem å få kort nok lukkertid. Jeg har forresten en idé til hvordan man forbedrer dynamikken uten å tape lys: Stable litt om på fargemønsteret og bruke sjakkmønstret mikrolinser, der sorte sjakkfelt representerer små mikrolinser som fanger lite lys, mens nabolinsene (hvite sjakkfelt) er tilsvarende større mikrolinser. Det vil gi mye bedre dynamikk på bekostning av detaljgrad i endene av ISO-skalaen. Dette er mye bedre enn dual ISO-teknikken som Magic Lantern bruker fordi alle pikslene får samme lukkertid, samme lave lesestøy, samme ISO-forsterkning etc. Men teknikken krever altså et fargefiltermønster som ikke er 2x2 størrelse.

[EskeRahn]

Ja, jeg så det der. Flott utvikling.

 

R-G-G-B -> R-RGB-RGB-B

 

For lys eksponering fikser man med kortere lukkertid og det er sjeldent noe problem å få kort nok lukkertid. Jeg har forresten en idé til hvordan man forbedrer dynamikken uten å tape lys: Stable litt om på fargemønsteret og bruke sjakkmønstret mikrolinser, der sorte sjakkfelt representerer små mikrolinser som fanger lite lys, mens nabolinsene (hvite sjakkfelt) er tilsvarende større mikrolinser. Det vil gi mye bedre dynamikk på bekostning av detaljgrad i endene av ISO-skalaen. Dette er mye bedre enn dual ISO-teknikken som Magic Lantern bruker fordi alle pikslene får samme lukkertid, samme lave lesestøy, samme ISO-forsterkning etc. Men teknikken krever altså et fargefiltermønster som ikke er 2x2 størrelse.

Jeg mener fortsat det optimale ville være hvis hver sub-pixel  kunne registrere TO ting

1) n fotoner på lukketiden T

ELLER

2) Fyldt op med N fotoner til tiden t<T, hvor tid t kunne blive leveret via et fælles trekantet signal kalibreret så den starter i 0 og leverer N til tiden T.

Hvis en subpixel bliver fyldt, skal den selv 'straks' kunne 'gemme'  tidssignalet, og et flag.

Der afleveres så n eller t og et flag om det er det ene eller det andet

Resultat er så n eller N * T/t, og det vil i principet kun være begrænset af støj og granulering. (dvs t som heltal skal helst ikke være for lille, ellers bliver det unøjagtigt, men da alternativ er udbrændt, så...)

[Simen1]

Det vil fungere fint på statiske motiver, men på bevegelige kan man få rare artifakter som følge av at pikslene har ulike eksponeringstider. En annen ting er at den teknikken kompliserer, øker antall transistorer per piksel og dermed indirekte skaper mer støy i bildet.

 

En ting til om RWB-konseptet. Hvite høylys vil få ca et blendertrinn mindre støy fordi lysmengden ca dobles sammenlignet med RGB. Dvs. mindre støy i mørke områder. Alternativt kan man halvere eksponeringstida og for å redusere utbrentheten i R og B pikslene. Støyen i den utregnede G pikselen blir nok mindre enn om det hadde vært G fargefilter der fordi W har mindre støynivå enn R og B.

[EskeRahn]

Det vil fungere fint på statiske motiver, men på bevegelige kan man få rare artifakter som følge av at pikslene har ulike eksponeringstider. En annen ting er at den teknikken kompliserer, øker antall transistorer per piksel og dermed indirekte skaper mer støy i bildet.

 

En ting til om RWB-konseptet. Hvite høylys vil få ca et blendertrinn mindre støy fordi lysmengden ca dobles sammenlignet med RGB. Dvs. mindre støy i mørke områder. Alternativt kan man halvere eksponeringstida og for å redusere utbrentheten i R og B pikslene. Støyen i den utregnede G pikselen blir nok mindre enn om det hadde vært G fargefilter der fordi W har mindre støynivå enn R og B.

Det burde ikke betyde noget for et bevægeligt motiv, for måling starter jo på samme tid, I principet kan du bare efterfølgende cutte alt output over N, og du vil få nøjagtigt det samme som konventionelt.

 

Men ja, den ekstra elektronik, er selvfølgelig en komplikation - og fordyring. Jeg kan ikke gennemskue hvad det vil give af støj, men det vil jo i givet fald også kun berøre de der ellers ville meldes udbrændte.

[Simen1]

Jeg kom til å tenke på flere ting med RWB fargefiler. Det er en vanlig ligning med 3 ukjente fordelt på 4 piksler med 3 ulike fargefilter. Det er naturlig å velge dobbelt opp av det "filteret" som gir mest lys, W. Men de trenger ikke filtrere bort to av tre primærfarger for begge de gjenværende pikslene for å få et komplett RGB fargespekter. Den ene pikselen kan slippe inn to farger og ligningen er fortsatt løsbar. Altså R-W-RG. Eler uttrykt på en litt annen måte: R-RGB-RGB-RB. De trenger ikke stoppe der heller for her har vi egentlig 4 ligninger og bare 3 ukjente. De kunne føyd på IR i samme slengen og fått G-RG-RGB-RGBIR. Siden IR dekker et ca dobbelt så stort område av spekteret enn hver av de tre andre primærfargene så vil man kunne hente en del ekstra lys på den måten. Etter mine beregninger ca 37,5% mer enn Samsungs nye RWB-filter og ca 175% mer enn vanlig RGGB. En ekstra bonus er sensitivitet i mørket (IR mellom ca 700 og 1100 nm) og bruk av IR-blits/videolys. Ennå en bonus er at pikslene får 4 ulike eksponeringer og dermed vil utvide kontrastområdet i flere trinn (gjelder kun nær-grå/hvit sammensatte farger). En monokrom sensor med RGB i alle pikslene vil være 200% mer effektiv enn vanlig RGB, 50% mer sensitiv enn Samsungs nye RWB og 9% mer sensitiv enn det mitt forslag med G-RG-RGB-RGBIR.

[EskeRahn]

Jeg kom til å tenke på flere ting med RWB fargefiler. Det er en vanlig ligning med 3 ukjente fordelt på 4 piksler med 3 ulike fargefilter. Det er naturlig å velge dobbelt opp av det "filteret" som gir mest lys, W. Men de trenger ikke filtrere bort to av tre primærfarger for begge de gjenværende pikslene for å få et komplett RGB fargespekter. Den ene pikselen kan slippe inn to farger og ligningen er fortsatt løsbar. Altså R-W-RG. Eler uttrykt på en litt annen måte: R-RGB-RGB-RB. De trenger ikke stoppe der heller for her har vi egentlig 4 ligninger og bare 3 ukjente. De kunne føyd på IR i samme slengen og fått G-RG-RGB-RGBIR. Siden IR dekker et ca dobbelt så stort område av spekteret enn hver av de tre andre primærfargene så vil man kunne hente en del ekstra lys på den måten. Etter mine beregninger ca 37,5% mer enn Samsungs nye RWB-filter og ca 175% mer enn vanlig RGGB. En ekstra bonus er sensitivitet i mørket (IR mellom ca 700 og 1100 nm) og bruk av IR-blits/videolys. Ennå en bonus er at pikslene får 4 ulike eksponeringer og dermed vil utvide kontrastområdet i flere trinn (gjelder kun nær-grå/hvit sammensatte farger). En monokrom sensor med RGB i alle pikslene vil være 200% mer effektiv enn vanlig RGB, 50% mer sensitiv enn Samsungs nye RWB og 9% mer sensitiv enn det mitt forslag med G-RG-RGB-RGBIR.

Kune tages et skridt videre:: (IrGB, IrRB, IrRG, RGB), altså så man havde et R, G, B og Ir blokkerende filter over hver af de 2x2 subpixel

Summen af disse vil være 3 x IrRGB. Trækker man hver fra en trediedel af dette har man (R, G, B, Ir).

[Simen1]

Blir det ikke en ukjent mer enn antall ligninger så ligningen ikke lar seg løse? De "4" ligningene har vel en sirkel-referanse til hverandre slik at man egentlig bare har 3 ligninger og 4 ukjente.

 

Uansett, jeg tror vi er inne på et godt spor her. Vi burde patentere det og lisensiere patentet til helst alle sensorprodusentene

[EskeRahn]

Blir det ikke en ukjent mer enn antall ligninger så ligningen ikke lar seg løse? De "4" ligningene har vel en sirkel-referanse til hverandre slik at man egentlig bare har 3 ligninger og 4 ukjente.

 

Uansett, jeg tror vi er inne på et godt spor her. Vi burde patentere det og lisensiere patentet til helst alle sensorprodusentene

He he.

Men nej, 4 ligninginger med fire ubekendte, der endda meget simpelt lader sig løse da summen af alle fire

IrGB + IrRB + IrRG + RGB = 3(IrRGB)

og deraf har man IrRGB, og simpel substraktion af hver enkelt giver det vi ønsker:

IIrRGB-IrGB=R  (Cyan sensor incl IR)

IrRGB-IrRB=G  (Magenta sensorincl IR)

IrRGB-IrRG=B  (Yellow sensorincl IR)

IrRGB-RGB=Ir  (White Sensor EXcl IR)

 

Det kan jo gøres med passende valg af hvem man parrer sammen, helt analogt med klassiske, hvor man kan lægge målepunkter i krydspunkter mellem alle pixler

 

Afhængigt af hvor nøjagtige filtrene skærer, så vil sum være lidt højere end 3, men det er jo et simpelt kalibreringsspørgsmål.

Men  jo ringere filtrene er, jo dårligere vil det virke, da der så er mere støj på det tal man får ud.

 

Men I støj-sammenhæng er substraktion jo altid kedeligt, så det kan meget vel ødelægge hele ideen...

Worst case med fuldt blæs på alle fire kanaler, med en SNR ẟ , så vil hver af vores fire resultater jo så få  en SNR på ẟ√7 **Rettet, se nedenfor**

 

ADD:

 

Det er en anelse bedre for

1/3 af summen af alle minus den ene

kan jo også skrives som

1/3 af summen as alle andre minus 2/3 af den ene

Altså fx

R=

(IrGB + IrRB + IrRG + RGB)/3-IrGB =

(IrRB + IrRG + RGB)/3 - 2/3 x IrGB

 

Og hvis vi ser på worst case med samme signal og støj i alle målinger δ=Δ/X

Så vil differens for alle fire have en SNR givet ved

√((Δ/3)²+(Δ/3)²+(Δ/3)²+(2Δ/3)²) / (X/3) = δ√7 , eller 2.65 δ

 

Endret 31. mai 2015 av EskeRahn

[Simen1]

Anandtech skriver litt om effekter og bieffekter av ulike fargefilterkonfigurasjoner.

 

[Simen1]

Canon annonserer et kamera med rekordstore piksler: 19 mikron! At de tillater ISO helt opp til 4 millioner i kameraet betyr vel at de har ambisjoner om å få skviset ut et signal over støygulvet på den ISO-en. Sensoren er litt mindre enn 35mm filmruter og har litt over Full HD oppløsning.

 

Kunne godt tenkt meg en telefon med en lignende filosofi: Relativt stor sensor for å være telefon (ca 1/2,4") med "bare" Full HD og god stabilisator. Eventuelt noe sånt som 2200*1650 piksler uten stabilisator, men post-stabilisering. En sånn sensor for low light + et vanlig pikselmonster-kamera for dagslys.

[EskeRahn]

Canon annonserer et kamera med rekordstore piksler: 19 mikron! At de tillater ISO helt opp til 4 millioner i kameraet betyr vel at de har ambisjoner om å få skviset ut et signal over støygulvet på den ISO-en. Sensoren er litt mindre enn 35mm filmruter og har litt over Full HD oppløsning.

 

Kunne godt tenkt meg en telefon med en lignende filosofi: Relativt stor sensor for å være telefon (ca 1/2,4") med "bare" Full HD og god stabilisator. Eventuelt noe sånt som 2200*1650 piksler uten stabilisator, men post-stabilisering. En sånn sensor for low light + et vanlig pikselmonster-kamera for dagslys.

Ja, jeg så det godt, et vældigt interessant kamera. Og ja med så små sensorer ville det være rart med færre/større piksler.

Har forresten købt et RX100III. Det kan varmt anbefales som forholdsvist kompakt kamera til dårligt lys, se fx http://eskerahn.dk/wordpress/?p=880#RX100_vs_TZ70

 

Næsten alle telefoner har vel i dag sensor der ikke er mindre end 1/2.4" - og det er nok svært at få den meget større med de meget tynde telefoner der er på mode, uden at kamera stikker ud. Personligt vil jeg hellere have en tlf der er lidt tykkere hvor det så IKKE stikker ud... Men ja FHD ville være fint til den størrelse.