Mangel på sensorer forsinker fremtidens biler

[Redaksjonen.]

Etterspørselen er så stor at ventetiden er mangedoblet.

Mangel på sensorer forsinker fremtidens biler

[Kahuna]

For mange år siden leste jeg en artikkel om hvordan kartverket bygget høydekoter til kart med et stereoskopisk spesialkamera operert fra småfly. Intervjuobjektet demonstrerte teknikken ved å lage et høydekart av sitt eget ansikt.

 

Er det noen grunn til at man ikke bruker et sett med kameraer for å bygge en 3D-modell av det bilen har foran seg? Hvorfor virket dette fra småfly for mange år siden men ikke med dagens digitale bildebrikker og kraftige CPUer?

[Carpe Dam]

Det du beskriver heter fotogrammetri. Man bruker det ganske mye i landmåling og 3D-scanning av gjenstander, blant annet har Trimble en UAV som gjør dette, ment for større anlegg, dagbrudd og slikt. Problemet er at det krever ganske mye tallknusing, så om du har et sett med tre-fire kamera som hver tar 60 bilder i sekundet så skal du ha ganske mye datakraft for å få nyttige data fort nok. Antageligvis er det mye enklere med enkelpunktsmålinger som LIDAR kan by på.

[Kahuna]

Allikevel.. 300k for en Lidar? Det burde da gå an å bygge en billigere rigg med 4 HD-kameraer og noen moderne skjermkort?

[Carpe Dam]

Det hjelper forsåvidt ikke dersom det ikke lar seg gjøre på rimelig vis å putte den nødvendige datakraften inn i en bil. Det er mye tall å knuse, og det må skje fort og være riktig.

 

Men her var en artikkel for en tid tilbake om noen som skulle produsere mye billigere LIDAR-brikker, lurer på hvordan det gikk med den saken...

[Kahuna]

Kanskje en hybridmetode kunne vært noe? Altså en håndfull kameraer+ en eller flere lasere som sender ut pulser i forskjellig frekvens og mønster? Regner med at det vil være lettere å regne ut 3D-informasjon hvis du har 'hjelpepunkter'?

[Carpe Dam]

Utfordringen ligger i å generere 3D-punkter fra fotografiene, når man først har disse så er det meste annet relativt enkelt. Et problem med fotogrammetri er at det kan og/eller vil gi altfor mange punkter, jeg kjenner ikke detaljene men når jeg ser på det nå ser jeg at UAV'en til Trimble vil gi nøyaktighet ned til under 4 cm ved flyhøyde på 150 meter over bakken, noe som tilsier et vanvittig datasett. Det er ikke nødvendigvis slik at det vil kreve mindre kraft å redusere datasettet heller, siden man må regne ut alt først og så sile ut etterpå.

 

Men når jeg tenker over det, hvordan er det Tesla sitt system fungerer? Det er jo så langt jeg vet basert på kameraer.

 

Jeg vil påstå at flere teknologier må kombineres i samme kjøretøy dersom det skal ha muligheten for helt autonom kjøring, helst både RADAR, LIDAR og en variant av kamera, helst med både IR og synlig (gjerne også UV, for den del). Dersom noe skulle få den ene teknologien til å ikke levere så ville det være nødvendig med en annen deteksjonsmetode.

[rankine]

Stereokameraer for biler er faktisk en mulighet, og det krever ikke all verden av prosesseringskraft. Den store forskjellen mellom dette og fotogrammetri a la Trimble er at de tar opp store datasett som de kombinerer for å få best mulig nøyaktighet. Dette tar nok timer å regne på hvis jeg skal gjette.

 

Med Stereokameraer for biler så får man en 3D-modell hver gang man tar et bildepar, og dette kan gjøres i sanntid hvis ikke oppløsning og bilderate er for høy.

 

Den virkelige ulempen med Stereokameraer i forhold til lidarer er at de er mer avhengige av gode lysforhold. Motlys, mørke og dårlig vær kan gjøre kameraene ubrukelige. Lidarer bruker en egen laser eller flere lasere og er derfor ikke plaget med lysforhold, men kan fortsatt plages av dårlig vær. Her er radar den store vinneren. Stereokameraer har til gjengjeld høyere oppløsning i høyde og bredde enn lidarer og i hvertfall radarer, så det er fordeler og ulemper med alt. Subaru har faktisk et Stereokamerasystem som heter eyesight som de bruker.

 

Ellers skal det også sies at Velodyne selger flere lidarer til rundt 8000$, men med dårligere oppløsning enn den dyre til 300000 nok.

[Fridtjof Eilertsen]

For mange år siden leste jeg en artikkel om hvordan kartverket bygget høydekoter til kart med et stereoskopisk spesialkamera operert fra småfly. Intervjuobjektet demonstrerte teknikken ved å lage et høydekart av sitt eget ansikt.

 

Er det noen grunn til at man ikke bruker et sett med kameraer for å bygge en 3D-modell av det bilen har foran seg? Hvorfor virket dette fra småfly for mange år siden men ikke med dagens digitale bildebrikker og kraftige CPUer?

 

For å utdype det Carpe Dam skrev: Du forteller altså om det som heter fotogrammetri. Det foregår på følgende måte: Spesialfly tar bilder i lav høyde over terrenget, og de bildene er overlappende. På bakken er det spesielle merker som er synlige på bildene. I et spesielt instrument settes to bilder sammen og da ved hjelp av disse merkene. Så ser en person som er spesialutdannet, og med ekstra dybdesyn, inn i instrumentet. Deretter blir synlige detaljer inntegnet/overført til en tilknyttet en datamaskin. Når alle synlige detaljer er kommet med, må kartet synfares. Det er fordi det er detaljer som ikke er mulig å oppdage, som for eksempel høydekurver (kan være tett skog som skjuler). Først når synfaring er unnagjort, og alt er nøye inntegnet, vil kartet kunne bli tilgjengelig for andre. Og det vil heller ikke bli nøyaktig nok i forhold til de krav som stilles til sikkerheten ved bilkjøring.

 

Så det er nok ikke så enkelt som du tror. Derfor er metoden som bilprodusentene ser på, mye enklere å forholde seg til. Og ikke minst: Bedre.

[Carpe Dam]

Nå blir vel fotogrammetri håndtert digitalt i våre dager, men det var slik det ble gjort "før i tiden" ja. Har sett på noen slike bildesett gjennom spesielle briller som øker dybdesynet, man risikerer å bli litt rar av det etter et par minutter.

Kartverket bruker vel også forskjellige former for laserscanning når de kartlegger kongleriket fra luften, det har den fordelen at man innimellom klarer å få lesing fra bakken selv i tett skog. For "generell kartbruk" vil det gi gode nok resultater i de fleste tilfeller til at man ikke trenger å synfare. For finere arbeid må man uansett hogge snaut for at det skal la seg gjøre å måle, men jeg vet at Statnett ofte ser luftmålinger som presise nok til å bruke som kontraktsgrunnlag på masseflytting og slikt.

 

Hvorvidt det ville blitt nøyaktig nok for bilkjøring tror jeg enkelt og greit jeg er uenig med deg i. Husk at det er snakk om ekstremt store relative avstander i forhold til hva man håndterer i landskapsfotogrammetri. Trimbles systemer klarer en nøyaktighet på mellom 4 og 10 cm (modellavhengig) ved flyhøyde på 150 meter, så jeg ville regnet med nøyaktigheter godt under centimeteren på et system som fanget opp data for å kartlegge nærområdet til en bil. Det hele koker ned til hvor mye data som genereres og hvor mye som kan prosesseres på rimelig vis.

[Simen1]

Stereokameraer er faktisk mye brukt allerede, men de er bedre på vidvinkel og nærområde enn lidarer. Tesla model S har for eksempel 11 kamera som blant annet brukes i stereo-konfigurasjoner for å måle avstander til objektene rundt. Det krever en hel del datakraft og de benytter noen GPUer fra Nvidia (som jeg ikke husker navnet på i farta) for å beregne dybde og analysere omgivelsene. Andre tyr til mindre tallknusing men desto dyrere sensor, Lidar. Ulempen med lidar er at man ofte bare har råd til én enhet og den må da sitte på taket og har dårlig dekning nært bilen. Den ser for eksempel ikke om det sitter en unge med bøtte og spade rett bak hengerfestet. Lidar må altså kombineres med kameraer for å bli særlig hensiktsmessig.

 

Jeg tror Lidar først og fremst brukes fordi det er enkelt i prototypefasen. På sikt tror jeg Lidarer fases ut fra biler.

 

De som produserer små kamerasensorer estimerer en formidabel økning i salget på grunn av økt integrering av kameraer i biler. Noe sånt som 60% økning i løpet av 5 år om jeg husker rett. Det nåværende markedet går stort sett til mobiltelefoner og overvåkningskamera, så 60% er veldig mange enheter. De forbereder seg selvsagt med økt produksjonskapasitet.

[rankine]

Stereokameraer er faktisk mye brukt allerede, men de er bedre på vidvinkel og nærområde enn lidarer. Tesla model S har for eksempel 11 kamera som blant annet brukes i stereo-konfigurasjoner for å måle avstander til objektene rundt. Det krever en hel del datakraft og de benytter noen GPUer fra Nvidia (som jeg ikke husker navnet på i farta) for å beregne dybde og analysere omgivelsene. Andre tyr til mindre tallknusing men desto dyrere sensor, Lidar. Ulempen med lidar er at man ofte bare har råd til én enhet og den må da sitte på taket og har dårlig dekning nært bilen. Den ser for eksempel ikke om det sitter en unge med bøtte og spade rett bak hengerfestet. Lidar må altså kombineres med kameraer for å bli særlig hensiktsmessig.

 

Jeg tror Lidar først og fremst brukes fordi det er enkelt i prototypefasen. På sikt tror jeg Lidarer fases ut fra biler.

 

De som produserer små kamerasensorer estimerer en formidabel økning i salget på grunn av økt integrering av kameraer i biler. Noe sånt som 60% økning i løpet av 5 år om jeg husker rett. Det nåværende markedet går stort sett til mobiltelefoner og overvåkningskamera, så 60% er veldig mange enheter. De forbereder seg selvsagt med økt produksjonskapasitet.

Jeg er ikke enig i alt du sier her. At kameraer er bedre på vidvinkel enn lidarer mener jeg er feil. Dette handler først og fremst om hvor du plasserer sensorene. Lidarer ser typisk 360 grader rundt, så hvis du plasserer en lidar på et smart sted så vil den se videre enn et kamera. Kameraer for stereo er ikke effektive mer enn til kanskje 120 grader. Over dette begynner man å få så store fisheye-effekter at stereoen blir veldig dårlig ut mot sidene.

 

Videre så vil jeg også si at lidar kan være bedre enn et stereokamera på nært hold. En lidar har i utgangspunktet ingen problemer med å måle avstander nærme seg selv. Setter du en lidar slik at panseret på bilen skygger for utsikten så er det dum plassering som er problemet, og ikke selve lidaren. Stereokameraer er heller ikke særlig godt egnet svært nærme. Stereokameraer er nemlig avhengige av avstanden mellom dem for hvor nært de kan oppdage ting. Kameraene nærme hverandre: De kan oppdage ting nærme, men stor unøyaktighet i avstandsmålinger lenger unna. Kameraer lenger unna hverandre: Får å oppdage ungen rett bak hengerfestet hadde jeg stolt mer på en ultralydsensor. De er enkle og billige, og du kan ha en haug rundt alle bilens kanter.

 

Ellers litt faktakorreksjoner: Tesla har 8 kameraer, ikke 11.  Tesla autopilot: Såvidt jeg skjønner, ingen kameraer i stereokonfigurasjon. I stedet satser de på 3 kameraer forover med ulik åpningsvinkel for å detektere ring på ulike avstander. De dropper stereo til fordel for å kjenne igjen objekter i enkeltbilder. 

 

Ellers er jeg spent på hvordan det vil gå med lidarer framover, men jeg tror de har en framtid. Det største problemet med lidarer er at de til nå har blitt laget i så små kvanta at de har vært dyre. Dette vil endre seg nå som etterspørselen øker drastisk. Velodyne har hintet til at deres neste generasjon lidar VLP-32A Ultra Puck vil koste i størrelsesorden 500$ takket være storskala masseproduksjon. Da begynner man å snakke priser der du kan ha flere på en bil.

 

PS 1. GPU-plattformen heter NVIDIA Drive PX2.

 

PS 2. Det er ikke noe magisk med stereokameraer, det er bare vanlige kameraer som er nøye kalibrert mot hverandre. Man kan lage sitt eget stereokamera med to webkameraer og en rull gaffateip for de som lurte.