Simulert GPS-angrep fikk testbilen å kjøre av veien

[Redaksjonen.]

Simulert GPS-angrep fikk testbilen å kjøre av veien

[hekomo]

Dette er et av problemene ved å basere seg på "HD Maps". Jeg tror rett og slett Teslas fremgangsmåte er mye mer robust enn konkurrentenes. Det finnes riktignok måter å "lure" kameraene på, men dette er ting som kameraene muligens kan læres opp til å gjenkjenne.

 

Når det er sagt, trafikk generelt er sårbar. Hvis noen absolutt ønsker det, så er det enkelt å få til store ødeleggelser.

[oophus]

Dette er et av problemene ved å basere seg på "HD Maps". Jeg tror rett og slett Teslas fremgangsmåte er mye mer robust enn konkurrentenes. Det finnes riktignok måter å "lure" kameraene på, men dette er ting som kameraene muligens kan læres opp til å gjenkjenne.

 

Når det er sagt, trafikk generelt er sårbar. Hvis noen absolutt ønsker det, så er det enkelt å få til store ødeleggelser.

Bortsett fra at Tesla også bruker GPS. 

 

"He explained that the FSD computer will be the brain of Tesla’s cars, processing input from eight cameras, 12 ultrasonic sensors, a front-facing radar, and GPS and mapping data. "

https://www.theverge.com/2019/4/24/18514308/tesla-full-self-driving-computer-chip-autonomy-day-specs

 

Det er vell uansett mulig å vekte dette slik at GPS'en aldri er avgjørende for hvilke input man ender opp med å gi. Dette burde kun bli brukt for "guiding", først og fremst. 

[OlaML]

Bortsett fra at Tesla også bruker GPS. 

 

"He explained that the FSD computer will be the brain of Tesla’s cars, processing input from eight cameras, 12 ultrasonic sensors, a front-facing radar, and GPS and mapping data. "

https://www.theverge.com/2019/4/24/18514308/tesla-full-self-driving-computer-chip-autonomy-day-specs

 

Det er vell uansett mulig å vekte dette slik at GPS'en aldri er avgjørende for hvilke input man ender opp med å gi. Dette burde kun bli brukt for "guiding", først og fremst. 

 

Tesla bruker ikke GPS eller kart til styring, men til sekundær info som fartsgrenser, energiberegning og navigasjon. Hvis navigasjonen sier at det skal være en avkjørsel, men veien ikke stemmer med kartet, så vil bilen følge veien og ikke svinge blindt ut i grøften. Det samme gjelder for flere andre systemer.

 

Kart er utrolig sårbare greier, de er jo strengt tatt utdatert med en gang de er publisert. Manuell rapportering og oppdatering tar masse tid. Google brukte to-tre år på å fjerne Ropeid-Sand etter at Sandsfjordbrua kom.

 

Dette eksperimentet understreker at kart og GPS ikke har noe som helst i den primære styringsloopen å gjøre.

[oophus]

Tesla bruker ikke GPS eller kart til styring, men til sekundær info som fartsgrenser, energiberegning og navigasjon. Hvis navigasjonen sier at det skal være en avkjørsel, men veien ikke stemmer med kartet, så vil bilen følge veien og ikke svinge blindt ut i grøften. Det samme gjelder for flere andre systemer.

 

Kart er utrolig sårbare greier, de er jo strengt tatt utdatert med en gang de er publisert. Manuell rapportering og oppdatering tar masse tid. Google brukte to-tre år på å fjerne Ropeid-Sand etter at Sandsfjordbrua kom.

 

Dette eksperimentet understreker at kart og GPS ikke har noe som helst i den primære styringsloopen å gjøre.

Ja, som jeg skrev så er det idiotisk å faktisk bruke GPS data direkte. Det burde kun brukes som et hjelpemiddel. 

[G]

Ja, som jeg skrev så er det idiotisk å faktisk bruke GPS data direkte. Det burde kun brukes som et hjelpemiddel. 

 

Det er også idiotisk å stole på sensorene ombord på MAX-flyene?

[Sturle S]

Det hender meg ganske ofte, blant høge fjell på Vestlandet, at GPSen trur eg både 10 og 50 meter bortanfor der eg eigentleg er. Ein autonom bil må i det minste bruke nøyaktige gyroar i tillegg, og helst kamera som kan brukast til å finne meir nøyaktig posisjon. Tesla har flåte-læring som må eigne seg godt til dette. Når 1000 bilar har køyrt ein veg og plukka opp alle eigenskapar ved den vegen, er GPS-posisjonen truleg feil dersom bil nummer 1001 ser det same 10 meter til venstre.

[Sturle S]

 

Ja, som jeg skrev så er det idiotisk å faktisk bruke GPS data direkte. Det burde kun brukes som et hjelpemiddel. 

Det er også idiotisk å stole på sensorene ombord på MAX-flyene?

Ulukkene med 737-MAX syner nettopp kor farleg det er å basere seg på data frå ein enkelt sensor, ja.

[sverreb]

Tesla bruker ikke GPS eller kart til styring, men til sekundær info som fartsgrenser, energiberegning og navigasjon.

Er det egentlig helt riktig? Påstår ikke tesla at de bruker data fra flåten til å generere treningsdata som i sin tur påvirker hvordan bilen opptrer på spesifikke steder. Dette er i praksis en måte å lage kart på, og har potensiellt tilsvarende sårbarhet. Forurenser du inputdata eller lurer bilen til å tro den er et annet sted enn der den er kan du påvirke oppførselen. Begge deler er sårbarheter knyttet til forhold utenfor bilen og har dermed potensiale til å utnyttes av en angriper untenfor bilen.

[oophus]

Det er også idiotisk å stole på sensorene ombord på MAX-flyene?

Ja, det blir det samme. Det å bruke et system for en "input" alene lager ikke akkurat høyt nivå av sikkerhet, og "redundancy". 

[G]

Men hvordan skal de klare å løse dette på en sikker nok måte, hvor maskinen kan bli i bedre stand til å oppfatte defekte sensorer eller manipulerte sensorer?

[oophus]

Er det egentlig helt riktig? Påstår ikke tesla at de bruker data fra flåten til å generere treningsdata som i sin tur påvirker hvordan bilen opptrer på spesifikke steder. Dette er i praksis en måte å lage kart på, og har potensiellt tilsvarende sårbarhet. Forurenser du inputdata eller lurer bilen til å tro den er et annet sted enn der den er kan du påvirke oppførselen. Begge deler er sårbarheter knyttet til forhold utenfor bilen og har dermed potensiale til å utnyttes av en angriper untenfor bilen.

Jeg håper og trur at man uansett kun bruker GPS data for et hjelpemiddel. Det at man i det hele tatt klarer å få en bil til å kjøre ut av kurs kun basert på GPS data må jo tilsi at bilen ellers er blind for omgivelsene og ikke bruker CMOS og Radar sensorene som første prioritet? Det må jo være helt bakvendt? 

 

Det må jo være i dette tilfellet (artikkelen) at de fant en måte gjennom GPS dataene å få tilgang til de andre dataene? Forstår ikke helt hvordan prioriteringen her fungerer, om GPS dataer alene klarer å få en bil til å svinge ut av kurs. Det høres helt absurd ut. 

[OlaML]

Er det egentlig helt riktig? Påstår ikke tesla at de bruker data fra flåten til å generere treningsdata som i sin tur påvirker hvordan bilen opptrer på spesifikke steder. Dette er i praksis en måte å lage kart på, og har potensiellt tilsvarende sårbarhet. Forurenser du inputdata eller lurer bilen til å tro den er et annet sted enn der den er kan du påvirke oppførselen. Begge deler er sårbarheter knyttet til forhold utenfor bilen og har dermed potensiale til å utnyttes av en angriper untenfor bilen.

 

Slik jeg forstår det er treningsdata tagget med posisjon, men det er slik at ingeniørene kan hente fram et sett med hendelser fra et bestemt sted og deretter behandle disse for å kun gi god inputdata til nettverket. Du vil jo ikke ha med folk som kjører som svin, eller tar feil. Resultatet er ikke "når du er på dette stedet, sving slik", men generell bildegjenkjenning som vil gjelde på alle steder. Dermed vil jo en omkjøring pga veiarbeid bidra med treningsdata som funker ved alle omkjøringer.

 

Det er jo i bunn og grunn unødvendig med kart for å styre en bil. Hvem som helst av oss klarer å holde oss på veien selv om vi ikke aner hvor vi er. Det pleier jo gjerne å bli verre når man kikker for mye på GPSen.

[sverreb]

Jeg håper og trur at man uansett kun bruker GPS data for et hjelpemiddel. Det at man i det hele tatt klarer å få en bil til å kjøre ut av kurs kun basert på GPS data må jo tilsi at bilen ellers er blind for omgivelsene og ikke bruker CMOS og Radar sensorene som første prioritet? Det må jo være helt bakvendt? 

 

Det må jo være i dette tilfellet (artikkelen) at de fant en måte gjennom GPS dataene å få tilgang til de andre dataene? Forstår ikke helt hvordan prioriteringen her fungerer, om GPS dataer alene klarer å få en bil til å svinge ut av kurs. Det høres helt absurd ut.

Selv om bilen ikke primært bruker GPS til kjøreplanlegging (Noe GPS er for lite presist til uansett) kan man ved å forurense GPS data lure bilen til å tro at den er et annet sted som ser ganske likt ut fra de primære sensorene, man som kanskje har en forskjell som ikke er så lett å oppdage.

 

Si f.eks at du flytter GPS posisjonen til bilen fra en vei med en litt bortgjemt utkjørsel (Som er der bilen egentlig er) til en veibit like ved som ikke har denne utkjørselen. Hvis bilen da har HD kart eller treningsdata som sier at det er lurt å senke farten før den passerer utkjørselen kan man med det lure bilen til å kjøre uforsiktig, selv om den primært bruker LIDAR/kamera/radar til å observere verden.

 

Det vi egentlig ser her er at alle slags pregenererte data potensiellt kan bli sårbare selv om det bare er sekundære sensorsystemer som feiler.

[sverreb]

Det er jo i bunn og grunn unødvendig med kart for å styre en bil. Hvem som helst av oss klarer å holde oss på veien selv om vi ikke aner hvor vi er. Det pleier jo gjerne å bli verre når man kikker for mye på GPSen.

Det fundamentale problemet er jo at datamaskinene våre er ikke intelligente. De er jo fortsatt ikke i nærheten av å kunne resonere slik et menneske gjør. Alt vi gjør rundt selvkjøring er å finne ut hva vi må gjøre for å få en automasjon til å kunne erstatte en intelligens. Vi kan derfor ikke bare anta at det som er tilstrekkelig for et menneske er tilstrekkelig for automasjonen.

Endret 6. mai 2019 av sverreb

[Gjest Slettet+5132]

Dette er et av problemene ved å basere seg på "HD Maps". Jeg tror rett og slett Teslas fremgangsmåte er mye mer robust enn konkurrentenes. Det finnes riktignok måter å "lure" kameraene på, men dette er ting som kameraene muligens kan læres opp til å gjenkjenne.

 

Når det er sagt, trafikk generelt er sårbar. Hvis noen absolutt ønsker det, så er det enkelt å få til store ødeleggelser.

 

Problemet med Teslas, og flere andres, system er at de kan bli lurt av et helt enkelt mønster på tskjorta.  Nå er det vel ingen som med vilje tar på seg slik tskjorte, men en kan ha uflaks å ta på seg noe som tilfeldigvis har en mønster som gjør at DNNet ikke gjenkjenner en som et menneske...

[OlaML]

Det fundamentale problemet er jo at datamaskinene våre er ikke intelligente. De er jo fortsatt ikke i nærheten av å kunne resonere slik et menneske gjør. Alt vi gjør rundt selvkjøring er å finne ut hva vi må gjøre for å få en automasjon til å kunne erstatte en intelligens. Vi kan derfor ikke bare anta at det som er tilstrekkelig for et menneske er tilstrekkelig for automasjonen.

 

Jeg er ikke uenig med det. Men å legge til GPS fikser jo ikke problemet. Bilen må kunne sanse omgivelsene direkte, f.eks. for å unngå en uventet hindring i veien. Dermed må den uansett være så bra at den klarer seg uten GPS.

 

Jeg må vel skyte inn at jeg ikke har tro på full selvkjøring før veiene blir smarte og kan formidle informasjon til bilen på en måte som er bedre egnet for en datamaskin enn bildegjenkjenning.

[sverreb]

Jeg er ikke uenig med det. Men å legge til GPS fikser jo ikke problemet. Bilen må kunne sanse omgivelsene direkte, f.eks. for å unngå en uventet hindring i veien. Dermed må den uansett være så bra at den klarer seg uten GPS.

Enig.

 

Jeg må vel skyte inn at jeg ikke har tro på full selvkjøring før veiene blir smarte og kan formidle informasjon til bilen på en måte som er bedre egnet for en datamaskin enn bildegjenkjenning.

Uenig, dette er bare en hel masse sårbarheter som er verre enn å være avhengig av GPS.

 

Jeg forventer ikke å se full selvkjøring som noe konsumentprodukt på lang lang tid. Det er et problemfelt vi ikke vet hvordan vi skal løse enda, og erfaringer fra 40 år med hypesykler omkring AI tyder ikke på at det vil være anneledes denne gangen.

[hekomo]

Bortsett fra at Tesla også bruker GPS. 

 

"He explained that the FSD computer will be the brain of Tesla’s cars, processing input from eight cameras, 12 ultrasonic sensors, a front-facing radar, and GPS and mapping data. "

https://www.theverge.com/2019/4/24/18514308/tesla-full-self-driving-computer-chip-autonomy-day-specs

 

Det er vell uansett mulig å vekte dette slik at GPS'en aldri er avgjørende for hvilke input man ender opp med å gi. Dette burde kun bli brukt for "guiding", først og fremst.

Under selvkjøringspresentasjonen la Musk stor vekt på at HD Maps var en blindvei og at navigering etter forhåndsdefinerte kart ikke var veien å gå.

[hekomo]

Er det egentlig helt riktig? Påstår ikke tesla at de bruker data fra flåten til å generere treningsdata som i sin tur påvirker hvordan bilen opptrer på spesifikke steder. Dette er i praksis en måte å lage kart på, og har potensiellt tilsvarende sårbarhet. Forurenser du inputdata eller lurer bilen til å tro den er et annet sted enn der den er kan du påvirke oppførselen. Begge deler er sårbarheter knyttet til forhold utenfor bilen og har dermed potensiale til å utnyttes av en angriper untenfor bilen.

Nei, de bruker vel dataene til å påvirke hvordan bilen opptrer i ulike situasjoner. Det blir ikke som et kart i det hele tatt, da det ikke er stedsbundet, men situasjonsbundet.