Slik manipulerte de 17 bilmodeller til å kjøre uten sjåfør

[uname -i]

RJohannesen skrev (5 minutter siden):

Har du lest om noen ulykker der Teslaer har vrengt inn i parkerte biler? Det har ikke jeg så da må du gjerne hoste opp noen linker. 

Den har hvertfall styrt inn i betongbarrierer slik at sjåføren forulykket. Men det NTHSA etterforsker er hvorfor det er så mange Teslaer som kræsjer inn utrykningsbiler til hjelpepersonell som prøver å gjøre en livskritisk jobb.

RJohannesen skrev (6 minutter siden):

Som et fjell eller øy som står i veien for flyet eller båten. På samme måte altså.

LOL. Kanskje dytte skylda over på fjellet mens du er så godt i gang.

[tommyb]

On 8/22/2021 at 3:47 PM, (not the real) Dr. Bombay said:

Et fly som flyr ved hjelp av autopilot, flyr ikke inn i første og beste Seaking redningshelikopter.

 

4 hours ago, uname -i said:

Men hvis Airbus kom med en flytype som hele tiden vrengte inn i fjell på autopilot så spiller det jo liten rolle om du synes det er piloten sin feil og ferdig snakka. Man har allikevel et stort problem.

Det er akkurat det samme her. Hvis Teslaer er overrepresentert når det gjelder selvkjøringsulykker inn i parkerte ambulanser. så er det to muligheter. Enten er det et eller annet problem med bil/markedsføring. Eller så er det et eller annet med Tesla som tiltrekker seg de mest uegnede sjåførene på kloden.

Mulig dere representerer andre i å ha totalt feil inntrykk av hva autopilot i fly er, men autopilot kjører såvisst inn i første og beste redningshelikopter dersom det kommer i veien. Dersom det ikke kommer et redningshelikopter i veien så kjører før eller senere flyet inn i et fjell dersom man ikke slår av autopiloten, reprogrammerer eller slipper opp for drivstoff. Disse systemene er jo enklere enn cruise control. Uavhengig av hvilket bilmerke, er da en hvilken som helst lane control-funksjon mye mer avansert. 

Når det er sagt, har man noe som heter innflyvningssystemer på fly. Det blir noe ganske annet, sammenlignet med autopilot.  

Endret 23. august 2021 av tommyb

[tommyb]

Jeg sliter med å se hvordan det ikke er sjåførens feil når han fører sin bil inn i et utrykningsfartøy som blokkerer hans kjørefelt uten å bremse ned og stoppe.

Når det er sagt, er det viktig at nødbremsesystemer faktisk bremser for solide objekter i kjørefeltet. Og Teslas system, samt andre såpass avanserte systemer, skal ha nok tilgjengelig informasjon til å identifisere stoppede kjøretøy som stoppede kjøretøy. Det er helt på sin plass å undersøke nærmere hvorfor dette ikke har blitt endret når det har skjedd nok mange ganger til å identifisere problemstillingen. Samtidig tror jeg jo at både Tesla og konkurrentene kommer ut av en slik prosess med bedre systemer, så jeg håper eventuelle endringer i lovverk kun gjøres etter tilstrekkelig vekting av ulykkesdata med og uten førerstøttesystemer. 

[Tictakk]

Hvis jeg skulle gjette ville jeg f.eks. gått for "Driver Monitoring System - monitors that the driver of a car is awake and alert" som blir nevnt i artikkelen du linker til....

[oophus]

tommyb skrev (38 minutter siden):

Jeg sliter med å se hvordan det ikke er sjåførens feil når han fører sin bil inn i et utrykningsfartøy som blokkerer hans kjørefelt uten å bremse ned og stoppe.

Selvfølgelig er det hans feil, men det er sannsynligheten for at feilbruk oppstår som er i sentrum her. 

Ford fikk jo ei kraftig bot i sin tid pga dårlig design av Ford Pinto. Folk døde i kollisjoner pga den bilen hadde ei tendens til å sprute litt bensin rundt seg om den ble påkjørt bakfra. Direkte så er det jo ikke Ford sin feil at ulykkene oppstår, men uylkker må en altså medberegne innad i design. Ergo fikk Ford så hatten passet pga de plasserte bensintanken så til de grader idiotisk mens de viste at liv ville bli tatt som et resultat av designavgjørelsen. 
 

[RJohannesen]

uname -i skrev (2 timer siden):

RJohannesen skrev (2 timer siden):

Har du lest om noen ulykker der Teslaer har vrengt inn i parkerte biler? Det har ikke jeg så da må du gjerne hoste opp noen linker. 

Den har hvertfall styrt inn i betongbarrierer slik at sjåføren forulykket. Men det NTHSA etterforsker er hvorfor det er så mange Teslaer som kræsjer inn utrykningsbiler til hjelpepersonell som prøver å gjøre en livskritisk jobb.

Nå blander du inn ulykker der veimerking har vært mangelfull på avkjøringsfelt og biler på autopilot har lagt seg i midten av det den tror er kjørefeltet. Men som du selv skriver så er det ikke dette de etterforsker i denne saken så da er vi vel enige i at det var en feil påstand at Teslaer vrenger inn i parkerte biler?

 

uname -i skrev (2 timer siden):

RJohannesen skrev (2 timer siden):

Som et fjell eller øy som står i veien for flyet eller båten. På samme måte altså.

LOL. Kanskje dytte skylda over på fjellet mens du er så godt i gang.

Nei, et fjell kan ikke ha skylda for at et fly treffer det.

Det er heller ikke flyprodusenten sin skyld hvis piloten setter autopiloten til å fly en kurs som ender i fjellet. Det er piloten sitt ansvar å velge en riktig kurs og unngå hindringer. Det er også sjåføren av en bil sitt ansvar å unngå hindringer i veibanen.

[tommyb]

3 minutes ago, oophus said:

Selvfølgelig er det hans feil, men det er sannsynligheten for at feilbruk oppstår som er i sentrum her. 

Ford fikk jo ei kraftig bot i sin tid pga dårlig design av Ford Pinto. (...) Ergo fikk Ford så hatten passet pga de plasserte bensintanken så til de grader idiotisk mens de viste at liv ville bli tatt som et resultat av designavgjørelsen. 
 

Og jeg er ikke i mot i at produsenter skal holdes ansvarlig. Jeg tror bare ikke at førerstøttesystemene kan lastes for at folk ikke følger de mest grunnleggende ansvarspunktene fra veitrafikkloven her eller der. Inntil de lokale myndighetene sier det er greit å pakke ned pedalene, må det være klart for alle at du er føreren av bilen. Når sjåføren ikke tar kontroll over situasjonen selv om det til og med er blinkende blålys foran ham - da skulle han ikke hatt moped engang.

Så, hvis man manipulerer bilmodeller til å kjøre uten sjåfør, er ansvaret juridisk fortsatt hos sjåføren. Disse systemene er heller ikke pålagte ennå. 

Hvis vi ser på søksmålet mot Tesla spesifikt så er  spørsmålet om systemet burde håndtere stoppede utrykkskjøretøy bedre. Og det mener jeg at systemet kunne ha håndtert bedre. Med AI/big data og 11(?) tilfeller, kunne de også ha avdekket dette og begynt forbedring. Og det håper og tror jeg at både Tesla og konkurrenter begynte med senest når søksmålet ble kjent. 

Her ligger det også noen forskjellige etiske spørsmål: 
- Skal de straffes for en slik feil dersom de ikke var klar over den, men burde eller kunne vært klar over den? 
- Skal de straffes for en manglende funksjonalitet som de var klar over, hvis systemet som helhet er tryggere enn å ikke ha det? 
- Med hvilken etikk kan man pålegge dem å lage en bedre algoritme for å gjenkjenne stillestående objekter, når andre biler ikke i det hele tatt gjenkjenner stillestående objekter?

Hvis vi skal vurdere systemet, er det andre tall som må tas med:
- Hvor høy andel av utrykningskjøretøy som blir påkjørt skjedde av biler med påslått nødbrems eller tilsvarende førerstøtteverktøy, sammenliknet med hvor stor andel av biler som har slike verktøy? 
- Hvor høy andel av andre ulykker skjer av biler med påslått nødbrems eller tilsvarende førerstøtteverktøy, sammenlignet med hvor stor andel av biler som har slike verktøy? 

Uten en slik "skala" kan man ikke gjøre annet enn å synse og mene, og det er unødvendig og bortkastet tid når måledata åpenbart finnes et sted. Og der er jo førtiåttetusenkronersspørsmålet om førerstøttesystemer fører til færre eller flere ulykker. Forhåpentligvis går det ikke politikk i denne saken, for det kan være mye trafikknyttig analyse som kommer ut av en slik sak. 

Og til slutt er det kanskje viktig også med:  
- Hvordan kan man gi insentiv til å kontinuerlig forbedre sikkerhetssystemer etter man først innfører dem? 

 

 

[oophus]

tommyb skrev (18 minutter siden):

Og jeg er ikke i mot i at produsenter skal holdes ansvarlig. Jeg tror bare ikke at førerstøttesystemene kan lastes for at folk ikke følger de mest grunnleggende ansvarspunktene fra veitrafikkloven her eller der. Inntil de lokale myndighetene sier det er greit å pakke ned pedalene, må det være klart for alle at du er føreren av bilen. Når sjåføren ikke tar kontroll over situasjonen selv om det til og med er blinkende blålys foran ham - da skulle han ikke hatt moped engang.

Så, hvis man manipulerer bilmodeller til å kjøre uten sjåfør, er ansvaret juridisk fortsatt hos sjåføren. Disse systemene er heller ikke pålagte ennå. 

Hvis vi ser på søksmålet mot Tesla spesifikt så er  spørsmålet om systemet burde håndtere stoppede utrykkskjøretøy bedre. Og det mener jeg at systemet kunne ha håndtert bedre. Med AI/big data og 11(?) tilfeller, kunne de også ha avdekket dette og begynt forbedring. Og det håper og tror jeg at både Tesla og konkurrenter begynte med senest når søksmålet ble kjent. 

Her ligger det også noen forskjellige etiske spørsmål: 
- Skal de straffes for en slik feil dersom de ikke var klar over den, men burde eller kunne vært klar over den? 
- Skal de straffes for en manglende funksjonalitet som de var klar over, hvis systemet som helhet er tryggere enn å ikke ha det? 
- Med hvilken etikk kan man pålegge dem å lage en bedre algoritme for å gjenkjenne stillestående objekter, når andre biler ikke i det hele tatt gjenkjenner stillestående objekter?

Hvis vi skal vurdere systemet, er det andre tall som må tas med:
- Hvor høy andel av utrykningskjøretøy som blir påkjørt skjedde av biler med påslått nødbrems eller tilsvarende førerstøtteverktøy, sammenliknet med hvor stor andel av biler som har slike verktøy? 
- Hvor høy andel av andre ulykker skjer av biler med påslått nødbrems eller tilsvarende førerstøtteverktøy, sammenlignet med hvor stor andel av biler som har slike verktøy? 

Uten en slik "skala" kan man ikke gjøre annet enn å synse og mene, og det er unødvendig og bortkastet tid når måledata åpenbart finnes et sted. Og der er jo førtiåttetusenkronersspørsmålet om førerstøttesystemer fører til færre eller flere ulykker. Forhåpentligvis går det ikke politikk i denne saken, for det kan være mye trafikknyttig analyse som kommer ut av en slik sak. 

Og til slutt er det kanskje viktig også med:  
- Hvordan kan man gi insentiv til å kontinuerlig forbedre sikkerhetssystemer etter man først innfører dem? 

 

 

Vi er nok stort sett enige her og der. Jeg er selvfølgelig enig i at sjåføren må ta ansvaret først og fremst, men at "designeren" også må inkluderes om det er for enkelt for sjåføren å glemme seg bort. 

Det finnes som sagt vitenskapelige studier på dette, og det er et faktum at vi mennesker suger i å monitorere autonome systemer. Jo lengre tid det går før man må inn og avbryte, jo større er sannsynligheten for at man ikke er der til å avbryte neste gang man skal det. Altså må designere og de som implementerer slike systemer med den informasjonen i bakhånda være delvis ansvarlig for hva som man vet vil forekomme ute på veiene om man slipper slikt ut uten gode nok systemer for å forhindre slurv. 

Problemet med maskinlæring er at man ofte tar et skritt tilbake et område når et annet område tar to skritt frem. Det er ekstra farlig om det du har erfart 1000 ganger til å ha fungert helt knirkefritt plutselig ikke gjøre det lengre etter en oppdatering av systemet. Så selv om du vet at du skal berøre rattet hvert 15 sekund, så kan du uansett på den samme turen bli mindre og mindre oppmerksom, selv om du har henda hvilende på rattet og delvis følger med. Algoritmen er forandret, og den kan gjøre at en eller annen sving på turen ikke taes som før, og det kan bli et uhell som resultat. 

Man vet jo hvorfor stasjonære objekter av typen brannbiler og politibiler er problematisk. Det har med sannsynlighet for at de står feil å gjøre, og at den originale identifiseringen av dem plasserer dem utenfor bilens Operational Design Domain å gjøre. Bilene har altså en tendens til å anta at bilene står dypere i "Z-Depth" koordinatet enn de faktisk gjør, og dermed plasserer dem utenfor ODD slik at ressurser mot pixlene blir nedgradert og filtrert bort mot avgjørelser bilen tar. Det er samme teknikk man bruker mot f.eks sykkelstativ. Man identifiserer sykkelstativet med en haug sykler og grupperer det som ett objekt som står stille, fremfor å identifisere dem som individuelle sykler som kan flytte på seg slik sykler ofte kan gjøre, der alt for mange ressurser hadde gått mot det å prøve å analysere sannsynligheter for pathingen til hver eneste sykkel i sykkelstativet. Det er for å realokkere ressurser mot det man mener er viktigere. Mer robusthet i Z-Depth informasjonen er løsningen her, eller mer hestekrefter rett og slett i hardware for å kunne slippe filtreringen av ressurser hele tiden. 

1. Ja. De er klare over problemet når det har skjedd 11 ganger over 3-4 år.  
2. Systemet som helhet er jo ikke tryggere enn oss som sjåfører? Jeg trur folk undervurderer oss veldig greit. 


Dette er altså sannsynligheten for at du kolliderer på ei vanlig tur til jobb f.eks. Hver dag så regner jeg med at du setter deg i bilen din og klarer å kjøre med hvilepuls siden du ikke regner med at dagen idag er dagen du dør i trafikken. Altså vi som sjåfører er ekstremt sikre. En enorm majoritet av ulykkene vi har foregår også i lavere hastighet i starten av turene vi begir oss ut på. ADAS fungerer best der ulykkene er større og mer alvorlige der de først forekommer, så jeg har ingen tru på at ADAS per dags dato gjør statistikken bedre i sin helhet om man sammenligner skadeomfang mot hverandre. Men det kan kjapt bli det om det er implementert korrekt, og for noen firma som skårer bedre i slike tester som dette, så kan de nok allerede ha bikket over streken for hva som lønner seg å ha, men de har også implementert teknologien på en bedre metode, og prater om den i mer korrekte former. 

Man kan informere om at stillestående objekter (som er bevegelige) er et generelt problem.  

 

tommyb skrev (49 minutter siden):

Og der er jo førtiåttetusenkronersspørsmålet om førerstøttesystemer fører til færre eller flere ulykker.

Jeg syns det fokuset er litt malplassert. Førerstøttesystemer fungerer som sagt der farten som regel er høyest, og ikke der uhellene forekommer oftest på generell basis - for der er dem ikke påslått. 

Korrekt implementerte førerstøttesystemer kan nok hjelpe på statestikken, så da burde man heller diskutere dette. 

 

tommyb skrev (51 minutter siden):

Og til slutt er det kanskje viktig også med:  
- Hvordan kan man gi insentiv til å kontinuerlig forbedre sikkerhetssystemer etter man først innfører dem? 

På samme måte som vi forbedrer sikkerheten for personer innad i bilene gjennom krasjtester imo. I EU så inkluderer vi jo også fotgjengerens sikkerhet om de møter bilene i en kollisjon. Det kan man også gjøre med førerassistsystemer med flere kategorier, og fremfor å gjøre som i NCAP der "straffen" kun er om man får fulle stjerner eller ikke, så burde det være tester som tillater oppdateringer når oppdateringene er ferdige. 

Litt som en tidlig versjon av førerkortet for autonomi, der testene blir bedre og bedre rundt vanskeligheten der er å "stå" på dem sammen med teknologien. 

[uname -i]

RJohannesen skrev (52 minutter siden):

Nå blander du inn ulykker der veimerking har vært mangelfull på avkjøringsfelt og biler på autopilot har lagt seg i midten av det den tror er kjørefeltet.

Merkelig at alle andre unngikk den barrieren. Kanskje Autopiloten ikke er så sikker som reklamen påstår?

RJohannesen skrev (53 minutter siden):

Men som du selv skriver så er det ikke dette de etterforsker i denne saken så da er vi vel enige i at det var en feil påstand at Teslaer vrenger inn i parkerte biler?

Hvor skrev jeg det?

Det som observeres er at Teslaer tydeligvis er overrepresentert i å kræsje inn i stillestående objekter, mange av dem på Autopilot. Med andre ord så har man et problem. Du skylder på sjåføren, men hva hjelper det de som forulykker?

Klarer du å tenke en helhet rundt dette? La oss sette det på spissen.  Ford utstyrer sine biler med en knapp på dashbordet som får bilen til å eksplodere om den trykkes på. Mener du at all skyld skal legges på sjåføren eller vil du se litt mer voksent på det og konkludere med at det er et livsfarlig design?

Den dødelige kombinasjonen med Teslas forskjellige selvkjøringssystemer er:

1. Gigantiske overdrivelser om hvor trygt det og kapabelt det er lurer kunder inn i en falsk trygghet.
2. Når sjåføren mister oppmerksomheten så er det null systemer til å fange det opp fordi Musk nektet å installere det.
3. Et system som i 5 år har vært uker fra perfeksjon klarer ikke en gang å detektere en semitrailer eller brannbil med fulle sirener. Det siste burde kanskje stått i stor skrift på innpakningen.

 

 

[Snowleopard]

RJohannesen skrev (11 timer siden):

Eeh, jo det er det forskjellige autopiloter gjør. Eller deg vil si autopiloter på fly leter ikke opp seaking helikoptere for å krasje inn i de, men de tar heller ikke hensyn til om et slikt kommer i veien. Autopiloter på fly flyr gjerne rett inn i fly eller fjell som kommer i veien. Og skip på autopilot kjører gjerne inn i andre skip eller øyer som kommer i veien.

Så har man gjerne dybde/høydevarsling,  kollisjonsvarsling med radar ol i tillegg for å øke sikkerhet.

Enkleste autopilot på et 80 000 tonn skip som jeg har testet holder bare kompasskurs, den korrigerer ikke engang for vind og strømretning. Men de er likevel nyttige pga de tar bort veldig monotone arbeidsoppgaver slik at styrman istedet kan fokusere på hvor de er og holde utkikk for andre fartøy ol. Brukt riktig gir autopilot på biler, båter og fly økt sikkerhet.

 

Brukt feil er de farlige, som når mannskapet på fiskebåten går og legger seg og lar fiskebåten kjøre hjem på autopilot, eller mannskapet på lasteskioet som drikker på lugaren mens broa er tom, osv. Mange ulykker her oppigjennom, men det har alltid vært mannskapet som fpr skylda da, det som er nytt er at når det skjer med biler så mener noen at det ikke er sjåføren sin skyld...

At Tesla-haterne skylder på bilen/AUto-Pilot (som de tror er FSD)/Elon Musk, er vi allerede bekjent med. Det som disse ikke vil akseptere, er at Tesla skriver selv at det er foreløpig et førerstøtte-system der de som sjåfører er ansvarlige. Som du selv beskriver, Autopilot på fly og båter er relativt simple saker mot det de må klare i bil, men det reageres som Autopilot = 100 % selvkjørende i level 4 og 5.

Dette med at systemene bare er førerstøttesystemer og at sjåføren er ansvarlig, er en avtale som må godtas første gang. At folk gjør diverse krumspring for å overkjøre kontrollen, er helt klart brudd på på den klasulen de har akseptert. Da er det sjåførens feil ene og alene. Og her får vi bevist og demonstrert at de fleste/alle systemene kan lures med relativt enkle grep.

Den dagen de sier at nå er den Level 3, 4 eller 5 etter reglene for selvkjørende, så må bilfabrikant/taxi-selskapet stå for alt ansvaret for den tiden bilen kjøres autonomt. Da er det heller ikke noe poeng å prøve å lure systemet til å kjøre helt av seg selv, for det er det den gjør til vanlig/hele tiden.

Da får vi heller problemet med alle de som vil sabotere ved å "angripe" systemene på ulike mater, altså ren sabotasje. Dessverre vet vi at det finnes nok gærninger der ute, til at det er noe samfunnet og produsentene må overvåke, hindre og bekjempe.

[plankeby]

Problemet er at for mange tror teknologien er mye mer framme, enn virkeligheten.

Selvkjørende er fortsatt på meget lavt nivå i utviklingen. En del av svakheter/feil er også vanskelig å forstå, når en bil kjører inn i store visuelle hindringer godt synlig for det menneskelige øye. 

Forøvrig er USA noe for selg selv med å saksøke. Mange søksmål på ulike områder med idioti hos bruker har gitt voldsom økonomisk gevinst til idioten... 

Noen mener det er Teslahatere, tja litt kritikk kan være berettiget. De har gitt sjåfører for mye tillit i en for tidlige fase av teknologien. 

Endret 25. august 2021 av plankeby