Teslas selvkjøringssystem granskes av myndighetene

[trikola]

30 minutes ago, oophus said:

Det finnes ikke noe bevis for at "shadow-mode" gjør bilene bedre lokalt.

Nei, den gjør det heller ikke, og der skulle jeg har skrevet mer fullstendig.

Det som skjer er at bilene rapporterer situasjoner hvor avviket mellom hva brukeren gjør og hva maskinene ville ha gjort går over en grense (for eksempel dette med grønne og røde trafikklys). Læringen skjer så  hos Tesla sentralt og resultatet overføres til slutt til hele flåten.

Mer detaljer finnes sikkert her.

[oophus]

trikola skrev (3 minutter siden):

Det som skjer er at bilene rapporterer situasjoner hvor avviket mellom hva brukeren gjør og hva maskinene ville ha gjort går over en grense (for eksempel dette med grønne og røde trafikklys). Læringen skjer så  hos Tesla sentralt og resultatet overføres til slutt til hele flåten.

Hvordan skal du som mennesket som er tvunget i å kvalitettsikre dataene vite hva som er rett og galt mellom det mennesket valgte å gjøre mot det maskinen valgte å gjøre om du ikke får komplette data tilsendt deg? 

Som sagt, mengden data som sendes over nettverket er ikke stort nok til å danne et bilde på hva som er rett og galt ved X situasjon, ergo kan det ikke brukes for å trenes på. 

https://carbuzz.com/news/5-teslas-have-crashed-on-the-same-road-in-california

Slike områder som dette skal altså ikke eksistere om det du sier stemmer. Dette er ingen "corner case", det er en vei med noe annerledes markering som man lett kunne trent på om bilflåten delte komplette data å trene over. 
 

[trikola]

17 minutes ago, oophus said:

Som sagt, mengden data som sendes over nettverket er ikke stort nok til å danne et bilde på hva som er rett og galt ved X situasjon

Og det vet du alt om?

Hva som sendes (hva som trengs å sende), hva som ikke trengs å sende fordi statiske data kan hentes fra andre kilder enn bilen eller har allerede blitt sendt fra en annen bil, eller sendes senere når WiFi er tilgjengelig, eller 'bestilles' fra neste bil som kommer til samme sted?

 

Endret 16. august 2021 av trikola

[trikola]

20 minutes ago, oophus said:

Hvordan skal du som mennesket som er tvunget i å kvalitettsikre dataene vite hva som er rett og galt mellom det mennesket valgte å gjøre mot det maskinen valgte å gjøre

😆

Tror du virkelig at det er et menneske som er første instans til å ta imot disse data? Jeg er sikker på at dataene går gjennom en lang kø av maskinelle prosesser og de fleste blir løst der et eller annet sted underveis. Og kanskje koblet sammen med andre situasjoner samme sted. Eller satt på vent til mer data om situasjonen er tilgjengelig.

Og bare ganske få blir forelagt et menneske. Hvorfor tror du det finnes prosjekt Dojo?

[oophus]

trikola skrev (25 minutter siden):

Og det vet du alt om?

Om mengden data Tesla deler? Det har blitt testet, så ja det er vell kjent. Gå til brukeren "Green" på Twitter for god informasjon angående det. 

trikola skrev (25 minutter siden):

Hva som sendes (hva som trengs å sende), hva som ikke trengs å sende fordi statiske data kan hentes fra andre kilder enn bilen eller har allerede blitt sendt fra en annen bil, eller sendes senere når WiFi er tilgjengelig, eller 'bestilles' fra neste bil som kommer til samme sted?

Hva som sendes totalt sett. 

 

trikola skrev (12 minutter siden):

Tror du virkelig at det er et menneske som er første instans til å ta imot disse data?

Mennesket må verifisere at dataene kan brukes som et utgangspunkt i treningen ja, samt sluttproduktet mot ønsket resultat. Hvis ikke får du algoritmer med helt tilfeldige resultater. 

 

trikola skrev (12 minutter siden):

Jeg er sikker på at dataene går gjennom en lang kø av maskinelle prosesser og de fleste blir løst der et eller annet sted underveis.

Ok, siden du er sikker så kan du jo dykke litt dypere i hvordan? 

 

trikola skrev (12 minutter siden):

Og bare ganske få blir forelagt et menneske. Hvorfor tror du det finnes prosjekt Dojo?

Jeg er mer interessert i å høre din tolkning av hva DOJO skal brukes til. 

Endret 16. august 2021 av oophus

[linux-fan]

Er vel litt skummelt med shadow mode for bruk til læring hos enkelte bllister som nesten eller helt skaper ulykker (vikeplikt, fotgjengere, barn, elg, etc.), kjører mot envegskjøringer, børner, kjører fra politi, berusede, etc.. Hva er riktig fart etter forholdene 120 eller 60?

Tar biler selv hensyn til sin egen bakkeklaring forresten, lave biler trenger å bremse flere steder enn off roadere?

Er skummelt å la bilen kjøre selv til den gir deg en alarm, man bør få info undervegs, om hva bilen "ser" og eventuelt ting den overser bevist, basert på ulike følere, og hva den kommer til å gjøre, så kan man overstyre tidlig og få hjelp, og lettere å være aktiv.

[Kahuna]

DrWatson skrev (5 timer siden):

Det er en grunnleggende menneskelig egenskap å være ekstremt dårlig til å overvåke en automatisk prosess som virker fint mesteparten av tiden. Det eneste logiske her er å forby selvkjøring inntil nivå 4 er tilgjengelig.

Her kaster du barnet ut med badevannet. Mennesker er fullt i stand til å overvåke automatiske prosesser som virker fint mesteparten av tiden, bare ikke over lengre tid. Løsningen blir da ikke å forby 'selvkjøring' men å korte ned tiden det kan brukes så den menneskelige overvåkeren ikke mister oppmerksomheten. Kanskje innføre makstid på 30 minutter og 'duty-cycle' på maks 50%?

[DrWatson]

@Kahuna: Mulig du har rett, og her er det sikkert forskjell på folk. Min evne til å holde fokus når ting går av seg selv er nok vesentlig kortere enn 30 minutter. Med cruisecontrol med avstandsholder er det sikkert flere enn meg som fikler mer med mobil eller infotainment enn de burde.

Som noen har vært inne på lenger opp i tråden er det sikkert mulig å få til mye med bedre HMI. Men akkurat det virker ikke å være i fokus, verken hos bilprodusentene, regulerende myndigheter eller i media. Synes det virker for lett å få tillatelse til å drive "testing i prod", for å bruke et forslitt utvikler-uttrykk.

Endret 16. august 2021 av DrWatson

[Gunnar Mo]

16 hours ago, hekomo said:

Dette er en veldig merkelig granskning, altså at det kun rettes mot Tesla.

At førerassistenter ikke klarer å se stasjonære objekter er en velkjent begrensning:

https://arstechnica.com/cars/2020/08/new-cars-can-stay-in-their-lane-but-might-not-stop-for-parked-cars/

Det er ikke bare Teslas systemer som kan bli misbrukt:

https://www.teslarati.com/tesla-autopilot-vs-gm-super-cruise-test-video/

Og misbrukt blir de:

https://tech.slashdot.org/story/14/08/06/2225223/idiot-leaves-drivers-seat-in-self-driving-infiniti-on-the-highway

Så man kan jo lure på hva som ligger bak denne granskningen. Den virker ganske feilrettet og dobbeltmoralsk.

Nå er vel dette én av en lang rekke undersøkelser fra NHTSA. Poenget er at man ser konkret på Tesla og "blinkende lys". Er dette et problem hos andre leverandører også? Hvis det er en bias her så er det vel snarere på grunn av TU sin hang til å skrive om Tesla/Musk.

[Kahuna]

DrWatson skrev (10 timer siden):

@Kahuna: Mulig du har rett, og her er det sikkert forskjell på folk. Min evne til å holde fokus når ting går av seg selv er nok vesentlig kortere enn 30 minutter. Med cruisecontrol med avstandsholder er det sikkert flere enn meg som fikler mer med mobil eller infotainment enn de burde.

Som noen har vært inne på lenger opp i tråden er det sikkert mulig å få til mye med bedre HMI. Men akkurat det virker ikke å være i fokus, verken hos bilprodusentene, regulerende myndigheter eller i media. Synes det virker for lett å få tillatelse til å drive "testing i prod", for å bruke et forslitt utvikler-uttrykk.

Hvor din egen grense går må du nesten finne ut selv. Om det blir en 'pålagt' grense på 30 minutter så er det ingen som sier at du ikke kan bestemme deg for å sette din egen grense lavere(burde kanskje være et valg i førerprofilen?). Selv føler jeg at 30 minutter autopilot-overvåking er problemfritt, jeg merker også godt om jeg blir så trøtt at jeg trenger en pause. Det er de enkle tilfellene, det er ikke like enkelt å se om jeg bare har *litt* redusert reaksjonsevne for å ta ett eksempel.

Flere biler kan oppdage om sjåfør er i ferd med å bli for trøtt, har ingen erfaring med disse selv så jeg vet ikke hvor godt det virker. TMY/TM3 har kupe-kamera som i teorien kan følge med på føreren men så vidt jeg vet er dette kun brukt på de få bilene som er med på FSD-betaen.

Har ikke så veldig mye i mot 'test i prod' selv. Det er jo ikke sånn at risikoen er null i utgangspunktet og da virker det urimelig å forlange perfeksjon av nye tilnærminger.

[AJ830V5V]

mr. papp skrev (18 timer siden):

Tesla gjør noe lignende (dvs har litt høyere oppløsning):

Hvis den blir litt usikker, varsler den med gult symbol i displayet. Hvis du viser at du "er med" ved å følge på med rattet, går symbolet bort. Det er også lettere å overstyre når symbolet vises, altså mindre motstand på rattet kreves før bilen gir føreren kontrollen tilbake.

Hvis bilen er enda mer usikker, er det rødt varsel i displayet, varsellyd og oppbremsing.

Er situasjonen av en eller annen grunn "umulig" så er det enda tydeligere varsler, mer lyd og oppbremsing (helt til stans med varselblink på om man ikke tar over).

Man kan også alltid trykke på gass for å overstyre/kansellere en fartsreduksjon, men om det er læring i det vet jeg ikke.

Har ikke lest noe dokumentasjon på dette, det er basert på egen erfaring.

Har aldri opplevd at bilen varsler usikkerhet eller er åpen for tilbakenelding og  overstyringer (annet enn at overstyring=utkobling av autopilot). Er det noe som har kommet med raven?

[mr. papp]

AJ830V5V skrev (16 minutter siden):

Har aldri opplevd at bilen varsler usikkerhet eller er åpen for tilbakenelding og  overstyringer (annet enn at overstyring=utkobling av autopilot). Er det noe som har kommet med raven?

Jeg mener at kreftene du må bruke på rattet for å "ta over" og deaktivere autosteer kjennes mye mindre ut når det gule varselet om å være ekstra på vakt er der. Dette er på en pre-raven TMX med nyeste AP-hardware. Har ikke kjørt TM3 nok enda til å si om det er det samme der.

Noe annet er at hvis bilen reduserer farten inn mot en sving for eksempel, så holder det gå trykke litt på gassen et halvt sekund eller noe, så kanselleres fartsreduksjonen og bilen aksellererer opp til "satt fart" igjen umiddelbart selv om du slipper gassen igjen. 

[trikola]

1 hour ago, mr. papp said:

Noe annet er at hvis bilen reduserer farten inn mot en sving for eksempel, så holder det gå trykke litt på gassen et halvt sekund eller noe, så kanselleres fartsreduksjonen og bilen aksellererer opp til "satt fart" igjen umiddelbart selv om du slipper gassen igjen.

Ja, dette er jo nesten det samme som trafikklys-saken som jeg skrev tidligere: automatikken gjør noe, føreren justerer og dersom det er lagt opp til det fra programvaren så kan data om dette sendes til Tesla og være med på  å justere tidligere lærdom. I tillegg har det her også momentan effekt, men det går utenom læringsprosedyren.

Har selv en sving her i nærheten som jeg ofte kjører og hvor bilen senket farten betydelig. Dette er ikke lenger tilfelle - helt grei fart gjennom svingen idag. Men det tok lang tid - er vel også slik at det må være mange som overstyrer autopiloten her i noenlunde samme situasjon før det synker ned i regelsettet.

Endret 17. august 2021 av trikola
Lagt til om momentan effekt ...

[hekomo]

NERVI skrev (På 2021-8-16 den 16.14):

Jeg har inntrykk av at selvkjøremuligheten stadig fremheves i omtalen av Tesla's mange teknologiske fortrinn. Men hvor sannsynlig er det at man selv kjører samtidig som den brukes?

De skriver fra seg alt ansvar ved at man ett eller annet sted SKRIVER at man må kjøre selv i tillegg.

Nei, Autopilot er som en hvilken som helst annen "cruise control". Føreren er ansvarlig, og ferdig med det.

Mer avansert CC kan holde fil og avstand til bilen foran, men føreren er fortsatt ansvarlig.

Og ser du for eksempel på Tesla, så maser den hele tiden på deg om at du må følge med. Andre systemer bruker blant annet et kamera til å følge med på øynene og maser hvis bilen detekterer at du ikke følger med.

Så nei, Volvo, Toyota, Tesla og andre fraskriver seg ikke noe ansvar ved å tilby cruise control.

[hekomo]

uname -i skrev (På 2021-8-16 den 16.18):

Det stemmer, Ikke bare er det åpenbart, men det er også vitenskaplig bevist at man slapper av og blir mindre årvåken når man skal følge med på automatiserte systemer. Men Tesla-kulten tror at man kan nulle ut menneskelig natur med liten skrift i en disclaimer.

Derfor må det inn førermonitoreringssystemer som kan si fra og evt. deaktivere systemet om føreren ikke følger med, alt annet er ren og skjær galskap.  Elon Musk nektet å innføre noe sånt med den konsekvens at en stor gruppering autopilot-ingeniører sluttet fordi de ikke ville være med på umoralen. Med tid og stunder så vil nok de befinne seg på vitnelisten når Musk sitter på tiltalebenken.

Da er du altså motstander av all cruise control, inkludert en som kun holder farten og ikke noe annet?

En CC som også holder filen (som mange tilbyr nå) må forbys generelt? Så VW må skru av sin variant av det?

Tesla har forresten allerede påminnelser og masing hvis man ikke holder i rattet.

Autopilot-ingeniører sluttet? Hva er det du snakker om?

Det blir ikke noen tiltalebenk. Undersøkelsen som omtales er ikke en straffesak.

[hekomo]

1GQC55OJ skrev (På 2021-8-16 den 16.21):

Poenget er vel at enkelte synes alt teknologisk er kult, men glemmer det sørgelige faktum at du kan ikke saksøke en computer hvis føreren i en eller annen setning langt nede i kontrakten blir pålagt å ha hendene på rattet og være oppmerksom. Da er det ikke selvkjøring, og alt er kun juridisk ansvarsfraskrivelse.

Autopilot/selvkjøring fungerer kun hvis ALT på veien er styrt av computere og veien ikke er tilgjengelig for noe annet, noe det aldri vil bli. Ergo, stans enhver bruk av selvkjøring, det er idioti og galskap.

Selvsagt er det føreren som har ansvaret ved bruk av avanserte assistentsystemer.

Og føreren blir ikke bare pålagt noe langt nede i noen kontrakt. For eksempel, hos Tesla står det tydelig når du kjøper bilen, og tydelig før du får ta det i bruk. Dessuten maser den hele tiden når du skrur det på, hvis du ikke holder hendene på rattet.

Autopilot er ikke selvkjøring, bare et støttesystem. Og det fungerer fantastisk bra. Jeg bruker det hver dag, og det gjør kjøringen mye mer komfortabel.

[hekomo]

TL1000S skrev (23 timer siden):

Myndighetene gjør helt rett i å undersøke her.
"Selvkjøring" bør ikke tillates (mis)brukt inntil det er 100% sikkert.
Og det er det vel ingen produsenter av (el)bil som mener de har klart. Inkludert Tesla.

Men her ser vi faren ved å gå litt "høyt ut" og si man har ett system som tillater autopilot aka "selvkjøring".
Klart det vil være noen med lite vett eller rett og slett rusproblemer som velger å la bilen kjøre.
Da blir det slike tilstander.

Er det ingen som følger med i det hele tatt?

I denne saken er det snakk om Autopilot og ikke FSD. Autopilot er ikke autonomi, men en førerassistent, rett og slett en avansert type cruise control.

Tesla har aldri sagt at de har selvkjøring i dag.

Morsomt at du nevner ruskjøring. En som var så full at han besvimte ble reddet av at Teslaen hans stoppet trygt og lot andre komme til og hjelpe. Hadde ikke Autopilot vært på, hadde han kanskje vært død nå.

[hekomo]

Stefse skrev (23 timer siden):

Tesla har i noen grad varsling, men om det er lærling er tvilsomt, i beste fall meget langsomt.

Med unntak av trafikklyset er det stort sett basert på at selvkjøringen må avbrytes og sjåføren overta. Dette logges som at "sjåføren overtok". Utfordringen er at programmering krever at ting er klart definert. Bilen må presentere noen alternativer som føreren kan velge mellom gjennom sin handling. Nå er det nokså binært, overta/ikke overta rattet. Det gir lite rom for læring. Dersom det var sving høyre/venstre 1m, 2m... brems, stans, øk eller oppretthold fart kan bilen lære noe til senere.

Et annet alternativ er at bilens algoritme "ser" en MC, søppeldunk eller barnevogn, presenterer dette og at sjåføren kan kvittere av for hva som faktisk står der gjennom en gitt handling. Eller som f.eks i Norge at bilen til stadighet "ser" hindringer over veien, fartgrenser som ikke stemmer eller andre grunner til oppbremsing som ikke er reelle. Bilen må fortelles HVA som er galt, ikke bare at noe er galt.

En eller annen hmi hvor brukeren får avgitt sin stemme enten på skjermen eller gjennom ratt eller stalk om hva som er observert, er nøkkelen til maskinlæring.

Tesla samler data i flere ulike situasjoner, f.eks. når føreren tar over som du nevner. Men den bruker også "gjost mode" der den kjører "virtuelt" og sammenligner med hvordan føreren faktisk fører bilen.

Det Tesla driver med nå er å lære flåten til å gjenkjenne nettopp ting som søppeldunker, barnevogner, og alt mulig annet.

[hekomo]

oophus skrev (22 timer siden):

Det finnes ikke noe bevis for at "shadow-mode" gjør bilene bedre lokalt. Det er heller ikke noe bevis, men tvert det motsatte på at mengden data som deles ikke er stort nok for å trenes på fra bilflåten - forutenom AI pixel recognition trening. 

Brukeren "Green" på twitter er grei å følge sånn sett. Han er Tesla Bull, men lyver ikke om hva han finner ut av angående bilene han undersøker. Det å sjekke om bilen og systemet lærer av seg selv har han avkledd for lenge siden, og det eksisterer jo midt-delere der hele 5 Tesla'er har smelt seg inn i over ei tidshorisont på nesten 3 år. Jeg har også ei tunnel på vei til jobb der Teslaer fremdeles opplever "ghost-bremsning" på 5 året på rad. Det burde ha vært nok data derifra til å lære at den lokasjonen genererer mye falske-positive resultater. 

Shadow mode gjør noe ikke noe der og da. Det er bare en måte Tesla samler inn data på og forbedrer selve systemet sentralt. Det vil så bli sendt ut til bilene ved en senere oppdatering.

Hva har Green med saken å gjøre? Snakker du fortsatt om Shadow Mode? Shadow Mode er ikke ment å lære hver individuelle bil noe, men sendes som sagt til Tesla som bruker det til å trene opp systemet sentralt.

At fantombremsing kan skje på samme sted over tid er ikke så rart siden det sannsynligvis er ganske få oppdateringer for dagens Autopilit siden de foukserer på neste store versjon i forbindelse med FSD.

Det virker som du rett og slett ikke har fått med deg fakta, og at du her pisker deg selv opp til et ekstremt sinne for så å rase mot Tesla over noe som, vel, egentlig ikke er noe kontroversielt.

[hekomo]

oophus skrev (22 timer siden):

En fyr i bransjen angående autonomi som fint forklarer litt problemet, og hvorfor man må forvente at ulykker vil finne sted når man pådriver det han kaller for "autonowashing". Et problem som ikke kun linkes til Tesla, men Tesla er pådriver for å gjøre det mulig om det ikke straffes. 

For folk som får FUD'hoste av å se overskriften der, så kommer det mye fin skryt dere kan kose dere med også i videoen før fyren lurer dere sakte men sikkert inn i poenget over tid. 

Er et fint lite "Two Minute Papers" referanse der også. For de som får med seg den. 😆

"En fyr i bransjen"? En video på en time som du forventer at folk skal se, med en clickbait-tittel som tyder mer på at han er en grifter som ønsker å tjene penger på å slenge dritt om Tesla enn at han har noe seriøst budskap.