Hva skal autobilen gjøre hvis noen må dø?

[TKongen]

 

La oss håpe det ikke sitter en treg Intel Atom-kjerne i bilens computer da. For den må nesten i sanntid også kunne beregne hvor mange millisekunder igjen før impact det er å drive videre kalkulasjoner pluss mekaniske manøvre basert på. Ellers så vil jo bilen gå rett fram inntil bestemmelse og reaksjon blir foretatt okke som.

 

Flere tidsintervallkontroller fram til impact er uunngåelig å ta høyde for i kodingen av "lesser evil" koden. Det kan hende det kommer til at hendelsesforløp A ikke lar seg gjennomføre, så da må det bli reaksjon C.

 

Biler bruker ARM baserte CPUer. Tregere enn Intel Atom. Til gjengjeld har eksempelvis Tesla Nvidia Maxwell/Pascal grafikkort til utregninger.

 

Du vil uansett ha ulike CPUer for ulike oppgaver. 

https://en.wikipedia.org/wiki/ARM_Cortex-R

 

I mobiler sitter Cortex A-versjon. Det er CPUer som er like som Intel sine. Denne R versjonen er en real-time CPU. De er ekstra sikre, og de bytter mellom oppgaver veldig raskt. Så de kan gjøre veldig mange mindre oppgaver raskt. Altså raskt tolke input, men de er mye dårligere på utregning. Så du har Coretx-R plus Cortex-A plus GPU som alle utfører ulike oppgaver. Dermed har du alt du trenger for et bra bil-system. Og massevis av Cortex-M til sensorer og slikt da. Så en bil vil bruke hele portfolioen til ARM.

[The Avatar]

Ser ikkje heilt den store utfordringa (med mindre ein ønsker å programere sjølvkjøyrande bilar til å være robocop og aktivt prøve å kjøyre ihjel alle som ser ut som ein skurk).

 

Bilen skal primært tilpasse fart og avstand slik at den kan stoppe for hindringar som kan dukke opp.

Dersom ei hindring plutselig dukker opp så skal bilen forsøke å stoppe utan samanstøt.

Dersom samanstøt er umulig å unngå så skal bilen primært unngå å treffe mjuk trafikkant, deretter skal bilen unngå å kræsje i ting som medfører fare for personane i bilen.

Dersom bilen ikkje kan unngå samanstøt så fortsetter bilen i samme rettning og treffer den hindringa som plutselig kom ut i vegen.

 

Det speler ikkje så stor rolle om det er ein sykklist, ein hund eller eit barn som hopper ut i vegbana, dersom bilen ikkje kan stoppe eller styre på en slik måte at ingen blir skada, så skal bilen kjøyre på hindringa for å minimere faren for uskyldige tredjepersonar.

 

 

Og skal ein fyrst programere inn etikk så må det vell være slik at det er den som bryt trafikkreglane eller spring ut i vegbana som må ta støyten for at det skjer ei ulykke.

Det skal vell ikkje være slik at bilen bevist kjøyrer ihjel 80 år gamle Olga som står langt inne på fortauet kun fordi ein søt pusekatt hoppa ut i vegen?

Skal ein diskutere etikk så er vell ei vanlig forståelse for at ei ulykke er ei ulykke, men når ein bevist velger kven ein skal drepe så er ein ute i eit etisk problemområde.

[fudun]

 

Jeg tenker det må være en tøff jobb å være ansvarlig for å lage kildekoden til et kjøretøy med en slik prioriteringsliste. I praksis bestemmer du hvem som skal dø hvis du hardkoder denne. Ganske brutalt, men det ville også vært brutalt om man laget et kjøretøy som er i stand til å forutse de alternative utfallene av en ulykke, men å ignorere muligheten til å redusere antall drepte.

 

 

Den som lager kildekoden er med en viss grad av sikkerhet ikke den samme som bestemmer vektinga på ei prioriteringsliste. Faktorene vil nok også bli variable og relativt lett å endre i ettertid, og ikke hardkodet. Akkurat den betan om å bestemme hvem som skal dø, er nok tatt i en annen del av organisasjonen - eller kanskje på så høyt nivå som en EU-kommisjon. Der vil hovedansvaret for hvem som skal skånes og hvem som skal kvestes ligge. Algoritmen som regner ut verdiene basert på andres vekting er nok likevel designet av en enkelt eller en liten handfull personer som vil føle det ansvaret du tenker på. Fordi algoritmen skal virke godt og feil i den kan gjøre at utfallet blir annerledes enn det vektingen skulle tilsi. 

 

Jeg ser helt klart at byrden med å bestemme prioriteringen ikke ligger hos en programmerer. Personen(e) som lager koden vil likevel være den utførende, og skaperen av logikken som tar liv. Hadde det vært meg, ville jeg følt det som en byrde. Det hadde likevel vært utrolig interessant å jobbe med.

 

Jeg tenker at det ikke er helt sammenlignbart med å lage våpen, da disse uansett er ment for å ta liv - det er ikke en uheldig bieffekt.

[tommyb]

Ja, jeg ville også følt det som en byrde. Men overførbart fra andre områder så vet jeg at jeg ville tenkt at jeg etter beste evne lager et produkt som i sum bidrar til å gjøre verden sikrere. Det ville likevel være utfordrende for meg å jobbe med programvare som brukes real-time innenfor f.eks. sykehusdrift, der mine feil potensielt kunne tatt liv. Men slik press venner man seg nok til over tid. Og rettferdiggjør for seg selv, eller bytter jobb. 

[TKongen]

Hvis du f.eks programmerer inn å kjøre ned en voksen over 3 barn i bilen, så kan du tenke.

"Her sier jeg til bilen at den skal kjøre ned og drepe et menneske!"

"Her har jeg lagd et system som vil gjøre veier mye tryggere, og redde mye liv, og med denne nye prioriteringen vil det være to liv spart hver gang dette skjer!"

 

Det er jo folk som ikke klarer å jobbe på sykehus f.eks, fordi hvis de gjør noe feil og noen dør, så blir de helt knust. Eller de sliter bare hvis noen dør, selv om de ikke kan gjøre noe med det. Andre tenker derimot at de gjør en veldig bra jobb hver dag, og forbedrer og redder mange liv, og er veldig glad for å kunne hjelpe og redde så mange mennesker.

 

Og spesielt som programmerer i team, så gjør du ingenting alene, og sitter langt vekke fra virkeligheten. Og det eneste du ser i avisene kommer til å være hvor mange færre som dør, siden alle bilene dine følger trafikkreglene. Jeg tror det verste for programmerere er hvis noe alvorlig feil skjer, som skaper en stor ulykke der folk dør. Da har de gjort en feil som direkte førte til at mange døde gjerne. Det er nok verre enn selve prioriteringsalgortimen.

[ATWindsor]

Min bil, så den burde fokusere på å redde meg.

Mao treffe det objektet som gir minst skader på meg og doningen.

 

Niks, den burde fokusere på å ikke skade omgivelsene.

 

AtW

[ATWindsor]

WoW. Er vel et par år, kanskje mer, siden jeg begynte stille dette spørsmålet på disse forumene, og på andre norske nettside. Responsen har alltid vært at selvkjørende biler uansett er tryggere en menneskelige sjåfører, at ulykkene blir så få at det blir meningsløst og diskutere. Når antallet drepte går så mye ned blir det vist nok et snakk om "the greater good".

 

Selv om problemstillingen er interessant, så er det et poeng, mange av eksemplene er søkte, og det er i den store sammenhengen ikke et stort problem om bilen tar "feil valg" en gang i skuddåret. Konsekvensen er liten.

 

AtW

[tommyb]

Jeg tror det verste for programmerere er hvis noe alvorlig feil skjer, som skaper en stor ulykke der folk dør. Da har de gjort en feil som direkte førte til at mange døde gjerne. Det er nok verre enn selve prioriteringsalgortimen.

 

Det er nok kun dersom prioriteringen/systemet rundt dette blir trukket fram, at du får den direkte trøkken. Men da kan den nok trøkke ganske rett på, da vet du at det er din kode som det stilles spørsmål ved. 

 

Tenker forøvrig at han som skrev Volkswagens algoritmer for å redusere utslipp i situasjoner som under testing, tok det ganske personlig når akkurat dette imploderte VWs rykte. Vedder på at det ikke var skrevet som "dieseljuks" i hans hode.   

[Salvesen.]

Kort og enkelt: 

 

[G]

Ser ikkje heilt den store utfordringa (med mindre ein ønsker å programere sjølvkjøyrande bilar til å være robocop og aktivt prøve å kjøyre ihjel alle som ser ut som ein skurk).

 

Bilen skal primært tilpasse fart og avstand slik at den kan stoppe for hindringar som kan dukke opp.

Dersom ei hindring plutselig dukker opp så skal bilen forsøke å stoppe utan samanstøt.

Dersom samanstøt er umulig å unngå så skal bilen primært unngå å treffe mjuk trafikkant, deretter skal bilen unngå å kræsje i ting som medfører fare for personane i bilen.

Dersom bilen ikkje kan unngå samanstøt så fortsetter bilen i samme rettning og treffer den hindringa som plutselig kom ut i vegen.

 

Det speler ikkje så stor rolle om det er ein sykklist, ein hund eller eit barn som hopper ut i vegbana, dersom bilen ikkje kan stoppe eller styre på en slik måte at ingen blir skada, så skal bilen kjøyre på hindringa for å minimere faren for uskyldige tredjepersonar.

 

 

Og skal ein fyrst programere inn etikk så må det vell være slik at det er den som bryt trafikkreglane eller spring ut i vegbana som må ta støyten for at det skjer ei ulykke.

Det skal vell ikkje være slik at bilen bevist kjøyrer ihjel 80 år gamle Olga som står langt inne på fortauet kun fordi ein søt pusekatt hoppa ut i vegen?

Skal ein diskutere etikk så er vell ei vanlig forståelse for at ei ulykke er ei ulykke, men når ein bevist velger kven ein skal drepe så er ein ute i eit etisk problemområde.

 

For at bilen skal takle alle de oppgavene du krever av den, så må det flere typer sensorer til, samt kanskje ekkolodd. Slik at det går an å tolke om personen har en varmesignatur og om det er solid eller myk materie. Legger man sammen svaret myk + varme så er sannsynligheten for at det er noe levende større.

 

Samtidig så må man ha en helsikkens kraftig sammensatt maskinvare som kan beregne ting fort nok. Er objektet også i bevegelse, eller at en har lært opp et maskinsett med bevegelsessignaturer til mennesker, syklister, mopedister, katter, kyr, elefanter..

Endret 19. januar 2017 av G

[Nether]

 

Overraskende mange som ikke helt skjønner poenget, eller at dette faktisk er temmelig viktig å finne ut av. Ja, noen av eksemplene er dumme, og ja, bilen vil sannsynligvis kunne bli smart nok til å velge ikke-dødelige løsninger hvis slike er tilgjengelige, men hvis de ikke er det? Det blir en interessant følelse å sette seg inn i en maskin programmert til å i praksis drepe meg om den oppdager at det eneste andre alternativet er "verre". Da ønsker jeg i det minste at man har vurdert ting nøye under programmeringen, slik at den ikke velger å drepe meg fremfor noens hund, for eksempel.

Kanskje skuffende for deg å høre, men du er ikke mer nytte enn en hund her på jorda.

I universets øyne er ingen vesener eller planter her på jorda noe verdt i det hele tatt, men tror nok Joachim_F snakket for seg selv og de fleste mennesker, ikke universet. Tatt i betraktning ar de aller fleste av oss spiser f.eks grisekjøtt (griser er intelligente dyr), gir kjøtt til kjæledyrene våre, og bruker papir fra trær som faktisk også er levende og med evne til å kommunisere med hverandre kjemisk, så tyder det på at vi gjør disse verdivalgene daglig.

 

Nøyaktig det samme gjør også andre dyr og planter selv om de ikke tenker over det med verdi selvsagt.

 

Men i en stresset situasjon, klarer ikke mennesker tenke over verdispm eller moral i det hele tatt. Vi lukker som regel øynene og lar det stå til. Hvilket er en av grunnene til at jeg hater dumme tankedilemmaer ettersom de er totalt urealistiske og sier mer om de psykopatiske tendensene til de som lagde testen, enn om moralen til deltagerne (spesielt det om å se an om folk er "skurker" eller ikke skremmer meg og jeg ville holdt meg langt unna skaperne av denne testen må jeg si).

 

Spørsmålet om selvkjørende biler er et interessant et. I en verden med bare selvkjørende biler er sjansen for alvorlige ulykker så lav at slike "dilemmaer" er meningsløse. Dessverre er vi mennesker så irrasjonelle at søksmål vil komme. Da er det faktisk bedre om bilene ikke er programmert til moralske valg ettersom det hadde blitt en skandale om en gruppe skolebarn ble drept fordi den ene programmereren mener et ekorn som løper over veien er like mye verdt her på jorden.

La bilene fokusere på å unngå ulykker i stedet så får bilprodusentene betale erstatning de få gangene det skjer noe alvorlig. Problemet er i overgangsperioden før det bare blir selvkjørende biler på veiene.

[Kikert]

Jeg synes hele "dilemmaet" er noe kvasi-filosofisk mainnskit.

 

En maskin kan teste bremseanlegget tusenvis av ganger mot menneskets 1 gang, kjøre feildiagnostikk og analysere feilen, kanskje også feilrette og unngå at problemet oppstår i det hele tatt.

 

Poenget med filosofien er at "hvis maskinen/bilen ikke kan stoppe, hvem skal bestemme", og i det tilfellet er det bedre at maskinen prøver enn et menneske, fordi reaksjonsevnen til mennesket er mye dårligere og kan lett føre til høyere antall skader og tap av liv.

 

Ja, det er kvasi-filosofisk og det må det være. Du vet at det vi kaller filosofi er meget viktig i vitenskapens verden?

 

Å teste bremseanlegget tusenvis av ganger hjelper lite den ene gangen det feiler. Hvor god diagnosering etc. som finnes er irrelevant når man prøver å finne ut hva som skal skje den ene gangen noe oddsen er mikroskopiske for skjer. Nesten uansett hva så er det en sjanse for at noe uventet skjer.

 

Hele poenget er jo at bilen skal utføre handlingene. Hvis vi hadde snakket om mennesker i kontroll så hadde ikke dette vært en sak. Det handler om "Hva skal datamaskinen gjøre, hva skal den velge?" ikke "Hva skal Per Nilsen gjøre, hva skal han velge?". Han Per velger utifra hans hode, ingen sitter på et kontor og programmerer hans valg.

[Civilix]

Kort og enkelt: 

 

Men han velger og ignorere ett viktig spørsmål i etikkproblemstillingen, skyld.

 

For min egen del er jeg ikke villig til å slippe kontroll over bilen før jeg også er fritatt for skyld ved feil.

 

Ingen er på nåværende tidspunkt villig til å ta skyld vekk fra sjåføren, så hvordan kan vi forvente at folk vil gi fra seg kontroll over noe de er ansvarlig for?

[Salvesen.]

 

Kort og enkelt: 

 

Men han velger og ignorere ett viktig spørsmål i etikkproblemstillingen, skyld.

 

For min egen del er jeg ikke villig til å slippe kontroll over bilen før jeg også er fritatt for skyld ved feil.

 

Ingen er på nåværende tidspunkt villig til å ta skyld vekk fra sjåføren, så hvordan kan vi forvente at folk vil gi fra seg kontroll over noe de er ansvarlig for?

 

 

Ja det er ett spørsmål som må besvares, men enn så lenge vi har ratt og pedaler så er det ingen tvil. Når dette går vekk blir det spennende å se, men en kan såklart ikke skylde på "sjåføren" eller passasjeren som en da er. 

[b115242]

Jeg tror heller at man skal betrakte autonome biler som et produkt som vil redusere skader.

I et tenkt vilkårlig tilfelle, så vil den selvstyrende bilen raskere redusere hastighet og vurdere handlinger lenge før et menneske. Det betyr ikke at den alltid kan forhindre en ulykke, men den vil redusere eventuelle skader, mye mer enn et menneske. Vi (mennesker) trenger f.eks 1,5 sekunder før noe skjer. På den tiden kan mye gjøres av en som ikke bruker tid på å tenke for deretter å handle.

Å betrakte et menneske som et vesen som kan gjøre dette bedre, med vannvittig dårlig reaksjonstid, mange og store feilvurderinger. Historier hvor noen tråkker på gass i stedet for brems eksempelvis osv.

Mobiltelefoner tror jeg er en stor indirekte drapsmaskin.

Jeg tror at det store regnestykket kommer når disse bilene først får implementert disse systemer, men at de ikke kan aktiveres for annet enn å logg hendelser. Over tid vil man se at mange liv kunne vært spart. Finne søkte tilfelle som jobber for eller mot vil det sikker være rikelig med, men jeg tror at mange mennesker, ville dyr, og materiell vil bli spart med selvstyrende biler.

At dette kommer er det ingen tvil om. Når dette er godt modnet, så vil alle ha det også. Samfunnet vil spare enorme summer.

Uansett, shit will happen, men i sum så blir dette ekstremt bra etterhvert!

[G]

Mobiltelefoner tror jeg er en stor indirekte drapsmaskin.

 

 

Dersom sjåføren snakker i en slik mens det kjøres, så ja.

 

Hva med å pålegge at det skal være mikrofon nær sjåføren, og dersom praten går livlig, så skal det autonome systemet alltid overstyre sjåfør.

[Odd Solberg]

Selvkjørende biler bruker nevrale nettverk til å gjøre riktige valg. Bilen programmeres ikke som en vanlig datamskin, men lærer å ta statistisk riktige valg ut fra en erfaringsdatabase som har formet nettverket.

Spørsmålet blir like mye, hvordan vi skal lære bilene å handle riktig i skjeldne nødsituasjoner hvor det er svært få av.

Bilens jobb er å ivareta passasjerene i bilen.

Deretter er bilens jobb å forsøke å unngå å skade andre mennesker. Hvis den må velge mellom to mennesker skal den velge den ruten som er mest forrutsigbar gitt at det ikke var noen mensker der og blinke med lysene den veien den velger å svinge mens den bremser.

Da har folk i det minste muligheten til å anta hva bilen vil foreta seg.

[G]

Tanke: Elbilen har hundrevis av LED's i panser eller frontvindu. Når den har bestemt seg, så kan fotgjengeren lese: "I'll kill you" 

Fotgjengeren mister noen tiendedelssekund fordi det var nødvendig å stoppe opp å lese teksten på EL-bil, og et møte blir et faktum?

[Serpentbane]

 

WoW. Er vel et par år, kanskje mer, siden jeg begynte stille dette spørsmålet på disse forumene, og på andre norske nettside. Responsen har alltid vært at selvkjørende biler uansett er tryggere en menneskelige sjåfører, at ulykkene blir så få at det blir meningsløst og diskutere. Når antallet drepte går så mye ned blir det vist nok et snakk om "the greater good".

Selv om problemstillingen er interessant, så er det et poeng, mange av eksemplene er søkte, og det er i den store sammenhengen ikke et stort problem om bilen tar "feil valg" en gang i skuddåret. Konsekvensen er liten.

 

AtW

Som jeg skriver er den relative konsekvensen liten i den forstand at det totale antallet er potensielt går ned. Men konsekvensen blir fremdeles stor for den som er berørt.

 

Men det store problemet er ikke hvorvidt bilen tar feil eller ikke, det er hvordan den skal komme fram til en konklusjon. For å reagere må den ha et forhåndsdefinert handlingsmønster, og etter hvert som de autonome egenskapene blir bedre og bedre, må handlingsmønstrene være stadig mer detaljerte. Selv om antall ulykker da reduseres med 90% så må noen ha tenkt gjennom hvordan bilen skal handle i gitte situasjoner.

 

I hvilke tilfeller skal bilen ofre sjåføren? Ville du kjøpt en bil om du vet at du kan ofres? Og om en bil vil ofre sjåføren i gitte situasjoner, vil dette kunne utnyttes med "onde" hensikter.

 

Samme hvor søkte eksemplene oppfattes, så er de høyst reelle, og man må ta høyde for dem. Og skal man ta høyde for dem må noen definere i hvilke situasjoner en gitt handling skal utføres. Så må dette handlingsmønsteret godkjennes av en rettslig instans slik at bilprodusentene ikke blir ansvarlige for deres bilers handlinger, gitt at de opererer innenfor de definerte rammene.

[TKongen]

Det blir ikke egentlig nødvendig før en innfører regler som sier at en bil kan kjøre av seg selv, uten noen ved rattet. Så lenge noen sitter ved rattet kan bilprodusentene la fører ta valget om det holder på å gå galt. Ellers vil bilen bare bremse og ikke skifte retning, så treffer den det den treffer da. Sannsynligvis det samme en sjåfør ville gjort uansett. Eller muligens noe desperat svinging, men da kan fører selv stå for den  desperate svingingen. For slik det er nå så har du ansvar uansett, og du må egentlig ha hendene på rattet og følge med 100%.

 

Så kan heller bilprodusentene fokusere på nesten alt resten av tiden der du ikke kommer i en ulykke og lage bilen mer sikker enn noen andre. Uten at de trenger å tenke på dette her på en god stund hvertfall.

 

 

Dessuten vi har ikke sensorer som klarer å finne ut hva som er busk og stein og alt det der uansett. Hvertfall ikke om de har dress på eller ikke. Så det er litt ubrukelig å lage retningslinjer om bilen ikke ser forskjell uansett, er det ikke?

Endret 22. januar 2017 av TKongen