Stiller spørsmålstegn ved effekten av nevrale nettverk: Kun 1 av 18 algoritmer gir bedre resultat enn enkle tommelfingerregler [Ekstra]

[Redaksjonen.]

Stiller spørsmålstegn ved effekten av nevrale nettverk: Kun 1 av 18 algoritmer gir bedre resultat enn enkle tommelfingerregler [Ekstra]

[Gjest Slettet+5132]

Man setter spørsmåltegn, man stiller spørsmål

 

Og dette er ikke veldig overraskende. Nå skal man også ha i bakhodet at forskning i nevrale nettverk er litt som gullrushet i Alaska: Alle publisere alt, og mye dårlig blir publisert (selv i ellers gode tidsskrift), som gir en del støy i en slik statistikk.

 

Når det er sagt, er det nok mange som langt overdriver hvor bra nettverket de har egentlig er, men å fintune på testsettet.

Endret 19. august 2019 av Slettet+5132

[Anders Jensen]

Vi har sett stor suksess innen systemer av relativt sett triviell kompleksitet slik som sjakk, go og klassifiser arten i dette bildet. Det har nok bidratt til at man har bygd opp en hype som langt overgår de reelle kapasitetene i mer komplekse systemer.

Slik jeg forstår det er det i hovedsak korrelasjon som er virkemidlet i disse algoritmene. Det er lite eller ingen forståelse av domenet, slik vi som mennesker opererer. Det er typisk også liten eller ingen evne til å tilpasse seg endringer basert på forståelse av domenet. Hvilket betyr at modellen må bygges på nytt når reglene endres. Men det forutsetter også at man evner å vite når reglene er endret, og uansett blir man reaktiv i forhold til endringene. Til sammenligning må ikke et menneske lære å sykle på nytt bare fordi du går fra asfalt til en sti i skogen. Vi kan tilpasse modellen vi har lært. Jeg tror ikke den kapasiteten er til stede i dagens maskinlæring og henger nok sammen med at alt bare er enorme sett av sammenhenger uten høyere nivå mening.

 

Edit: Et godt eksempel er algoritmen som ble bedt om å synliggjøre hvilke deler av et bilde den vekt la for å avgjøre om dyret på bildet var hund eller ulv. I et tilfelle hvor den feilaktig tolket et bilde av en hund som ulv var det snøen hunden sto på som var det avgjørende tegnet for algoritmen. Det er nemlig notorisk vanskelig å få bilde av ulv på sommeren, så en overvekt av treningsettet hadde kombinasjonen ulv og snø og det ble dermed en viktig del av algoritmen. Det er også slik vi har fått rasistiske algoritmer. Det viser hvordan algoritmene ikke har noen høyere nivå av forståelse for domenet, kun ser på det som avansert statistikk. Og ofte uten at vi vet hva som er vektlagt. Noe å tenke på hvis en ML algoritme noen gang får i oppgave å beregne en trafikkbot til deg, eller annen sanksjon fra det offentlige. De private bruker det vel allerede for å beregne hvilke renter eller forsikringspremier du fortjener.

Endret 20. august 2019 av Anders Jensen

[Gjest Slettet+5132]

Det viser hvordan algoritmene ikke har noen høyere nivå av forståelse for domenet, kun ser på det som avansert statistikk.

Nå ville jeg påstå at litt av problemet er at det ikke engang er avansert statistikk-- de mangler de statistiske feilmålene og et mer rigorøs grunnlag en gjerne har med andre statistiske metoder (for ting som nevrale nettverket, finnes ting i ML som har et solid statistisk grunnlag).