ChatGPT er trent opp til å være Woke!

[0laf]

Elgen-Hansi skrev (18 minutter siden):

Sorry, men du legger alt for mye i dette! ChatGPT er ikke skynet, ei heller en person.

[Ekspertkommentator]

On 2/4/2023 at 8:39 PM, tommyb said:

Det er viktig å vite at ChatGPT henter ut nøkkelord fra det du spør om og nøkkelord fra det svaret på dette typisk er, og genererer et gjennomsnittlig forventet svar.

ChatGPT generer ikke "gjennomsnittlig forventet svar".
 
ChatGPT er basert på sannsynlighetsberegning hvor ChatGPT velger ord basert på sannsynlighet ("ranking") for neste ord i en sekvens av ord ("inference"). Sannsynlighetene er beregnet basert på "treningsgrunnlaget" som kan være Wikipedia og andre kilder, samt manuell "feedback". Se Ref. /1/ nedenfor. Dette er grunnen til at CharGPT kan ende opp "woke" når input har "bias".
 
Når ChatGPT skriver et "essay": Fyller ChatGPT bare på med ord i en plausibel sekvens eller har ChatGPT en "global plan" over innholdet i et "essay"? Dette er diskutert i Ref. /2/ under.
 
Ref. /1/ Her er en artikkel med dypdykk inn i ChatGPT.
https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

Ref. /2/ Her er en artikkel som utfordrer artikkelen ovenfor.
https://www.lesswrong.com/posts/sbaQv8zmRncpmLNKv/the-idea-that-chatgpt-is-simply-predicting-the-next-word-is


Fra Ref. /1/:

Endret 23. februar 2023 av Ekspertkommentator

[0laf]

Ekspertkommentator skrev (4 timer siden):

ChatGPT er basert på sannsynlighetsberegning hvor ChatGPT velger ord basert på sannsynlighet ("ranking") for neste ord i en sekvens av ord ("inference"). 

Vel, ja og nei. GPT-3 (Generative Pre-trained Transformer) er en modell som gjør nettopp det, forsøker å rangere ord for å se hva som sannsynligvis burde være neste ord.

Men ChatGPT gjør åpenbart mye mye mer, da det ligger et komplisert AI bak, som gjør at den også forstår kontekst og relevans i større betydninger.

Hadde den bare gjettet hvilket ord som sannynligvis burde være neste ord, så ville alle svarene nok vært heller merkelige.
Den må nødvendigvis også ha en viss forståelse for konteksten, hva som besvares, og hvilken relevans svarene har, for å ikke snakke om muligheten til å svare på oppfølgingsspørsmål, og føre nærmest "samtaler" i kontekst av det som er skrevet tidligere osv.

På "baksiden" av det som kanskje kan se ut som en middels komplisert søkemotor, ligger det som kalles "transformer-based neural network", som er vanlig å bruke i NLP-løsninger (Natural Language Processing).

Her gjennomgås hele teksten, både input og output, for å forstå kontekst og relevans, ikke bare spytte ut en sekvens ord fra tilfeldig gjetting.
Det er derfor ChatGPT kan oversette språk bedre, summere tekst, skrive hele skoleoppgaver og dataprogrammer osv. Fordi den i større grad forstår konteksten av den samlede teksten den tar inn, og spytter ut.

Så på en måte er det riktig at ChatGPT velger ut neste ord, basert på hva som er output så langt, slik at den analyserer hele setningen, og hele teksten, opp til det ordet, og avgjør deretter utfra en hel rekke kriterier, ikke bare hva mange andre har skrevet tidligere, da det ville være helt uten kontekst, og i prinsippet ligne mer på en annen versjon av Googles PageRank (fra 1996), uten særlig effekt av "AI".

Faktisk har ChatGPT 175 milliarder kriterier for å velge neste ord, som er årsaken til at det kreves massiv datakraft.

Pussig nok, var jo Skynet et "Neural Net-based AI" modellert etter menneskehjernen, basert på en mikroprosessor funnet opp av Miles Dyson, og skulle styre USAs militære, men endte opp med å forsøke å utrydde mennesker i stedet.

ChatGPT er basert på et Neural Network, modelleret etter menneskehjernen, hvor forskjellige "baner" leder til steder hvor informasjon lagres, og som gjør det mulig å bruke milliarder av kriterier, eller "beslutninger" for å finne rette bane, til rett informasjon, raskt, etter at modellen er lært opp.

Endret 23. februar 2023 av 0laf

[tommyb]

5 hours ago, Ekspertkommentator said:

ChatGPT generer ikke "gjennomsnittlig forventet svar".
 
ChatGPT er basert på sannsynlighetsberegning hvor ChatGPT velger ord basert på sannsynlighet ("ranking") for neste ord i en sekvens av ord ("inference"). Sannsynlighetene er beregnet basert på "treningsgrunnlaget" som kan være Wikipedia og andre kilder, samt manuell "feedback". Se Ref. /1/ nedenfor. Dette er grunnen til at CharGPT kan ende opp "woke" når input har "bias".
 
Når ChatGPT skriver et "essay": Fyller ChatGPT bare på med ord i en plausibel sekvens eller har ChatGPT en "global plan" over innholdet i et "essay"? Dette er diskutert i Ref. /2/ under.
 
Ref. /1/ Her er en artikkel med dypdykk inn i ChatGPT.
https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

Ref. /2/ Her er en artikkel som utfordrer artikkelen ovenfor.
https://www.lesswrong.com/posts/sbaQv8zmRncpmLNKv/the-idea-that-chatgpt-is-simply-predicting-the-next-word-is


Fra Ref. /1/:

Det var det jeg sa. Jeg var bare mye mer effektiv enn deg.