Brukerstatistikk - er spillsidene biased?

[Bear^]

Min mening er at for at dette skal bli rett må du velge omtaler skrevet av 1 skribent og heller si at han heller mot 1 konsoll.

I praksis leser man som regel bestemte spillsider, og ikke spillanmeldelser fra bestemte anmeldere. Selvsagt kan det være forskjellige meninger internt, men det er tross alt en redaktør som har ansvar for å kvalitetssikre innholdet på sin side. Jeg prøver bare å luke ut de verste eksemplene, da det er lettere å unngå en bestemt spillside enn en bestemt anmelder.

 

Det kommer og ann på spillet som er anmeldt for karakteren kan være dårlig fordi spillet faktisk er dårlig. Men Om da PS3 f.eks har hadt 5 dårlige spill og X360 5 gode spill og omtalene reflekterer dette, så blir resultatet vist slik at siden er basert mot X360.

Som sagt er det uvesentlig om jeg har 9 dårlige PS3-spill og 9 gode 360-spill i utvalger. Det er avviket jeg ser på, ikke selve snittet.

 

Ah, ok ok. Sitter nemlig på kjedelig kurs og er trøtt nok fra før av. Beklager.

[Allt í lagi]

Wii er jo praktisk talt forrige "generasjon", derfor synes jeg ikke den bør være med.

Og anmeldelsene til IGN er selvfølgelig de beste, siden de har egne team for hver plattform. Xboysa anmelder 360 spill, PLAYSTATION-folket anmelder PS3 spill osv. Scorene er praktisk talt alltid høye men rettferdige etter IGN's standard.

 

Trolling kan du ta en annen plass. Det der begynner å bli meget kjedelig og trodde at man var ferdig med generasjons inndelingen for denne gangen. Tydeligvis ikke.

Vel det med generasjon kan diskuteres selvfølgelig. At wii er i en annen klasse er kanskje en bedre måte å si det på. Uansett fungerer ikke Gamerankings noe særlig, siden de ulike sidene har forskjellige kriterier. F.eks 7 hos IGN er middels usselt, mens på Eurogamer kan dette være en bra karakter.

Nei, bruk IGN, har aldri funnet noen feil i anmeldelsene deres bortsett fra denne: http://cube.ign.com/articles/368/368539p1.html. Prøv f. eks å ta snittet av de fem forskjellige underscorene. Får du 9.4 da? Nei(vet at final score ikke er snittet av de andre scorene).

[Keiseren av Grønland]

Har lenge fundert om spillsider er biased, etter all kjefting fra fanboys verden over. Her forsøker jeg å finne ut av det med litt statistikk. Undersøkelsen går på PS3 og 360. For å måle om sidene er "biased" har jeg gått frem på følgende måte: Jeg har sanket anmeldeler fra ni eksklusive spill til hver plattform, samt gjennomsnittet disse spillene har fått på gamerankings. Kvaliteten på disse spillene i seg selv har ikke noe å si, da det ikke er selve karakterene, men hvordan disse helhetlig henger sammen med karaktergivningen til gjennomsnittet som skaper resultattallene.

 

Hele regnskapet er inkludert i en Excel-fil, jeg poster kun resultatene her. Tallene er altså et statistisk gjennomsnitt for hvor mange prosentkarakterer over eller under gjennonsnittet en side ligger på henholdsvis PS3 og 360-anmeldeldser. Jeg antar at et avvik på opp mot 10 prosentkarakterer vil være akseptabelt på grunn av begrenset statistikkgrunnlag. Mulig jeg utvider statistikken på et senere tidspunkt. Jeg tok ikke med sider som åpenlyst favoriserer en av plattformene, men kun de som utad fremstår som nøytrale.

 

Gamespot

360: -1.94

PS3: -4.13

 

Litt i 360s favør, men ikke noe urovekkende.

 

1UP

360: -3.44

PS3: -0.33

 

Mildt sagt overraskende at siden som stadig blir kalt "Microsoft Defence Force" faktisk er en av de snillere med PS3-karakterene.

 

IGN

360: 1.11

PS3: 2.78

 

Litt snillere med karakterene, men ikke veldig.

 

Eurogamer

360: -5.11

PS3: -13.11

 

Strenge karakterer generellt. I grenseland til suspekt strenge PS3-karakterer.

 

VG

360: -4

PS3: -20

 

Desidert dårligst ut av fanboytesten er det vår kjære VG som kommer. Hele 20 prosentkarakterer under gjenomsnittet for PS3-spillene.

 

 

Så hva sier folket, er det tilfeldig? At hvert enkelt spill skal ligge på snittet er jo selvfølgelig ikke et mål, men man skulle jo tro at avviket i karaktersnittet for en plattform burde holde seg mer eller mindre lik avviket for den andre plattformen.

 

Edit: Glemte å legge ved selve statistikkgrunnlaget. Er nå å finne i vedlagt PDF og zippet Excel-fil.

 

Jeg syntes denne sammenligningen her er ytterst tåpelig og langt ifra faglig på noen som helst måte.

For det første sammenligner du nå internasjonale nettbaserte spillsider mot VG, som først og fremst er en norsk papiravis som selges i butikkene.

 

For det andre klager folk over at disse er partiske eller subjektive. Men det er jo akkurat det som er en viktig del av anmelderi, det er kommentarjournalistikk. Og den personlige meningen til en journalist er et bra kriterie.

 

Et hvert land utøver journalistikk med sine egne vrier på det. Jeg syntes personlig at anmeldelsene i Aftenposten og VG er lysår bedre enn de som står på Gamespot og IGN.

 

Det er jo ofte at "anmelderne" fra de utenlandske sidene aldri har jobbet i en avisredaksjon eller lignende. Mange blir rekrutert bare fordi de er glad i spill og tror det holder. Det IGN kaller anmeldelser på 5-6 sider er i realiteten noe helt annet.

[zeox]

Vel det med generasjon kan diskuteres selvfølgelig. At wii er i en annen klasse er kanskje en bedre måte å si det på. Uansett fungerer ikke Gamerankings noe særlig, siden de ulike sidene har forskjellige kriterier. F.eks 7 hos IGN er middels usselt, mens på Eurogamer kan dette være en bra karakter.

Lurer på hvordan denne blir mottat. Forrige gang jeg sa det ble jeg kalt idiot og kastet på bålet.

 

Denne tråden er vel egentlig et ganske godt bevis på at karakterer til spill bør avskaffes umiddelbart. Slutt å sammenlign karakterer og les omtaler istedet! dette blir for dumt

[prebenl]

Jeg syntes denne sammenligningen her er ytterst tåpelig og langt ifra faglig på noen som helst måte. For det første sammenligner du nå internasjonale nettbaserte spillsider mot VG, som først og fremst er en norsk papiravis som selges i butikkene.

Du sier sammenligningen er tåpelig og ufaglig, uten å komme med noen som helst slags argumentasjon for påstandene dine. Du nevner at VG er norsk, mindre og i utgangspunktet en avis (selv om nettavisen har flere lesere), men HVORFOR er det galt? De er da like fullt og helt anmeldere. Jeg tok dem med fordi jeg tenkte det var interessant lesning etter alle debattene her inne om VGs anmeldelser.

 

Det er jo ofte at "anmelderne" fra de utenlandske sidene aldri har jobbet i en avisredaksjon eller lignende. Mange blir rekrutert bare fordi de er glad i spill og tror det holder. Det IGN kaller anmeldelser på 5-6 sider er i realiteten noe helt annet.

Den påstanden er det ikke noe hold i. Det er nok langt vanskeligere å få jobb som spillanmelder hos IGN enn hos VG. Helst bør man ha en relevant bachelor. Hvis du leter litt på siden deres finner du en podcast der de diskuterer hvordan man får jobb på en slik plass. VG sine anmeldelser er langt oftere preget av både skrivefeil og faktafeil.

Endret 20. november 2007 av Geofrank

[Allt í lagi]

Det er jo ofte at "anmelderne" fra de utenlandske sidene aldri har jobbet i en avisredaksjon eller lignende. Mange blir rekrutert bare fordi de er glad i spill og tror det holder. Det IGN kaller anmeldelser på 5-6 sider er i realiteten noe helt annet.

Tåpeligste jeg har hørt. Hvor mange tror du det er som kunne tenke seg å være spillanmelder hos IGN? Mange hundre tusen gamere, praktisk talt. De som får anmelderjobbene er utvilsomt de kvikkeste og flinkeste personene.

[cyclo]

Jeg tipper du vil finne enda større avvike på enkelte andre typer anmeldelser, f. eks. bøker eller musikk.

Det er jo ikke avvikene som er tingen, det er forskjellen mellom avvikene på de ulike konsollene. Så hele grunnlaget for undersøkelsen ville vært meningsløs i en slik sammenheng, med mindre forlags-fanboyisme er større enn jeg vet om.

Og det var jo nettopp det jeg pratet om. Forskjellen mellom avvikene=avvikene eller om du vil avvikene i avvikene.

 

Og nei, det vil ikke være noe mer meningsløst. Det du gjør er nemlig å ta utgangspunkt i at årsaken til avvikene har med favorisering av konsoll å gjøre, men det har du ikke noe grunnlag for å hevde. Avvikene kan like greit skyldes favorisering av sjanger, eller produsent for den saks skyld.

 

For å si det ganske enkelt: Du har intet grunnlag for å hevde at forskjellen mellom avvikene har noe som helst med fanboyisme eller favorisering av konsoll. Om du hadde gjort samme undersøkelse på bøker hadde du sett samme (eller sannsynligvis høyere) forskjell i avvik, muligens forårsaket av en forkjærlighet for enkelte sjangre.

 

Du legger fram til som ikke sier noe annet enn at forskjellige sider anmelder forskjellig. Likevell kommer du med konklusjoner av typen:

 

Desidert dårligst ut av fanboytesten er det vår kjære VG som kommer. Hele 20 prosentkarakterer under gjenomsnittet for PS3-spillene.

[prebenl]

Det du gjør er nemlig å ta utgangspunkt i at årsaken til avvikene har med favorisering av konsoll å gjøre, men det har du ikke noe grunnlag for å hevde. Avvikene kan like greit skyldes favorisering av sjanger, eller produsent for den saks skyld.

Det er da rusk rivende likegyldig hva grunnen favoriseringen skyldes, det sier undersøkelsen ingen ting om. Mener uansett at spillutvalget var godt fordelt på sjangre, og en spillside bør uansett ikke favorisere på disse (med mindre de heter RPGgamer, puzzlefreak, autofil.no etc.). Det er da vel klinkende klart at den som gjør anmeldelsen skal ha erfaring og aksept for sjangeren han anmelder.

 

Om du hadde gjort samme undersøkelse på bøker hadde du sett samme (eller sannsynligvis høyere) forskjell i avvik, muligens forårsaket av en forkjærlighet for enkelte sjangre.

Jeg må nesten spørre deg igjen: Hvoran skal man kunne gjøre samme undersøkelse med bøker? I og med at alle bøker er i samme format (skrift beregnet for direkte bruk av mennesker) er det da umulig å favorisere et format.

Endret 20. november 2007 av Geofrank

[cyclo]

Igjen går du glipp av poenget mitt. Alt jeg vil fram til med bøkene er at du vil finne tilsvarende avvik i alle anmeldelser som finnes.

 

(foresten finnes det ulike formater bøker: Hardcover, paperback, audio, etc.)

 

Du sier at det er riv ruskende likegyldig hva favoriseringen skyldes. Det er greit nok, men igjen går du i samme fellen. Du hevder at resultatet av undersøkelsen viser at det er en favorisering av konsoll hos sidene. Det er feil!

Alt dine tall viser er at ulike sider anmelder spill ulikt. Du har intet grunnlag i det hele tatt for å hevde at dette skyldes favorisering av konsoll. Ikke i det hele tatt.

 

Ganske enkelt er ikke denne undersøkelsen verdt lagringsplassen den bruker.

[UrgeLoL]

Selvfølgelig behandler ulike sider ulike spill forskjellige, samt at mangfoldet av anmeldere vil se forskjellig på spillene. MEN, dette skulle jo utjevnes, skulle det ikke? Synes undersøkelsen er meget interessant egentlig, og håper Geofrank oppdaterer den så vi får se om trenden fortsetter.

[prebenl]

Igjen går du glipp av poenget mitt. Alt jeg vil fram til med bøkene er at du vil finne tilsvarende avvik i alle anmeldelser som finnes.

For titusende gang, det er ikke avvikene i anmeldelsene, men avvikene mellom formatene. Så nei, det fins ikke tilsvarende avvik.

 

Du hevder at resultatet av undersøkelsen viser at det er en favorisering av konsoll hos sidene. Det er feil!

Nei, jeg hevder at undersøkelsen viser favorisering av en konsolls spill, sammenlignet med gjennomsnittet.

 

Ganske enkelt er ikke denne undersøkelsen verdt lagringsplassen den bruker.

Lavmål. Er du ikkke interessert, kan du holde deg langt vekke fra tråden.

Endret 20. november 2007 av Geofrank

[cyclo]

Nei, jeg hevder at undersøkelsen viser favorisering av en konsolls spill, sammenlignet med gjennomsnittet.

Okey. Punkt for punkt, hva er feil:

a) Det at en anmelder (les side) har gitt høyere eller lavere gjennomsnitts poengsum til spill til en gitt konsoll, gir ikke konklusjonen at "spillsiden er biased". At deres gjennomsnitt er lavere eller høyere enn standardgjennomsnittet viser rett og slett ikke noe annet enn spillene har fått en annen gjennomsnittspoengsum.

b) Ulike anmeldere gir poengsum på ulikt grunnlag og ikke minst bruker ulik skala. Derfor kan man ikke i det hele tatt sammenligne tallene på måten du har gjort.

c) Det at man finner en trend betyr ikke at man kan konkludere med årsaken til trenden.

 

Ganske enkelt er ikke denne undersøkelsen verdt lagringsplassen den bruker.

Lavmål. Er du ikkke interessert, kan du holde deg langt vekke fra tråden.

Jeg er interesert. Men jeg er også svært opptatt av at statistikk ikke skal bli missbrukt for å trekke feil konklusjoner.

 

 

 

Oh, people can come up with statistics to prove anything. 14% of people know that.

[prebenl]

Jeg er interesert. Men jeg er også svært opptatt av at statistikk ikke skal bli missbrukt for å trekke feil konklusjoner.

Jeg hadde ingen konklusjon, jeg ledet an til en diskusjon.

 

Det at en anmelder (les side) har gitt høyere eller lavere gjennomsnitts poengsum til spill til en gitt konsoll, gir ikke konklusjonen at "spillsiden er biased"

 

Ulike anmeldere gir poengsum på ulikt grunnlag og ikke minst bruker ulik skala. Derfor kan man ikke i det hele tatt sammenligne tallene på måten du har gjort.

Dette er siste gang jeg sier det: Det handler ikke om en amelder/side har gitt høyere/lavere gjennomsnitts poengsum til en gitt konsoll.

 

For å komme i mål må man ytterlig regne avviket av dette gjennomsnittet du nevner og "gjennomnsittets (alle spillanmelderes) gjennomsnitt (av de samme spillene)".

 

Fortsatt er vi ikke fremme. På grunn av forskjell i karaktersystemet må man se på differansen mellom disse tallene for de forskjellige plattformene for å få noen verdi ut av tallene.

 

Se på regnestykket, du har tydeligvis ikke skjønt det.

Endret 20. november 2007 av Geofrank

[Monkeyboy]

Nei, jeg hevder at undersøkelsen viser favorisering av en konsolls spill, sammenlignet med gjennomsnittet.

Okey. Punkt for punkt, hva er feil:

a) Det at en anmelder (les side) har gitt høyere eller lavere gjennomsnitts poengsum til spill til en gitt konsoll, gir ikke konklusjonen at "spillsiden er biased". At deres gjennomsnitt er lavere eller høyere enn standardgjennomsnittet viser rett og slett ikke noe annet enn spillene har fått en annen gjennomsnittspoengsum.

b) Ulike anmeldere gir poengsum på ulikt grunnlag og ikke minst bruker ulik skala. Derfor kan man ikke i det hele tatt sammenligne tallene på måten du har gjort.

c) Det at man finner en trend betyr ikke at man kan konkludere med årsaken til trenden.

 

Ganske enkelt er ikke denne undersøkelsen verdt lagringsplassen den bruker.

Lavmål. Er du ikkke interessert, kan du holde deg langt vekke fra tråden.

Jeg er interesert. Men jeg er også svært opptatt av at statistikk ikke skal bli missbrukt for å trekke feil konklusjoner.

 

 

 

Oh, people can come up with statistics to prove anything. 14% of people know that.

 

Og det finnes tre typer lønger; hvit, svart og statistikk.

 

Er stort sett enig i punktene dine Cyclo. Men i motsetning til deg så anser jeg denne tråden som nettopp begynt. De fleste her inne skjønner at man ikke kan trekke noen som helst konklusjoner enda. Men for å ta punktene:

 

a) At en side gir høyere eller lavere poengsum kan såklart skyldes at siden er i lomma til MS/Sony/Nintendo. Det kan også bety at de bare vurderer skalaen strengere/snillere enn andre. Men vi har ikke data nok nå til å konkludere med noe som helst.

 

b) Ja, men man kan ta grep for å minimere.

 

c) Sant nok, men man kan prøve å finne mer data slik at man har grunnlag for å konkludrere.

 

Men skal vi kunne trekke reliable og valide konklusjoner så trengs det mye data. MYYYYE DATA. Håper du fortsetter med dette Geofrank.

[prebenl]

Det kan også bety at de bare vurderer skalaen strengere/snillere enn andre.

Da burde uansett totalavviket vært likt for begge konsollene.

 

Men skal vi kunne trekke reliable og valide konklusjoner så trengs det mye data. MYYYYE DATA. Håper du fortsetter med dette Geofrank.

Burde absolutt ha mye data, men tankegangen som ligger i bunn forutsetter at det er nok eksklusive titler å ta av, så det spørs hvor mye data jeg kan finne.

 

Behovet for store datamengder minsker heldigvis dersom man har et representativt utvalg. Nå skal jeg nok greie å få hele utvalget med, så da kan man i alle fall slå fast at det er representativt for mengden 'eksklusive spill'.

Endret 20. november 2007 av Geofrank

[cyclo]

Jeg er interesert. Men jeg er også svært opptatt av at statistikk ikke skal bli missbrukt for å trekke feil konklusjoner.

Jeg hadde ingen konklusjon, jeg ledet an til en diskusjon.

Da kan jeg bare beklage det. Jeg leste det som en konklusjon ut fra det sterke språket du brukte. Kanskje du skulle om ikke annet vurdert en litt mindre ledende tittel?

 

Du spør "er spillsidene biased"?

-A preference or an inclination, especially one that inhibits impartial judgment.

-An unfair act or policy stemming from prejudice.

Om noe er "biased" er rett og slett ikke noe statistikk kan si noe som helst om. Statistikken kan si at det er et avvik, men den kan ikke si noe om årsaken til avviket.

Det at en anmelder (les side) har gitt høyere eller lavere gjennomsnitts poengsum til spill til en gitt konsoll, gir ikke konklusjonen at "spillsiden er biased"

 

Ulike anmeldere gir poengsum på ulikt grunnlag og ikke minst bruker ulik skala. Derfor kan man ikke i det hele tatt sammenligne tallene på måten du har gjort.

Dette er siste gang jeg sier det: Det handler ikke om en amelder/side har gitt høyere/lavere gjennomsnitts poengsum til en gitt konsoll.

 

For å komme i mål må man ytterlig regne avviket av dette gjennomsnittet du nevner og "gjennomnsittets (alle spillanmelderes) gjennomsnitt (av de samme spillene)".

 

Fortsatt er vi ikke fremme. På grunn av forskjell i karaktersystemet må man se på differansen mellom disse tallene for de forskjellige plattformene for å få noen verdi ut av tallene.

 

Se på regnestykket, du har tydeligvis ikke skjønt det.

Joda. Jeg har skjønt det for lenge siden (og sett på regnestykket). Ser at jeg var slurvete med setningen "høyere eller lavere gjennomsnitts poengsum" og at den ikke ble tolket slik jeg mente.

 

Problemet ligger egentlig her:

Fortsatt er vi ikke fremme. På grunn av forskjell i karaktersystemet må man se på differansen mellom disse tallene for de forskjellige plattformene for å få noen verdi ut av tallene.

Selv om du ser på differansen av differansen av gjennomsnittet av gjennomsnittet så utelukker du ikke forskjellene i karaktersystemet. Om en anmelder legger vekt på at spillet skal være "familievennlig" og en mange flere av spillene til en konsoll er "familievennlige", så vil dette gi utslag i et større avvik i sluttallene du presenterer, enn for en anmelder som legger vekt på at spillet skal være "utfordrende".

 

Problemet er ganske enkelt at tallene sier at "ja det er en forskjell", men den sier ikke noe om hvorfor det er en forskjell.

[UrgeLoL]

Ingen som har konkludert med noen ting her, bortsett fra Cyclo.

[cyclo]

For å ta det helt enkelt og konkret:

 

Har lenge fundert om spillsider er biased, etter all kjefting fra fanboys verden over. Her forsøker jeg å finne ut av det med litt statistikk. Undersøkelsen går på PS3 og 360. For å måle om sidene er "biased" har jeg gått frem på følgende måte

 

1) Man kan ikke bruke statistikk for å finne ut om noe er "biased" eller ikke

2) Man kan ikke måle om noe er "biased" eller ikke

 

Og derfor sa jeg i utgangspunktet at "undersøkelsen er verdiløs".

Endret 20. november 2007 av cyclo

[prebenl]

Kanskje du skulle om ikke annet vurdert en litt mindre ledende tittel?

"Brukerstatistikk - er spillsidene biased?" regner jeg som en spørrende tittel.

"Brukerstatistikk - spillsidene er biased" ville jeg tolket som en ledende tittel.

 

1) Man kan ikke bruke statistikk for å finne ut om noe er "biased" eller ikke

2) Man kan ikke måle om noe er "biased" eller ikke

 

Og derfor sa jeg i utgangspunktet at "undersøkelsen er verdiløs".

Dette blir definisjonssnakk. Selv om ordboken din definerer ordet "biased" annerledes er det vel liten tvil om hva man prøver å oppnå med statistikken.

 

Selv om du ser på differansen av differansen av gjennomsnittet av gjennomsnittet så utelukker du ikke forskjellene i karaktersystemet. Om en anmelder legger vekt på at spillet skal være "familievennlig" og en mange flere av spillene til en konsoll er "familievennlige", så vil dette gi utslag i et større avvik i sluttallene du presenterer, enn for en anmelder som legger vekt på at spillet skal være "utfordrende".

Også definisjonssnakk.

Du ville sagt: "De er ikke biased, de bare liker familiespill"

Jeg ville sagt: "De er biased mot 360-spill. Årsaken er at de liker familiespill bedre enn folk flest".

Men det er ikke årsaken vi prøver å finne ut av. Det er noe hver og en kan fundere på selv, siden det uansett ikke kan påvises. I undersøkelsen prøver man kun å finne ut av om de faktisk gjør forskjell på dem i form av karakterene.

Endret 20. november 2007 av Geofrank

[Nordmoen]

Nydelig jobb Geofrank