Statistikk, kjapt spørsmål

DrDoogie · 26. september 2003

Har da noe data av formen "Måling-Hyppighet", med gjennomsnitt sånn hjalla utregnet med:


* Målinger = Kolonne A

* Hyppighet = Kolonne B



SUMPRODUCT(A1:A239;B1:B239)/SUM(B1:B239) = 21.49

Her er da standard variasjon 70.12, og et 95% konfidensintervall gir meg 8.89.

Da ligger den relative hyppigheten av målingene innen området 12.1 og 29.9, sant?

Dataene er forresten lengde på TrackTitle fra freedb, hvis det er interessant.

HåkonN · 26. september 2003

Akkurat..... :roll:

DrDoogie · 26. september 2003

*bump* Lenge siden jeg har regnet med statistikk nå, så jeg skulle gjerne hatt en liten bekreftelse da...

tasle · 28. september 2003

Jeg er usikker på hva du mener. Hvis du kan vise det med et par-tre linjer fra den modellen din (regneark?), hadde det vært greitt.

Det er ikke noe statistisk begrep som heter standard variasjon. Varians er ett begrep, standard avvik er et annet. Standard avvik er rota av variansen. For å få et konfidensintervall på ca. 95 % må du multiplisere standardavviket med 2. Da ligger ca. 95 % av alle målingene innenfor rammen av én middelverdi +/- (2 standardavvik).

Eksempel: Hvis middelverdien er 20 og ett standardavvik er 2, så ligger 95 % av verdiene mellom 16 og 24.

Men som sagt, hva du mener med "målinger" og "hyppighet" vet jeg ikke siden jeg er ikke har sett et bitte-lite utdrag av tabellen, og gjerne litt mer konsis forklaring.

DrDoogie · 28. september 2003

Okay.

Mente 'standard avvik', leste 'standard deviation' og tok en rask oversettelse.

Jeg har da hentet dataene slik:


#! /usr/bin/env perl



open inputfile, @ARGV[0] or die "can't open file: $!";

open outfile, ">@ARGV[1]" or die "can't open file: $!";



my ($track_length, $track_count);

my $track_hash = {};



while (<inputfile>) {

# read in new line

chomp;



# count each line as a new albumentry

++$linecount;



# get all the tab-separated data entries in the current line

$_ =~ m/(.*)n/ && do { $track_title = $1; };



$track_length = length $track_title;

$track_hash->{$track_length} += 1;

     $track_hash->{$track_length}n";

}



::print_out();

close inputfile;

close outfile;



sub print_out {

# Print out all information

print "Total lines: $linecountn";

while(($key, $value) = each %$track_hash) {

 print outfile "$keyt$valuen";

}

};

Dette er da dataene, hvor første kolonne er lengden på tracktitle (eksempelvis sporet/låta'Thriller' fra Michael Jackson sitt album av samme navn er 8 bokstaver langt), og andre kolonne er hyppighet av tracks med lengden i første

Vi ser da at i freedb er det 20424 tracks med lengden 0.

Men det egentlige problemet mitt er hvilken statistisk model jeg skal velge, etter som dette er venstre-forskjøvet data, til forskjell fra normal-fordelt (Bell-curve) data.

Er ikke så flink på statistikk, så hvis du kunne forklart for meg

a) hvilken model som er best

B) hvordan jeg best representerer konfidens-intervallet, dvs. hvordan ignorerer jeg svært avvikende data for å få et smallest mulig _pålitelig_ konfidens-intervall

tasle · 29. september 2003

a)

Dette er en gammafordeling. Den kjennetegnes med to parametre a og b, som beskriver skjevheten i fordelingen. For en gammafordeling gjelder at middelverdien m= a*b og variansen v= a*b^2. Fordelinga som sådan er litt vanskelig å ha med å gjøre sett fra et matematisk perspektiv siden den omfatter bruk av gammafunksjonen. Derfor tilnærmer man ofte en slik fordelig til å være en trekantfordeling som er mye lettere å jobbe med siden fordelingskurven kan vises lettere som en trekant med en betafordelings egenskaper.

B)

I ditt tilfelle trenger du antallet A som funksjon av tracklengde L, dvs. A = f (L). Hvis du skal ha sannsynligheter blir A først regnet om fra absolutte størrelser til relative størrelser, siden en sannsynlighet p <= 1.

For trekantfordelingen gjelder at

E (L) = 1/6 * (a + 4*m + B) (forventnigsverdi)

og variansen

V (L) = 1/36 * (b - a)^2

s = sqrt (V)

Dette siste kan en lett vise når en vet at +/- 3 standardavvik (= 6 standardavvik) dekker hele konfidensintervallet (egentlig 99%). 1s er da 1/6 av konfidensintervallet (b-a) og V = s^2 = (1/6 * (b- a))^2 = 1/36*(b-a)^2 (QED). b er øvre grense og a er nedre grense (høyeste og laveste verdi).

3s blir derfor hele konfidensintervallet, 2s utgjør 95%, mens 1s utgjør 66 %.

DrDoogie · 29. september 2003

Ja, se det. Takker for tips.

Har forresten tilgang til Mathematica.

Når det gjelder a og b, setter jeg dem bare til 0 og 1 (respektivt), for å finne standard gamma fordeling?

Noen linker:

http://www.itl.nist.gov/div898/handbook/ed...on3/eda366b.htm

http://astronomy.swin.edu.au/~pbourke/anal.../distributions/

http://mathworld.wolfram.com/GammaDistribution.html

tasle · 29. september 2003

a ligger nok i størrelsesområdet 2, på bakgrunn av tallene dine. Jeg har ikke regnet på det, men det ser slik ut. Et sted mellom 1,3 og 3, men omkring 2. Da kan du lett regne ut b fra ligninga m= a*b. At a er omkring 2 ser du også av den første linken du har oppgitt, forsåvidt.

DrDoogie · 29. september 2003

Hm. Finslig.

Så 'a', det er noe man velger sånn på gef?hlen det da? Eller er det en formel for å tilpasse variabelen til datasettet?

Anyway, med m=21.5 (som utregnet i første post), a=2, og 2s=2.92 (for 95% konfidensintervall), får jeg med "trekantstilnærming"'en resultatet:


21.5±2.92

til forskjell fra utregningen for normalfordelings-modelen (første post):


21.5±8.89

Kan dette stemme?

tasle · 29. september 2003

Nå har jeg ikke regnet på tallene dine, men 21,5 ser riktig ut. 2 standardavvik burde vært høyere siden det skal omfatte 95 % av verdiene.

Når jeg regner b (beta) basert på din middelverdi får jeg b = 11 (ca.) og videre V= a*b^2 = 2*11^2 = 242 og derav s= sqrt (242) = 16. Det gir 2s = 32. Så da burde det bli i størrelsesområdet 21,5 ± 32 for et 95 % konfidensnivå.

Det første spørsmålet: a (alfa) i en slik distribusjon tar man vanligvis på gefühlen når man har sett noen hundre slike kurver.

DrDoogie · 29. september 2003

...

Når jeg regner b (beta) basert på din middelverdi får jeg b = 11 (ca.) og videre V= a*b^2 = 2*11^2 = 242 og derav s= sqrt (242) = 16. Det gir 2s = 32. Så da burde det bli i størrelsesområdet 21,5 ± 32 for et 95 % konfidensnivå.

...

Dette får jeg ikke til å stemme.

Se på tallene dine litt. 21,5 i middelverdi/gj.snitt, og du skal ha det til at konfidensintervallet er innen:

-10.5 < x < 53.4

?

Dette ser jo ikke helt godt ut - ta videre i betrakting at konfidensintervallet regnet ut fra normalfordelings-model jo burde gi _videre_ intervall - hele poenget med en gamma-fordeling er vel å lettere ignorere svært avvikende verdier og derav innsnevre intervallet rundt selve "bølgetoppen"?

Og formelen din for V er jo først:

V = 1/36 * (b - a)^2

og så blir den til:

V = a^b^2

Huh?

tasle · 29. september 2003

For å ta det siste først: Når du bruker en trekantfordeling er variansen gitt av

V = 1/36 * (b - a)^2.

Når du bruker gammafordelingens varians blir den gitt av

V = a*b^2

I det første er b øvre grense, a er nedre grense. For en gammafordeling er a alfa, og b er beta i fordelingens parametre.

Skjønner ?

Begge er kontimuerlige fordelinger og skjeve. På samme måte som man i en annengradsligning i visse sammenhenger må forkaste en negativ verdi fordi den ikke kan eksistere, må også en negativ verdi for spredningen i denne sammenheng forkastes. Det vil si, ikke forkastes, men settes til 0 siden den underskrider 0.

Poenget her er at 6s dekker hele spredingen din fra 0 til 251. Da har du i grunnen også gitt både standardavviket og varansen. Hvis du bruker en trekant (beta-) betrakning, kan du også regne ut ekspektansen E med en god tilnærmet verdi. Gjennomsnitt og ekspektans er like kun i symmetriske fordelinger.

En gammafordeling vil imidlertid bli litt tungvint å jobbe med, ettersom man i statistisk sammenheng ofte er opptatt av problemstillinger som "hvor stor er sannsynligheten for at antall tegn skal være maksimalt 200", eller "hva er sannsynligheten for at antall tegn er mellom 100 og 170 tegn"? Skal man finne svar på sånt er man avhengig av å bruke et matematikkprogram. Når man jobber med penn og papir blir det veldig tungvint å integrere en gammafordeling, derfor bruker man en trekantfordeling istedenfor, som er mye lettere å regne manuelt på.

Alle kontinuerlige fordelinger vil automatisk eliminere statistisk støy (særdeles avvikende verdier). Ingen sett av statistikk fra den virkelige verden er slik at de passer en gitt fordeling 100 % uten avvik. Grunntanken bak statisktiske fordelinger er de beskriver "fysiske" forløp. Eksempelvis, hvor mange personer ankommer kassa på butikken i et gitt tidsintervall. Eller hvor lang tid tar å ekspedere en kunde? Disse to problemstillingene beskriver to forskjellige fordelingstyper.

Normalfordelingen gjelder for store antall og når man estimerer varianser og std.avvik mhp. for eksempel konfidensintervaller, eller problemstillinger a la "hvor mange personer må intervjues i en politisk gallup". Selv om sistnevnte egentlig er en binomial betraktning.

Men hva mener du med innsnevre bølgetoppen? Hvis du mener å gjøre den smalere eller bredere, så er variansen det eneste uttrykket som beskriver bredden av en fordeling.

Logg inn

Statistikk, kjapt spørsmål

Anbefalte innlegg

DrDoogie

Lenke til kommentar

Videoannonse

HåkonN

Lenke til kommentar

DrDoogie

Lenke til kommentar

tasle

Lenke til kommentar

DrDoogie

Lenke til kommentar

tasle

Lenke til kommentar

DrDoogie

Lenke til kommentar

tasle

Lenke til kommentar

DrDoogie

Lenke til kommentar

tasle

Lenke til kommentar

DrDoogie

Lenke til kommentar

tasle

Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Opprett konto

Logg inn

Hvem er aktive 0 medlemmer