Superrask opp/nedlasting over internett mulig?

[Simen1]

Kanskje konstant svart allerede bruker lite plass?

Det stemmer. Konstant svart tar svært lite plass komprimert. Det blir veldig sammenlignbart med å ha 1 stor fil der øverste 20% er 0'er og nederste 20% er 0'er. Ved komprimering erstattes disse 0'ene med en tag i komprimeringsalgoritmen, f.eks tag'en "1000 ganger tegnet "0".

 

De fleste webservere og nettlesere støtter komprimerte filer. Dvs. at en nettside som er 200kB ukomprimert tekst kan komprimeres til kanskje 20kB komprimert data og dermed sendes like raskt (målt i kB/s) på nettet og pakkes ut til 200kB når den kommer frem. Dermed har du sendt 200kB ukomprimert data på samme tid som det tar å sende 20kB. (nettlinja vet jo ikke om det er komprimert eller ikke, den ser bare at her har vi 20kB og sender det med vanlig linjehastighet.

 

Det å sende en rekke med 1 milliard 0'er komprimert blir altså like tidkrevende som å sende setninga "1 milliard 0'er".

 

Når det gjelder lyd og video, så komprimeres de på andre måter. De tar utgangspunkt i filformatets egenskaper (f.eks det med at sorte/lydløse områder kan konverteres til X ganger sort/lydløst). Komprimering av bilder tar f.eks i bruk like områder av et bilde og definerer fargen av det til gjennomsnittsfargen i området (X ganger lyseblå). Deretter trengs det bare bittelitt info om avvik fra "gjennomsnittsfargen". Dette tar mye mindre plass enn å gi full fargeinformasjon i hver pixel.

 

lyd, bilde og video-filer lar seg som regel komprimere ganske lite dersom man skal bevare alle detaljer. Derfor er de fleste komprimerte lagringsformat for slike filer basert på komprimeringsmetoder som fjerner litt av detaljene. F.eks et bilde av en himmel komprimeres fra ørten punkter (lyseblå , blå, indigo, lilla, lyseblå, mellomblå, lyseblå blir til: kun lyseblå. Dette kan du ofte se i .jpg bilder som er sterkt komprimert. Hele blokker av 8x8 pixler med lignende farge får samme farge.

 

En tommelfingerregel er også at allerede komprimerte filer ikke kan komprimeres mer uten tap av data. F.eks vil ikke en .mp3 eller .jpg komprimeres mer dersom du bruker Zip på det. Men du kan konvertere en 192kbps mp3 til 128kbps mp3, men da taper du altså noen detaljer (som oftest i diskanten).

Endret 25. mai 2004 av Simen1

[Simen1]

Ved å ta en kjapp kikk på min egen harddisk så ser jeg at jeg har:

ca 40GB komprimerte filmer (.divX .mov .qt)

ca 60GB komprimert musikk (stort sett mp3)

ca 10GB komprimerte program-filer (.zip .gzip)

ca 10GB komprimerte bilder (.jpg .gif .png)

ca 5GB tilsynelatende ukomprimerte dokumenter (.doc .xls .txt osv)

ca 5GB tilsynelatende ukomprimerte filer filer (OS-partisjonen)

 

I realiteten er en stor del (kanskje halvparten) av de tilsynelatende ukomprimerte filene komprimerte. De bruker bare sære komprimeringsalgoritmer og navn (f.eks .cab .exe osv)

 

Etter å ha sett på denne oversikten over harddisken min så ser jeg at rundt 95% av alt jeg har på harddisken er allerede komprimerte data. Det kan jo tenkes at resten lar seg komprimere hele 10 ganger, men det er jo ikke særlig stort å spare på ved å gå fra 5GB til 0,5GB. Faktisk bare 4,5GB, og det er ikke mye når man ser at totalen går ned fra 130GB til ca 125,5GB.

 

Fremtidige bedre pakkealgoritmer kan sikkert krympe filene ørlite mer uten mer kvalitetstap, kanskje 10-20% for de fleste filformater, men som dere ser så vil det også monne ganske lite. Kanskje mine 130GB reduseres til ca 110GB. Pakkealgoritmer er faktisk svært vanskelig å forbedre. Selv nå som .zip og .gif har levd i 15-20 år så har ikke pakkeformatene blitt så veldig mye mer effektive enn hva de var i 1984. Man skal derfor ikke ha for høye forhåpninger til nye revulosjonerende pakkemetoder som gjør filene fantastisk mye mindre.

 

Så dere må nok fortsette å oppgradere harddisker og nettlinje i fremtiden om dere skal laste ned noe særlig. Mirakuløs ny pakking er rett og slett for godt til å være sant.

[Tai`daishar]

Dette må være en av de beste trådene jeg har lest på hardware på LENGE! Bra info og bra linker, for dette er uten tvil et spennende emne....

[Carnifex]

Jeg liker tanken din Hoax, men innen man har funnet en måte å gjøre dette på, sitter alle på 100mbit - og da er poenget borte

Det er ikke tull engang. Jeg begynte min surfe karriere med ett 2400 modem Skulle visst da at jeg om endel år hadde 2 mbit.. Hehe..

[thomassit0]

jeg leste i illustrert vitenskap at det fantes et program som klarte å pakke 700MB ned til minimum 7MB.. noen som vet om dette eller et annet veldig kraftig pakke prog?

[inaktiv000]

Simen1: Mye interessant, men et par spørsmål:

 

På filmer sendt over TV eller VHS osv, har vel filmen et fast område den kan dekke. Dermed blir ikke data komprimert. Jeg mener å ha hørt at på et eller annet vis brukes de svarte områdene til å stappe inn annen informasjon (surround?).

 

F. eks. MP3 er komprimert med hensyn til at det er lyd, men blir de etterpå gått gjennom slik at like bitmønstre o.l. blir komprimert? Hvis ikke, vil jo en lossless komprimering etterpå sannsynligvis hjelpe ytterligere. I tillegg bør man vel finne identiske data i ganske mange filer dersom man komprimerer f. eks. 10 000 JPG bilder. Slik kan man vel komprimere allerede komprimerte data ytterligere..

[Hoax]

jeg leste i illustrert vitenskap at det fantes et program som klarte å pakke 700MB ned til minimum 7MB.. noen som vet om dette eller et annet veldig kraftig pakke prog?

Mener å ha lest eller sett noe om det samme, det var en vist bare mulig på en utrolig kraftig maskin...

[pekle]

På filmer sendt over TV eller VHS osv, har vel filmen et fast område den kan dekke. Dermed blir ikke data komprimert. Jeg mener å ha hørt at på et eller annet vis brukes de svarte områdene til å stappe inn annen informasjon (surround?).

 

Det stemmer på ein måte, sjølv om det ikkje er snakk om "svarte" område visuelt sett. F.eks tekst-tv er slik ekstra info som blir sendt i eit frekvensområde som ellers ikkje blir nytta til bilde og lyd.

 

F. eks. MP3 er komprimert med hensyn til at det er lyd, men blir de etterpå gått gjennom slik at like bitmønstre o.l. blir komprimert?

 

Ja, ofte blir det brukt forskjellige algoritmer på ulike stadier i komprimeringa avhengig av dei statistiske eigenskapane til data. Men det er kanskje mest riktig å seie at MP3 er sampla mhp. at det er lyd, etter samplinga er det berre ein talserie.

 

I tillegg bør man vel finne identiske data i ganske mange filer dersom man komprimerer f. eks. 10 000 JPG bilder. Slik kan man vel komprimere allerede komprimerte data ytterligere..

Det kan skje, men det vil vere avhengig av kor like bileta er. Om alle bileta er forskjellige vil du ha fjerna det meste av entropien (unik informasjon), og sjansen for at to ulike bilete skal gi like komprimerte data ut er liten. Men f.eks ein jpg-header vil vere ganske lik, så dersom den utgjer ein relativt stor del av fila (små bilete med låg entropi), kan det vere litt å spare.

 

700MB->7MB er sikkert mogleg det, gitt rette data. Men det fins ei absolutt nedre grense for kor mykje eit gitt datasett kan komprimerast utan tap, og hokus pokus for å komme under den trur eg lite på.

 

For dei som er interesserte i komprimering og dataoverføring, søk etter Claude R. Shannon, mannen som utvikla heilt grunnleggande teoriar som gjorde dagens teknologi mogleg.

[Simen1]

jeg leste i illustrert vitenskap at det fantes et program som klarte å pakke 700MB ned til minimum 7MB.. noen som vet om dette eller et annet veldig kraftig pakke prog?

Mener å ha lest eller sett noe om det samme, det var en vist bare mulig på en utrolig kraftig maskin...

Totalt feil. Det kommer helt an på hva som pakkes. Noe (allerede komprimerte filer) kan ikke pakkes en prosent engang uansett maskin. Andre ting (tekst i enkle mønstere som f.eks telefonkatalogen) kan ofte pakkes til 1/100 av orginal størrelse. (på en hvilken som helst maskin.

 

Pakkeratioen er altså ikke avhengig av hvor kraftig maskin man har men av hvor komprimerbare dataene er.

 

Edit: Godt svart pekle

Endret 25. mai 2004 av Simen1

[Hardfredd]

Dette er noe av det råeste innen komprimering. Denne filen veier bare 65, 196 bytes. Se selv dere blir garantert imponert!

 

HER!!!

Endret 25. mai 2004 av Hardfredd

[inaktiv000]

Ganske heftig demo Må være smarte folk som lager slikt

[_Xorcist]

Det jeg kunne tenke meg å se er filmer komprimert i mindre størrelser.

Ettersom de fleste filmer er widescreen, er det mye unødvendig data som ligger i de svarte feltene. Da disse er gjennomgående svarte i alle widescreen filmer vil det jo egentlig ikke være nødvendig å ha de med. Så vist det ikke er slik video komprimeringen fungerer i dag vil jo kanskje dette gi litt mindre filmer? Kanskje konstant svart allerede bruker lite plass?

Veldig ofte er det ikke noen sorte felter oppe og nede i selve kildefilen. Med mindre en widescreen kilde er komprimert av en mindre begavet person til f.eks. XviD så inneholder filmen kun informasjon om selve bildet. Bildet er rett og slett ikke i samme aspekt som skjermen din, men vises midt på skjermen, og da blir det automatisk sort oppe og nede. Det samme gjelder stort sett DVD også. VHS og andre analoge kilder er ikke relevant i denne sammenhengen av naturlige årsaker.

[guge]

jeg leste i illustrert vitenskap at det fantes et program som klarte å pakke 700MB ned til minimum 7MB.. noen som vet om dette eller et annet veldig kraftig pakke prog?

Hvis 700MB kunne komprimeres til 7MB uten tap betyr det at de 700MB DATA bare inneholdt 7MB INFORMASJON.

 

En fil kan ha veldig mye redundans, komprimering går ut på å fjerne den. En god definisjon av forskjellen på data og informasjon er at data kan komprimeres, informasjon kan ikke komprimeres.

 

Noen ganger skal det mye datakraft til å avdekke og fjerne redundans, så det hjelper med en kraftig maskin. Jeg viser til tankeeksperimentet mitt i en tidligere post i denne tråden.

 

Ellers vil jeg nevne at jeg bare leser illudert vitenskap hos tannlegen, og det er blitt en stund siden. Må vel snart ta en tur.

[Geir68]

Interessant tråd!

 

I tillegg må vi skille mellom "lossless" komprimering som Zip,Rar og "Lossy" komprimering som utføres ved MP3 og XviD.

Etter oppakking av en Zip fil sitter du igjen med orginal-filen; bit for bit.

 

Ved Lossy komprimering kan man få det pakke-forholdet man vil, ved å spesifisere hvor lik den pakkede filen skal være med orginal-filen.

 

EKS: 90 min DVD-film i PAL format.

 

Dette er 90minx60s/minx25bilder/s= 135 000 bilder.

Antall pixler blir da 135 000 x 720x576 = 56 milliarder pixler.(PAL er 25fps og 720x576)

Datamengden er 3 Byte/pixel => 3 x 56x10^9 = 168 GigaByte.

 

Dette kan komprimeres til 1.5 GigaByte XviD fil med et brukbart resultat. Det vi pakker opp og ser på skjermen er altså komprimert over 100 ganger!!

 

I virkeligheten er mye informasjon gått tapt, men øyet vårt oppfatter minimalt med forskjell.

 

For å få dette til gjøres en rekke ting:

 

- Fargenøyaktigheten reduseres ganske kraftig. De fargene øyet er mindre følsomme for blir mer forandres enn de andre.Luminansen(hvor lys en pixel er) forandres mindre .

- Bildetstørrelsen reduseres fra 720x576 til 720x400 da en PC skjerm har kvadratiske pixel. En TV har "rektangulære" pixel.

- XviD (og ande video-codecer) beskriver kun forandringen fra bilde til bildet. Dette krever mye mindre informasjon enn å bygge opp hele bildet på nytt.

 

MP3 virker på samme måte, hvor de delene av lydbildet/frekvenser som øret er mindre følsomme for, foringes mer enn de resterende.

 

Geir

[madammim]

Veldig intressant det her!

 

Sitter og tenker litt, uten å ha de store kunnskapene.

 

Et bilde er jo bygd opp av pixsler, feks. 2048x1536 (i x-og y- rettningen). Dette gir 3,15 Mpixler.

Hvis man fjerner feks. annet hvert pixel i hver rettning, nr. 2,4,6,8 osv..., vil man jo få et bilde som er komprimert til 25% av orginalen.

Hvis man da lager pixel nr. 2 ut av et gjennomsnitt av pixel 1 og 3, osv, når bildet skal vises, vil det vel bli veldig nært orginalen. Tenker at siden pixlene er så små i utgangspunktet, vil det vel bli marginale forskjeller fra orginalen. Eller...?

 

Etter at bildet er komprimert til 25%, kan det fortsatt komprimeres videre med andre metoder (fjerne like koder), slik at bildet blir enda mindre.

 

Er dette mulig?

[Simen1]

madammim:

Jepp, det er mulig. Du har helt rett i at det går an å komprimere bilder slik du beskriver, men i virkeligheten vil det bli et ganske dårlig resultat. .jpg er for eksempel my mer avansert og bruker andre metoder som bevarer mer av kvaliteten og tar ennå mindre pass.

 

JPG deler bildet opp i mange bolker a 8x8 pixler. Hver av disse bolkene får tildelt noen få konstanter som skal beskrive alle 64 pixlene. F.eks A=5, B=86, C=129 D=45, E=252. Disse konstantene tar svært lite plass (i dette tilfellet 5 verdier a 1 Byte hver). Jpg er egentlig en algoritme, og konstantene settes inn i algoritmen for å beskrive fargen der.

 

For eksempel kan algoritmen se slik ut:

Rødfarge i pixel (X,Y) = A*X*Cos(Pi*B/256) + C*Y

Grønnfarge i pixel (X,Y) = D*X*Cos(Pi*B/256) + C*Y

Blåfarge i pixel (X,Y) = E*X*Cos(Pi*B/256) + C*Y

 

Ok, nå skal jeg ikke si at jeg har peiling på jpg-algoritmen for det har jeg ikke. Dette er bare et forenklet eksempel som beskriver 64 pixler ved hjelp av bare 5 byte. I virkeligheten så er det mange forsjellige algoritmer(formler) for hver 8x8 bolk der jpg-pakkinga velger ut den beste algotitmen blandt mange og setter inn kanskje 10-50 konstanter som gjør at ligninga beskriver de 64 pixlene best mulig. I tillegg kan det også medfølge et 8x8 kart med 1-2bits fargedybde som korrigerer mange av de feilene algoritmen/formelen har gjort. Til sammen tror jeg hver bolk beskrives av 1byte for type algoritme, ~20byte for konstanter til algoritma ved vanlig pakkeratio, og ca 8x8x3bit for korreksjon. Totalt ca 24 Byte for beskrivelse av 64pixler. Dette er i såfall en sterk komprimering, da tilsvarende størrelse i BMP-formatet blir 8x8pixler * 1 byte per farge * 3 farger = 192 Byte. Pakkeratioen er altså 1:8 i dette tilfellet. Andre ganger er bildet svært enkelt bygget opp, og algoritmen som velges er mye enklere. F.eks en helt hvit bakgrunn vil kunne komprimeres til 4 Byte. 1 Byte for å velge algoritmen "konstant farge over hele bolken", og 3 Byte for å definere eksakt farge.

 

Når det gjelder hele bilder (større enn 8x8 pixler) så settes disse sammen av mange bolker a 8x8 pixler, der hver bolk har hver sin "best fit" algoritme og det antallet konstanter og evt korreksjon til slutt. Pakkeratioen vil altså avhenge av hvor enkelt bildet er, noe som stemmer med praksis. (ganske ensfargede jpg-bilder lar seg ofte pakke til 1:50 eller bedre, mens f.eks et bilde av lyng, en skog, og en drøss med detaljer så tar bildet langt større plass. F.eks 1:2 med samme kvalitetsetting.

Endret 26. mai 2004 av Simen1

[Lacim]

Det er jo dette prinsippet som brukes når man ønsker å ødelegge for andre. Husker DALnet ble bombet at slike pakker for noen år siden.

[JKJK]

En ting jeg har spekulert på LENGE! Nå oppfordrer jeg ikke til warez, men den komprimeringsmetoden enkelte grupper bruker når de legger ut rips av forskjellige spill er sinnsykt hissig! Har lastet ned wrz spill der installasjonsfilene er nede i underkant av 100 MB, og når spillet er ferdig installert (hvilket som regel tar veldig lang tid pga. hissig komprimering) er spillet opptil 5-600 MB! Noen som vet hvilken metode de bruker??

 

Ang Telenors ISDN turbo var dette bare at man slo på "enabler software komprimering" under nettverksinstillingene for dialupen. Dette var i utgangspunktet påslått som default på de aller fleste ISDN kort.

[Stonescream]

Dersom du har sett på kraftig komprimerte jpg bilder kan du se at det danner ser litt store firkanter rundt om på bildet.

 

Dette på grunn av måten algoritmen jobber på.

 

om jeg ikke husker helt feil fra forelesningen 2 år tilbake var det slik at algoritmen tar 8x8 pixler, og tar ut ekstremverdier. feks om du har

44444444

44449444

44448444

44447444

44444444

osv..

 

vil den tolka tallene over 4 som strengt tatt ikke nødvendige.

hvert tall her vil representere en farge.

Så da istedet for å huske på alle de ulike fargene kan en si at i området 8x8har en farge 4.

 

Ulempen blir som sagt tidligere at en slik algoritme tar å reduserer slik over hele bildet og du får de 4 kantene temmelig fort.

 

En annen mulighet er å ha algoritmer som "forstår" bilder og forsøker å redusere antallet farger i områder av bildet som ikke er viktig. Feks. ha høy komprimering på himmelen, mens brudeparet i bildet reduseres mindre i kvaliteten.

 

mener å huske dette ble kalt wavelength, waveleth eller no i den dur...

 

Som tidligere sagt tar en bort informasjon som en ikke får tilbake med slik komprimering. En endrer filinfoen.

 

zip, rar og videre forsøker bare å lagre informasjonen mer effektivt.

istedet for 000000011111111100000000

så : 7x0, 9x1, 7x0 osv.

problemet en får da er når filene ser mer ut som 0100101001001o1oo111ooo

som folket ser vinner en ikke noe på å benytte slik komprimering på en datafil av denne typen. 1x0,1x1,2x0...

så filmer med stor variasjon i fargeinformasjonen + lyd kan ofte bli større etter å ha bli lagt i rar filer en det xvid filmen i utgangspunktet var.

 

dersom noe feil, så si fra... som sagt en forelesning for 2 år siden sitter ikke som et skudd.

Endret 26. mai 2004 av Stonescream

[Rookie_NO]

Kan også tenke meg at mange brukte begge isdn-linjene til å doble hastigheten sin...