Lyttetest MP3 versus ukomprimert

[Distressor]

Jeg tenkte å poengtere i fasiten som presenteres i morgen feilkildene, men vi kan jo skrape borti noe av det her. Jeg tror vel de fleste som bidrar her er klar over at dette ikke på langt nær kan karakteriseres som en vitenskapelig test. Å gjennomføre en "vanntett" studie hvor jeg har kontroll på alle variablene via et nettforum er et fåfengt prosjekt, og jeg synes jeg gjorde ambisjonene rimelig klare i åpningsposten (som du også siterer). Utgangspunktet mitt er å avsløre om det virkelig er så rasende lett å skjelne MP3 fra lossless, slik mange hevder, ikke hvorvidt det er mulig eller ei - for det er det. Dersom det er så rasende lett, burde filen stikke seg ut i statistikken godt over de andre, men man må selvsagt også regne inn statistisk signifikans i bildet når vi ser på tallmaterialet. I tillegg baserer jeg meg jo på en selvselekterende gruppe hvor kanskje de som mener det er så lett å finne en MP3 ikke befinner seg, samt at folk er ærlige når de analyserer filen, og ærlige når de avlegger sin stemme. Metodikken her kan selvsagt diskuteres, og jeg synes det er åpenbart at resultatet ikke er noe jeg ville forsøkt å få publisert i journalen til Audio Engineering Society. Du kritiserer testen for å ikke være vitenskapelig, når jeg samtidig aldri noensinne har gitt utrykk for at den er det (snarere tvert i mot, det går rimelig klart frem av ambisjonsnivået i åpningsposten).

 

Ellers er noe av det jeg stadig vekk ser vende tilbake, at eksemplene som velges av ulike årsaker ikke egner seg. Enten er det for mye dynamikk, det er for lite dynamikk, det er for lite diskant, det er for lite bass, det er for lite eller for mye stereoseparasjon, det er for lite eller for mye rominformasjon, rominformasjonen er "feil", lydbildet er for nakent, lydbildet er for massivt, det skulle blitt brukt et kjent musikkstykke, det skulle blitt brukt et ukjent musikkstykke, det er for langt strekk, det er for kort strekk osv. Alltid dukker det opp unnskyldninger for hvorfor akkurat det-og-det eksempelet gjorde det ekstra vanskelig å høre noen tydelige artifakter, og årsakene er aldri konvergerende.

 

Det er ikke foretatt noen form for støyreduksjon i eksempelet, og det er brukt instrumenter av høy kvalitet, mikrofoner og preamper av studiokvalitet (Røde, Beyerdynamic, Shure, sE Electronics), samt Pro Tools som arbeidsplattform med anerkjente prosessorer fra Waves, McDSP og Steven Massey. Det er mikset av meg med aktive Dynaudio studiomonitorer, kryssjekket på ulike hi-fi anlegg og bilstereoer og detaljkontrollert med Beyerdynamic hodetelefoner av studiotypen.

Endret 16. februar 2013 av Distressor

[efikkan]

De som hevder at det er "lett å høre forskjell på all musikk" tar åpenbart feil, som jeg forklarte over. Du skal lete godt for å finne musikk etter 1980 der det er godt hørbar forskjell, og musikken før det er det vanskelig å finne i en form som ikke har blitt remastret på "feil" måte.

 

Så oppsummert, de påståelige som sier det er kjempeforskjell på all musikk tar feil. De som påstår det finnes ingen hørbar forskjell tar også feil.

 

Nå har jeg ikke lyttet på klippet ditt, men selv om vi skulle anta du hadde en perfekt kandidat til en slik test, så vil såpass mange valgalternativer og få tester(1 test) gjøre det umulig å skille ut støy og placebo i resultatene.

Endret 16. februar 2013 av efikkan

[Distressor]

Det siste poenget ditt er riktig dersom det er vanskelig å skjelne MP3 fra lossless, selv med høybitrate. Mange hevder dette er enkelt, og det er grunnlaget for hele denne uvitenskapelige, uformelle testen. Jo vanskeligere det er, jo mer vil det statistiske signalet forsvinne i støyen, gitt et tilstrekkelig tallmateriale som ikke gir for stor grad av tilfeldige opphopninger.

 

Grunnen til at jeg valgte så mange, var at jeg regnet med at det ville være færre som deltok enn det som ble realitetene (så for meg 10 - 15 stemmer utifra responsen på WiMP-tråden) - tanken var å "vanne" ut sjansen for statistisk opphopning. Med stort nok antall deltagere, ville det holdt med to eksempler.

Endret 16. februar 2013 av Distressor

[efikkan]

Problemet er at jeg ser for meg at folk i ettertid vil tolk testen din som "bevis" på at det ikke er hørbar forskjell på noe musikk, når testen din egentlig prøver å påvise at det ikke er en universell kjempeforskjell. Men samme hvordan du ser på det så er det ikke nok statistisk grunnlag til å trekke noen som helst konklusjon.

 

Men slik det meste av musikk er mikset, så er det ikke noe betydelig tap på å komprimere til god MP3 (LAME, 320kb/s). Det betyr ikke at det ikke finnes musikk der det kan være hørbart tap.

Endret 16. februar 2013 av efikkan

[Distressor]

Jeg synes du levner meg litt lite cred her, og jeg synes du forskutterer litt mye, all den stund jeg ikke har presentert hverken resultat, mine tanker rundt feilkilder eller noen konklusjon og argumentasjon. Ambisjonsnivået er rimelig greit skissert i førsteposten, synes jeg. Jeg kan jo godt avsløre at mitt personlige utgangspunkt er som ditt - det finnes hørbare forskjeller om man virkelig går ned i mikrokosmos i musikken, men de som kategorisk hevder at nær sagt all musikkglede forsvinner (satt litt på spissen) ved kompresjon via psykoakustisk modellering, omtrent uavhengig av bitrate, har neppe testet det ordentlig selv, og jeg mener en god del overvurderer sin egen evne til å faktisk skjelne mellom lossless og lossy - når variablene er fordelsmessige for sistnevnte. Det virker som om du har større ambisjoner med denne testen enn det jeg har selv.

 

Jeg tviler på at jeg kunne fått alle som har deltatt her til å være med på en runde til med samme test, men med bare 2 eksempler - men det ville jo vært interessant.

Endret 16. februar 2013 av Distressor

[efikkan]

Jeg er absolutt enig i motivasjonen for å utføre testen, og som sagt vil jeg gi deg ros for det.

 

Men dessverre så blir resultatet av testen (uansett utfall) dessverre verdiløst siden det ikke gir grunnlag for å hevde noe mer enn uten testen. En test av tilstrekkelig omfang anser jeg uansett som nærmest urealistisk å få til, uten enorm innsats eller brudd på div. opphavsretter. Når det er sagt så skulle jeg virkelig ønske at en slik test ble gjennomført.

[Distressor]

En liten kuriosa i så måte: AES hadde en stor blindtest av SACD versus vanlig CD for noen år tilbake hvor konklusjonen var at ingen av forsøkspersonene var i stand til å, med noen grad av konsistens, avgjøre om det var SACD eller vanlig 44.1 KHz 16-bit CD-lyd som ble avspilt.

 

Studien er dessverre bare tilgjengelig for medlemmer av AES, men her er en artikkel som omhandler den.

[fa2001]

Så resultatet mitt: valgte en av de to mest "populære", og hadde også den andre populære og en annen som favoritter. Det gjorde ikke mye forskjell med Dolby Headphone av eller på. Hørte like dårlig forskjell på et "bra" Asus ST lydkort og et "dårlig" Asus USB U1 lydkort som til og med er litt ødelagt og har litt støy. Begge hadde sample rate konvertering til 48kHz for jeg glemte å sette den til 44.1kHz. Hodetelefoner Beyer DT 770 Pro.

 

Edit: fjerner vagt hint som uansett bare hjelper etter man har stemt

Endret 17. februar 2013 av fa2001

[Agrippa]

Jeg har en rekke HiFi-kompiser som opp gjennom årene hardnakket har påstått at MP3 er noe ræl uansett og aldri kan låte godt. De fleste har imidlertid sittet igjen med skjegget i postkassa etter at de ikke har klart å skille skitt og kanel spilt over anlegget hjemme hos meg. For min egen del har jeg en tommelfinger-regel som sier at med gjennomsnittlige søppelinnspillinger, la oss si rundt 90% av all pop, hip-hop, r&b, etc, holder det å rippe til 192kb/s, siden de lydmessig er pre-f*cked allerede ved innkjøp. 256kb/s er ok for rimelig gode innspillinger og virkelig gode innspillinger trenger 320kb/s.

 

Uansett, testen er et fint tiltak, om ikke annet enn som et lite stykke folkeopplysning og for å gi en og annen en liten realitetsorientering. Å si at resultatet er verdiløst okke som er en åpenbar skivebom, med mindre Distressor har som formål å publisere dem i et vitenskapelig tidsskrift. Noe han vel ikke har.

Endret 16. februar 2013 av Agrippa

[Distressor]

Jeg har en rekke HiFi-kompiser som opp gjennom årene hardnakket har påstått at MP3 er noe ræl uansett og aldri kan låte godt.

 

(...)

 

Uansett, testen er et fint tiltak, om ikke annet enn som et lite stykke folkeopplysning og for å gi en og annen en liten realitetsorientering. Å si at resultatet er verdiløst okke som er en åpenbar skivebom, med mindre Distressor har som formål å publisere dem i et vitenskapelig tidsskrift. Noe han vel ikke har.

 

[efikkan]

En liten kuriosa i så måte: AES hadde en stor blindtest av SACD versus vanlig CD for noen år tilbake hvor konklusjonen var at ingen av forsøkspersonene var i stand til å, med noen grad av konsistens, avgjøre om det var SACD eller vanlig 44.1 KHz 16-bit CD-lyd som ble avspilt.

 

Studien er dessverre bare tilgjengelig for medlemmer av AES, men her er en artikkel som omhandler den.

Slik jeg ser det grenser det som overgår "CD-kvalitet" opp mot det som er mulig å skille med menneskelig hørsel, så SACD og HDCD anser jeg som unødvendig i seg selv.

 

Men SACD har hatt én positiv effekt, at mikserne fokuserte på lydkvalitet og dynamikk, selv om SACD mot CD i sluttproduktet har muligens "ingen" effekt.

 

Jeg har en rekke HiFi-kompiser som opp gjennom årene hardnakket har påstått at MP3 er noe ræl uansett og aldri kan låte godt. De fleste har imidlertid sittet igjen med skjegget i postkassa etter at de ikke har klart å skille skitt og kanel spilt over anlegget hjemme hos meg. For min egen del har jeg en tommelfinger-regel som sier at med gjennomsnittlige søppelinnspillinger, la oss si rundt 90% av all pop, hip-hop, r&b, etc, holder det å rippe til 192kb/s, siden de lydmessig er pre-f*cked allerede ved innkjøp. 256kb/s er ok for rimelig gode innspillinger og virkelig gode innspillinger trenger 320kb/s.

Jeg har møtt på nok av den slags jeg også, og er skjønt enig i at mye musikk kan komprimeres en del uten merkbart tap.

 

Nå tør jeg nesten påstå at en del av den musikken ikke heller et produsert for å lyttes på, men mer designet som "bakgrunnsstøy" til trening, transport, jobbing osv.

 

Uansett, testen er et fint tiltak, om ikke annet enn som et lite stykke folkeopplysning og for å gi en og annen en liten realitetsorientering. Å si at resultatet er verdiløst okke som er en åpenbar skivebom, med mindre Distressor har som formål å publisere dem i et vitenskapelig tidsskrift. Noe han vel ikke har.

Hvis testen bidrar til at folk søker mer informasjon og får et mer realistisk bilde så er det veldig bra.

Hvis testen bidrar til at flere påstår at lydkvalitet er irrelevant så er det ikke bra.

[Distressor]

Jeg håper å nyansere dette i konklusjonen, så folk ikke kan peke på tråden og bruke den kategorisk til inntekt for det ene eller andre ekstreme synspunktet.

[ATWindsor]

Slik jeg ser det grenser det som overgår "CD-kvalitet" opp mot det som er mulig å skille med menneskelig hørsel, så SACD og HDCD anser jeg som unødvendig i seg selv.

 

Men SACD har hatt én positiv effekt, at mikserne fokuserte på lydkvalitet og dynamikk, selv om SACD mot CD i sluttproduktet har muligens "ingen" effekt.

 

 

Multikanal er jo også noe som gir vesentlig forbedret lydbilde, men det har dessverre blitt lite utbredt.

 

AtW

[efikkan]

Jeg håper å nyansere dette i konklusjonen, så folk ikke kan peke på tråden og bruke den kategorisk til inntekt for det ene eller andre ekstreme synspunktet.

Det ser jeg frem til

Det er ikke meningen å være unødvendig hard, men jeg tror du vet hvor jeg vil.

 

Multikanal er jo også noe som gir vesentlig forbedret lydbilde, men det har dessverre blitt lite utbredt.

Helt sant, men igjen spørs dette hvilken musikk det er. F.eks. et konsertstykke med orkester kan absolutt gi en annen opplevelse i surround. Endret 16. februar 2013 av efikkan

[Distressor]

Kunsthodestereoopptak av orkestre er ganske fascinerende.

 

Det er ikke meningen å være unødvendig hard, men jeg tror du vet hvor jeg vil.

 

Berettiget, begrunnet og konstruktiv kritikk har aldri plaget meg, men jeg tillater meg å svare og komme med mine synspunkter også - og jeg mener at du tar tråden for mer enn hva den er tiltenkt å være.

Endret 16. februar 2013 av Distressor

[ATWindsor]

Det ser jeg frem til

Det er ikke meningen å være unødvendig hard, men jeg tror du vet hvor jeg vil.

 

Helt sant, men igjen spørs dette hvilken musikk det er. F.eks. et konsertstykke med orkester kan absolutt gi en annen opplevelse i surround.

 

Det aller meste vil gi en bedre opplevelse i surround, forutsatt at det er kompetent mikset såklart, noe det alltid er litt rot med når slike endringer skjer.

 

AtW

[Maxopp]

Det er jo dette som ødelegger cd'er.

http://www.youtube.com/watch?v=3Gmex_4hreQ

Den siste cd jeg kjøpte som har bra lyd var Pink Floyd Division Bell.

Det er jo klart at når en cd ikke har dynamisk omfang er det vanskelig å skille de fra en komprimert utgave.

Endret 16. februar 2013 av Maxopp

[efikkan]

Det aller meste vil gi en bedre opplevelse i surround, forutsatt at det er kompetent mikset såklart, noe det alltid er litt rot med når slike endringer skjer.

Surround-oppsett kan være en del vanskeligere å få til riktig, men under forutsetning at alt er perfekt oppsatt og mikset, og pris har ingen betydning så er jeg enig

[PaladinNO]

Det som jeg finner interessant med svarene er at det blir færre og færre stemmer til de siste klippene - hvis man ser på svarlisten som en skala, så går den kraftig nedover mot slutten.

Jeg regner med at alle, ihvertfall nesten alle, har startet lyttingen med klipp 1 og så fortsatte oppover...som nevnt tidligere så kan hjernen legge til og trekke fra på helt utrolige måter, så kanskje den delen av hjernen som skjelner forskjell på lyd rettogslett er "utslitt" og dermed ikke lengre klarer å registrere noen forskjell uansett mot de siste klippene.

 

Tror jeg skal prøve igjen, men denne gangen starte med klipp 8, og se hva jeg tror er det komprimerte sporet da.

 

Hvorfor sitter jeg med en følelse av når jeg gjør det, så kommer jeg til å tro at et annet spor enn det jeg allerede har stemt på er det komprimerte? Mye innbilning og placebo inne i bildet her...og hele testen vil jeg kalle psykologi på høyt plan. I like it!

[efikkan]

Ja det er nettopp derfor det bør være langt flere lytteprøver, men færre svaralternativer (helst to), og gjerne være korte tester. Psykologien får du aldri eliminert 100%, men det ville gjort det statistisk mulig å anslå noe om placebo og forhåpentligvis gjort det testsubjektene mindre anspente under test.