HGST 10TB "video artifact" problem

[Simkin]

Har en 10TB HGST NAS disk i HTPC'n, og har lagt merke til video artifacts når jeg ser filmer. Dette er "blokker/firkanter" som flytter seg i bildet og flyter utover (synlig i 1-3sek), disse er synlig enten liten del eller store deler av skjermen. Har funnet ut at hvis jeg flytter disken over til den stasjonære så er disse artifaktene på akkurat samme stedene i filmene på disken. Har backup av alle filmene mine, og der er ikke disse artifactene, så problemet er på 10TB disken min.

 

Har en haug med disker, både 4TB vanlig og 6TB HGST NAS disker men dette er første gangen jeg har opplevd dette. Har scannet disken og ingenting å finne.

 

Noen som har en ide om hva dette kan være?

Endret 15. april 2018 av Simkin

[herbiwere]

Hvilken avspiller bruker du? Har du forsøkt å kopiere dem over på den stasjonære? Gjelder dette noen få eller alle? Har du flyttet på de filmene mellom disker og SÅ er det feil på dem?

 

Skjer det random så kan det jo ligge i dekoder, avspiller eller strømmen underveis fra avlesningen på disken til visning og fjernes ved refresh. Hos meg så kan det noen ganger bli grått med andre artifakter i bildet dersom ikke nok info er lest og bufret (disken jeg noen ganger bruker setter seg i hvilemodus og spinner opp når mer blir lest av den). Evt også for lite info i selve videostrømmen pga lav bitrate satt under enkodingen. Husker ikke helt terminologien her nå men dette fjernes når VLC refresher etter noen sekunder, men det oppstår aldri på samme stedet.

 

Det kan være hardware feil på selve disken, evt kopiere fra denne 10TB disken over til en annen og se om det samme er der?

 

Men om du har sjekket harddisken grundig og utelukket hardware feil på selve disken og det oppstår på samme sted i filmen(e) så kan det kanskje tyde på soft korrupsjon eller bit-rot. I mange tilfeller så oppstår dette "silent but deadly" uten at systemet vet noe om det, og min og andres erfaring er at dette blir værre med tiden, av mange årsaker.

 

Utover bruk av ECC og backup så er du i hver fall sikret så mye som du kan egentlig. Jeg kjenner ikke til feilraten på de store diskene men det kan egentlig oppstå når som helst. Åpen for andre forslag, for dette er ikke morro når det skjer med gamle familiebilder f.eks.

[Simkin]

Bruker KODI på HTPC'n, men artifactene skjer på samme sted også i VLC og MPC-HC.

 

Kopierer jeg filmen fra 10TB disken over til desktop er artifactene på de samme plassene, men kopierer jeg fra backup disken er filmene OK. Har ganske mange filmer på den disken men de jeg har prøvd har artifacter. Har kjørt en scan av disken og alt kommer ut OK.

[Belfaborac]

Det kan også være at korrupsjonen har oppstått under overføring av filene, på grunn av en defekt kabel, dårlig kontakt eller lignende.  Det er noe som i teorien ikke skal kunne skje på grunn av innebygd CRC-sjekking, men teori og praksis sammenfaller som kjent ikke alltid.

[Simkin]

Det kan også være at korrupsjonen har oppstått under overføring av filene, på grunn av en defekt kabel, dårlig kontakt eller lignende.  Det er noe som i teorien ikke skal kunne skje på grunn av innebygd CRC-sjekking, men teori og praksis sammenfaller som kjent ikke alltid.

 

Ja, jeg mistenker også at noe kan ha oppstått under overføring av filmene.

 

Diksen står i en Icybox extern bay som tar 4 disker, har 3 slike bokser i tv benken men det kan jo hende den ikke er noe glad i 10TB disken? Jeg vet ikke.

 

Driver å formaterer disken nå så legger jeg inn igjen filmene, så får jeg se.

[siDDis]

https://en.wikipedia.org/wiki/Data_degradation

 

Hovedproblemet skyldes trolig kopieringsprosessen du har brukt der det har skjedd korrupsjon i minnet ditt. Hadde du hatt ECC minne så ville du ha fanget dette opp med en gang.

 

Når du ikkje har ECC minne så kan du jobbe rundt dette med å bruke verktøy for kopiering som brukar checksums, f.eks rsync

Du kan også sjekke at etter kopiering, så matcher checksummene på filene. MD5 eller SHA1 checksums er som regel godt nok.

 

Degradering kan også skje på disk, men ofte er dette mykje mindre der f.eks ein pixel får enn anna farge. Enterprise systemer bruker gjerne harddisker/ssd'er med 520 block størrelse der de siste ekstra 8 bytene lagrer en checksum. Konsumere kan bruke moderne filsystemer som ZFS, Hammer eller BTRFS

Per dags dato anbefaler eg helst ZFS siden det også kjem med data healing og "end to end checksumming" som også beskytter mot korrupsjon i minnet.

[Simkin]

https://en.wikipedia.org/wiki/Data_degradation

 

Hovedproblemet skyldes trolig kopieringsprosessen du har brukt der det har skjedd korrupsjon i minnet ditt. Hadde du hatt ECC minne så ville du ha fanget dette opp med en gang.

 

Når du ikkje har ECC minne så kan du jobbe rundt dette med å bruke verktøy for kopiering som brukar checksums, f.eks rsync

Du kan også sjekke at etter kopiering, så matcher checksummene på filene. MD5 eller SHA1 checksums er som regel godt nok.

 

Degradering kan også skje på disk, men ofte er dette mykje mindre der f.eks ein pixel får enn anna farge. Enterprise systemer bruker gjerne harddisker/ssd'er med 520 block størrelse der de siste ekstra 8 bytene lagrer en checksum. Konsumere kan bruke moderne filsystemer som ZFS, Hammer eller BTRFS

Per dags dato anbefaler eg helst ZFS siden det også kjem med data healing og "end to end checksumming" som også beskytter mot korrupsjon i minnet.

 

Hovedproblemet skyldes trolig kopieringsprosessen du har brukt der det har skjedd korrupsjon i minnet ditt

 

Har 6stk 4TB disker og 4stk 6TB disker også, og dette er første gang jeg har opplevd dette problemet. Jeg kopierer filmer/serier fra en USB minnepenn i front av kabinettet og har alltid gjort det slik.

 

Hva kan være den nærliggende årsaken til dette? Om du skulle gjettet?

[siDDis]

Datakorrupsjon i minnet, det er mykje meir vanleg enn det folk flest trur.

[Simkin]

Ram altså?

 

Når du nevner det, så har jeg bytta ram i HTPC'n tidligere nettopp pga video artifacts, men da var det type grønn/lilla som dekka halve tv skjermen, og det var et kjent problem på de brikkene.

Endret 16. april 2018 av Simkin

[Belfaborac]

Har 6stk 4TB disker og 4stk 6TB disker også, og dette er første gang jeg har opplevd dette problemet.

 

Datakorrupsjon i minnet, det er mykje meir vanleg enn det folk flest trur.

 

Jeg har 16 disker i kabinettet og har minst eid et par hundre gjennom årene siden jeg fikk min første datamaskin (en Dragon 32).  Så langt har jeg aldri opplevd datakorrupsjon hverken i minne eller på hard disk annet enn som resultat av en defekt disk.  Jeg har heller aldri støtt på noen andre som har nevnt det, bare lest om det i forbindelse med bruk av diverse typer software RAID.  Da blir det problematisk å tro på at det skulle være noe i nærheten av et utbredt problem ved det man kan definere som mer normal bruk....

[Simkin]

Da har jeg fått drevet på litt, uten at jeg har blitt noe klokere annet enn at jeg kan si att det mest sannsynlig ikke er noe feil med disken.

 

Jeg har 3 stk slike HDD Bay'er

 

https://www.komplett.no/product/776437/datautstyr/pc-komponenter/kabinetterbarebone/harddisk/icy-box-4-bay-external-raid-enclosure?offerId=KOMPLETT-310-776437#

 

Har nå fått kopiert alle filmene over fra backup disken og til 10TB disken, og sjekket en håndfull filmer med md5 checker, og det ser bra ut.

 

Setter så 10TB disken tilbake i Bay'en i stua. kopierer en film fra USB minnepenn og sjekker med md5 checker, feil checksum, og artifacts i filmen. Kopierer samme film til SSD systemdisk, sammenligner md5 checksum med filmen fra minnepenn, checksum OK. Kopierer filmen fra SSD til 10TB disken ,feil checksum igjen.

 

Setter 10TB disken i en av de andre Bay'ene, og checksum OK. Setter så 10TB tilbake i den Bay'en den satt i, men i et annet slot, checksum OK. Setter disken i slot 3 hvor den satt i utgangspunktet, og også nå er checksum OK.!?

 

Jeg skjønner ingenting. dette problemet har skjedd nå nylig, da jeg har sett flere filmer fra denne disken uten noe problemer, så hvorfor det fungerer å kopiere igjen etter at jeg har flytta på disken litt rundt?

 

Jeg satte også en annen HDD i slot 3 og md5 checksum var OK også da.

Endret 16. april 2018 av Simkin

[herbiwere]

 

Har 6stk 4TB disker og 4stk 6TB disker også, og dette er første gang jeg har opplevd dette problemet.

 

Datakorrupsjon i minnet, det er mykje meir vanleg enn det folk flest trur.

 

Jeg har 16 disker i kabinettet og har minst eid et par hundre gjennom årene siden jeg fikk min første datamaskin (en Dragon 32).  Så langt har jeg aldri opplevd datakorrupsjon hverken i minne eller på hard disk annet enn som resultat av en defekt disk.  Jeg har heller aldri støtt på noen andre som har nevnt det, bare lest om det i forbindelse med bruk av diverse typer software RAID.  Da blir det problematisk å tro på at det skulle være noe i nærheten av et utbredt problem ved det man kan definere som mer normal bruk....

 

 

 

Helt siden 70-80 tallet så har man vist om dette, og det blir ikke nødvendigvis bedre av å krympe DIMM modulene. Selv  GOOGLE konkluderte at selv om modulene er sårbare for lekkasjer og stråling (både internt og eksternt) så var det i mange tilfeller hovedkortene som var problemet. Feilprosenten lå totalt mellom 8-15%, og Corsair eller Intel mente det i sum kunne oppstå bit-flip mellom par ganger i mnd og par ganger i året. Dette økte igjen dersom man brukte flere moduler. Dog, selv ECC kan ikke beskytte mot HW feil dersom selve brikken har feil fra fabrikken.

 

Dessverre så er det ikke mange som har testet over lenger tid med vanlig enduser produkter, men jeg vil tro at det er av dårligere kvalitet enn såkalt enterprise. Jeg vet om mange, inkludert meg selv som plutselig har fått filer til å bli korrupt pga "ukjent" feil og som ikke blir loggført noen steder...

 

Det med checksum mener jeg er viktig, men jeg synes det er rart at det er så random noen ganger.

Endret 16. april 2018 av herbiwere

[Belfaborac]

For all del, jeg sier ikke at problemstillingen ikke er reell, bare at jeg stiller meg tvilende til hvor utbredt den er i segmentet "vanlige brukere".  Bruksmønsteret og omgivelsene produktene blir brukt i er formodentlig også drastisk annerledes hos meg kontra hos Google, med "noe" mer stråling, vibrasjoner og hva vet jeg hos sistnevnte.

 

Antagelsen om at industrielle hovedkort og RAM-brikker automatisk er av bedre kvalitet enn produkter ment for vanlige konsumenter kjøper jeg heller ikke uten videre, med mindre man utelukkende sammenligner budsjettprodukter opp mot industrielle produkter.

[siDDis]

 

Har 6stk 4TB disker og 4stk 6TB disker også, og dette er første gang jeg har opplevd dette problemet.

 

Datakorrupsjon i minnet, det er mykje meir vanleg enn det folk flest trur.

 

Jeg har 16 disker i kabinettet og har minst eid et par hundre gjennom årene siden jeg fikk min første datamaskin (en Dragon 32).  Så langt har jeg aldri opplevd datakorrupsjon hverken i minne eller på hard disk annet enn som resultat av en defekt disk.  Jeg har heller aldri støtt på noen andre som har nevnt det, bare lest om det i forbindelse med bruk av diverse typer software RAID.  Da blir det problematisk å tro på at det skulle være noe i nærheten av et utbredt problem ved det man kan definere som mer normal bruk....

 

 

Det er jo nettopp fordi du mangler verktøy som fanger dette opp. Det er ein grunn til at det kalles silent data corruption.

[herbiwere]

Jeg sier ikke at det nødvendigvis er i dette tilfellet, men jeg synes slike tester og dens random natur som er noe fascinerende, og kan i teorien oppstå hvor som helst.

 

Should every computer chip have a cosmic ray detector?

DRAM Errors in the Wild: A Large-Scale Field Study

 

Men, annen ting er å tolke de få resultatene som er...

Endret 16. april 2018 av herbiwere

[Belfaborac]

Det er jo nettopp fordi du mangler verktøy som fanger dette opp. Det er ein grunn til at det kalles silent data corruption.

 

Så du mener med andre ord at datakorrupsjonen er så "silent" at den ikke engang avslører seg i form av artefakter, vansker med å vise eller lese filer eller noen som helst andre symptomer?  At data- og filmfiler som som er langt over ti år gamle, har blitt kopiert fra disk til disk gjerne et dusin ganger eller mer og som avspilles eller leses uten synlige problemer og tester som feilfrie egentlig er korrupte og ubrukelige fordi jeg ikke bruker korrekt verktøy?

 

Eller har jeg misforstått deg?

Endret 16. april 2018 av Belfaborac

[siDDis]

Nei, det er akkurat det som er problemet, ofte fortsetter ting som normalt uten at noen legger noe merke til det. Det var punktum som blei til komma i Word. Det var ein pixel som blei litt meir gul. Av og til fikk du kanskje blåskjerm eller pcen blei rett og slett ustabil og du måtte reinstallere.

 

Den einaste måten å garantere at dataen din er lik som for 10 år sidan er å samanlikne checksums.

[Belfaborac]

Og det er akkurat det jeg gjør hver gang jeg skyfler datasamlingen fra en bunke disker til en annen.  Ikke hver eneste fil, men et tilfeldig utvalg.  Så langt uten å finne en eneste feil i løpet av rundt 16 år.

[BearCat]

Et lite tips til de som "skyfler" mye data rundt, med kopiering av filer mellom flere enheter.

Til Windows finnes det et fint (sikker flere) kopiprogram, som heter TeraCopy.

Her kan du sette opp at alle filene skal verifiseres, med checksum, slik at du ser at alle filene har blitt kopiert OK.

[herbiwere]

Et lite tips til de som "skyfler" mye data rundt, med kopiering av filer mellom flere enheter.

Til Windows finnes det et fint (sikker flere) kopiprogram, som heter TeraCopy.

Her kan du sette opp at alle filene skal verifiseres, med checksum, slik at du ser at alle filene har blitt kopiert OK.

Brukte den for mange år siden, men dessverre så støtter den ikke syncing begge veier, antidefrag eller service mode. Gikk over til dSynchronize på win siden.

 

http://dimio.altervista.org/eng/dsynchronize/dsynchronize.html

https://portableapps.com/apps/utilities/dsynchronize_portable

Endret 18. april 2018 av herbiwere