SSD-tråden: info om og diskusjon rundt SSD

[johome]

 

 

 

 

Haha Linux og FreeBSD greier fint 500k iops i les og skriv på 4kb og med SYNC write. Ikkje kom å si at Windows er optimalisert

Post et 4k random read @ QD=1 resultat som er bedre da

Ikkje kom her å si at linux kan brukes til alt. Blir som å sammenlikne epler og bananer...

 

 

Gjor jo det for 2 veker sidan.

fio --filename=/dev/nvd1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=16 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=1
...
fio-3.1
Starting 16 processes
Jobs: 16 (f=16): [W(16)][100.0%][r=0KiB/s,w=1919MiB/s][r=0,w=491k IOPS][eta 00m:00s]
journal-test: (groupid=0, jobs=16): err= 0: pid=53380: Wed Oct 18 16:37:49 2017
write: IOPS=469k, BW=1833MiB/s (1922MB/s)(107GiB/60001msec)
clat (usec): min=14, max=2656, avg=32.42, stdev=16.35
lat (usec): min=14, max=2656, avg=32.57, stdev=16.35
clat percentiles (usec):
| 1.00th=[ 19], 5.00th=[ 20], 10.00th=[ 21], 20.00th=[ 22],
| 30.00th=[ 23], 40.00th=[ 24], 50.00th=[ 26], 60.00th=[ 28],
| 70.00th=[ 32], 80.00th=[ 44], 90.00th=[ 58], 95.00th=[ 66],
| 99.00th=[ 90], 99.50th=[ 99], 99.90th=[ 121], 99.95th=[ 130],
| 99.99th=[ 184]
bw ( KiB/s): min=67121, max=125237, per=6.24%, avg=117076.99, stdev=9138.57, samples=1904
iops : min=16780, max=31309, avg=29268.98, stdev=2284.61, samples=1904
lat (usec) : 20=6.55%, 50=79.29%, 100=13.70%, 250=0.45%, 500=0.01%
lat (usec) : 750=0.01%, 1000=0.01%
lat (msec) : 2=0.01%, 4=0.01%
cpu : usr=6.85%, sys=20.10%, ctx=31796952, majf=0, minf=0
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwt: total=0,28155381,0, short=0,0,0, dropped=0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
WRITE: bw=1833MiB/s (1922MB/s), 1833MiB/s-1833MiB/s (1922MB/s-1922MB/s), io=107GiB (115GB), run=60001-60001msec

 

 

 

 

Siden det ikke kom noe svar på ytelsen til FreeBSD som jeg spurte om , så har jeg gjort en liten research.

Anandtech har testet Optane med fio , der OS er Ubuntu Linux 16.10, med kernel 4.8.0-22

 

5 screenshots i spoiler :

 

 

 

 

 

 

Windows 2008 Server:

 

 

 

 

Random Read QD1 er det en 1%  fordel 2008 Server

Random Write QD1 er det faktisk 7% bedre ytelse til fordel 2008 Server

 

QD16 er så og si helt lik.

 

 

Windows Server har kjørt testen i incompressible mode.

Etter hva jeg har forstått , så er det bare mulig å kjøre fio i compressible mode.

[Nizzen]

Bra jobba

[siDDis]

QD er bare relevant for asynkron IO, ergo lite interessant. Istadenfor burde dei fyre opp antall threads og aktivere sync. Sync i Windows er ein katastrofe. Og det er ein grunn til at f.eks SQL Server bruker direct IO og handterer sync sjølv. Eit godt eksempel er SQLite som bruker Windows sin eigen sync, vanvittig forskjell.

 

Så Anandtech køyre ein teoretisk benchmark basert på asynkron oppførsel, mens eg køyre ein benchmark basert på synkron oppførsel som er relevant for reelt arbeid.

 

Ergo Anandtech er noobs.

[siDDis]

F.eks, fio async og OS caching

 

 

sudo fio --filename=/dev/nvme0n1 --direct=0 --sync=0 --rw=write --bs=4k --numjobs=16 --iodepth=16 --runtime=10 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=psync, iodepth=16
...
fio-2.16
Starting 16 processes
Jobs: 12 (f=12): [_(1),f(2),_(1),f(1),_(2),f(9)] [100.0% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 00m:00s]      
journal-test: (groupid=0, jobs=16): err= 0: pid=1263: Thu Nov 23 14:04:52 2017
  write: io=183429MB, bw=18328MB/s, iops=4692.4K, runt= 10008msec
    clat (usec): min=0, max=116056, avg= 2.78, stdev=163.67
     lat (usec): min=0, max=116056, avg= 2.89, stdev=166.80
    clat percentiles (usec):
     |  1.00th=[    0],  5.00th=[    1], 10.00th=[    1], 20.00th=[    1],
     | 30.00th=[    1], 40.00th=[    1], 50.00th=[    1], 60.00th=[    1],
     | 70.00th=[    1], 80.00th=[    2], 90.00th=[    2], 95.00th=[    2],
     | 99.00th=[    3], 99.50th=[    3], 99.90th=[    5], 99.95th=[   11],
     | 99.99th=[ 3920]
    lat (usec) : 2=70.24%, 4=29.40%, 10=0.31%, 20=0.03%, 50=0.01%
    lat (usec) : 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%
    lat (msec) : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%, 50=0.01%
    lat (msec) : 100=0.01%, 250=0.01%
  cpu          : usr=12.22%, sys=35.62%, ctx=12751, majf=0, minf=162
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=46957894/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=16

Run status group 0 (all jobs):
  WRITE: io=183429MB, aggrb=18328MB/s, minb=18328MB/s, maxb=18328MB/s, mint=10008msec, maxt=10008msec

Disk stats (read/write):
  nvme0n1: ios=67/6589, merge=0/2138496, ticks=44/689756, in_queue=700264, util=76.94%
 

 

Dette er ekte tall som ein kan forvente seg ved vanlig bruk der applikasjoner bruker async IO, samtidig seier dei ingenting om den faktiske ytelsen til disken.

[Nizzen]

billigste 2TB ssd?

 

https://www.komplett.no/product/898528/datautstyr/lagring/harddiskerssd/ssd-25/crucial-mx300-2tb-25-ssd?offerId=KOMPLETT-310-898528#

 

BF

 

4 699

[mandela]

Hva kan man gjøre med m.2 NVMe-er som fjernes fra bærbare PC-er ved oppgraderinger?

 

Før i tiden kunne man kjøpe et 2.5" USB 2 og senere USB3 kabinett og få eksterne "disker" ut av overskuddsproduktene.Har søkt litt etter eksterne USB / thunderbolt-kabinetter for m.2 NVMe uten å finne annet enn suspekte kinesiske produkter.

 

Jeg har fått inntrykk av at videresalg er lite aktuelt da det mangler patente måter å utføre sikker sletting av en SSD (ekvivalent til dban på hdd) på grunnet spare area osv, stemmer det?

Dessuten er det typisk 128GB og 256GB størrelser som byttes ut, og disse er vel lite populære på brukten?

Endret 2. desember 2017 av mandela

[Nizzen]

128gb er for lite for de fleste, men et par 256GB i raid-0 er innafor. Forza 7 tar jo f.eks ca 100GB

[mandela]

Så hva gjør man med m.2 NVMe-er en får til overs ved en oppgradering? (bærbar-brukere)

Endret 2. desember 2017 av mandela

[Gabri3L]

Om det er et stort problem fordi du ender opp med haugevis av dem. Så er kanskje denne et alternativ? Selv 128GB disker kan rive skinnet av pølsa når man setter 4 av dem i RAID..

[Simen1]

Spare area er noe SSDens kontroller styrer. Brukerne har null kontroll over blokker som er markert utslitte og kan heller ikke lese fra de. Dine data er altså trygge. Både de som du sletter selv og de som SSDen gjør utilgjengelige (etter å ha kopiert innholdet til friske områder). PS. HDD bruker samme teknikk til å flytte rundt på data etter hvert som noen sektorer blir utslitte. I gamle dager (fram til ca midten av 90-tallet) adresserte man diskens sektorer direkte. Etter den tid adresserer man et virtuelt adresserom. Disken oversetter selv mellom det virtuelle og det fysiske adresserommet. Blant annet fordi det forenkler flytting av data fra slitte områder til friske områder uten at de behøver å fysisk skrive over de slitte områdene. Disse områdene forblir irriversibelt utilgjengelig til evig tid.* (det skal sies at organisasjoner med store ressurser, avansert utstyr og veldig god tid, kan hente ut fragmenter av rester fra spare area, omtrent som å tømme makuleringsmaskinen og prøve å finne matchende papirbiter, så metoden er ikke godkjent for statshemmeligheter etc.

 

Mitt tips er å legge de ut på brukten. Er forøvrig interessert i noen selv om prisen er ok.

[mandela]

Takk for svar.

 

Lurer på om Intel virkelig har forbudt OEMs å selge "unpopulated bus-powered Thunderbolt 3 PCIe M.2 enclosures" og om dette forbudet fortsatt gjelder:

 

http://www.tomshardware.co.uk/answers/id-3292606/enclosure-nvme-ssd-xps-9550.html#r19123552

[Betroz]

Intel SSD 750, NVMe vs Intel Optane 900p NVMe :

 

Jeg testet å pakke ut en 7z fil som bestod av en mappe med 531 dokumenter av ulik filtype og størrelse, totalt 849MB. Testet så å pakke ut fra Intel 750 til seg selv, og fra Optane 900p til seg selv for å se hvilken som var raskest. Resultatet? 11.48 sec på begge - altså ingen forskjell 

 

Så kopierte jeg en mappe med 9266 bilder av ulik størrelse, totalt 35.3GB, fra Intel 750 til seg selv, og samme for Optane 900p. Her klarte Optane det på 46.06 sec, mens Intel 750 brukte 62.66 sec.

 

Første testen var kanskje mer begrenset av CPU og RAM ytelse da, men basert på disse to "real-world" testene er det liten forskjell mellom disse SSD'ene. Når jeg skal navigere rundt i Windows, åpne programmer og spill og slikt, så merker jeg ingen forskjell heller. Vet ikke om det var Anandtech eller hvem som sa det, men dagens filsystemer og programmer er fortsatt kodet for bruk på gamle harddisker. Faktisk lurer jeg på å sende Optane i retur, og heller bruke min Intel 750 et par år til...

[siDDis]

7z er 100% begrensa av cpu.

 

Mesteparten av data leser du via ram, så for vanleg bruk merke du ingen forskjell. Men for tyngre skriving så har du fort 10x betre ytelse med Optane.

[Betroz]

7z er 100% begrensa av cpu.

 

Mesteparten av data leser du via ram, så for vanleg bruk merke du ingen forskjell. Men for tyngre skriving så har du fort 10x betre ytelse med Optane.

 

Stemmer. Jeg var i utgangspunktet mer interessert i den gode 4K QD1 les ytelsen til Optane jeg da, men som jeg sa jeg merker heller ikke noe til den ved vanlig bruk mot en Intel 750 SSD.

[siDDis]

De fleste leser 4k QD1 fra RAM etter noen minutters bruk.

[Betroz]

For å bruke Gimp oppstartstid her (Photoshop alternativ) som et eksempel : Det programmet starter opp raskere under Linux på en 840 PRO SSD enn det gjør fra en Optane under Win10... Det sier mye om hvordan programvare er optimalisert og ikke!

[Nizzen]

For å bruke Gimp oppstartstid her (Photoshop alternativ) som et eksempel : Det programmet starter opp raskere under Linux på en 840 PRO SSD enn det gjør fra en Optane under Win10... Det sier mye om hvordan programvare er optimalisert og ikke!

Kan dette være at fordi linux bruker all ram tilgjengelig hele tiden?

[Betroz]

 

For å bruke Gimp oppstartstid her (Photoshop alternativ) som et eksempel : Det programmet starter opp raskere under Linux på en 840 PRO SSD enn det gjør fra en Optane under Win10... Det sier mye om hvordan programvare er optimalisert og ikke!

Kan dette være at fordi linux bruker all ram tilgjengelig hele tiden?

 

 

Nå er ikke Gimp så stort at det maxer ut RAM jeg har akkurat da, så jeg kan ikke skjønne at det har noe med det å gjøre. Åpnet ikke noe bilde i det, bare testet å starte opp selve programmet.

[mandela]

Intel RST vs Windows 10 NVMe vs Samsung NVMe driver, er det en som anbefales framfor de andre?

 

Har en Dell XPS hvor Windows 10 var installert med "Raid", ikke "AHCI" slått på i BIOS-en.

Jeg mistenker at det er denne innstillingen (til tross for at den ser ut til å gjelde SATA, ikke PCI-E?) som gjør at jeg ikke får installert Samsung Magician, så jeg får kanskje ikke brukt Samsung driveren uansett med mindre jeg reinstallerer Windows?

[mandela]

Fant ut av det, under "episode 6": https://medium.com/@sebvance/how-to-upgrade-a-dell-xps-15-9550-to-a-samsung-960-evo-nvme-m-2-ssd-1d64eed914a9

Endret 8. desember 2017 av mandela