SSD vs HDD Benchmarks

[Anv]

hIOmon testing

 

I mangel av gode eller ekte (real-life) tester for å måle ytelse på lagringsmedier har jeg brukt en del tid på et verktøy som i seg selv ikke er en benchmark.

Programmet heter hIOmon og er et verktøy som logger I/O mens man kjører virkelige arbeidsoppgaver.

 

hIOmon er et verktøy for å analysere disk aktivitet og man kan konfigurere det til å logge nesten hva som helst, alt fra prosesser til I/O i spesifike kataloger eller enheter (devices).

 

Testen består i å starte en VM, dvs boote en komplett W7.

Deretter starte et utviklingsmiljø som også inkluderer en god del aktive SQL spørringer mot en database.

Deretter kompilere (full build) en applikasjon på ca 1.1mill kodelinjer og så til slutt avsluttes VM'et.

For ordens skyld, VM er en forkortelse for Virtual Machine.

 

VM'et ligger i sin helhet på den "disken" som testes, boot "disken" påvirker ikke resultatet.

 

Setup

X58-UD7, Ci7 920@4, 12GB DDR3-2000 RAM, boot drive 2R0 C300 64GB på ICH.

Kontrollere : ICH, PERC 6/i, LSI 9260-8i, LSI 9211-8i

 

VM : W7 Enterprise, et VM for utvikling som bruker 3 "disker", totalt 24,4GB.

 

Jeg har konsentrert meg om de noen av de viktigste "metrics" eller målinger på norsk.

 

Målingene er delt inn i 3 hovedgrupper som har de samme undergruppene

Hovedgruppene er

- Read

- Write

- Total

Undergruppene er

- gjennomsnittelig responstid

- maksimal responstid

- % Fast I/O (Fast I/O er all I/O som er gjennomført på under 1ms)

- gjennomsnittelig QD

- maksimal QD

I tillegg er det en egen måling for "Busy time" som rett og slett er en måling for hvor mye tid som blir brukt til diskaksess i løpet av testen.

 

Dere kan selv teste hIOmon ved å laste ned en trial. Link

Grensesnittet er greit men det har en viss terskel, det er mao ikke så enkelt som å kjøre iometer

 

Så til testingen.

 

Jeg begynte med å teste det "dårligste" av det dårlige dvs en rimelig full WD Green 2TB (EARS), det var ca 300GB ledig da testen ble utført.

Disken ville ytt bedre om den var tom men den er egentlig mest med for å illustrere hvor tregt det kan gå på en HDD og spesielt når den er full.

I motsetning til HDD vil en SSD påvirkes svært lite av om den er 20% eller 80% full.

 

Den er egentlig ingen kandidat for et slikt oppsett men er interessant for å se hvor tregt det kan gå med en HDD.

 

Screendump av resultatet for WD Green med understrekinger i rødt for de verdier som er med i tabeller og grafer.

Understrekinger i blått er andre målinger av interesse. (det er mye av interesse men man kan ikke ta med alt)

 

 

For å kommentere litt så ser vi her at gjennomsnittelig responstid ved lesing er ca 11ms og maks var helt oppe i 2 sekunder.

Ved skriving fungerer HDDer rimelig bra og er her nede i 5.3ms i snitt mens maks responstid var på 285ms eller vel et kvart sekund.

 

QD ved lesing var i snitt 3 og helt oppe i 53 som maks.

QD ved skriving var i snitt 5.3 og toppet seg ved 64.

Totalt var QD i snitt 3.26

 

Testen er satt til å måles innenfor en tidsramme på 8 minutter og det var ikke mye igjen av tiden når denne disken var ferdig

Totalt var disken i bruk i 3 minutter og 16 sekunder, resten er da prosessering og ventetid etter at testen var ferdig.

 

I de neste postene kommer flere HDDer (både single og raid) for å se hvor mye bedre en HDD kan yte og til slutt før jeg går over til SSD kommer hybriden Seagate Momentus XT.

[Anv]

Nestemann ut er den raskeste ikke hybrid disken for bærbare maskiner.

 

WD5000BEKT eller WD Scorpio Black 2.5 som er en 7200rpm disk

 

 

 

Vi ser her at ytelsen er mye bedre, total disk tid er nå nede i under 2 minutter og det hele føles betydelig mer responsivt.

Endret 21. november 2010 av Anvil

[Anv]

For å ikke bruke alt for mye tid på de neste HDDene samler jeg dem i en post.

 

Diskene som er lagt til er

 

Seagate 7200.12 1TB, en 3.5" disk som er rimelig kjapp også etter dagens forhold.

Samsung F3 1TB i raid-5 (4R5) på en PERC 6/i kontroller

WD VelociRaptor 300GB, den eneste 10.000rpm disken som er med i testen.

 

 

Som dere ser plukker de en del sekunder på "busy time" i forhold til de foregående diskene og det fungerer egentlig rimelig greit i praksis, men fort går det ikke!

Endret 21. november 2010 av Anvil

[Anv]

Så har vi kommet til hybriden, Seagate Momentus XT.

 

Denne velger jeg å utdype litt mer i og med at den har adaptiv caching.

 

Alle testene er kjørt 2 ganger og denne gangen tar jeg derfor med tallene for begge kjøringene da de er svært forskjellige.

 

 

Som vi ser er Momentus XT en potensiell VR killer, den knuser VR allerede ved første kjøring og ved neste kjøring er den nesten dobbelt så rask som VR'n.

 

Dette kan være noe misvisende da testen er repetitiv men trenden er helt klar, Momentus XT's caching kan gjøre underverk.

Endret 21. november 2010 av Anvil

[Anv]

Tiden er nå kommet for å se hva en grei SSD kan gjøre med disse tallene

 

Førstemann ut er WD SiliconEdge Blue 64GB.

 

Den har vært litt i skuddet nå i helgen siden den er/var på tilbud.

 

Som dere vil se er SSD i en helt egen klasse og WD'n gjør rent bord på alle punkter.

 

 

Løp og kjøp

 

PS!

Det kommer betydelig flere SSD'er etter middag.

Endret 21. november 2010 av Anvil

[Anv]

OK, da har vi fastslått at en SSD er i en egen klasse.

 

Spørsmålet nå er, hvor stor forskjell er det mellom de forskjellige SSD'ene?

 

Da kjører vi på videre med Vertex 2 60GB.

 

 

Vi ser her at Vertex 2 kniper noen sekunder på WD'n.

I forhold til tidligere hopp er det ikke store forksjellen mellom en av de ypperste SSD'ene og en av de som blir regnet for å være middels bra.

 

Hvis dere åpner skjermbildet vil dere se at jeg har markert et område som heter Control I/O.

 

Control I/O overvåker aktiviteter som har med TRIM å gjøre, perfekt, vi kan nå se både om TRIM fungerer og hvor lang tid det tar å kjøre TRIM.

 

TRIM tar i tilfellet Vertex 2 over 1 sekund og på den tiden sletter den ganske nøyaktig 1.5GB som tilsvarer snapshot filen som VMWare oppretter og bruker og til slutt sletter i løpet av testen.

 

 

Maks responstid ble her 1.28s og det skyldes at TRIM operasjonen tar så mye tid på en Vertex 2.

 

Dette er et kjent problem og ligger i listen over fixer som kommer i fremtidige firmware oppdateringer fra SF.

 

En annen ting som skiller seg fra tidligere tester er at QD ved skriving sank fra 63-64 til 11.

Det er en sammenheng mellom QD og ytelse, det er imidlertid ikke noe fast mønster når det gjelder max QD, det eneste som er sikkert er at max QD ved skriving er lavere på SSD enn på HDD.

Når det gjelder gjennomsnittelig QD er saken klar, jo lavere QD jo raskere går det.

Endret 21. november 2010 av Anvil

[Anv]

Da regner jeg med at det er noen som undrer på hvor det blir av Intel X25-M.

 

Svaret kommer her.

 

 

Intel er raskere enn en Vertex 2 og det skyldes i hovedsak TRIM "buggen" på SF kontrolleren. (egentlig firmwaren)

TRIM tar under 2ms å utføre på Intel vs nesten 1.3 sekunder på Vertex 2.

 

Hvis vi ekskluderer HDD ser listen nå slik ut.

 

Endret 21. november 2010 av Anvil

[GullLars]

Veldig interresant tråd. Jeg har lest førstepost og planlegger å lese resten av det som er postet. Jeg får se om jeg får tid/ork til å laste ned og teste denne selv også.

Uansett, jeg regner med dette er en tråd jeg vil følge med på og sansynligvis være aktiv deltaker i.

[Anv]

Flott GullLars,

 

Det er mye å hente på å bruke hIOmon, et glimrende verktøy.

 

--

 

Hva skal så til for å ta rotta på en Intel?

 

Svaret er at man må ta i bruk raid eller en viss favoritt som jeg ikke røper før senere

 

Da er det tid for å blande inn LSI 9260-8i og noen (2) Intel G2 i raid-0.

 

 

Her kniper vi inn ytterligere (nesten) 2 sekunder i forhold til en allerede god tid.

 

%Fast I/O overall er nå for første gang oppe i over 99%, hvor mye mer kan man hente?

 

Endret 21. november 2010 av Anvil

[Anv]

La oss kople ut LSI'en og gå tilbake til ICH igjen

 

Kan virkelig 2 stk Intel G2 (nylig renset) i raid-0 yte bedre enn en noen godt brukte på en "kostbar" kontroller?

 

Svaret er selvsagt ja

 

Det krever imidlertid WBC (write back cache) og at de er renset.

 

 

Vi er nå så nært 10 sekunder at det ikke går an å gi opp riktig enda, mer kommer...

 

Endret 21. november 2010 av Anvil

[Anv]

Da er det tid for å slippe løs Crucial C300 256GB.

 

Kan den som første single SSD yte bedre enn 2R0 Intel på ICH?

 

 

Den gjør det, men den klarer heller ikke å presse disk-tiden under 10 sekunder på ICH.

 

C300 klarer uansett noe som er ganske formidabelt, den yter i praksis like godt som 2R0 Intel G2.

 

 

Spørsmålet nå er hva den klarer når den er tilkoplet en 6Gb/s kontroller.

Endret 21. november 2010 av Anvil

[Anv]

Jeg prøvde den (C300) først på 6Gb/s onboard kontrolleren og det var ingen suksess, den yter dårligere enn ICH.

Det var ikke mye om å gjøre men uansett, den var litt dårligere.

 

Jeg koplet den så til LSI 9211-8i som en "pass-through" enhet. (ikke styrt eller konfigurert av LSI kontrolleren)

 

Resultatet ble straks bedre og det var nå endelig tid for å sprenge 10 sekunders grensen

 

 

Endret 21. november 2010 av Anvil

[endrebjo]

Jeg lurer egentlig litt på skriveytelsen til 4R5 Perc. Den er jo rimelig formidabel, men har vel ikke så mye med selve RAIDingen å gjøre antar jeg. Jeg antar at det kommer av litt (256 MB?) RAM-cache på kontrolleren, men Momentus XT kommer jo ikke i nærheten av denne til tross for at Momentus-cachen er langt større (4 GB). Det har sikkert litt med at Momentus-cachen er tregere, men såpass mye tregere er den da ikke. Kan det være at Momentus-cachen ikke brukes til skriving i noe særlig grad?

[Nizzen]

Tester du med Areca 1880 også eller? 

 

 

 

 

Spennende lesing Anvil 

 

 

[Anv]

Spørsmålet var nå, kan det bli noe raskere?

 

Jeg koplet dermed opp 3 stk Intel G2 på ICH og kjørte i gang med 3R0, strip size 16KB og den siste versjonen av RST.

(10.0.0.1046, som er den samme som har vært brukt i hele testen for ICH)

 

Svaret på dette er egentlig ganske interessant da man lenge har sådd tvil rundt den praktiske nytten av å kjøre mange "disker" i raid-0.

Det har alltid vært merkbart i benchmarks men vil det gi utslag i en praktisk test, svaret er selvsagt ja.

 

 

 

Dette er den siste testen som jeg har utført, så langt, men det vil bli flere tester av samme slag.

Da kommer det til å bli flere varianter i raid med flere SSDer.

En kontroller jeg ikke har kjørt dette på er Areca 1880, den ville utvilsomt ha tatt topp plasseringen i denne testen.

 

For å oppsummere litt.

 

Forskjellen mellom en rask HDD og en ordinær SSD er enorm både i teori og i praksis.

Forskjellen mellom en ordinær SSD og en rask SSD er også stor men det skiller egentlig fryktelig lite i forhold til forskjellen mellom HDD og SSD.

 

Et sted mellom HDD og SSD finner vi Momentus XT.

Ytelsen er til tider overraskende bra men den er ikke et alternativ til SSD, til det er ytelsen for variabel og den er i beste fall midt mellom HDD og SSD. (hvis man bringer pris inn i bildet er den et godt alternativ til HDD men pris er ikke et kriterie i denne testen)

 

ICH er en knallbra kontroller for inntil 3-4 SSDer.

 

I de neste postene vil jeg gå litt i dybden på software raid og TRIM.

Endret 21. november 2010 av Anvil

[Anv]

Jeg lurer egentlig litt på skriveytelsen til 4R5 Perc. Den er jo rimelig formidabel, men har vel ikke så mye med selve RAIDingen å gjøre antar jeg. Jeg antar at det kommer av litt (256 MB?) RAM-cache på kontrolleren, men Momentus XT kommer jo ikke i nærheten av denne til tross for at Momentus-cachen er langt større (4 GB). Det har sikkert litt med at Momentus-cachen er tregere, men såpass mye tregere er den da ikke. Kan det være at Momentus-cachen ikke brukes til skriving i noe særlig grad?

 

Momentus XT kommer langt foran PERC raidet og det skyldes flere ting.

PERC raidet var ganske fullt, rundt 500-600GB ledig, skriving er bare ca 20% av testen, aksesstiden til Momentus ved lesing (fra cachen) er det som tipper vektskålen til dens fordel.

Momentus disken er tatt litt ut av vanlig "context" i og med at den kunne cache "filer" fritt og ikke trengte å cache OS, den var på lik linje med de fleste diskene ikke optimal og det var heller ikke meningen.

Meningen var at diskene skulle være i steady-state og det er de med noen få unntak, Vertex 2 var helt nylig renset og Intel SSDene i raid på ICH var relativt nylig renset.

Når jeg skriver "filer" på XT'en er det egentlig slik at den ikke cacher filer, den cacher "innhold".

 

Hvis du tenker på den sekvensielle ytelsen på 4R5 F3 er den meget bra, 350-400MB/s både ved les og skriv, ytterst. Jeg kan poste en graf på den.

Raidet er akkurat passe kjapt til lagring/backup av SSD'ene

 

Tester du med Areca 1880 også eller? 

 

Den kommer i neste runde, det passet ikke å ta den ut av "produksjon" for testing akkurat nå.

Endret 21. november 2010 av Anvil

[endrebjo]

Momentus XT kommer langt foran PERC raidet og det skyldes flere ting.

Totalt sett vinner Momentus rimelig overlegent ja, men det må vel som du sier komme av at kun 20% av testen går på skriving.

For de skrivetallene på PERC-RAIDet er jo helt på høyde med SSD-ytelse. 0.66 ms gjennomsnittlig responstid og 94% fast-IO kan jo ikke sies å være noe annet enn veldig bra på snurredisker.

[Anv]

Det er litt merkelig at PERC'en ikke kommer høyere opp, det er den eneste konfigurasjonen hvor "busy time" bryter med de andre målingene.

[Anv]

Her er et utdrag med grafer for testen.

 

Busy time og %Fast IO

 

Avg responstid og QD overall

Endret 22. november 2010 av Anvil

[ThaBear]

Kjempe flotte tester

Kan nok nesten seie att hw kan legge opp da du kommer med meir tester på to dager enn dei klarer på 2 veke

Og dette er ikkje teoretiske tester.. Flott!

 

Kunne nok godt skrevet litt meir om kva dei forskjellige ord og uttrykk betyr, da ikkje alle på forumet er like mykje inne i dette som deg, og de andre ssd/hdd/sas "nerdene"

 

vote sticky!