Hjemmeserver med ZFS, AMD med ECC eller Intel uten? Disker, strømforbruk m.m.

[NgZ]

Sitter og skal bytte innmaten i hjemmeserveren, og har i utgangspunktet lagt til et billig 1155-HK med nok SATA-porter og en i3IV, samt en PSU og fire 2TB WD RED-disker. Planen er å kjøre enten CentOS eller UbuntuServer med zfsonlinux.

 

Men så leser jeg at de fleste ser ut til å anbefale ECC-minne til en zfs-server, eller hjemmeservere generelt. Og joda, jeg ser at det kan være en fordel, men er det paranoia eller ikke? På den annen side får man jo ECC-minne til omtrent samme pris som vanlige moduler nå for tiden, og for ~1500kr får jeg vel en grei AM3+CPU+HK-kombo og, og kommer derfor ikke dårligere ut av det økonomisk, så vidt jeg kan skjønne.

 

Innspill? Dette er jo ikke et atomreaktorstyringssystem, liksom, men er det sannsynlig at jeg vil slippe korrupsjon med ECC som jeg ellers hadde opplevd?

Endret 27. januar 2013 av NgZ

[tingo]

Vet ikke. Det eneste jeg vet er at jeg har 3 servere her som kjører ZFS, ingen av dem har ECC-minne, og de funker uten problemer, og har gjort det siden de ble satt opp (på et par av dem har jeg byttet disker som feilet også).

Personlig ville jeg ikke brukt penger på ECC-minne.

[NgZ]

Prisen på ECC-minne (ihvertfall unbuffered) er jo så og si lik vanlig DDR3-minne. Tror faktisk jeg sparer penger totalt sett hvis jeg bytter ut i3 og 1155-sokkel-hovedkort med AM3(+)-sokkel og en rimelig AMD cpu/apu, selv om jeg slenger med ECC-ram.

 

Men jeg har ikke så god oversikt over AMD-ytelse, strømforbruk eller linux-støtte for delen. Har og kjørt en ZFS-server på FreeBSD en god stund uten ECC-minne og med to diskkrasj (ikke samtidig heldigvis!), og jeg har jo ikke merket noen feil. Hvilken hardware kjører du på?

 

Er lit utålmodig med oppgraderingen, ettersom diskene sliter for tiden :

    NAME					 STATE	 READ WRITE CKSUM
    tank					 DEGRADED	 0	 0	 0
	  raidz1-0			   DEGRADED	 0	 0	 0
	    ada2				 ONLINE	   0	 0	 0
	    1756286952860704386  UNAVAIL	  0	 0	 0  was /dev/ada2
	    ada0				 ONLINE	   0	 0	 0

 

Har du vurdert om det er verdt å kjøpe WD RED-disker i stedet for f.eks. WD Green? Prisforskjellen er en hundrelapp, og WD Green-diskene ser ut til å slite litt når de går 24/7. Har planer om å kjøpe 4stk 2TB.

Kjører du på FreeBSD eller zfsonlinux?

Endret 27. januar 2013 av NgZ

[jannisj]

Husk at hovedkortet må støtte ECC minne for å overhodet ha noe nytte av det.

(Som regel kun Workstation og serverkort som dette støttes på).

 

En annen ting med ZFS, fyll opp serveren med så mye minne du kan/har råd til.

Ikke slå på dedup (med mindre du vil at ting skal gå tregt).

Dedup krever myyyye cpu.

ZFS i enterprise storage løsninger har gjerne 2-4 Xeon cpu (vi snakker da opptil 12-24 kjerner), og 64GB+ minne.

 

Kan også anbefale å legge på 2-3 ssd disker for zil (ZFS intent log) og ARC (L2ARC).

ssd for ZIL vil øke synchronous write, ssd for ARC vil øke leseytelse.

 

Det er anbefalt å bruke SLC ssd for ZIL, men man kan også kjøre 2 MLC i raid1 (men klart, om noe ryker, kan man dra på seg datatap). L2ARC kan fint kjøres på MLC ssd, da man ikke skal få datatap om noe ryker her (da må den lese fra spindeldisk istedet).

 

-j

Endret 27. januar 2013 av jannisj

[NgZ]

De fleste Am3+ hovedkort støtter faktisk ECC, og sammen med samtlige am3(+)-prosessorer så vidt jeg har forstått. Det er fullstendig uaktuelt med prishoppet på servergrade HK og Xeon for å kjøre ECC i et Intel oppsett, men det kan være aktuelt på cinsumergrade AMD. På samme måte er det fullstendig uaktuelt å kjøre både Zil og L2ARC på SSD, langt mindre SSD i raid0 for en enkel hjemmeserver.

 

Planlegger 16GB RAM, det har kjørt greit lenge på 4GB, men klart - hastigheten blir ikke de beste.

[tingo]

Jeg kjører FreeBSD og FreeNAS (8.x). Hardware er litt forskjellig, FreeBSD filserver, FreeNAS boks 1, boks 2. Som du ser er det AMD i disse.

[NgZ]

Har du noen tanker om hva som AMD-prosessor jeg "trenger"? CPU kan jo faktisk bli en flaskehals med ZFS, spesielt med kryptering. Vurderte å kjøre Geli med ZFS på topp sist, vurderer å kjøre luks nå, med ZFS på toppen.

[jonny]

Jeg har kjørt Ubuntu med zfsonlinux en stund, og kjøpte 16 GB RAM med ECC-minne, da dette er et system med AMD Phenom II prosessor og det ikke kostet all verden med ECC minne. Hvor nødvendig det var kan helt sikkert diskuteres, men en god trygghet å ha. Problemet med ikke å ha det er jo at det ikke alltid er så lett å oppdage at det oppstår minnefeil, feilene kan være der en stund før de oppdages, og dermed kan det være for sent.

 

Edit: Angående prosessor: Den som sitter i serveren er en AMD Phenom II (2,7 GHz) med 4 kjerner. Den har ikke vært noen flaskehals, langt der i fra, men nå bruker ikke jeg kryptering heller.

 

Edit2: Kjørte en liten krypteringstest (brukte ecryptfs som beskrevet her). Pool'en som jeg testet med består av 2 disker (speiling). Jeg testet ved å kopiere en fil på ca. 60 GB. Resultatene ble omtrent slik:

 

Skriving uten kryptering: ca. 55 MB/s, cpu idle = 75-80%

Skriving med kryptering: ca. 54 MB/s, cpu idle = 55-60%

Lesing uten kryptering: ca. 148 MB/s, cpu idle = 90-95%

Lesing med kryptering: ca. 112.5 MB/s, cpu idle = 60-65%

 

cp-prosessen brukte 100% av en kjerne ved lesing når kryptering var aktivert, så her var prosessoren flaskehalsen. Testene er kjørt med en virtuell maskin (Ubuntu server x64) med Windows 8 x64 som host, der den virtuelle maskinen har fått tilgang til 3 av de 4 kjernene.

Endret 28. januar 2013 av jonny

[tingo]

Beklager, har ingen anelse om hva slags prosessor du trenger. Har aldri kjørt diskkryptering selv, så vet ikke hva det krever.

[NgZ]

Ecryptfs er usannsynlig tregt sammenliknet med "skikkelig" kryptering i en god del use cases. Regner med en athlon II x3 vil være mer enn tilstrekkelig til luks. Kryptering er ikke noe must heller på mesteparten av datasettet, kan godt være kryptering av hjemmemapper er tilstrekkelig (men da må man gjerne bruke noe ala ecryptfs igjen. Tror jeg skal sjekke litt rundt zfsonlinux og høre om noen har konkrete krypteringserfaringer eller anbefalinger rundt det.

[siDDis]

GELI drar nytte av AES-NI akselerasjon som er i Bulldozer CPU'ane. 4XXX serien er godt nok til ZFS.

ZFS køyre også fint med bare 2GB ram. Dedup derimot krevje minst 5-6GB ram per TB, så det anbefaler eg ikkje å bruke. Snapshots gir dedup gratis ved bruk av clone om du skal lagre VM'er.

 

Ellers vil eg ikkje anbefale å bruke pengar på ZIL, det er bare ved bruk av iSCSI eller NFS du trengje det. Og ZIL baserer seg på latency og ikkje iops, så ram baserte løysningar er å føretrekkja.

[NgZ]

Det er synd det er så dårlig utvalg av AMD-hovedkort, ihvertfall i Norge.

[siDDis]

Nei? Er jo stort sett bare Asus som støtter ECC, og alle selje jo Asus. Toppmodellane til Gigabyte støtter også ECC, men informsjonen der er ikkje alltid oppgitt.

[NgZ]

Jo, sammenliknet med bare 1555-hovedkort (eller intelhovedkort, er utvalget av MD-hovedkort utrolig skralt. Enda mindre blir det dessverre når jeg gjerne vil ha integrert GPU, så jeg slipper å kaste bort PCI-spor og strøm på det.

[siDDis]

Ja det er sant at det er dårleg med innebygd GPU

Men du får ATI Rage PCI for slikk og ingenting

http://www.ebay.com/...=item417048a2dd

Og den brukar heller ikkje mange watt

[NgZ]

Noe spesielt HK du vil anbefalke sammen med en 4XXX-prosessor? Flere SATA-tilkoblinger er et pluss, men trenger egentlig bare fire i denne omgang. Ellers er det ECC og gjerne kvalitet/levetid og pris som er viktigst.

[siDDis]

Asus M5A78L-M LX V2 er grei, 6 sata, 3 pcie slotter, innebygd GPU. Maks ram er bare 16GB då. Fåes for 300-350kr

Asus M5A78L LE støtter 32GB ram og koster 400-450kr

 

Gløym Asus M5A78L LE, den er jo utan GPU.

Sats heller på Asus M5A78L-M/USB3 450-500kr

[NgZ]

Det er faktisk Asus M5A78L-M/USB3 jeg har sett meg ut så langt. Foretrekker de som markedsføres med mill spec og japanske kondensatorer, men, men...

 

Enste er at dette koblet med en MD FX-Series FX-4100 kanskje ikke er det mest strømgjerrige som finnes? Litt avhengig av hvor godt nedklokking (og muligens nedklokking) fungerer med FreeBSD/linux.

 

Har som nevnt vurdert linux med zfsonlinux, har du noe erfaring med kombinasjonen luks og zfs der?

Endret 30. januar 2013 av NgZ

[siDDis]

Ja, det er enda litt igjen før eg ville brukt det i kvardagen. Spesielt med tanke på vedlikehald og oppdateriner.

Dessuten så synes eg GEOM rammeverket til FreeBSD er noko for seg sjølv og som gjer FreeBSD til den beste plattformen å køyre ZFS på.

 

Om du ikkje absolutt trenger AES-NI, så kan du jo kjøpe denne dualcoren som bruker 20w:

http://www.ebay.com/...=item2c658f779a

Ein har også Sempron 190 dual core på 45w

https://www.deal.no/...n=SDX190HDGMBOX

[NgZ]

Hm, jeg hadde egentlig sett frem til muligheten for å kjøre linux må jeg innrømme. PAKKER liksom, hurra. FX-4100 var ikke dyrere enn at jeg heller tar den.