Strøm og plassgjerrig ESXi lab server

[weebl]

hei!

 

Nå har det seg slik at for et års tid siden så investerte jeg i en HP Proliant microserver til å bruke som NAS/Filserver men etter hvert har jeg lasset på med flere oppgaver på denne men nå har jeg blitt nysgjerrig på å snuse på virtualisering og å la denne serveren kun få gjøre jobben sin som filserver da de 8gb med ram jeg har i den fort forsvinner til ZFS som jeg bruker på poolet med disker jeg har i den.

 

Tanken min er å bygge meg en whitebox server basert på et mini itx HK, en i5 eller i7 prosessor og 16gb med ram.

 

I tillegg så har jeg forstått det slik at det er anbefalt å ha et intel basert NIC så her tenker jeg å satse på en 2-port NIC.

 

jeg har sett meg ut et kabinett fra lian li som både er kompakt og ser ut til å ha relativt god lufting. (pc-q16)

 

en liten formfaktor, lavt støynivå og lavt strømforbruk er en viktig faktor da det er kjipt å ha et beist som spiser strøm og bråker som et uvær når man bor på hybel.

 

Hittil så har jeg tenkt på følgende oppsett:

 

HK: https://www.dustinho...5-s-1155-m-itx/

 

CPU: https://www.dustinho...ghz-8mb-s-1155/

 

RAM: https://www.dustinho...dr3-cl11-2x8gb/

 

NIC: https://www.dustinho...-adapter-pci-e/

 

Kabbinett: https://www.dustinho...6b-m-itx-black/

 

Det jeg da ikke er sikker på er hvor stort jeg behøver å satse på CPU fronten og så er det spørsmålet om jeg skal ha noen intern disk i serveren.

 

Jeg har haugevis med ekstra plass på filserveren, har totalt 9tb disponibelt i et raidz1 (tilsvarende raid 5) pool på 4*3tb disker så kan bruke plass her men jeg skal være ærlig og si at jeg ikke har spesielt stor innsikt med hvordan diskbruk fungerer i esxi.

 

Om jeg skal kjøpe disk(er) så er tanken å gå for 2.5" men som sagt jeg har ikke snøring på hva jeg skal gå for.

 

Det jeg foreløpig skal bruke serveren til er: testserver for webutvikling, utviklingsmiljø for programmering og eller leking og ellers det en nybegynner vil bruke en lab-server til (leking og eksperimentering).

 

Jeg setter pris på alle innspill og tips jeg kan få

 

EDIT: Glemte å nevne noe budsjett, men jeg ser for meg noe under 7k

Endret 11. juli 2013 av weebl

[stigfjel]

Siden gratisversjonen av ESXi støtter maks 32 GB RAM bør du sette inn såpass med minne.

[weebl]

Siden gratisversjonen av ESXi støtter maks 32 GB RAM bør du sette inn såpass med minne.

 

Skulle gjerne ha kjørt på med 32gb men man får vel ikke tak 16gb brikker enda så det går ikke da de mini itx HK jeg har funnet har kun to slots.

 

Forresten er det mye overhead mtp ramforbruk i esxi?

[stigfjel]

Skulle gjerne ha kjørt på med 32gb men man får vel ikke tak 16gb brikker enda så det går ikke da de mini itx HK jeg har funnet har kun to slots.

 

Forresten er det mye overhead mtp ramforbruk i esxi?

Nei, det er lite. Hva er alternativene med hovedkort som har 4 slots?

[weebl]

Da må jeg faktisk opp i m-atx formfaktoren noe jeg helst vil unngå, Jeg antar at 16gb minnebrikker gjør inntog på markedet ganske snart.

 

Til de formålene jeg ser for meg å bruke denne maskinen til så antar jeg at jeg ikke vil ha noen VM'er som har bruk for mer enn 4gb minne, har tidligere brukt laptopen min med 4gb minne til div. testing og har aldri vært i nærheten av å makse ut rammen på den.

 

Så intil jeg blir kravstor så lurer jeg på om 16gb er nok å starte med?

[wtf1337]

Det er ikke lett og si for oss, men for meg selv så har det hold og holde alle vSphere nodene mine på 16gb

Men igjen, det kommer helt an på hva, hvordan og hvor mye. Kjører du alle tjenestene dine og det runder ikke over 4 Gb RAM og dette er praktisk hva du skal kjøre så kan du vel ta dette som et utgangspunkt.

[ATG]

Hei,

 

Jeg har bygget en ESXi server basert på et itx kabinett med hovedkort fra Shuttle XH61V.

 

Specs:

Kabinett / HK: Shuttle XH61V

Ram: 2xKingston ValueR DDR3 SO-DIMM 1333MHz 8GB

Disk: Samsung SSD 840 PROSeries 256GB 2.5" OEM

CPU: Intel® Core i7-3770S Processor

NIC: Onboard Intel 2x1Gbit

 

Fungerer ypperlig med ESXi 5.1 og bruker minimalt med strøm. Skal vistnok støtte DirectPath I/O for å gjøre HW direkte tilgjengelig til gjeste os'et, uten at jeg har testet dette.

 

Ser det er en annen som har dokumentert dette shuttle kabinettet med en ESXI løsning her:

 

http://www.bussink.ch/?p=1022

Endret 14. juli 2013 av ATG

[weebl]

Vekker denne tråden til live igjen da jeg framdeles har planene mine gående rundt oppi hodet og etter litt research har funnet ut at HK'et jeg fant ikke var et optimalt valg da det ikke hadde VT-D støtte, det eneste jeg har funnet i mini-itx formfaktoren som støtter skikkelig er ASrock sine kort og da har valget hittil falt på et

 

ASRock z87e itx da det har vt-d støtte, riktig nok så har det onboard wifi som sikkert ikke vil funke men behovet er heller ikke der.. fins også en variant uten wifi men den er vist ikke å oppdrive i norge for tiden.

[tdipower]

Hei.

 

Jeg vil snu litt på tanken din. Hva skal du bruke serveren til? Hva skal du kjøre på den. Mange VMer? Store VMer? Linux eller Windows? Lokal lagring? behov for mye lagerplass?

[weebl]

Kommer nok til å kjøre 3-4 VM'er på fast basis ser jeg for meg, en windows 7/8 VM, en linux VM til daglig bruk (kun shell med irc osv), en testserver for webutvikling og programmeringsmiljø og eventuelt noen for testing og leking.

Ser for meg at jeg ikke kommer til å ha mer enn to maskiner gående med grafisk front-end.

Av lagring så har jeg et NAS med masser av plass men tenker å satse på lokal lagring, enten på SSD eller magnetisk disk.

 

windows VM'en er vel den som kommer til å spise mest diskplass og minne tenker jeg meg men etter som at jeg har hjemmeområde osv hostet på NAS'et mitt så vil det kun være installasjoner av programvare som vil ta opp plass her.

 

Om jeg tar en kjapp budsjettering av disk og ram forbruk her så tenker jeg det blir noe som dette:

• Windows: 60gb HDD, 4gb RAM
• Linux GUI: 20gb HDD, 2gb RAM
• Development: 20gb HDD, 2gb RAM
• IRC shell++: 10gb HDD, 1gb RAM

så da har jeg et totalt forbruk på 110gb HDD og 9gb RAM så da har jeg en del å gå på RAM fronten, så kan lett sparke opp minnekvoten på en VM eller slenge opp fler maskiner om det er behov.

Det har så klart vært optimalt å ha 32gb ram men da må jeg bevege meg bort fra mini-itx og over på en større maskin, noe jeg ikke ønsker men om det virker som det er dumt å "bare" gå for 16gb så kan jeg så klart se på den saken.

[leo24]

Har to slike i cluster og det fungerer meget bra på ESXi 5.1

 

Kabinett / HK: Shuttle SH67H3
Ram: Corsair Vengeance DDR3 1600MHz 32GB CL10
Disk: Samsung SSD 840 PROSeries 256GB 2.5" OEM + NFS share for vMotion
CPU: Intel® Core i7-2600 Processor
NIC: Intel 2x1Gbit

Støtter DirectPath I/O. Kjører All-in-one med passthrough raidkontroller til en OpenIndiana ZFS server.

[MDCCLXXVI]

Kommer nok til å kjøre 3-4 VM'er på fast basis ser jeg for meg, en windows 7/8 VM, en linux VM til daglig bruk (kun shell med irc osv), en testserver for webutvikling og programmeringsmiljø og eventuelt noen for testing og leking.

 

Hvordan gikk det med planene dine?

 

Jeg sitter å funderer på noe ala det du har planlagt. Litt forskjellig bruk, men hardware-messig er det meste likt.

 

Min idè er å kjøre pfSense, untangle, xpenology og kanskje en og annen windows VM.

 

 

Til CPU tenkte jeg Xeon E3-1245V3.

 

Har et Fractal Design Node304, så det må bli et ITX hovedkort. Ser litt på ASrock Z87E-itx. Eneste ulempen her er at det ikke støtter ECC, og ikke dual NICS. Pluss for mSATA på undersiden.

 

Tror jeg går for 128GB Intel 525 mSATA hvor jeg kjører VMs fra, og lar xpenology VM'en få direct access til 3-4 snurredisker hvor jeg har filmer, serier, etc.

 

Alternativt er jo ASrock C226 itx ute (ikke i Norge?!). Den har dual Intel NIC, ECC-støtte, men ikke mSATA. Har dog 6x SATA headers, hvor jeg bare kan plugge inn en vanlig SSD i stedet for en mSATA SSD. Ulempen er jo at dette koster litt mer enn det muligens vil smake. Kortet er dyrt i seg selv, må importeres så vidt jeg vet..

 

Har også et Intel PT dual NIC PCI-E som sikkert vil gjøre nytten sin i.o.m pfSense/untangle kombinasjon..

 

Merker at det er mye å lese seg opp på når det gjelder dette med virtualisering

[weebl]

sånn bortsett fra at jeg ikke har fått til direct passthrough med hovedkortet jeg bruker så har det gått veldig fint, ganske magert med vt-d på haswell på forbruker nivå såvidt jeg har sett i alle fall.

Med ekstra drivere pakket sammen installfilene til esxi fikk jeg tilogmed onboard nic til å fungere helt finfint.

Hvor kritisk behovet for ECC er må du nesten avgjøre selv men for mitt bruk var det ikke hensiktsmessig da serveren er mer som et leketøy enn produksjonsutstyr.

[MDCCLXXVI]

Du kjører på HP microserver eller?

 

ECC er ikke kritisk, men det skal jo være en 24/7 ruter med pfSense og Untangle, så det hadde vært kjekt..

[weebl]

Nei, esxi maskina mi er en whitebox basert på ingen i5 4670,16gb RAM, intel p1000 dual nic og en wd red 2tb, har også en hp microserver er utstyrt med ecc RAM da den tross alt passer på mange tb med data.