[Løst] Hjemmeserver basert på HP Microserver (ESXi+WHS2011 m.m.)

[oldis]

At det åpner på høy rate og så faller er helt naturlig utvikling. Skal man få korrekte tall kan man heller ikke bruke "Windows" sin visning. Jeg kjørte noen tester med Lan Speed Test v2 og ulike filstørrelse. 1 GB filer gav 82 MB/s skriv og 86 MB/s les (overført 10 stk 1 GB filer). 4 MB filer (90 stk) gav 64 skriv og 74 les. 80 KB filer gir 18 skriv og 47 les. Dette var mot en server med Raid 5 (software) og Seagate Barracuda Green disker.

Har ikke fått testet mot to andre maskiner pga noen feil i oppsett.

 

Det var 5 vel anvendte dollar! Takk for tipset, dette programmet har jeg god bruk for på jobb!

 

Her er mine resultater mot nybygget OMV server uten virtualisering:

Lan Speedtest 2.0.8 results:
Mot serverens SSD disk, gigabit nettverk:
 MegaBytes per Second
Packet length Writing Reading
1  GB x 10 95 75
4  MB x 90 85 67
1  MB x 100 79 52
80 KB x 100 21 39
Mot serverens HDD@7200 disk, gigabit nettverk:
 MegaBytes per Second
Packet length Writing Reading
1  GB x 10 95 75
4  MB x 90 86 69
1  MB x 100 79 51
80 KB x 100 22 39

 

Viser at jeg i alle fall kan la være å kjøpe SSD-disker til serveren, i alle fall til jeg får flere klienter....

 

Edit: siterte bolsons tall siden det ble sideskift i tråden...

Endret 4. august 2012 av oldis

[Bolson]

Det var andre resultater - og helt i tråd med mine (i og med at jeg har langsommere disker i Raid 5, noe som påvirker skriveytelse negativt, men leseytelse positivt).

 

Ellers så kjøper man ikke SSD disker pga overføringshastigheter på nettet, men for ytelse på selve server.

[oldis]

Flere tall:

 

Jeg kopierte bilde folderen nevnt over (10GB, 2500 filer i 200 foldere) igjen i windows, og fikk følgende resultat:

Når jeg kopierte til serverens SSD startet den ut på ca 100MBps, falt jevnt, men stabiilserte seg og falt ikk under 72MBps

Samme mappe mot HDD@7200 i server overrasker ved å ikke falle så raskt, og stabilisere seg på 78-80 MBps.

Tror nok det var lokal cache på klienten min som forårsaket det, en annen tilsvarende mappe la seg til på samme nivå som mot SSD, 72-73MBps.

 

Så hva er endret?

1. Jeg har fjernet ESXi fra ligningen, nå er OMV installert rett på jernet, ikke som en VM.

2. Flyttet nettverkskabelen i min klientpc fra port 0 til port 1

 

Skal bytte tilbake kabelen og teste på ny for å se om det har noe å si, men mistenker vel at serveren ikke har vært kraftig nok for virtualiseringa.......

 

Edit: Hvilken ethernet-port jeg brukte i klient-pc'en spilte ingen rolle....

Endret 4. august 2012 av oldis

[oldis]

 

Ellers så kjøper man ikke SSD disker pga overføringshastigheter på nettet, men for ytelse på selve server.

 

Helt enig, med mindre man har mange klienter , og/eller man har tjenester som kjører på serveren som kan dra nytte av det. Det mest innlysende eksempelet er vel database-servere...

[oldis]

Forøvrig: Kan jo nå avsløre at testene er gjort på Microserveren som var utgangspunktet for tråden.

Skal ikke helt utelukke at jeg har gjort feil i oppsett av ESXi / VM'er / lag-lista-så-lang-du-vil...

Men jeg heller vel egentlig mer til at Bolsons magefølelse ang serverens muligheter var riktig fra starten av. Tyder på at den som NAS-boks vil kunne være et OK valg, men at den blir for veik for det jeg hadde i tankene. I mine tester med ESXi på den hadde jeg kun 2 VM'er, en med OMV og en med WHS2011. Og det ble for mye for den.

Burde selvfølgelig nok teste om det kan ha vært en glipp i konfig som forårsaket at den (eller vm'ene) datt til 100mbps på nettverket, men samme hvor jeg kikket inne i ESXi management/VM'er så fant jeg kun gigabit på nettverksida...

 

Sove på det, tenker jeg....

[Sokkalf™]

Det kan nok se ut som den valgte serveren er litt i svakeste laget ja, spesielt når det blir litt IO, noe det jo fort blir med det bruksområdet.

 

Selv landet jeg på et AMD Phenom 2 6-core-oppsett, ellers er bruksområdet noenlunde det samme. Min server er jo ikke akkurat liten og lett å gjemme bort heller (jeg har den i kottet), men så har jeg fått plass til 10 disker i den.

 

Uansett er jeg strålende fornøyd, det er virkelig mulig å bygge en ESXi-boks til en rimelig sum. Min har for øyeblikket en OpenIndiana-VM med en dedikert kontroller (via IOMMU) og 8 disker, noe som gir meg omlag 10,5TB med lagring. I tillegg kjører den en Windows 7-VM og 7 linux-VMs til diverse ting, uten å hikke. Alle linux-VMenes disker er faktisk hostet på OpenIndiana-filserveren, via NFS. Funker finfint sålenge jeg starter VMene i riktig rekkefølge.

[oldis]

Det kan nok se ut som den valgte serveren er litt i svakeste laget ja, spesielt når det blir litt IO, noe det jo fort blir med det bruksområdet.

 

Selv landet jeg på et AMD Phenom 2 6-core-oppsett, ellers er bruksområdet noenlunde det samme. Min server er jo ikke akkurat liten og lett å gjemme bort heller (jeg har den i kottet), men så har jeg fått plass til 10 disker i den.

 

Uansett er jeg strålende fornøyd, det er virkelig mulig å bygge en ESXi-boks til en rimelig sum. Min har for øyeblikket en OpenIndiana-VM med en dedikert kontroller (via IOMMU) og 8 disker, noe som gir meg omlag 10,5TB med lagring. I tillegg kjører den en Windows 7-VM og 7 linux-VMs til diverse ting, uten å hikke. Alle linux-VMenes disker er faktisk hostet på OpenIndiana-filserveren, via NFS. Funker finfint sålenge jeg starter VMene i riktig rekkefølge.

 

Flott innspill. Siden de siste timene har dreid seg om overføringshastigheter:

Har du anledning til å kjøre noen tester på overføringshastigheter du får fra klient mot share du har i vm'ene dine?

Hos meg må det (desverre) bli lite og pent, siden jeg ikke har noen god plass å gjemme den vekk...

Ellers hadde nok jeg også funnet fram et gammelt kabinett og slått meg løs...

Endret 4. august 2012 av oldis

[Sokkalf™]

Kjørte en del tester før, og lå vel omtrent på 105-110MB/sek i snitt ved store overføringer (fra filserver til Windows 7- eller Linux-klienter). Som nevnt tidligere i tråden er det naturlig at det ligger litt lavere på småfiler, så ligger vel ikke så langt unna hastighetene Bolson nevnte, muligens litt kjappere.

 

Mellom VMs har jeg nådd i overkant av 200MB/sek. vmxnet-driveren setter ikke noe "tak" på overføringshastighet slik som et fysisk nettverkskort gjør, så i mange tilfeller får jeg det diskene greier å levere.

 

Etter jeg flyttet linux-VMene over på filserver-VMen har hastighetene sunket noe. Siden man ikke kan unngå litt disk-IO fra VMene er det naturlig at det påvirker ytelsen litt. Nå varierer hastigheten litt mer, rundt 80-110MB/sek til eksterne klienter. Uansett mer enn nok til det jeg bruker den til.

 

Prøvde også å flytte Windows 7-VMen over på filserveren, men da ble den tilnærmet umulig å bruke hvis jeg gjorde noe annet (kopierte en fil over på filserveren f.eks), så Windows trenger nok betydelig mye mer IO enn en "lett" linux-VM.

 

Har egentlig litt lyst til å putte inn en RAID-kontroller til, dedikert til VMWare, og kjøre VMene på RAID10 eller noe for litt mer ytelse - men det er egentlig bare et luksusproblem, all den tid jeg egentlig ikke trenger den ekstra ytelsen..

[oldis]

Måtte lese litt, har ikke fulgt så mye med på solaris fronten det siste året. Men ble jo gledelig overrasket når jeg fant at openindiana er basert på en opensolaris fork. (Har driftet solaris på sun hardware i mange år).

Takk for utfyllende informasjon

[oldis]

.....

men jeg ville faktisk vurdert et oppsett som f.eks dette. http://www.prisjakt....l=27434&view=m. Hvorfor:

- Kabinettet gir plass til flere harddisker. Faktisk hele 7 stk 3,5 + 1 stk SSD mot maks 4 + 1 i HP Microserver. 5 av plassene er hot-swap.

- Hovedkort har 6 stk SATA. Med et kontrollerkort kan man også utnytte de to resterende plassene - dvs ha 8 enheter totalt.

 

Ok, så nå tenker jeg sterkt på å legge inn bestilling på Bolsons foreslåtte oppsett, men har noen spørsmål som dere kanskje kan hjelpe med (mulig det burde vært i en egen tråd, men syns det er greit å holde det her).

 

1. Noen erfaring med hvordan Corsair CX430V2 430W er når det gjelder støy?

2. Vil jeg få problemer med kjøling i Lian Li kabinettet dersom jeg går opp fra i5 3570K til en høyere ytende i7, f.eks.

INTEL CORE I7 3770K 3.5GHZ 8MB S-1155 IVY

3. Er jeg helt på bærtur om jeg bruker de ekstra kronene på en såpass hvass cpu? Noen bakdeler utover høyere pris

4. Noen som har forslag til grei PSU med modulære (avtagbare) kabler? Er noen indikasjoner på at det kan bli trangt ....

 

Sikkert noe jeg har glemt...

[oldis]

Det jeg glemte var:

Ville Lian Li PC-Q08B (Sort) kunne være et greit alternativ til Q25B ?

Sliter med å finne alt på en plass til "beste pris"...

[Bolson]

i7 3770K har ingen hensikt i og med at her kan man i realiteten ikke klokke (begrensing på hovedkort) - i tillegg har K versjonene noen ulemper knyttet til virtualisering - mangler f.eks VT-d og vPro. Så velg heller vanlig versjon i7 3770, eller T eller S versjonen av 3770. De to siste produserer også mindre varme (45 og 65 Watt). 77 Watt skal være greitt å kjøle fra Lian Li kabinettene, men det kan bli litt støy.

 

Kabinettet kan være et greitt alternativ, det kan også Bitfenix Prodigy være - dog er dette noe større, men også et kabinett som er lettere å kjøle.

 

For begge de aktuelle Lian Li kabinettene er det liten plass for kjøler - men det finnes de som passer.

 

For gode modulære PSU-er i denne sammenheng må du dessverre betale litt mer. Jeg ville uten tvil sett på Seasonic M12-II 430W (selv om det ikke er mange som har denne). M12 er "orginalen" til Corsair HX og har en attraktiv pris.

 

Ellers er det nesten umulig å finne alt til beste pris i en butikk når man har litt mer spesifikke krav.

[oldis]

Da var det bestilt, ble en i7 3770s. Resten i hht til Bolsons opprinnelige anbefaling.

Så nå blir det spennende å se hvordan det blir...

[oldis]

Tenkte bare jeg ville gi en rask oppdatering, skal sette saken løst samt gi litt mer detaljert info etterhvert.

 

Men jeg har nå fått den nye, råe serveren (relativt sett) opp å kjøre. Kjempefornøyd!

Installerte Esxi 5.0 update1 på 16Gig minnepenn (USB3.0), satte deretter opp datastores og fikk installert openmediavault i en fart.

Kjørte en rask test i Lan Speed Test v.2. :

10 stk 100MB filer : 86MB/s write / 63 MB/s read

90 stk 4MB filer: 85MB/s write / 65 MB/s read

100 stk 80KB filer: 26MB/s write / 45 MB/s read

 

Bildefolderen referert tidligere rusler i vei, vipper mellom 65 og 75-80 MB/s ved kopiering opp til OMV SMB share.

 

Kommer nok til å se på muligheter for å tweake det litt, men veldig fornøyd med dette resultatet. Blir spennende å hive flere vm'er på maskinen og se hvordan det går.

 

Takk så langt til alle som har bidratt!

[oldis]

Da gjentar jeg bare:

Kjempefornøyd! Rask og bra. Kjører ESXi i bunn, installert på 16GB minnepenn. VM'enes os kjører på SSD datastore, og bruker 7200RPM HDD som datastore for lagring etc...

Kjører foreløpig 2 VM'er, en openmediavault og en WHS2011. WHS2011 krever 160GB på diskene der den skal installeres, så måtte installere på HDD datastore, så rydde og krympe diskene inne i windows og deretter kjøre vCenter converter for å få flyttet installasjonen over på ny VM på SSD datastore.

 

Min neste utfordring blir å lande på hvilken NAS-løsning jeg skal bruke. Videre må jeg jo organisere lagringen på et eller annet vis (partisjonering og struktur).

Uansett så har hardware'en tatt alle oppgaver jeg har gitt den på strak arm. Nesten så jeg får lyst til å bytte hovedkortet og CPU over på min egen PC...

 

Totalt kom det på ca 8500,-, hvorav lagringsmedier utgjør ca 3500,-

Så ble nesten dobbelt så dyrt som microserveren, men med litt mer "edruelig" valg av CPU etc kunne nok dette vært redusert med en tusenlapp...

 

Stter denne tråden som løst.

[Sokkalf™]

Kan jo være noe å vurdere å gjøre som jeg har gjort mtp. lagring. Dvs å dedikere en egen diskkontroller til en VM (forutsetter støtte for IOMMU/VT-d i hovedkort/prosessor). Jeg kjøpte en IBM M1015 SAS-kontroller (driver 8x SAS eller SATA-disker) på ebay til ca. 700kr.

[Snabel]

Kan jo være noe å vurdere å gjøre som jeg har gjort mtp. lagring. Dvs å dedikere en egen diskkontroller til en VM (forutsetter støtte for IOMMU/VT-d i hovedkort/prosessor). Jeg kjøpte en IBM M1015 SAS-kontroller (driver 8x SAS eller SATA-disker) på ebay til ca. 700kr.

 

Jeg flashet mitt IBM M1015 til LSI firmware, jeg får ikke kjørt VT-D på dette? Noen ideer?

 

Snabelen

[Joachim Vadseth]

Hei folkens

 

Jeg jobber på en videregående skole og vi venter egentlig på en større oppgradering fra fylkeskommunen. I mellomtiden har jeg tenkt på en HP Microserver med 4x Intel 330 120GB SSD-er i RAID med VMWare på. Vil det være mulig å benytte 2,5" disker i 3,5" bay-ene på denne boksen?

 

Skal brukes som fil/print-server for elevnettet og lab for meg. Muligens også fil/print på admin-nettet.

[oldis]

Hei folkens

 

Jeg jobber på en videregående skole og vi venter egentlig på en større oppgradering fra fylkeskommunen. I mellomtiden har jeg tenkt på en HP Microserver med 4x Intel 330 120GB SSD-er i RAID med VMWare på. Vil det være mulig å benytte 2,5" disker i 3,5" bay-ene på denne boksen?

 

Skal brukes som fil/print-server for elevnettet og lab for meg. Muligens også fil/print på admin-nettet.

Da tror jeg nok at du må anskaffe en eller annen form for "offisiell" adapter eller brakett. Jeg fikk i alle fall ikke min 2,5" SSD til å passe med standard skinner....

Har ikke så mye mer info enn det...

[Joachim Vadseth]

Dobbeltsidig teip bør funke kan vell teipe de fast i de diskholderne som følger med. Anbefaling fra overclockers.com

 

Har dog ikke kjøpt me en slik enda.