Hexacore server

[Code#]

Hvordan det hele startet...

Jeg har i lang tid kvittet meg med alt av servere hjemme og kun hatt lokal storage i form av en ReadyNas Pro 6 NAS. Utover høsten har dog behovet for en server for virtualisering blitt aktuell igjen, og jeg bestemte meg egentlig for å gå for et Socket-1155 hovedkort og en i7-2600 prosessor (uten K). Grunnen til at jeg ville kjøre uten K er at den versjonen støtter Intels vt-d teknologi (også kjent som IOMMU eller VMDirectPath). Med denne teknologien kan man tildele hardware-komponenter direkte til virtuelle maskiner som for eksempel RAID-kontroller eller en GPU. I tillegg måtte hovedkortet støtte LSI PCIe RAID-kontrolleren som jeg har liggende.

 

Det første hovedkortet jeg kjøpte var et Gigabyte GA-Z68MA-D2H-B3, og fyllt med minne (4x4GB Corsair Venegance LP) samt RAID-kontroller gikk det helt i frø. I tillegg til å slette config på RAID-kontroller under boot, var det også veldig ustabilt. Heldigvis er den lokale nerde-butikken Digital Impuls veldig service-minded og behjelpelig. All ære til gutta Møllergata, og jeg fikk returnert Gigabyte-kortet og bestilt et nytt Asrock Z68 Extreme 4 Gen 3 kort som etter informasjon på forum skal fungere bra både med vt-d og LSI RAID-kontrolleren.

 

Uheldigvis har ikke Asrock noen norsk leverandør, så kortet ble veldig forsinket fra distributør i Danmark. Gutta hos Digital Impuls var (igjen!) veldig service-minded, og jeg fikk et tilbud om å oppgradere til en X79 og i7-3930k i steden.

 

"Hexacore" - a new server is born

Specs:

Hovedkort: Asus P9X79 (non-PRO, non-DELUXE)

CPU : Intel i7-3930k - hexcore, 12MB cache

Kjøler: Corsair H80

Minne: Corsair Venegance LP - 4 x 4GB DDR3-1600

GPU: Asus GTX 560 - Direct-CU (I en server tenker du kanskje ?!? - les mer lenger ned...)

Power: Thermaltake 750w - donor fra gammel pc (dessverre ikke modulær)

Kabinett: Fractal Design R3 Black Pearl

RAID-kontroller: LSI MegaRaid PCIe - (2 x SFF-8087 SAS-connector)

Kabler til RAID: 2 x SAS-to-SATA 1->4 fanout-cable (støtte for 8 disker totalt)

Disker: 4 stk disker i RAID-10 (gamle disker fra skapet)

 

Utstyr linet opp før montering:

 

LSI PCe RAID-kontroller:

 

Asus P9X79:

 

Corsair H80 kjøler:

 

Asus GTX 560 Direct-CU:

 

Donor-power Thermaltake 750w - dessverre ikke modulært, men faste kabler skal jo etter sigende gi tryggere strømleveranse:

 

Intel Core i7-3930k CPU:

 

Corsair Venegance 8GB minne:

 

SAS-to-SATA RAID-kontroller fanout-cable:

 

Utpakking av motherboard og montering av CPU

 

Hovedkortet virker veldig solid og velbygget med gode kjøleløsninger. Jeg har bevisst valgt å gå for et P9X79 uten PRO og Deluxe for å få ned antall enheter som "stjeler" BIOS-minne, dette pga RAID-kontrolleren. Verdt å nevnte, Socket-2011 er en SVÆR og tung CPU. Vær nøye når du slipper den ned i sokkelen, for med den vekten er det litt for lett å bøye pinner desom du glipper den!

 

Kabinett

 

Fractal Design R3 Black Pearl var som forventet veldig solid og pent. I tillegg var det greit ryddig innvendig med en bra layout på punchouts for å trekke kabler igjennom. Det eneste som irriterer litt er gummien som beskytter mot de skarpe kantene i punchout-hullene er litt for mykt. Det holder omtrent å se hardt på dem for at de skal dette ut. Kabinettet er i tillegg veldig godt støydempet (litt redd for thermal load faktisk).

 

Siden jeg skal kjøre Corsair H80 kjøler må jeg gjøre plass til radiatoren, og den må sitte der hvor standard-vifta er montert fra fabrikk.

 

Deretter monterte jeg på plass IO-panelet:

 

Fractal Design har også en veldig ryddig tilnærming til skruer og festeanordninger. Vedlagt bilde av esken som klart merker de forskjellige funksjonsområdene for skruene:

 

Montering i kabinett

 

Grei passform, powersupply montert med luftinnsug i bunn da Fractal Design-kabinettet har støvfilter på undersiden.

 

Radiator fra H80-kjøler på plass:

 

Instruksjonen fra Corsair var ikke overtydelig på alternativer for luftstrøm. Jeg begynte med en vifte med anbefalt vifteretning - mao. inn i kabinettet. Siden Fractal Design R3 har MYE støydemping samt at både GTX 560 og RAID-kontroller genererer en del varme må jeg si at jeg er skeptisk til denne anbefalingen. Jeg frykter at thermal load i kabinettet blir voldsom med mange luftstrømmer inn.

 

Montering av minne

Med tanke på at H80 med push/pull funksjon (to vifter) blir ganske bredt, velger jeg å intallere minnebrikkene før jeg setter på vifte nr. 2.

 

Corsair Venegance LP (low profile) DDR3-1600 9-9-9-24 (om jeg ikke husker helt feil)

 

X79 har quad-channel minnestøtte, så minnebrikkene bør spres utover etter fargekodingen på slottene for å sikre full båndbredde. Jeg skal etterbestille 4x4GB til, men jeg hadde bestilt minne FØR jeg gikk fra 1155 til 2011. 1155-socket hovedkort har som kjent kun støtte for 4 minnesokler.

 

Minne på plass på hovedkortet:

 

Skjermkort GTX 560 - RemoteFX

Monterte GTX 560 kortet i første x16-slot:

 

Årsaken til at jeg kjører med Cuda-kort i serveren er at jeg skal kjøre Hyper-V på Windows Server 2008 R2 SP1, samt Windows 7 Ultimate SP1 som virtuelle maskiner. Bakgrunnen er at vi har flere Mac`er i heimen, og både jeg og junior har behov for tilgang til rask Windows-grafikk til tider.

 

Med Hyper-V, W2k8-R2-Sp1 og W7UltmSP1 kan man benytte noe som heter RemoteFX. Kort fortalt benytter Hyper-V serveren Cuda-kortet (støtter vel også ATI) som en grafikk-backend ressurs. På de virtuelle maskinene installeres en virtuell RemoteFX adapter (akkurat som en skjermkortdriver). Når man kobler til den virtuelle maskinen med en RemoteFX-komatibelt RDP-klient får man full grafikk-aksellerering ut til desktoppen, selv via RDP!

 

Eksempel:

 

Fordelen med denne setupen er at trege/gamle maskiner samt Mac´er uten noe særlig power kan benyttes til gaming og GPU-aksellererte applikasjoner. Selv kjører jeg Photoshop CS 5.x over RemoteFX, og det fungerer veldig bra!

 

RAID-kontroller LSI

Så var det på tide å få RAID-kontrolleren på plass. Det er en litt eldre LSI-modell, men den har fortsatt PCIe x4 tilkobling og to SFF-8087 SAS connectors. Jeg benytter standard SFF-8087 til 4 x SATA fanout-kabler. Oppsettet er RAID 10 (betydelig raskere enn RAID-5).

 

Fanout-cable

 

Disker

Jeg trodde jeg hadde 4 stk like disker liggende i en skuff, men det viste seg å ikke stemme. Jeg hadde 3 (relativt trege) Seagate AV 1TB samt 1 stk Samsung 1 TB. Har satt de opp i en bootbar RAID-10, men er ikke helt fornøyd med performance. I ReadyNas Pro 6 en har jeg 3 stk 1 TB Samsung som er modne for utskiftning, og jeg har nye 2 TB liggende. Får se om jeg får byttet i løpet av neste uke (tar litt tid med RAID-rebuild når jeg bytter disker på ReadyNas 6).

 

Performance nå er ca 180MB/sek skriv og 220MB/sek les. Med 2TB Hitachi-disker jeg har prøvd tidligere lå jeg på 500-600MB/sek les og skriv.

 

Gode og vibrasjonsdempende drevrammer i Fractal Design R3-kassen.

 

Som tidligere nevnt, gode skruer og gjennomtenkt design i dette kabinettet.

 

Alle disker på plass (jeg skal inn med 4 til senere):

 

Baksiden av disk-kabinettet:

Ikke helt ryddig enda, men med tanke på at jeg ikke har bootet maskinen for første gang får det bare være litt rotete.

 

Ferdig maskin

 

Komplett maskin klar for boot. Bootet på første forsøk, men måtte konfigurere i BIOS at den skulle bruke XMP-profilen på minnet. Ser VELDIG behov for et modulært power på bildet her ;-)

 

Asus UEFI-bios:

 

Linux Mint oppe og går:

 

Veien fremover

Planen fremover er:

* Inn med 16 GB minne til (totalt 32 GB)

* Bytte ut disker med raskere varianter

* Ferdig test/oppseett av Hyper-V/RemoteFX

* Muligens bytte ut med et modulært powersupply

* Intel server adapter (flytte Astaro-firewall over på virtuell plattform)

* Rydde litt mer i kabinettet og montere mere kjøling

 

By the way; Intel 82579V nettverksadapter som sitter på de fleste nye consumer-motherboards finnes det IKKE servere-drivere til. Intel vil vel tvinge oss til å kjøpe server-boards vil jeg anta, og derfor har de tweaket INF-filene. Du kan selv fjerne tweak´en slik:

Edit INF-file for 82579v network driver for Windows Servers

 

Link til kommentartråd

Endret 8. desember 2011 av Code#

[Code#]

Oppdatering 19.12.2012

Har nå installert 32GB minne og tunet RAID-oppsettet. Er ikke helt fornøyd med hastighet enda, og vurderer å kjøpe en LSI 9265-8i med CacheCade og FastPath for å benytte SSD-disk som RAID-cache.

 

Kjører også midlertidig med 10Gbit nettverk i serveren.

 

 

Har også ferdigstilt proof-of-concept RemoteFX. Har lagt ut en (crappy) video på YouTube som viser hvordan det fungerer:

http://www.youtube.com/watch?v=j_ClMkDsHVQ

 

Legg merke til CPU-belastning selv når man kjører heavy grafikk over RDP/RemoteFX. Det er så vidt CPU gjør bevegelser i det hele tatt. Flyten i bildet er akseptabel, selv om den ikke er like god som lokal GPU. Det fungerer greit til vårt bruk (Photoshop og noen spill til junior innimellom).

 

Fordelen er etterhvert at alle i familien har sin egen desktop (VDI) slik at de får opp samme system unansett hvilken PC/tynnklient de logger seg på.

Endret 19. desember 2011 av Code#