AJ bygger filserver, brannmur og arbeidsstasjon

[Anders Jensen]

Ok først vil jeg si at dette nok blir en litt annerledes arbeidslogg enn hva dere er vant med. Jeg vil nok måtte tøye noen retningslinjer, men skal prøve å ikke gjøre for grove brudd, kanskje. Jeg lager denne arbeidsloggen fordi jeg tror folk på forumet kan ha interesse av dette, men om du er ute etter finpussing med sandpapir og pynting av juletrær så er dette feil sted for deg. Vennligst trykk backspace i så tilfelle. Skal prøve å få til litt WOW faktor.

 

Det er altså snakk om tre separate prosjekter her. Jeg tar alle i samme arbeidslogg da noen vil bli litt tynt representert og det er begrenset med tid jeg kan sette av til dette.

 

Kort om de tre prosjektene:

 

Felles for de tre prosjektene er at de baserer seg på Nehalem CPU og 5520 chipset. Jeg vil fokusere en del på hvilke komponenter som er valgt og hvorfor. Etterhvert vil det også bli en evaluering av hvor bra komponentene fungerte i praksis.

 

Filserveren er et direkte resultat av finanskrisa. Her er målet å lagre ca 40TB data billigst mulig og samtidig nå visse krav til pålitelighet og ytelse.

 

Brannmuren(e!??) vil nok bli viet mest tid her i arbeidsloggen og er etter mitt syn den mest interessante løsningen. Det vil bli benyttet gratis programvare (ESXi 4.0 og pfsense) som kan kjøres på standard PC. Det er likevel snakk om bruk av typisk enterprise egenskaper som clustering og virtualisering her. Prosjektet får kanskje et trinn nr. 2 i etterkant hvor alt blir noe mer avansert med full hardware redundans...

 

Arbeidsstasjonen blir bare nevnt kort. Det er en helt standard HP Z600 maskin, men det er installert et SSD RAID som i seg selv kan være verdt en liten titt.

 

Skal se litt hvordan det blir med bilder utover dagen.

 

Skal vel være sånn komentar tråd også

 

Under er et utvalg RAID kontrollere (Areca 24P SAS, og LSI 4P SAS) med tilbehør. BBU følger ikke med som standard.

Endret 24. september 2009 av Anders Jensen

[Anders Jensen]

Må bare beklage bildekvaliteten. Skal se om det er mulig å få gjort noe med både kvalitet og måten de er lagt inn i loggen på.

Endret 22. september 2009 av Anders Jensen

[Anders Jensen]

Komponentliste, ikke komplett enda:

Filserver ~40TB

1. 1 CSE-846A-R1200B Supermicro 4U, 24x SAS/SATA, 6x SFF-8087, 1200W red. PSU
   
2. 1 BX80602E5520 Intel Quad-Core Xeon E5520 / 2,26GHz, LGA1366, L3 8 MB
   
3. 1 ARC-1680IX-24 Areca ARC-1680IX-24 SAS RAID, PCIe x8, 24 porter, 6x 8087, 1x8088
   
4. 1 X8DTL-IF Supermicro motherboard X8DTL-iF - Dual Xeon 55xx, 6xSATA, IPMI
   
5. 24 WD2002FYPS WD RE4-GP, 2 TB 3.5", SATA-300
   
6. 3 KTH-PL313E/2G Kingston 2 GB DDR3 - 1333 MHz - ikke-bufret - ECC
   
7. 1 AR_BAT Areca BBU for SAS/SATA RAID
   
8. 1 KVR667D2E5/4G Kingston ValueRAM 4 GB DDR2 667 MHz, CL5, 1.8V, ikke-bufret, ECC
   
9. 1 SNK-P0038 Supermicro 2U passiv kjøler LGA1366
   

Brannmur

1. 1 CSE-523L-520B Supermicro 2U, 2 x HDD, 1x slim, 520W PSU, Front I/O, 36cm dyp
   
2. 1 BX80602E5520 Intel Quad-Core Xeon E5520 / 2.26 GHz - LGA1366 Socket - L3 8 MB
   
3. 1 X8DTL-IF Supermicro motherboard X8DTL-iF - Dual Xeon 55xx, 6xSATA, IPMI
   
4. 3 KTH-PL313E/2G Kingston 2 GB DDR3 - 1333 MHz - ikke-bufret - ECC
   
5. 1 E1G42ETBLK INTEL GIGABIT ET DUAL PORT SERVER ADAPTER - BULK
   
6. 1 SNK-P0038 Supermicro 2U passiv kjøler LGA1366
   

Arbeidsstasjon HP Z600

1. 1 KK551ET#ABN HP Workstation z600 1 x Xeon E5530 2,4GHz 6GB RAM 500GB HDD
   
2. 1 NF149AA Prosessoroppgradering Intel Xeon E5530 2,4GHz 8MB L3
   
3. 4 SSDSA2MH160G2R5 Intel X25-M - Solid State Drive 160 GB 2.5" SATA-300
   
4. 1 MRSAS9260-4I/KIT LSI Megaraid SAS9260-4i SAS2+SATA 4-port RAID adapter - PCI-E
   
5. 1 SNT-1042SS CHIEFTEC HDD HotSwap cage for 4x2.5" SATA/ SAS-HDDs in 1x5.25"
   
6. 3 KTH-PL313E/2G Kingston 2 GB DDR3 - 1333 MHz - ikke-bufret - ECC
   
7. 1 LSIiBBU07 LSI battery backup for 8880EM2/9260/9280
   

Endret 24. september 2009 av Anders Jensen

[Anders Jensen]

Filserveren er nå komplett faktisk! Monteringen gikk veldig greit. Diskene må skrus inn i brakettene manuelt. Kjøper en mer ferdige løsninger fra HP. IBM, HDS osv. er dette selvfølgelig allerede ferdig montert. Areca kontrolleren kom med egne kabler hvor to stykker er vinklet 90 grader slit at de ikke stikker så langt ut i kabinettet. Det hadde ikke vært noe problem her siden det er 4U kabinett. Isteden kom de litt nært plastdekselet som sørger for tilstrekkelig luftstrøm over CPU og RAM. Videre kommer kabinettet med en kontakt tilpasset Supermicro sine hovedkort som gir tilkobling for power-knappen samt LED til HDD, 2x NIC, temp varsell og feilmelding (vifte eller power).

 

Supermicro kabinetter kommer ofte i flere versjoner av samme kabinett. Noen ganger er det PSU som er forskjellen andre ganger er det backplane til HDD som er forskjellig. Her har jeg valgt CSE-846A-R1200B. Jeg kan ikke dekode navnet fullstendig, men R1200 betyr redundant 1,2kW (2x i dette tilfellet, noen har flere) PSU og denne er i tillegg 93% effektiv eller "Gold level" etter 80pluss.org sertifiseringen. Den siste bokstaven "B" betyr at kabinettet er sort, i dette tilfelle er det bare disker i front så alle diskbrakettene er sorte.

 

Selve kabinettet heter 846 og kommer i versjoner A/TQ/E1/E2. Dette har med backplanet å gjøre og er ganske viktig å være bevisst:

 

A versjonen har samme type kontakt som Areca kontrolleren. Denne heter 8087 og er i realiteten ikke mer enn 4 separate SAS/SATA kanaler i samme kontakt. Det er også noe signalering til LED i front av diskene slik at kontrolleren kan kommunisere nøyaktig hvilken fysisk disk som samsvarer med de numrene kontrolleren opererer med. Siden det er 24 disker i kabinettet blir det 6 stykk 8087 kontakter i bakplanet.

 

TQ versjonen har 24 stykk standard SAS/SATA kontakter. Et sannt helvette kan jeg tenke meg.

 

E1 og E2 versjonene har litt mer avansert funksjonalitet enn de to ovennevnte. Her er det hhv. en og to SAS svitsjer i bakplanet. Dermed kan en koble til SAS kontrollere med langt færre fysiske kontakter enn det er disker i kabinettet. F.eks kunne en benyttet en 12 port Areca kontroller til å håndtere 24 disker i en E1 kabinett. Backplanet koster naturlig nok noe mer enn A versjonen. E2 bakplanene kan benyttes til redundans sammen med dual port SAS disker og doble kontrollere. Da får en også mer båndbredde.

Endret 24. september 2009 av Anders Jensen

[Anders Jensen]

Brannmuren er dessverre en del forsinket da bestillingen til hovedkortet forsvant, men det skal være på vei.

 

Jeg har imidlertid fått en av nøkkelkomponentene levert nå et "Intel GIGABIT ET DUAL PORT SERVER ADAPTER". Dette nettverkskortet benytter den nyeste chipen fra Intel som heter 82576. Sammen med Xeon 55xx serien og 5500 eller 5520 chipset så får en aktivert IOAT3 som gjør nettverkshåndtering mer effektivt. Det kan en få med andre billigere NIC også, men denne kombinasjonen støtter også hardware avlastning i forbindelse med virtualisering og VLAN tagging samtidig hvilket er essensielt siden det skal kjøres ESXi 4.0 og VLAN trunker.

 

Intel gigabit ET NIC

Kortet kom uten kjøleribbe på kontrolleren. Litt uventet. Den skal være 2,4W og overflaten er ikke stor.

NIC chipset

Denne kontrolleren har også fått en ny driver arkitektur fra Intel og blir den andre kontrolleren i rekka som benytter den nye igb driveren etter 82575. Opp til 82574 chipen er det den velkjente e1000 (em) driveren som gjelder.

Endret 24. september 2009 av Anders Jensen

[Anders Jensen]

Arbeidsstasjonen er også blitt bygd ferdig nå. Noe testing gjennstår. LSI kontrolleren skuffer litt da den ser ut til å ha en begrensning på ca 50k random IOPS. Diskene kan levere mer og på random read klarer en SSD nesten å mette kapasiteten til kontrolleren. Båndbredde ser imidlertid ut til å skalere perfekt fra 1 til 4 disker i RAID 0. Jeg er usikker på om dette skyldes dårlig firmware, er en naturlig begrensing i kontrolleren eller om det er noe SAS/SATA overhead inn i bildet her. Sistnevnte kan igjen peke tilbake på dårlig firmware. Vi får se hva som dukker opp av informasjon. Uansett vil kontrolleren kunne levere optimalt på de belastningene jeg skal bruke den til. De blir nok 8 til 16 simultane sekvensielle jobber som resulterer i lett blanding av random og sequential pattern.

 

Og for de som måtte lure; Jada det er PSU du ser langs bunnen av maskina. Den sorte klumpen øverst til venstre hvor ATX PSU normalt sett befinner seg er bare en RAM kjøler.

Endret 24. september 2009 av Anders Jensen

[Anders Jensen]

Komponentevaliering. Jeg tror jeg skal driste meg ut på noe så vitenskapelig som terningkast for utvalgte komponenter. På nåværende tidspunkt er det ikke mye som kan sies for sikkert, men litt har jeg da funnet ut av.

 

f.eks:

 

SNK-0038P kjøleren har et perfekt design til disse kabinettene. Takk til nextron.no som sørget for at jeg tross egne undersøkelser endte opp med disse. De er ikke i massivt kobber, men har 3 heatpipes og virker generelt nøktern og fornuftig designet. Det viktigste er imidlertid at de har perfekt passform til kabinettet. Tipper det blir terningkast 5 på disse.

 

LSI MRSAS9260-i4 skuffer en del på random IOPS. Selv om diskene er gode for 150k random IOPS så klarer ikke denne å ta ut mer enn ca 50k IOPS. For sekvensiell ytelse ser det ut til å være nær perfekt skalering til 1080MB/s med 4 stykk Intel 169GB G2 SSD. Foreløpig terningkast 4.

 

Det kommer mer...

Endret 24. september 2009 av Anders Jensen

[Anders Jensen]

Da har det vært stille her en stund. Maskina som skal kjøre ESXi 4.0 er endelig bootbar. Det måtte til en ATX 24pin forlenger (fant en hos microplex.no) siden kablen som fulgte med kabinettet ikke rakk frem til det nye Nehalem kortet. Andre problemer inkluderte ICH10R som selvfølgelig ikke gjør riktig RAID 1 implementasjon. ESXi ser derfor to disker og ikke en. Har derfor besluttet å gå for kun en disk i dette oppsettet. Alternativet hadde vært å legge til en RAID kontroller.

 

Forøvrig bråker maskina ganske mye selv på "super quiet" instilling som vil si at viftene kjører på 30%. Det er imidlertid marginalt med varme i kjølelufta ved lett last vel og merke.

 

For de av dere som planlegger å kjøpe et Supermicro HK med IPMI så er det verdt å merke seg at IPMI har en dedikert port som må ha link i det maskina får strøm ellers vil IPMI også være tilgjengelig på LAN1 porten. Dette fikk meg til å klø meg en god del i hodet da DHCP plutselig delte ut IP adresse til det jeg trodde var en ellers død port (LAN1) og til alt overmål svarte IP adressen med å gi meg fjern kontroll av maskina på en port jeg ikke hadde forventet å finne den. Litt scary for en brannmur, men det hele er dokumentert fra Supermicro og greit å forholde seg til. Faktisk vil dette medføre at jeg bare bruker en port (LAN1) til å administrere maskina, mens jeg regnet med å måtte bruke to (IPMI dedicated + LAN1).

 

Nå er også PFsense versjon 1.2.3-RC3 ute (link i signatur). Jeg håper det ikke er lenge til endelig versjon er på plass. Det er også veldig spennende å se hva som skjer med PFsense versjon 2.0 som er basert på FreeBSD 8.0. Noen har kanskje fått med seg at versjon 8.0 innfører flertrådet IP routing.

 

Ny routing arkitektur til FreeBSD 8.0

 

Filserveren er også bootbar nå. Også her "måtte" det til en liten kabel forlenger slik at HK får nok strøm om vi skulle finne på å sette inn CPU nr2 en gang i fremtiden.

Endret 9. oktober 2009 av Anders Jensen