Korleis lage billig SAN?

[siDDis]

I ein anna tråd så blei det snakk om kva slags kabinett som var best. Og då var det ein som kom med eit forslag frå Supermicro som har innebygd sas expander.

 

Korleis skulle eg ha fått kobla 3 sånna saman billigast mogleg? Eg rekne med eg trenge noko ala som på dette biletet -> http://www.cstone.net/~dk/846E1-1.jpg

[cruzader]

Viktigste er en expander i "hoved" kassen så du får en mini-sas kabel pr kabinett du vil koble til.

 

så en sff-8088 adapter i hvert chassis + en sff-8088 kabel mellom kassene, så har du egentlig det som trengs.

Strømforsyningen må du bare tyvkoble så den står på konstant, kretskort av typen de bruker der for videreføre strømmen til bryterne samt leds tror ikke jeg du får annet i svindyre pakkeløsninger for DAS kabinetter.

 

Du får f.eks disse til 33$ stk:

Mini SAS 36P to 26P adapters,sff 8088- sff 8087 1 Port

 

Forøvrig blir vel dette DAS(direct attached storage) ikke SAN, san er mer morro

Endret 26. oktober 2010 av cruzader

[siDDis]

Hmm... I følge dette her http://www.servethehome.com/sas-expanders-diy-cheap-low-cost-jbod-enclosures-raid/

så kan ein bruke eit billigt hovodukort utan minne og cpu.

[cruzader]

Prøvde kjøre opp et gammel s775 msi hk her nå, og uten cpu i skjer ikke det den døyt ihvertfal.

 

Du kan jallakoble litt så strømforsyningene i ekstra kassene starter idet du slår på serveren, men da må det trekkes 2tynne kabler for strøm mellom kassene også (3v signalkabelen som vanligvis går til hk + en ground).

Endret 26. oktober 2010 av cruzader

[ThaBear]

Feil post.

Endret 26. oktober 2010 av ThaBear

[Varj]

Billig SAN tror jeg blir vanskelig, med mindre du feiger ut og kjører iSCSI

 

Ellers har vel openfiler (på software siden) støtte for fibre channel, om man finner noe 2GB ustyr billig på ebay.

 

Men antar vel at du mener enten DAS eller NAS, men måtte spikke litt fliser ^^

[siDDis]

iSCSI er jo sjølvsagt!

Trenger bare ein sånn http://www.amazon.com/gp/product/B001BBMUSM/ref=olp_product_details?ie=UTF8&me=&seller=

Og ein sånn http://www.newegg.com/Product/Product.aspx?Item=N82E16833122157

Endret 27. oktober 2010 av siDDIs

[cruzader]

Jeg kjører iscsi mot mitt mini-san

 

Satt opp ganske beint frem:

 

Hver node har følgende specs:

Atom D510 (2ghz dual)

2gb ddr2 667mhz

2x 250gb raid0

pci-e dual gigabit intel kontroller

picopsu 80w koblet på 12v railen til en delt strømforsyning

 

satt de opp i 2grupper på 3 som har hvert sitt vlan for replikering, så en kabel fra hver i core.

 

Disker hadde jeg liggende mesteparten og fikk resten fra kompiser som hadde liggende

strømforsyningen nodene kjører mot + switchene hadde jeg liggende, resten kom på nesten 6,5k.

På det meste får jeg rett over 300mb/s i ytelse fra hver gruppe.

 

vurderte 10gbit infiniband men kostet mer enn gleden det ville gitt.

prisene jeg fikk da var:

1x 24port 10gbit infiniband switch 400$ each (400$)

8x 10gbit infiniband pcie 30$ each (240$)

2x 10gbit infiniband pci-x 20$ each (40$)

10x 10gbit infiniband cable 8$ each (80$)

så ville blitt 760$ + frakt/moms for 6noder og til 4servere.

Endret 27. oktober 2010 av cruzader

[ThaBear]

Kva er poenget med å sette det opp slik egentlig?

Ville det ikkje blitt billigere med en server med 2gb nettverks kontroller (teaming og link aggregation) og eit godt raid kort?

 

Eller er dette brukt til noke heilt anna?

[cruzader]

Om i verstefall 2 av nodene i en gruppe går ned er dataene fortsatt tilgjengelig som er litt koselig.

Samt beste av alt, får koblet til samme iscsi target med maskiner/servere samtidig så flere kan jobbe med dataene.

 

Har allerede en boks med 18x1,5tb og koselig raidkort + 4gbit link aggregation for masselagring

Men ha databasene,virtuelle maskinene,vmware sine datastore etc der så blir problemet at bare en maskin kan koble til hvert iscsi target omgangen.

[siDDis]

Istadenfor å bruke eit billigt hovudkort(som også sikkert ikkje vil fungere) så kan ein bruka dette http://www.orbitmicro.com/global/pe-2sd1-r10-p-9375.html

[Magnus Lie]

Istadenfor å bruke eit billigt hovudkort(som også sikkert ikkje vil fungere) så kan ein bruka dette http://www.orbitmicro.com/global/pe-2sd1-r10-p-9375.html

 

Jeg har dette kortet liggende hjemme, men ikke tatt det i bruk enda. Kjøpte det for å gi strøm til en HP SAS-expander.

Siden den har slotter på begge siden av kortet, er jeg usikker på om vanlige spacere i kabinettet er høye nok, og evt om det gir meg problemer med å få festet SAS-expander ordentlig i kabinettet.

 

I denne bloggen (http://www.servethehome.com/sas-expanders-build-jbod-das-enclosure-save-iteration-2/) ble det brukt dremel for å fjerne slottene på undersiden.

 

Andre har hatt (eller ser) den samme problemstillingen, og på Hardforum.com er det nå en person som har planer om å designe og lage et tilsvarende kort for evt videresalg, for bruk i kabinetter fra Norco mm (hvor man ikke har innebygd SAS-expander, slik man kan få fra feks SuperMicro).

Endret 28. oktober 2010 av Magnus Lie

[ThaBear]

Har sett ein artikkel med en Norco 2020 og hp-sas-expander. Der brukte de eit billig hk uten cpu og ram, kun får å gi strøm via pci-e bus..

 

Ellers, kas kontroller kobler en til hp's sas expander da? Eit slikt kort koster vel en god del rekner eg med

 

Sjølv har er ikkje fått inn meir enn 6 disker i Norco 2020'n klarer ikkje meir enn 2 til på sata portene på raid kontrollern heller, noke som er irriterande. da resten av portene går til nettverks kontroller og vifte til raid kontrolleren

 

Men dette som cruzader snakker om minner meg meir om en blade server eller cluster.. Eller har eg forsatt missforstått det?

[Magnus Lie]

Har sett ein artikkel med en Norco 2020 og hp-sas-expander. Der brukte de eit billig hk uten cpu og ram, kun får å gi strøm via pci-e bus..

 

Dette var en plan jeg hadde - bruke mitt andre Norco 4020 som en disk-chassis til det første kabinettet, men ha et hk/cpu/ram i kabinettet for å ha det som en server nr 2, med enten lokal OS-disk eller et iscsi-target til hovedserver. Har ikke bestemt meg enda hva jeg gjør, så ingen planer er lagt på hylla enda

 

Ellers, kas kontroller kobler en til hp's sas expander da? Eit slikt kort koster vel en god del rekner eg med

 

Du trenger en SAS-kontroller. Enten med eller uten raid funksjonalitet.

Fordelen her at med en SAS-expander så behøver ikke kontrolleren være på mer enn 8 porter, noe som gjør at prisen blir lavere enn om du hadde kjøpt en SAS-kontroller med støtte for 12, 16 eller 24 porter.

 

Det kortet jeg vurderer å kjøpe i dag er LSI 9200-8e SAS2 HBA. Denne har ikke hardware raid (jeg bruker ZFS og har ikke det behovet), har 2 stk SFF-8088 porter (eksterne), og støtter opptil 512 disker. Dvs jeg kan seriekoble flere SAS-expandere, og ha totalt 512 disker.

 

Dette kortet koster ca 3100 kr hos Dustinhome.no, eller du kan kjøpe det fra USA for rundt $350, som gir en ca norsk pris på 2600 kr (inkl. moms) + frakt. Skal du ha et SAS-kort med hw-raid, ligger prisene på rundt 6000-12000 kr avhengig av produsent og antall porter.

 

Hvor praktisk dette blir er en helt annen ting, men det er ikke vanskelig å bygge sin egen multi-PB lagringsserver, hvis du har finansene i orden og fysisk plass til alt sammen, ved å kun bruke vanlige hyllevareprodukter

[ThaBear]

Sjønner godt kvifor en produserte ZFS, får å holde prisene på lagrings servere nede

 

Er heilt sjukt kor mykje desse hw raidkontrollerene koster, har sjølv bruk for en kontroller med opptil 20(24) porter og muligens støtte får sas expander..

 

Men køyrer dette i raid 5 nå med 6 disker men dette blir upraktisk ved senere annledning med opptil 20 disker, da blir det nok raid 6-60 får å minke sansynligheten får å tape data ut av disk feil ol.

 

Bruker også win server, siden eg hadde dårlig erfaring med ZFS / solaris da dette crashet uten videre..

 

Så trenger HW raid kontroller ved oppgradering, dagens kontroller er dell perc 5.. lommeboka er ikkje full får å seie det slik

[cruzader]

Jeg endte opp med og kjøre pci-x kontrollere i min filserver siden de nyere pci-e koster en liten formue.

Ble nesten 1800kr for 3ware 9500s-12 + 9500s-8 på ebay (med moms/frakt).

Ikke nyeste kortene men de klarer 450mb/s i raid5 så jeg er fornøyd

Endret 29. oktober 2010 av cruzader

[ThaBear]

Er no ikkje mb/s som kommer an på, dell perc'n min klarer jo 600mb/s+

Men dette med stripe size 128k og alt av litt mindre filer er dritt trege

Men vil ha en areca ARC-1680IX-12 og 2 stk hd sas expander dette er mok billigste løsningen med opptil 48 hdder på 2(3) kort

Må bare komme over eit slikt brukt først

 

Men slik som dette bildet viser, Kva ville sjølve serveren køyrt av os, og kva og korleis er raidet konfigurert siden dette står i eige kabinett? Kvifor ha kabel i mellom server og raid? ikkje enklere med exsternal sas? og fiber/nettverks kabel fra server til 1 switch?

Endret 29. oktober 2010 av ThaBear

[cruzader]

Mangler et par koblinger for "ekte" san.

 

- Raid1 til san switch 2

- Raid2 til san switch 1

- server1 til san switch2

- server2 til san switch1

 

Da har du miste en switch og et raid uten miste tilgang til dataene, altså redudans både på raid og switch nivå.

 

slik det er på skissen din om en switch går ned mister den servern tilgang til dataene, i bestefall jalla-san.

 

OS på san noder er mange og velge i, av gratis har du f.eks gluster.

Endret 29. oktober 2010 av cruzader

[ThaBear]

Vel, eg tenkte meir på server->Raid box via external sas, 2 nettverks kontrollere (fiber vist dette er nødvendig) der en går til kvar switch, så om en kontroller eller switch går ned eller dør vil en forsatt ha begge serverene oppe å gå, og en server kan også gå..

 

Dette kan vel settest opp som eit raid 6 og speilest til det andre kabinettet som også køyrer raid 6 så dette ilag blir raid 60?

 

Eller er det beste å køyre 2x raid 60?

 

Eller blir idè'n min totalt feil?

Hentet dette bilde ut fra en guide på hw.no

[Varj]

vanlige san løsninger har et fullstendig redundant oppsett, hvor to "servere" snakker med de samme fysiske diskene.

 

tegningen din ser ut som en disaster-recovery løsning, ikke et basic san-oppsett.

 

et veldig enkelt oppsett kan f.eks ses her: http://www.siemon.com/us/white_papers/images/03-08-26-san3.gif