Optimalisere mot gigabit

[Pion_]

Målet er å ha minst mulig specs på hardware, og alikevel utnytte FULL DUPLEX gigabit.

 

Hva slags system kan jeg regne som minimum på pc hardware siden?

 

Hva slags kabel er å foretrekke?

 

Hvordan regne seg fram til optimaliserte tcp/ip innstillinger på ipv4?

[kpolberg]

Ser ikke helt hva du skal oppnå, problemet med fleste maskiner er jo at diskene ikke henger med. Så i utgangspunktet må du i ihvertfall ha RAID. Men dette vil allikevel ikke klare full skriv/les samtidig. Så kommer overhead, kan fort dra vekk 10% her. Kabel, nja si det, enten Fiber, Cat5e eller Cat6. Er egentlig ikke så forferdelig mye du kan gjøre på rene TCP/IP innstillinger utenom å ha switch og nettkort som støtter "Jumbo Frames".

[Pion_]

Ser ikke helt hva du skal oppnå, problemet med fleste maskiner er jo at diskene ikke henger med. Så i utgangspunktet må du i ihvertfall ha RAID. Men dette vil allikevel ikke klare full skriv/les samtidig. Så kommer overhead, kan fort dra vekk 10% her. Kabel, nja si det, enten Fiber, Cat5e eller Cat6. Er egentlig ikke så forferdelig mye du kan gjøre på rene TCP/IP innstillinger utenom å ha switch og nettkort som støtter "Jumbo Frames".

 

Målet er å ha mest mulig cash igjen til lagringsplass

 

Planen er raid5 eller 6 på vanlige s-ata disker.

 

 

Med mindre tap i kabel, vil maskinen slippe å sende så mye på nytt vel?

på tcp/ip innstillinger kan man vel kunne komme fram til en pakkestørrelse som klarer overføre maksimal mengde data per døgn? Med tanke på sannsynligheten for pakketap mot tiden det tar å skrive nytt sendehode for en ny pakke..

Endret 29. november 2007 av Pion_

[kpolberg]

Hehe, tror du har ett litt feilaktig syn på pakketap. Men sånn ellers er det bare å kjøpe kjipeste maskinen du kommer over med flest mulig SATA porter, som er koblet til PCIe bussen.

 

EDIT: og MTU størrelsen er det lite å hente på, ikke ser jeg at du never hva denne maskinen skal brukes til(noe som er litt vesentlig), for å si det sånn, jeg har _ALDRI_ hatt bruk for gbit sånn egentlig, og ihvertfall ikke over flere døgn.

Endret 29. november 2007 av kpolberg

[Jankee]

fjernet då det var litt feil, og unøyaktige data

Endret 29. november 2007 av Jankee

[Shadow_iX]

Raid5, Stripeset med noen gode SAS (en cheeta 15k.5 disk har substained data xfer rate på 125mb/s kontinuerlig, megabyte altså, ikke megabit.) disker klarer dette fint.

Ellers så har du RamSan Arrayene ifra TI, de klarer nok det meste.

Endret 29. november 2007 av Shadow_iX

[kpolberg]

Raid5, Stripeset med noen gode SAS (en cheeta 15k.5 disk har substained data xfer rate på 125mb/s kontinuerlig, megabyte altså, ikke megabit.) disker klarer dette fint.

Ellers så har du RamSan Arrayene ifra TI, de klarer nok det meste.

Må være det tåpeligste forslaget på lang tid. Han snakker her om billigste måten å få tilnærmet 100% ytelse på gbit nett. I utgangspunktet er det ikke vanskelige så lenge man har nok disker i RAID5, og hovedkortet har en fornuftig layout med tanke på hvor SATA og gbit nettkortet er koblet til nord og sør bruen. I tillegg kan jeg nevne at ett standard SATA kort ala SIL3114, vil oppnå "sustained" overføring på 133mB/s(som da er begrensningen på PCI bussen.Tar utgangspunkt i 4 disker). Er ikke vits å overspekke alt her i verden.

[Pion_]

Formålet er en fil og backup server som trenger maks utbytte av nettverket når data aksesseres. Eks. Backup skal tas på kortest mulig tid, gjerne fra flere kilder samtidig.. (Store mengder data) Cpu skal bare skjekke checksum.

 

Den skal samtidig fungere som lager for media center maskiner, som trenger stabil datarate, også mens backup foretas.

 

Det tidskritiske her er lagring av filer fra nettverket.

[kpolberg]

Skal du kjøre full backup hver kveld eller inkrementellt? Jeg synes fremdeles bruken er langt under det du setter av krav. Klientene dine vil aldri kunne ta nytte av gbit båndbredde, og mediapcen kommer aldri til å trekke over 100mbit. For å illustrere, klientene dine kommer til å klare ca 30-40 mB/s, det du ønsker er altså backup på akkurat samme tidspunkt fra 3 klienter minimum. Samtidig som mediapcen din driver å viser en film.

Endret 29. november 2007 av kpolberg

[Shadow_iX]

Jeg skumm-leste litt for fort igjennom her, bekalger.

 

Men je ger selv ivrig bruker av sas disker, er så fornøyd med de at jeg bare vil spre det gode ord.

 

Hva tror du er billigst av 5 sata disker til ca 1000 lappen hver og en sas kontroller og en disk eller to?

[kpolberg]

Jeg skumm-leste litt for fort igjennom her, bekalger.

 

Men je ger selv ivrig bruker av sas disker, er så fornøyd med de at jeg bare vil spre det gode ord.

 

Hva tror du er billigst av 5 sata disker til ca 1000 lappen hver og en sas kontroller og en disk eller to?

Spørsmålet er tåpelig, men jeg skal besvare det alikevel. SATA disker uten tvil. bare 1 36 gb SAS disk koster 1200,- inkludert moms. Og fra en 36gb disk så vil du maksimalt oppnå 80 mB/s. Du må i tillegg ha en kontroller til 2200,- som kun tar 4 disker, i stedet for og få en kontroller til 1000,- som tar 8 disker. For å ta det litt videre, en 500gb SATA hdd koster ca 750,- gang dette med 4, og du er oppe i 3000,- altså omtrent det samme som 1 36gb disk og kontroller. Du vil med disse 4 diskene ha bedre sikring, MYE mer lagringsplass, og raskere overføring. For ikke å snakke om billigere utviding av plass senere. Det er greit du liker SAS disker, men det er tid og sted. Tør jeg spørre hva du egentlig bruker disse fantastiske SAS diskene dine til?

 

Jeg kan selv nevne at jeg sitter på 8x 10k fiberkanal disker samt 8x 15k fiberkanal disker på 73gb. Søketiden er fantastisk, men hva i alle dager skal man bruke noe slikt til?

 

EDIT: Glemte at jeg har og en 146gb 10k fiberkanal disk(som forøvrig er MYE kulere enn SAS).

Endret 30. november 2007 av kpolberg

[Pion_]

Skal du kjøre full backup hver kveld eller inkrementellt? Jeg synes fremdeles bruken er langt under det du setter av krav. Klientene dine vil aldri kunne ta nytte av gbit båndbredde, og mediapcen kommer aldri til å trekke over 100mbit. For å illustrere, klientene dine kommer til å klare ca 30-40 mB/s, det du ønsker er altså backup på akkurat samme tidspunkt fra 3 klienter minimum. Samtidig som mediapcen din driver å viser en film.

 

Dette var eksempler på bruk.. det jeg lurer på er hvor low end på resten av systemet sett bort ifra et raid5 oppsett av s-ata disker som er mulig for å få 100% utnyttelse av gigabit. (I den forstand to maskiner klarer dytte unna 125MBps begge veier på nettverkskortene) + generell optimalisering av nettverket mellom disse.

 

Om bruken gjenspeiler kravet er irrelevant for spørsmålet..

Endret 1. desember 2007 av Pion_

[kpolberg]

Men bruken er dessverre essensiell for hvordan man vil optimalisere. Jeg kan si helt enkelt at ett RAID0 med 2x disker, samt en hvilken som helst nyere maskin vil klare og dytte 125mB/s(det er ikke mbps det er snakk om, men megabyte, derav stor B).Men du vil ikke klare full-duplex,

 

Sånn eller optimalisering må vi jo se på hver eneste applikasjon det er snakk om, samba, ftp, http osv. Men i det originale spørsmålet ditt nevner du optimalisering av pakke størrelsen. Er egentlig ikke noe fantastisk du kan gjøre her, og effekten er veldig liten.

[Pion_]

Men bruken er dessverre essensiell for hvordan man vil optimalisere. Jeg kan si helt enkelt at ett RAID0 med 2x disker, samt en hvilken som helst nyere maskin vil klare og dytte 125mB/s(det er ikke mbps det er snakk om, men megabyte, derav stor B).Men du vil ikke klare full-duplex,

 

Sånn eller optimalisering må vi jo se på hver eneste applikasjon det er snakk om, samba, ftp, http osv. Men i det originale spørsmålet ditt nevner du optimalisering av pakke størrelsen. Er egentlig ikke noe fantastisk du kan gjøre her, og effekten er veldig liten.

 

 

FTP full duplex med 10 skrive, og 10 lese operasjoner samtidig for eksempel...

[_BOFH_]

Det jeg har best erfaring med er å kjøpe switcher / nettverkskort som støtter jumbo frames og deretter å leke litt med tcp window size på maskinene du kobler til.

 

TCP Window size vil kort fortalt si noe om hvor mange pakker du kan motta før en ACK er nødvendig. Dersom TCP window size er veldig liten, og det er den default i både Windows og Linux, sendes det mye ACK og SYN pakker på nettet, og maskinene vil da av og til ikke ta imot mer data før ACK pakken har kommet frem. Generelt synes jeg å huske at for overføring over linker med høy latency (ping tid) burde man ha windre TCP Window size, men på et lokalnett burde det ikke være noe problem å øke denne betraktelig. Funker fint for meg i alle fall :-)

 

Dersom budsjettet ditt tillater det er jo gode nettverkskort også en fordel...

 

En liten kommentar til de som måtte mene at det er null problem å få 125mB/sek ut av et raid0 med to disker: Ja det vil funke for sekvensiell les / skriv, men hvor ofte får du det in real life da... I alle fall ikke dersom det er flere klienter som skal lagre backup samtidig.

[Pion_]

Hvor low end er det mulig å gå med tanke på hovedkort for å kunne dytte unna 125MBps hver vei med 20 klienter gitt at raid oppsettet klarer lese/skrive raskt nok

[kpolberg]

Stort sett hele problemet går jo ut på at du trenger ett RAID som klarer 20 samtidige skriv/les operasjoner. Forøvrig kommer jo hastigheten på bussen inn i problematikken her. Men si man over speccer endel og går for en 3Ware PCIe kontroller med 12 porter, 12 disker i typisk RAID 5/6, Så burde det være mulig å dytte 125 mB/s. Igjen så spiller det jo litt inn hva slags type filer som typisk skal dyttes ut til klientene osv.

[Pion_]

3ware med 12 s-ata disker.. på hva slags hovedkort? Hva hvis 3ware kontrolleren har PCI-X? For at 125MBps begge veier med relativt store filer hver vei på 20 klienter samtidig skal gå fint?

[_BOFH_]

Hovedkortet har ikke så mye å si her faktisk, men det er riktig at du bør holde deg langt unna en standard PCI bus dersom du har tenkt å oppnå disse hastighetene.

 

PCI-X er jo et bra alternativ, men da snakker vi ofte litt dyrere hovedkort. PCI-e funker helt fint :-)

 

Jeg har en Promise SX8350 (8 porter Raid6-kort (SATA)) på PCI-e x4 og den skriver 170mb/sek kontinuerlig. Med 10 samtidige tråder øker faktisk throughputen til 200mb/sek. På mitt kort faller throughputen litt igjen med 20 samtidige tråder til ca 150mb/sek. (Jeg kjører Raid6 som på dette kortet er en god del tregere enn raid5)

 

Dette kortet er noen år gammelt (snart 3 år tror jeg) - var helt nytt da jeg kjøpte det - kan godt hende at det finnes billigere / bedre alternativer nå. (Areca har noen fine - ellers er det alltids 3ware selvføgelig...)