Hjelp til kjøp/oppgradering av videoredigeringsserver

[KongTruls]

Vi er en gjeng som elsker å jobbe med videoredigering på kveldtid hjemme i kjelleren min. Vi driver på med reklamefilmer og liker å legge til effekter og sånn med Nuke, Flame og flere verktøy av den typen. Vi bruker idag siste versjon av Ubuntu og har hver sin Nvidia 780GTX og er ellers knallfornøyd.Hver PC har en Haswell QuadCore(4670 tror jeg), 32GB ram og 2 SDDer som speiles på 120GB hver. De fungerer mer som OS disk og den faktiske videoredigeringen foregår over nettverket. Vi valgte å investere i en server(FreeBSD og ZFS) for å gjøre det mest mulig økonomisk med å dele ressurser, da harddisker/lagrinsplass antall iops osv koster mye, pluss at de blir mye enklere å samarbeide/dele filmsnutter med hverandre. Vi startet med FreeNAS, men det var en feil som førte til at serveren kræsjet, så vi valgte FreeBSD istedenfor som har fungert smertefritt. Ikke var det vanskelig heller, 5-6 kommandoer og 2 filer som måtte endres på for å sette opp et ZFS raid og NFS.

 

Men vi sliter med ytelse, spesielt lese og skrivehastighet. Vi bruker NFS og har en quad gigabit nettverkskort satt opp med LACP, og serveren har 6 stykk 2 TB harddisker 7200rpm satt opp med 3 mirrors som stripes og en billig Intel 520 som cache. Serveren leverer jevnt 500mb i leseytelse og 250MB/s skriveytelse og makser nettverket når vi alle fire holder på, men for hver av oss så blir dette for tregt med rundt 110/100MB/s i lese og skriveytelse.

 

Vi ønsker fremdeles å benytte oss av en server, det forenkler samarbeidet vårt betraktelig og men vi ønsker mye bedre ytelse over nettverket. Vil 10Gbps nettverk hjelpe? Bør vi skifte ut harddiskene med SSD? Vi har et budsjett på ca 8000kr.

[lazyjacket]

Ja, det vil helt klart hjelpe, men da må dere også ha disker som matcher ytelsen. Så SSDer i raid er lurt, men da må dere tenke på RAID-kort til diskene.

Ville brukt de vanlige diskene til lagring bare, og jobbet mot SSDene.

Husk også at dere må ha 10Gbps switch og tilsvarende interface på makinene deres.

Høres ut som en artig hobby/kveldsjobb.

Tips, sjekk ut linus tech tips. De jobber på ca samme måte som dere, jobber mot en 24 TB SSD raid server via nettet. Pluss en 36 kjerne renderingserver. Kanskje dere får noen gode tips dere kan med dere.

Endret 17. november 2015 av lazyjacket

[KongTruls]

Takk for tipset, hvor kan jeg lese mer om dette?

[lazyjacket]

På denne Youtube kanalen:

 

Video om 10Gbps nettverket:

 

Redering maskina del 1:

 

20TB SSD RAID server over 10Gbps nettverket: 

Mye av dette er over flere deler, så bare å lete litt så finner du nok frem. 

[KongTruls]

Tusen takk, dette er veldig interessant. Jeg tror vi skal finne ut noe som passer oss bra :-)

[LMH1]

Skal du ha 10 gigabit bør du se på SFP+ på bruktmarkedet:

 

10Gbps nettverkspakke, 2X nettverkskort + 1m SFP+ kabel

 

Det funger bra i windows 10 Mellanox ConnectX-2 SFP+ og gir mest for pengene.

Ulempen det kun gir nytte\billig om du kobler sammen pcer.

Det finnes også 2 port SFP+ kort til rundt 1500 kr per stykt, kjøpte det fra samme person.

 

Ulempen kommer til SFP+ switcher 50 porters switch, 48 1G og 2 10G, SFP+, 2X PSU, CLI Management

da det ikke finnes store rene SFP+ switcher som klarer 10 gigabit til fornuftig pris.

 

Ellers selger nok digitalimpuls, dustinhome muligens noe 10 gigabit utstyr basert på RJ45 men det er veldig mye dyrere.

Endret 19. november 2015 av LMH1

[Nizzen]

Skal du ha 10 gigabit bør du se på SFP+ på bruktmarkedet:

 

10Gbps nettverkspakke, 2X nettverkskort + 1m SFP+ kabel

 

Det funger bra i windows 10 Mellanox ConnectX-2 SFP+ og gir mest for pengene.

Ulempen det kun gir nytte\billig om du kobler sammen pcer.

Det finnes også 2 port SFP+ kort til rundt 1500 kr per stykt, kjøpte det fra samme person.

 

Ulempen kommer til SFP+ switcher 50 porters switch, 48 1G og 2 10G, SFP+, 2X PSU, CLI Management

da det ikke finnes store rene SFP+ switcher som klarer 10 gigabit til fornuftig pris.

 

Ellers selger nok digitalimpuls, dustinhome muligens noe 10 gigabit utstyr basert på RJ45 men det er veldig mye dyrere.

Det koster å være kar... Det kan faktisk være at RJ45 blir den billigste løsningen til slutt. Rj45 10Gbit kort kan fåes til ca 2500kr per stk, og en 5-8 ports switch koster kanskje7k.

[siDDis]

Ser du kan få D-Link DXS-1210-10TS for rundt 8000kr.

Men eg er litt usikker på reknestykket, for RJ45 switchene bruker mykje meir straum, og for det andre så blir det ein vesentleg forskjell mellom 8 nettverkskort for 2500kr mot 8 stykk SFP+ for 250kr

Då blir totalpris for kvar av disse:

For SFP+ 12000 + 2000 = 14000kr
For RJ45 8000 + 20000 = 28000kr

Altså dobbelt så dyrt, uten å ha regnet med ekstra straumforbruk med RJ45.

CAT6a kabler er litt billegare enn SFP+ Twinax/DAC/copper eller Tranceiver + fiber. Men du må vere sikkert på at du får CAT6a og ikkje ein CAT5e kabel. Mange selgere forvirrer veldig mellom standardene og du risikerer eit ustabilt nettverk.

 

Om du greier deg med 6 SFP+ porter så kan du kjøpe 2 stykk D-Link SmartPro DGS-1510-28X for 4500kr per stykk.

Ingen anelse om dei støyer.