Tips/dele erfaringer med 2.5/5/10Gbe hjemmenett

[Janvik]

2 hours ago, siDDis said:

De koster ~150-200kr på fiberstore.com

680kr/stk + moms koster de.

RJ45 <-> SFP+ moduler er ikke å anbefale da de bruker MYE strøm og blir noe varm under bruk. 
Ikke har de full 100 meters rekkevidde per cat6a strekk heller. (heller nærmere 30m)

1 sett med optikk og snorer koster fort ca det samme som 1-2 stk RJ-45 modul.



Billigste eksempel på optikk + snor til 10G:

https://www.fs.com/products/11552.html 2 stk, 400kr + moms
https://www.fs.com/products/41730.html 1 stk, lengde etter behov. x kr + moms
så lenge det er oppgitt LC to LC UPC/UPC og OM2 eller høyere så vil det fungere med denne optikken.

Endret 20. august 2022 av Janvik

[siDDis]

Ok, de har satt opp prisen 25% siden jeg sjekket sist. Uansett så er det Ebay som gjelder.

https://www.ebay.com/itm/334455201432?hash=item4ddf155e98:g:AA4AAOSwbDRikPV-&amdata=enc%3AAQAHAAAAoCPr2WLCGqoaszWu5hEbbgtoqTMD%2F6%2Br02FfZoS%2BbSAaSRgK7WnrZqht9zKNAR%2B%2FP%2FYfb%2BHszJpNY0xv%2BcOilT3nsj5xwwiHlZxXNbelWSNfgPSU%2FGlsLG52nR%2F86i7iJUuWPYoAmJ5Bg96BJE4nNfJmVHkEukkMugdfn8xjTtxdnQUkfYcjdtJoPvIP2kvLyv5gzHXH9HE19ZSKqMRQYv4%3D|tkp%3ABk9SR6K_8cjXYA

10 kr stykket

[PaladinNO]

siDDis skrev (5 minutter siden):

Ok, de har satt opp prisen 25% siden jeg sjekket sist. Uansett så er det Ebay som gjelder.
10 kr stykket

...Pluss nærmere 500 Kr. i frakt, med mindre man gjør en egen avtale med selger om frakt uten sporing.

Fullt mulig, men min erfaring har vært DYR frakt for ting fra USA.

Om jeg kjøper et par slike moduler og inkluderer i prisen, vil det gjøre Zyxel switchen min mer salgbar? Har som sagt null erfaring med SFP+
https://prisguiden.no/produkt/zyxel-xgs1250-12-541323

Forresten, når det kommer til SFP+ til RJ45 moduler, er det tall / spesifikasjoner man kan sjekke for garantere kompabilitet med switch / andre enheter?

 

[PaladinNO]

Frank Drebin skrev (På 1.8.2022 den 14.55):

I tilfelle du ikke har kjøpt allerede så blir disse veldig varme, så sørg for å ha god luftflyt forbi.

Da er det bestilt NIC til hovedmaskinen.

Endte med TP-Link TX401. Tenkte det ville være kurrant med en TP-Link switch.
https://prisguiden.no/produkt/v/_iOsbupUK8A?g=1

Jeg har også kjøpt  2stk. Noctua NF-A6x25 FLX 60 mm vifter jeg har tenkt å bruke som GPU støttebrakett (vil erstatte nåværende løsning).
Både for bedre luftflyt til GPU og som ekstra kjøling til nettverkskortet (skal finne på noe som demper evt. vibrasjoner).

[Phantom Software]

On 8/19/2022 at 2:35 AM, PaladinNO said:

Noen som har noen erfaring med Intel X550-T2 / -T1 med Windows 10?

Jeg kjørte en eller annen T1 variant av det i noen år uten problemer (X520?), minner meg på at det sikkert ligger i en boks et sted. Trenger det ikke akkurat nå da jeg har hovedkort fra Gigabyte med innebygd 10Gb fra Aquantia, som også har fungert helt problemfritt.

[siDDis]

PaladinNO skrev (3 timer siden):

...Pluss nærmere 500 Kr. i frakt, med mindre man gjør en egen avtale med selger om frakt uten sporing.

Fullt mulig, men min erfaring har vært DYR frakt for ting fra USA.

Om jeg kjøper et par slike moduler og inkluderer i prisen, vil det gjøre Zyxel switchen min mer salgbar? Har som sagt null erfaring med SFP+
https://prisguiden.no/produkt/zyxel-xgs1250-12-541323

Forresten, når det kommer til SFP+ til RJ45 moduler, er det tall / spesifikasjoner man kan sjekke for garantere kompabilitet med switch / andre enheter?

 

Frakt fra USA finner du her https://www.jetcarrier.com/cms/priser/prislister/ så nei det blir ikke 500kr

[PaladinNO]

siDDis skrev (1 time siden):

Frakt fra USA finner du her https://www.jetcarrier.com/cms/priser/prislister/ så nei det blir ikke 500kr

Har bare sett flere selgere på Ebay som opererer med ekstremt høye fraktpriser fra USA.

[PaladinNO]

Janvik skrev (5 timer siden):

RJ45 <-> SFP+ moduler er ikke å anbefale da de bruker MYE strøm og blir noe varm under bruk. 
Ikke har de full 100 meters rekkevidde per cat6a strekk heller. (heller nærmere 30m)

Whoa, delen med bare ~30 meter med Cat. 6a med en slik modul visste jeg ikke.

Da er de straks langt mindre interessante.
https://www.ebay.com/itm/204070407448

[Janvik]

11 hours ago, PaladinNO said:

Forresten, når det kommer til SFP+ til RJ45 moduler, er det tall / spesifikasjoner man kan sjekke for garantere kompabilitet med switch / andre enheter?

 

Så lenge du ikke bruker HP/Cisco/Juniper/Extreme/Huawei så er det ganske universalt. 

Det finnes koding/merking for alt mulig rart. (veldig tydelig på fs) 

[PaladinNO]

Janvik skrev (2 timer siden):

Så lenge du ikke bruker HP/Cisco/Juniper/Extreme/Huawei så er det ganske universalt. 

Det finnes koding/merking for alt mulig rart. (veldig tydelig på fs) 

Og jeg som nettopp hadde sett på HP / Cisco moduler for å være garantert merkevare...

Godt poeng, takker for info. Overrasker meg egentlig ikke at f.eks. Cisco har firmwaresperrer på sine enheter som hindrer fri bruk.
Ser eksempler på det stadig vekk på trådløse aksesspunkter på jobb - enheten fungerer fint, men grunnet at Cisco nekter å lage ny firmware for spesifikk funksjonalitet så må vi bare jevnlig bytte ut enhetene istedet. Og det virker som en slik holdning er akseptert i bedriftsmarkedet.

[siDDis]

Det er bare en sjekk i cisco switcher som en kan skru av, så kan en bruke alle transceivere. Husker ikke spesifikt da jeg ikke har Cisco selv.

Endret 22. august 2022 av siDDis

[PaladinNO]

Nå skjønner jeg ingenting.

Har nettopp installert 10GBase-T NIC i hovedmaskinen (TP-Link TX401) og jeg får fortsatt bare 357 MBps sekvensielt. Samme som med onboard 5 Gbit NIC.

Er det en eller annen buffer / cache i diskene jeg bruker som blir fylt opp som begrenser overføringshastigheten? Blir de for varme etter bare noen få sekunder til å holde full hastighet? Er 35 meter for langt kabelstrekk?

Jeg får en liten burst i starten av kopieringen på 500+ MBps før det brått går ned til 357 og blir liggende der.

TP-Link TX401 <-> 1 meter Cat. 6a <-> TP-Link SX1008 <-> 35 meter Cat. 6 <-> Asus XG-C100C
Samsung 860 Pro 512 GB SATA SSD <-> Samsung 860 Evo 250 GB SATA SSD

Har testet med en 35 meter Cat. 6a kabel uten forskjell.

Eneste jeg kan tenke meg, og som jeg har hatt en mistake til ganske lenge, er at 250 GB SSD-en i serveren rett og slett er for liten til slike overføringer.
Fra Samsungs produktside:

https://semiconductor.samsung.com/resources/data-sheet/Samsung_SSD_860_EVO_Data_Sheet_Rev1.pdf (side 5)

Sitat

3) Sequential Write performance measurements are based on Intelligent TurboWrite technology. The sequential performance measurements after Intelligent TurboWrite region are 300MB/s (250/500GB), or 500MB/s (1TB).

Jeg har nå en 2 TB NVMe SSD til overs (...som jeg måtte ofre for å kunne bruke 10 Gbit-kortet i hovedmaskinen pga. PCIe lane allocation, mange takk Asus ) som jeg kan sette i serveren som dedikert "overføringsbuffer" over nettverket (i.e. før jeg kopierer filene internt til harddisken de skal være på).

*sukk* Det får bli senere. Nå begynner jeg å bli lei...

Endret 1. september 2022 av PaladinNO

[Frank Drebin]

Er det snakk om få, store filer, eller mange små?

[PaladinNO]

Frank Drebin skrev (På 1.9.2022 den 16.02):

Er det snakk om få, store filer, eller mange små?

I dette tilfellet, bare som en test, 2 mapper med tilhørende filminnhold. 2x ~2,5 GB + undetekster (~100 KB pr.).
Regner med å fortsatt kunne gjøre det samme med 1 stor fil, 7 GB+, og få samme resultat.

Jeg vet mange småfiler tar lenger tid.

Endret 3. september 2022 av PaladinNO

[Frank Drebin]

PaladinNO skrev (24 minutter siden):

I dette tilfellet, bare som en test, 2 mapper med tilhørende filminnhold. 2x ~2,5 GB + undetekster (~100 KB pr.).
Regner med å fortsatt kunne gjøre det samme med 1 stor fil, 7 GB+, og få samme resultat.

Jeg vet mange småfiler tar lengre tid.

Ser at jeg får 1,09 GB/s på jobb ved å kopiere en fil på 2,3 GB på følgende vis:
NAS (QNAP TS-832PX med 4x 500 GB Ironwolf 125 SATA SSD, 4x HGST 6 TB SATA HDD og WD Red SN700 250 GB M.2 NVMe-SSD for cache-acceleration)
DAC (SFP+)
switch (QNAP QSW-1208-8C)
1 m cat. 6a
patchepanel
~20 m cat. 6a til grenstav
3 m cat. 6a
NIC Asus XG-C100C
Samsung 850 Evo SATA SSD

Samtidig får jeg ved kopiering av samme fil fra en annen NAS bare ca. 420 MB/s:
NAS (QNAP TS-431X2 med 4x 500 GB Crucial MX500 SATA SSD)
DAC (SFP+)
switch (QNAP QSW-1208-8C)
1 m cat. 6a
patchepanel
~20 m cat. 6a til grenstav
3 m cat. 6a
NIC Asus XG-C100C
Samsung 850 Evo SATA SSD

Begge NASene har raid 10 på SSDene, så forskjellen ligger vel da kanskje i M.2 NVMe-SSDen som er brukt til cache-acceleration.

[PaladinNO]

Frank Drebin skrev (1 time siden):

Ser at jeg får 1,09 GB/s på jobb ved å kopiere en fil på 2,3 GB på følgende vis:

Begge NASene har raid 10 på SSDene, så forskjellen ligger vel da kanskje i M.2 NVMe-SSDen som er brukt til cache-acceleration.

Da høres det definitivt ut som det er et cache problem jeg har.

Filserveren min er bare en vanlig Windows PC (9600K, 16 GB RAM) med harddisker kjørende som JBOD via en enkel kontroller, så ikke noe RAID eller dedikert cache disk i mitt oppsett.

Jeg skal se på mulighetene for å sette i en M.2 NVMe SSD i serveren etterhvert for å se om det løser problemet (ihvertfall så jeg har en rask SSD å faktisk teste 10 Gbit nettverket med...).

Er bare et B365 hovedkort så mulighetene er nok noe begrenset for NVMe lagring før det går utover SATA-portene, og jeg trenger alle 6 til harddisker.
Skulle egentlig vært Asus ROG Strix B365-F Gaming (ATX-utgaven), men den detaljen så jeg ikke før bestillingen var sendt... Håper ikke den "detaljen" skal lage problemer for meg nå mht. antall PCIe-lanes.

Endret 1. september 2022 av PaladinNO

[PaladinNO]

Da har jeg fått montert en NVMe SSD i serveren, en Corsair MP600 v1 (definerer den første modellen siden den nyere MP600 "R2" utgaven har dårligere specs).

Testen blir ikke 100% realistisk siden jeg har serveren stående i kjelleren akkurat nå, rett ved siden av 10 Gbit switchen så kabellengden blir mye kortere.

....Og hastigheten er MYYYEE bedre!! STARTET på 500 MBps og økte ca. midtveis til 770 MBps og ble liggende der!
Demofilen var en 11,2 GB .mkv videofil.

Oppsettet nå var:
TP-Link TX401 <-> 1 meter Cat. 6a <-> TP-Link SX1008 <-> 5 meter Cat. 6a <-> Asus XG-C100C
Samsung 860 Pro 512 GB SATA SSD <-> Corsair MP600 1 TB NVMe SSD

Gjorde samme test igjen og hastigheten var den samme. Startet på ~500 MBbs og sluttet på ~770 MBps.
770 MBps er fortsatt bare rundt 6.2 Gbps så ennå ikke i nærheten av de 10 Gbps som selve nettverket skal kunne klare.

Men gitt at SATA SSDen er oppgitt til 560 MBps lesing, og jeg nå har fått en nærmest fordobling i effektiv nettverkshastighet (fra 350 til 700 MBps), så skal jeg si meg fornøyd med dette.

Så som tidligere påpekt så var det tydeligvis et cache problem for meg.
En Samsung 860 Evo 250 GB SATA SSD duger tydeligvis ikke til sekvensielle overføringer.

Spoiler

Tidligere test fra SATA til SATA SSD:

Dagens test fra SATA til NVMe SSD:

EDIT:
Interessant - prøvde å kopiere samme filen tilbake, fra Corsair NVMe SSDen til en Samsung 970 EVO 2 TB NVMe SSD, og hastigheten var lavere. Bare ("bare") ca. 600 MBps.

Endret 4. oktober 2022 av PaladinNO

[PaladinNO]

Er på jakt etter noen Cat.7+ TP-kabler for å se om det kan utgjøre noen forskjell i overføringshastigheten og jeg har sett meg ut noen alternativer.

Jeg har ingen erfaring med kabler over Cat. 6a så er det noen som kan anbefale meg noe? Evt. si om jeg bør unngå noe av det jeg vurderer? Har funnet en alternativ plassering av serveren så jeg trenger en 10-meter (ned fra 35 meter) og en 2-meter.

Cat. 8
https://www.dustinhome.no/product/5010895614/supra-patch-cable
https://www.power.no/data-og-tilbehoer/kabler-og-tilkoblinger/nettverkskabel/eletra-cat8-sftp-nettverkskabel-10m-svart/p-1251701/

Cat. 8.1
https://www.multicom.no/microconnect-cat81-s-ftp-10m-white/cat-p/c/p1002533163
https://www.proshop.no/Nettverkskabel/LAN-STP-CAT-81-Blue-10m/2811518

Pr. nå ser jeg på Supra Cat.8 hos Dustin (har bare gode erfaringer med Supra-kabler) og Goobay / MicroConnect Cat. 8.1 hos Proshop / Multicom.

EDIT:
Strøket "Cat. 7" fra listen.

Endret 20. oktober 2022 av PaladinNO

[siDDis]

Om du skal teste kabel, så er det bare å fyre opp iperf. CAT 7 og 8 er uansett vås og jeg forstår ikke hvorfor de eksisterer en gang.

[PaladinNO]

siDDis skrev (10 minutter siden):

Om du skal teste kabel, så er det bare å fyre opp iperf. CAT 7 og 8 er uansett vås og jeg forstår ikke hvorfor de eksisterer en gang.

Har prøvd iPerf og kom ikke noe sted med det. Og hvorfor er Cat. 7 / 8 bare vås?