10Gbe switch választás

Hálózati eszközök

Sziasztok,

egy 8 fizikai szerverből álló proxmox virtualizációs környezet mögé tervezek egy bővítést. A célom, hogy a backup és a ha-sync hálózatot 1Gbe hálózatról 10Gbe-re tereljem az említett funkciók sebességének növelése illetve  funkcionalitás fizikai szétválasztása érdekében. Mivel még nincs tapasztalatom ilyen eszközökkel ezért vannak dilemmáim. 

Az első ilyen kérdés, hogy a szerverekben a fizikai gépeknél a NIC bővítésnél SFP+ vagy RJ45? Az SFP+ esetén ugye a hálózati kártyákhoz még kellenek a modulok, míg az RJ45-nél csak patch kábel szükséges.

A másik kérdés a switch választása. RJ45 (vagy vegyes) használat esetén egy Mikrotik CRS312-4C+8XG-RM switch-re gondoltam, de szóba jöhet más eszköz is, ha valakinek van kedvező tapasztalata más modellel.

A kérdésem, hogy van-e valakinek tapasztalata ezen a területen, mire figyeljek oda az eszközválasztásnál? Nyilván a költségek is számítanak, de nem feltétlenül a legolcsóbb megoldást keresem.

Köszi,

kincza

( donatus v | 2023. 01. 18., sze – 13:35 )

Szerkesztve: 2023. 01. 18., sze – 13:36

Ha a távolság nem indokolja az optikát, akkor teljesen jó a rezes 10G, olcsóbb, egyszerűbb (SFP-n kívül patchek is kellenek, SFP is milyen legyen, multi- vagy monomódusú, hány km-es, stb.), szervereknél és storage-oknál sokkal általánosabb egy rezes 10G port, mint az SFP+.

A Cisco C9300 eszközcsaládból van tapasztalatom rezes 10 giga tekintetében, azt simán tudom ajánlani, bár az árfekvése nyilván nem kicsit tér el a MikroTikétől.

( mauzi v | 2023. 01. 18., sze – 14:12 )

Nekem az üvegkábelezés valahogy "tisztább, szárazabb, biztonságosabb érzés". A pár méteres üveg patchkábel nem veszélyesen drága, és csak egyszer kell megvenni. Üveges SFP+ modult aprópénzért kapsz az fs.com-on.

"Filléres" switchnek a CRS309-1G-8S+IN és a CRS317-1G-16S+RM (a maga szoftveres korlátainak ismeretével!) teljesen bevált.

Igen, viszont a DAC kábel egy bumburnyák vastag kábel, amit ráadásul nehéz hajlítani is. Néhány darabig oké, de ha sok van belőle, és szeretnéd értelmesen elhelyezni, akkor nem egyszerű. Én építettem rack szekrényt csak DAC kábelekkel, megoldottam, de sokkal jobb üvegkábellel dolgozni. Igen, drágább, de egy rack beltartalmának költségéhez képest teljesen megérheti a felárát.

( kincza | 2023. 01. 18., sze – 14:44 )

Köszi a válaszokat, átgondolom az új szempontok alapján ismét a lehetőségeket.

kincza

( akoscomp | 2023. 01. 18., sze – 14:49 )

Mi a cégben mikrotik crs317-1g-16s+ -t használunk a core hálózathoz. 5 év alatt nem volt gond vele. Ezen kívül az alsó árkategóriában még fs.com switch-et használtam.

A mikrotik az jó akkor ha nem vagy hálózatos és egy könnyen konfigolható és átlátható eszköz kell. Ez szerintem nem nevezhető igazi switch-nek. Az fs már teljes értékű switch amit már a hálózatosok is tudnak évezni.

Azért is gondoltam mikrotikre, mivel a routerek tekintetében abból üzemeltetek 50-60 darabot és talán 2-szer fordult elő velük probléma, az is a soho kategóriában. Fizikailag nincs kifeszítve a rendszer, de üzemeltetés szempontjából néha jól jönne, ha a backend-en gyorsabban végrehajtható lenne néhány dolog.

kincza

Ha jól látom crs3xx pont nem tudja:

https://wiki.mikrotik.com/wiki/Manual:CRS3xx_series_switches#Switch_Rul…

Talán a 1xx, 2xx tudja:

https://wiki.mikrotik.com/wiki/Manual:CRS1xx/2xx_series_switches#Access… 

legalábbis ez utóbbiban van ip-src ...

Fedora 38, Thinkpad x280

Használok Mikrotik switcheket, van az a szint ahol felejtős:
pl:

> L1 - SFP PHY DOM (Digital Optical Monitoring)
> L2 - ERPS (G8032 v2)
> L2 - DHCP Snooping
> L2 - BPDU filtering ( pl.: stp role-restriction,  stp tc-restriction )
> L2 - MACSEC (IEEE 802.1AE)
> L3 - VRF-lite
> Rendes hardveres ASIC-offload, konfigtól függetlenűl
> Virtual-chassis / Stacking

( ggallo | 2023. 01. 18., sze – 19:22 )

Nekünk 4 host-tal működik Proxmox cluster redubndánsa két Mikrotik CRS312-vel rézen kb. 2 éve. Semmi gond velük.

Viszont ma már elgondolkodnék optikás megvalósításon pl. egy CRS317-tel, mert lehet olcsóbb vagy azonos árban lenne a végére FS.com modulokkal, mint a rezes switch, és valamivel kisebb a késleltetés és több a port.
Azért a rezes 10G még mindig elég drága úgy szerver oldalon mint switch oldalon az optikáshoz mérten, szóval a modulok ára lehet belefér ugyan abba a keretbe (olcsó új vagy használt eszközökben gondolkodva, nem a nagy nevek vadi új eszközeit számolva).

Egyet ne tervezz szerintem, MT-nél legalábbis: SFP+ portban RJ45 10G modult használni állandóra/nagyobb mennyiségben. Drága is, és rettentően melegszik, nem lehet kirakni vele a switch-et, a MT is megadja, hogy milyen osztásközzel lehet 1G és 10G rezes modulokat tenni a sok portos SFP(+) eszközeibe.

( sibike | 2023. 01. 18., sze – 19:39 )

Ha max pár méterig kell, akkor DAC kábelt is érdemes megfontolni.

( secretx v | 2023. 01. 18., sze – 19:41 )

Sfp + dac ha rovid tavolsagok.

switchbol dellek meg esszeru aron voltak nemreg, es jok.

Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

Nagyon óvatosan kell vásárolni az Ebay-en és mindenféle third party refurb cégeknél Dell meg más gyártó switcheit is ha túl olcsónak tűnik, mert hiába van akár 1000USD-alatt 48x10G SFP+ portos  Dell S4048-as switch, ha az Intel C2000 cpu bugban érintett, akkor levélnehezék lesz belőle hamarosan.

Az összes 2013-2017Q2 közötti hálózati eszköz életveszélyes használtan ha a Rangeley C2xxx-el van szerelve. Voltak visszahívások ,de kb ellenőrizhetetlen, hogy javított-e vagy nem. Az Intel NDA-ja sem segített a dolgon.

 

https://www.servethehome.com/intel-atom-c2000-series-bug-quiet/

https://www.extremetech.com/computing/244074-intel-atom-c2000-bug-killi…

https://www.auvik.com/franklyit/blog/vendors-clock-signal-flaw-intel-at…

illetve mostanság van divatja a hamisított cisco szviccseknek, rútereknek, google kidobja a részleteket

Külsőre megszólalásig hasonlít, viszont ha a szoftvert akarod rátolni garantáltan eredetit a cisco.com-ról letöltve, elhasal mert csak kinézetre hasonló, de módosított szoftvert tolnak rá eladás előtt. Illetve a nyákon gyanús beavatkozások nyomait / extra rátaknyolt IC-ket találtak mikor felnyitottak belőle pár példányt.

( arpi_esp v | 2023. 01. 18., sze – 19:42 )

Szerkesztve: 2023. 01. 18., sze – 19:45

> SFP+ vagy RJ45? Az SFP+ esetén ugye a hálózati kártyákhoz még kellenek a modulok

ha kicsi (max 10m) a tavolsag, akkor SFP+ es DAC kabel. nem kell se optika se rj45/utp, mindketto folosleges ida-oda konverzio, mig a DAC kabel gyakorlatilag osszekoti egymassal az SFP+ portok labait.

ugye a DAC kabel nem olcso (5000ft-tol indul de lattam ar 60ezreset is), de a tobbin lehet sporolni.

a kompatibilitasra azert nem art figyelni, a nic-ek es a switchek is eleg valogatosak tudnak lenni, foleg a markasabbak.

szerintem a switch majdnemhogy mind1, de a NIC kivalasztasanal legyel korultekinto, lattam mar sok problemas esetet, foleg linux eseten nem nagyon van vagy nem jo (minimal implementacio, nem hasznalja ki a kartya kepessegeit, offloadok, queue-k stb) ezekhez a kernelben levo driver, soxor a gyartotol kell tolteni es forditani modult inkabb.

Szekrényen belül van az egész, 1, vagy 2m-es patch kábelezés már bőven elegendő mindenhova, tehát a DAC kábel az játszik. Akkor a következő kérdés, hogy milyen NIC? :-) A proxmox miatt Debian támogatottság jó kellene, hogy legyen.

Amit néztem eddig azok a következők 

Emulex OCe14102 (Mellette szól, hogy passzív hűtésű)

Dell Broadcom 57810 2x 10GbE 0HN10N (ez a szerverekben a 8-ból 7-ben hivatalosan is támogatott fizikailag)

Az is lehetséges, hogy veszek két 57810-es broadcom-ot, 2 DAC kábellel és a switch, majd kipróbálom. Ha beválik akkor veszek még belőlük szükséges mennyiséget.  

kincza

Ez a passziv hutes ne tevesszen meg, azert van rajta csak borda, mert egy normalis szerverben van legaramlat, ami huti.
A DAC kabelek hosszanal pedig erdemes rahagyni, egyreszt eleg nagy a hajlitasi sugaruk, illetve a hosszat ugy adjak meg, hogy ket vegen levo erintkezok tavolsagat merik, mondhatni brutto hossz.

+sok

nemreg jartunk ugy, hogy a 10GB kartyarol leolvadt a passziv borda... ra volt csak ragasztva, es tulmelegedett annyira hogy elengedte a ragacs es leesett. aztan persze elcrashelt az egesz...  ilyen volt: QLogic Corp. cLOM8214

ezen kivul nekem csak intel kartyakkal van tapasztalatom, az X5xx sorozat megy problema nelkul, az XL7xx-nel viszont mokolni kell a kartya firmware verziokkal es az inteltol toltott driverrel, a kernelben levo nem volt stabil.

Akkor a következő kérdés, hogy milyen NIC? :-)

Az elmúlt ~25 évben a következő gyártók termékeit láttam közelebbről enterprise környezetben:

- Intel
- Broadcom
- Qlogic
- Mellanox
- Emulex

A felsoroltak közül az Intel és a Broadcom hálózati termékeit vakon be merném vállalni, a Qlogicot meg a Mellanoxot egy rendesebb tesztelés után, az Emulex termékeit pedig bottal sem lennék hajlandó piszkálni, annyi szart láttam tőlük.

Úgy tudtam ez a a késleltetés (több száz nanoSec )az  RJ.45 öknél van , sfp optika /dac kb mindegy.

https://www.arista.com/assets/data/pdf/Copper-Faster-Than-Fiber-Brief.pdf

https://www.youtube.com/watch?v=jnD0OQRV8LM

(4perc 13)-nál.

https://blog.claryel.hu

"'a kompatibilitasra azert nem art figyelni, a nic-ek es a switchek is eleg valogatosak tudnak lenni, foleg a markasabbak." _ Aha. Vagy fordítva... HPE böhöm core switch és Aruba access switch. Volt egy köteg 10-es DAC-kábel (Dell, HP, IBM...) - a core switch a HP-s kábeleket simán elfogadta, a többire annyit büfizett a logba, hogy nem HPE, úgyhogy nem garantált a hibamentes működés (gyakorlatilag egy warning-gal elintézte, és felhúzta a portot rendesen), az Aruba viszont egyiket sem fogadta el, csak egy bizonyos part number-rel forgalmazott HP-s kábelt. Nem, nem volt leírva a dokumentációban, és a szállító sem jelezte, hogy azt a p/n-t kell hozzá pluszban rendelni, nem lesz jó a meglévő HP-s kábel sem... (A Dell dobozok pl. nem finnyáskodtak, megették az összes rendelkezésre álló kábelt...)

A rezes/optikás témában egyértelmű, hogy optika/DAC kábel - engem már szivatott meg picit lötyögő RJ45-ös csatlakozó...

( debtamas88 | 2023. 01. 18., sze – 23:36 )

Szia!

Használt (refurbished) Cisco/Arista/Juniper/HPE.
Redundáns bekötés ajánlott, ahhoz 2db switch és 2db hálókártya/szerverenként.
 

Hasznalt cuccnal arra kell figyelni, hogy az optikai 10G (SFP+) mar eleg oreg technologia, ezert tele az ebay stb olcso 48xSFP+ switchekkel, mert EoL vagy csereltek 25G/100G-re stb.
Ezekkel altalaban nincs semmi gond, mukodnek es mukodni is fognak, de fogyasztas oldalarol nem mindegy hogy most pl.: trident1 vagy trident3 asic van benne. A trident3 elvan max 300W alatt.

"redundans bekotes" na ezzel viszont lehet szopni a kulonfele MLAG,stacking szarokkal, ha lehet L3 legyen a redundancia mint L2-vel bohockodas meg hibakereses.
 

( wpeople v | 2023. 01. 19., cs – 08:21 )

Azt azért leírom, hogy Mikrotik CRS317 esetén random belefutok olyan esetekbe, amikor "agyonvágja" a HW offload-ot.
Pár eset: vlan módositás, (hozzáadás/eltávolítás)
legutóbb pl egy LACP peer switch (ismétel?) újraindítása okozta azt, hogy az egyik CPU mag terhelése 100% volt, mert bár azt mondta, hogy van offload - ténylegesen mégis CPU végezte a bitek mozgatását... Ilyenkor szimpla reboot megoldja a problémát (~1perc kiesés)

Mivel a SwOS csak olyan funkciókat enged, amik HW offload "kompatibilisek" - ezért bizonyos esetekben az jobb döntés lehet...
(OS váltásnál mindent újra kell konfigolni!)

 

( VincentV | 2023. 01. 20., p – 11:39 )

Én a 10G rezet kerülném, szerintem zsákutca és csak a szívás van vele. Ahogy már fentebb is írták, dac kábel, fs.com-os sfp+ modulok, refurb NIC-ek, stb... Okosan összeszedegetve nem lesz annyival drágább, hogy egyáltalán felmerüljön a 10G réz helyette bármilyen szinten, de adott esetben még olcsóbb is lehet.

( egeresz | 2023. 02. 02., cs – 14:19 )

azt vettem észre, hogy a proxmox-VE "corosync" (ezt hívod HA-syncnek?) hálózatának nem kell 10Gb. semmit nem tölt ki a Gb hálózatból sem.

Viszont a latency elsőrangúan fontos, főleg a stabil latency. Emiatt a corosync hálózat nálam dedikált 1 Gb ethernet (RJ45) amin más tevékenység nem fut. (23 node, összesen 4 hálózat (56Gb, 10Gb, 1Gb, 1Gb) Egyik se redundáns.