10Gbit optikai hálózat

 ( Darkfish | 2018. március 5., hétfő - 17:03 )

Sziasztok!

Segítséget kérnék tőlem tapasztaltabbaktól: tanulás céljából el szeretnék játszani 10Gbit hálózattal szerverek között.
3 szervert kötnék össze és ehhez keresek HASZNÁLT eszközöket.
Az ebay-en kártyát már 10-20 ezer forinttól találni, 4x10Gbit-es switchet pedig még nem sikerült. (Na jó sikerült, de nem a én pénztárcámhoz valót.)

Miután nagyon lyukra se szeretnék futni, figyelembe véve, hogy a szállítási költség az amcsiktól majdnem annyi mint a kártyák, ezért segítséget kérek abban, hogy milyen buktatókra kell odafigyelni, mi mivel nem kompatibilis stb.

Kártyából az alábbit néztem: MNPA19-XTR 10G Netzwerk Kit 2x Mellanox ConnectX 10Gbit
Switchből pedig: Catalyst-3750e -t

Jó irányba nézelődök vagy nagyon benézek valamit?

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Csak most jut eszembe: megoldható-e hogy minden szerverbe veszek 2-2 kártyát és direktben összekötöm őket?

meg

Fedora 26, Thinkpad x220

Miért kell a 2-2 kártya? Miért nem dualportos kártyát veszel akkor már?

mert spof a kartya? bar kerdes mit akar elerni....

Bocsánat el kellett jönnöm a géptől.
A játék tárgya, hogy van 3 régi HP szerverem (DL380 G6) ezekből próbálnék Proxmox és Ceph alapon hibatűrő rendszert létrehozni.
Nem gondolom, hogy 10Gbit fullra ki lesz hajtva, de az ezzel foglalkozó fórumban erősen ajánlották ezt a felállást.

https://www.youtube.com/watch?v=jFFLINtNnXs
Itt is azt demozza, hogy minden gepben van 1-1 2*10gb bridge es a 3 node korbe van kotve.
Persze ha ennel tobb node kell, akkor mar kell egy jo switch...

Igen ezt láttam én is, de a hálózat technikai részéről nincs semmi.

Mivel tud egy kártya spof-abb lenni, mint mondjuk egy alaplap?

Ez kicsit, ilyen boszorkányüldözés-jellegű racionalizálásnak tűnik.

hat ha a dualportos kartyabol bridget csinal, akkor spofebb mint az alaplap....

Ezt kifejted miért?

Egy duálportos kártya halálával kiesik az a két port, és kb. ennyi.

Az alaplap halálával kiesik a kapcsolat a cpu, a memória, a duálportos kártya, a lemezvezérlő meg az öregisten között.

Ha két kártya közül az egyik esik ki, akkor a másik még használható. Ha két portos kártya hal meg, akkor nincs hálózati kommunikáció. Volt már olyan hálókártya hiba, hogy az OS nem is észlelte a hibát, mindössze adat nem ment át rajta. Meglehetősen kellemetlen volt.

Ha meg az alaplap hal meg, akkor semmi sincs.

Az, hogy egy kártya egy portja haljon meg, kb. pont akkora a valószínűsége, mint hogy egy kétportos kártya egyik portja haljon meg.

Eddigi tapasztalatom szerint nem "kártyák" szoktak meghalni, hanem portok.

Sőtt, volt már dolgom olyan alaplappal, ahol a 2+1 network portból, az egyik "néha beállt". Reboot javította ideiglenesen, de az ugye kellemetlen, hogy időnként kell egy reboot. Beletettünk +1 kártyát, és örömbódottá. (kinda 0 cost fix needed)

Nem tudom, hogy az én esetemben a kétportos kártya két portja halt meg vagy maga a kártya (utóbbinak nagyobb a valószínűsége), mindenesetre az OS nem érzékelte, sokkal jobban jártam volna, ha maga az alaplap romlik el (azaz ha semmi nincs).

Jól értem: Egyszeri esetet extrapolálsz a "világmindenségre"?
Zseniális statisztikus lenne belőled!

Figyu: nyertél. Okosabb vagy, tökösebb vagy, tapasztaltabb vagy. Jó így?

Nem! :P

Ha nem rántjuk le az álcát (miszerint ez trey blogja), akkor ez egy szakmai portál!
Nem személyeskedést várok.

Érveket!

Indokold meg miért!

"Zseniális statisztikus lenne belőled!" - Te személyeskedhetsz? Miért lennék én statisztikus?

Nem igazán értem, mire vagy kíváncsi. Arra, hogy miért inkább az alaplap romoljon el? Tfh, hogy van két rendszer (magas rendelkezésre állás), amik egy dedikált kapcsolaton keresztül észlelik egymásról, hogy működik-e a társ vagy sem. Ha nem működik a másik, akkor failover. Ha a két rendszer úgy látja egymásról, hogy minden rendben van (dedikált kapcsolaton át), de az egyik rendszernek elposszant a hálókártyája, akkor nincs (nem feltétlenül van) failover, azaz a szolgáltatások elérhetetlenek.

Ez nem kitalált eset. Nem összetákolt rendszer, hanem neves gyártók által szállított rendszerek.

Egy picit személyeskedésbe csúsztatok.

Jelen megoldásnál minimum 3 node kell a működéshez, mert szavazással állapítják meg, hogy ki a működő. Elpukkant kártyánál a két működő megszavazza, hogy a harmadik áll (és persze a harmadik megszavazza, hogy szerinte a másik kettő áll). Miután a helyes működéshez legalább 2 szavazat kell, így a harmadik gép esik ki.

Ilyen megoldásnál a node-ok üzembiztosságát csak bizonyos költségkereten belül érdemes növelni, mert egy pont után olcsóbb a node-ok számát növelni.

Több gond van az okfejtéseddel:

1) A piacon számos olyan megoldás van, ahol két csomópont biztosít magas rendelkezésre állást. Ilyenek például az úgymond redundáns tárolók.

2) A megoldásodhoz érzékelni kell azt, hogy hibás a hálózati kártya. Ha maga a csomópont nem érzékeli ezt és a többi csomóponttal (többek között akár egy úgymond tanúval) zavartalanul tud kommunikálni, akkor semmi nem fog történni. Azaz pont ott vagyunk a bonyolítással, mintha semmit nem csináltunk volna (azaz jobb lett volna egy alaplap elpukkanás)

3) Jelen eset a kommunikáció megbízhatóságáról szól, annak megfelelő monitorozásáról. A tanú jelen esetben akkor lenne hasznos, ha minden kommunikációs kapcsolaton keresztül ellenőriznék egymást a rendszerek: ha a két szolgáltató csomópont egyik kapcsolaton nem tud kommunikálni, akkor nem tudják eldönteni, hogy kinél van probléma. Jelen esetben egy tanú valóban segítség lehetne. De ehhez az kell, hogy a rendszer ennek megfelelően legyen képes működni. Lehet itt okosat mondani, de ha egy kész rendszer nem ilyen, akkor szívás van, más szempontból kell megközelíteni a megoldást.

Vehetek akár azt is. :-)

Tudsz csinalni a szerverben bridge-t es akkor switchkent is fog viselkedni a 2+ darab halokartya. Hogy mennyire tudja kitolni a 10g-t az mar mas kerdes :) De mondjuk 4 szerver, 6 halokartya (vagyis interface), egyikbe beteszel 3 interface-t, a masik 3-ba meg 1-1et, es akkor lehet csapatni.

Ha az gép esik ki amiben a 3 interface van, akkor vége a dalnak.

Pussz elnézve a HPben csak 1 db 8x PCI van...

Én 5 blade-et kötöttem össze 40 Gbps-en egy NVME storage-al (a blade 10 gbps-en csatlakozott a switch-be, ami 40 Gbps-el volt a storage-hoz kötve), és bizony 80 windows párhuzamos telepítése közben megvolt a 30-35 Gbps terhelés.
Persze az ember ritkán telepít 80 windows párhuzamosan, de létezik az a munkakörnyezet ahol ki lehet használni a 10 sőt a 40 Gbps-et is.

Ha játszani kell, akkor minden bizonnyal nem production termékhez kell, hanem próbálgatni. Vagy érdemes mindegyikből venni egyet-egyet és megnézni, melyik kernellel, milyen OS-sel megy és mennyi RAM kell bele. Mi is a cél? Mikor mondod, hogy sikeres volt a játék? 10GBit-et elég nehéz kihajtani, lásd: https://hup.hu/node/157482

Különbözőeket venni elég macerás, mert így külön külön mindre szállítási költséget kell fizetni.
+ ráadásként pont szeretném megúszni a belinkelt fórumban lévő szívást, tehát gyakorlati tapasztalatból reméltem mond valaki olyat, hogy mit érdemes és mit nem érdemes megvenni.

LB6M switchet is kilehet esetleg értelmes áron fogni.

sub
--
Gábriel Ákos

Én is ilyen kártyákat vettem magamnak. Ugyan nem komoly használatra, de nincs rájuk panasz, Ubuntu 16.04-el gyári beállításokkal teljesen jól mennek.

Switchből nem tudom, hogy pontosan melyiket és mennyiért nézted, de Mikrotikből van 4 SFP+ / 24Ge vagy 16SFP+ / 1Ge 120e körül. Más kérdés, hogy mi az, amit tudnak, de ha csak buta switchként akarod használni játékra...

Javaslat:

Kezdésnek vegyél valami egyszerű 1G-s switchet. Én itthon egy Cisco SG300-al nyomom.
Esetleg valami pici gépről akár monitorozhatod is a switch-et snmp-n.

Aztán, amikor már azt látod, hogy a tesztednél a gigabit lesz a határ, és a konfiguráció meg már kb. meg van tuningolva, amennyire meg lehet.
Akkor fektess 10G eszközbe.
Ne feledd: Azt a 10G-t ki is kell tömni adattal, hogy értelme legyen.
Vagy akár csak az 1G-nél vastagabban meghúzni.

Az sem olyan triviális ám, hacsak nincsenek a gépek nvme ssd-kkel kitömve.

Egy darab sima SSD-vel is tele lehet rakni, de pl. van egy 6 sata diszkes gépem az is bőven 300MB/sec fölött tud.

--
Gábriel Ákos

Múltkor raktam össze egy full NVME (4x PCIe, raidz1) szervert, azzal bírtam tesztként 6Gbit-et kitömni úgy, hogy ugyanazon a porton-on egyik VLAN-on ki a Mikrotik router-re, másik VLAN-on vissza két VM között.

1G switch a 10G kártyákhoz eléggé tönkreteszi a "játékot", mert hiába nem tömöd ki a 10G-t, a GbE és a 10GbE közti késleltetési különbséget is elveszíted.

3 géppel tesztelni én is a direkt linkeket javasolnám, egyelőre switch nélkül, de nem bridge-elnék, hanem /30 címekkel pont-pont linkelném a gépeket. 10G-n a linux bridge interface-el akadtak problémák.

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

#1 a teszt scenario esetére az lett volna a javaslat, hogy akkor most még a 10g kártyákba is fölösleges lenne beruháznia.

#2 6gbit-et tudtál kitömni, ahogy írod is. Meg nvme kellett hozzá.
Btw.: Milyen az a radz1? raidz-t és raid1-et külön-külön ismerek. raidz1, az már ilyen fogalomkeveredésnek tűnik.
Vagy csináltál mirror-t két raidz-n? Esetleg mirror vdev-ekből raidz-t?

Szóval személy szerint, ahol a konfiguráció kitanulása a cél, nem nagyon látom értelmét a 10g-s technológiának.
A konfigot tanulja meg!

Első körben úgysem a gigabit lesz a korlát, hanem ha van spinning diszkje, akkor az, meg a lemezvezérlő, meg az hogy esetleg nem szerveralaplapja van, stb.

Sorry, a "sima" raidz-t hívom reflexből raidz1-nek (ha már a 2 disk redundancia a raidz2, a 3 disk a raidz3...)

Van abban igazság, hogy tanulni, tesztelni nem feltétlen kell a 10GbE, de a használt kártyák manapság már nem ördögtől valók és azért egy Ceph cluster még teszt szinten is meghálálja az alacsonyabb latency-t (bár, mikor én kísérleteztem vele, akkor még csak olvasgattam mindenkitől, hogy Ceph-et csak 10G-n, akkor még a lehetőségem nem volt meg rá. Dobtam is az egészet, mert 1G-n használhatatlan volt)

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

Pont ezért szeretném 10Gvel kezdeni. 1G most is van az alaplapon (sőt rögtön 4) , de én is azt olvastam sok helyen, hogy a latency miatt nagyon meghálálja a 10G-t.

Én a Mikrotik CRS317-1G-16S+RM switch-ét használom, kb 120e ft.
Backupnak egy gigabiteset használok, de ennyiért simán lehet kettőt is venni és redundánsan bekötni őket.

Köszönöm!

Újabb klasszikusan hülye kérdés: az optikai transceiverek és a kártyák mennyire kompatiblisek egymással?

Tehát pl egy Mellanox kártyához csak Mellanox transceiver mehet, vagy pl egy Cisco FET-10G is?
Egyáltalán mire kell odafigyelni a transceivernél? (azon túl, hogy nyilván legyen 10Gbit-es :-))

Szerintem gyártófüggő.
Nálam a Mellanox kártyákban meg a Mikrotik switchben most valami noname kínaiak vannak, amik Cisco-nak hazudják magukat, azzal működik minden. De ha jól emlékszem, a Cisco switchek pl. csak a saját moduljaikkal szeretnek együttműködni.

Igen erosen gyartofuggo, bizonyos kernel moduloknal vagy ethtool-al lehet kapcsolni, hogy unsopported modulokat is megprobalja-e elfogadni.
Viszont a cisco FET az biztos nem lesz jo, az fex modul nem pl SR-es optika, az csak cisco fex-hez jo neked.
Optikabol szamit azon felul hogy SR, LR, netan direct attach stb. (multi/mono optika es hozza valo kabel is), meg hogy csatlakozo olyan legyen a kabelen is mint az sfp+-on (felteve hogy sfp+-os 10G kartyat veszel, de jo esellyel igen).

A Cisco résézhez nem tudok hozzászólni, de akkor részletesebben:

Nekem csak itthonra kellet valami 1G-nél gyorsabb, lehetőleg olcsón, nem volt érdekes a nagy rendelkezésre állás. A NAS és az asztali gépem van velük a hálózatra kötve.
A kártyák Mellanox ConnectX-2 típusúak, Németországból jöttek ebayről, a kettő szálítással együtt kb. 21 000 Ft volt akkor.
Az SFP+ modulok 10GBASE-SR-t tudnak, konkrétan ez a típus: ebay link.
Vásárlásnál érdemes figyelni, mert nem minden ebayen forgalmazott 10g SFP+ modul Ethernet.
A 10GBASE-SR-hez multimódusú kábel kell, a link hosszától függő típusú. Nálam ugyan 25M-nél nincs nagyobb távolság, de szintén ebay-ről OM3 (vagy legalábbis ezt állítják róla) típusút vetem. Ha mindkét oldalon a fentihez hasonló modul van, akkor LC-LC csatlakozó kell a végeire.
Ez így nálam elvisel a fali aljzatnál egy toldót és egy 1m-es patch kábelt is.
A Switch mikrotik CRS226-24G-2S+RM. Eleinte voltak vele stabilitási gondok, 2-3 havonta úgy lefagyott, hogy semmiféle forgalom nem ment át rajta. Ezt a hibát egy tavalyi FW frissítés megoldotta, azóta nincs vele bajom.

A kapcsolat stabil és gyors, SSD-ről SSD-re másolva bármiféle hangolás nélkül 400 MByte/s körüli sebességet tudtam belőle kihozni.

Köszönöm. Ilyen hozzászólásban reménykedtem.

Direkt kábellel volt esetleg tapasztalatod?

HP DAC kabellel kihajtottam a 2x10Ge -t Flex10en.... (mikrotik a tuloldal, Flex10be csak HP kabel ment bele...)

Nekem egy Mellanox SFP+ DAC csak közvetlenül a két kártya között működött, Mikrotik <-> Kártya összeköttetésre nem.

Illetve 5m hosszig lehet (passzív) TwinAX SFP+ kábel is, ez általában lényegesen olcsóbb mint a 2xSFP+kábel kombó (bár használtan nem néztem).

--

"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."

Én Mikrotik transceivereket próbáltam Supermicro (intel chip), Dell, Mikrotik és Cisco switch-be, illetve Intel és Mellanox kártyákba, mindbe tökéletesen működnek.

+1 Nekem is csak a Mikrotik 3m-es DAC-okkal akadt problémám, az 1m-eseket megette minden (Intel, Broadcom, Dell, IBM kártya, Ubiquiti switch, MT router), bár eddig jól láthatóan 3 különféle kínai kábel volt a kezemben "Mikrotik DAC" néven. A Unifi DAC-jait szintén megette minden.

----------------------------------^v--------------------------------------
"Probléma esetén nyomják meg a piros gombot és nyugodjanak békében!"

Tehát pl egy Mellanox kártyához csak Mellanox transceiver mehet, vagy pl egy Cisco FET-10G is?
Egyáltalán mire kell odafigyelni a transceivernél? (azon túl, hogy nyilván legyen 10Gbit-es :-))

Alapvetően a kártyába/switchbe a belevaló transceivert akarod használni. Előfordulhat, hogy nem válogatós az adott eszköz, de elég sok igen (főleg a brand cuccok).

Itt tudsz szerezni budapesti raktárról alig használt kártyákat, modulokat: https://www.interbolt.eu/spl/854225/Halozati-vezerlo