Infiniband eszközök

Hálózati eszközök

Sziasztok, cluster építés kapcsán gondolkodunk infiniband megoldásban, de alig találunk magyar forgalmazót. Pl flextronics -nak vannak baráti árú switch-ei, na ezeket itthon nem sikerült megtalálni. Ráadásul a gyártók nem kínálnak olcsóbb kisebb teljesítményű eszközöket, pedig egy pár gépes cluster-hez bőven eleget tudnának azok is. Ha valakinek tapasztalata/ötlete van, megköszönném, ha megosztaná.

  • 9078 megtekintés

( vl v | 2013. 10. 21., h – 07:21 )

Pl flextronics -nak vannak baráti árú switch-ei

A Flextronics egy bérgyártó/összeszerelő, nincsenek termékei (Magyarországon is vannak összeszerelő üzemei). Azaz odasétálnak hozzá az olyan cégek, mint pl. a HP, IBM, stb., hogy "lécci gyártsál nekem ilyen meg ilyen vasakat", és ő legyártja nekik.

de alig találunk magyar forgalmazót
Ráadásul a gyártók nem kínálnak olcsóbb kisebb teljesítményű eszközöket

Talán azért nem találtok magyar forgalmazókat, mert kibaszott drágák ezek a termékek, ezért a kutya sem veszi őket...

"A Flextronics egy bérgyártó/összeszerelő, nincsenek termékei (Magyarországon is vannak összeszerelő üzemei). Azaz odasétálnak hozzá az olyan cégek, mint pl. a HP, IBM, stb., hogy "lécci gyártsál nekem ilyen meg ilyen vasakat", és ő legyártja nekik."

Vannak termékei, pl: http://www.ibswitches.com/ , illetve ebay is tele van vele.

"Talán azért nem találtok magyar forgalmazókat, mert kibaszott drágák ezek a termékek, ezért a kutya sem veszi őket..."

Ebayen 8portos 10 gigás switch 40 000 HUF buy it now-al. Ez minden csak nem drága
---------------------------------------------------
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

Fura jószág, ezek milyen csatlakozók? Mostanában játszottam Infinibanddel de azon teljesen másmilyen csatlakozók vannak. Illetve nincsenek, mivel a kábelek végén vannak az SFP (pontosabban: ahhoz hasonló) modulok. Így a switchekben és a kártyákon csak egy foglalt van, amibe ezt az SFP szerű dolgot bedugod.

:)

"Early InfiniBand used copper CX4 cable for SDR and DDR rates with 4x ports — also commonly used to connect SAS (Serial Attached SCSI) HBAs to external (SAS) disk arrays. With SAS, this is known as an SFF-8470 connector, and is referred to as an "InfiniBand-style" Connector. For 12x ports, SFF-8470 12x is used.[6]

The latest connectors used with up to QDR and FDR speeds 4x ports are QSFP (Quad SFP) and can be copper or fiber, depending on the length required.

For 12x ports, the CXP[7] (SFF-8642) can be used up to QDR speed."
---------------------------------------------------
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

Jogos, megnézhettem volna én is. :-D
Viszont felmerül bennem a kérdés, hogy érdemes-e ilyen, kissé elavult cuccba pénzt önteni, mikor már etherneten is van 10G-s? Bár utóbbi is speciális kábelt igényel. Kérdés, hogy ehhez az öreg switchhez kapsz-e kábelt és kártyát hasonlóképp jutányos áron, illetve hogy azokhoz a kártyákhoz van-e driver?

Jogos a kérdés, mi végül (egyelőre) nem mentünk el az infiniband irányába, csak mint lehetséges opciót körüljártam amennyire időm engedte.
Árban jócskán megéri, SDR kártyák 20 000 körül találhatóak (dual port ráadásul..), switchet is lehet lőni 50 000 magasságában.
Ugyanez ethernet 10 gigás kártyákkal, switchel pöppet drágább lenne szerintem. (x10 mondjuk :))

---------------------------------------------------
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

amit én láttam h, dual infiniband (4X) kártya ~150-250EUR árban mocorog
24 portos switchet hozzá kaphatsz ~1000EUR árban. ezért kb 2db dual 10G NIC-et kapsz.

egy többportos (mondjuk 4) 10G switch (mármint egy olyan switch, aminek 4x10G uplinkje van)
simán 2K EUR, ahogy láttam.

azaz mondjuk 4 gépet 10G-vel összekötni egyik esetben 4K eur, a másik esetben 2K eur.

8 gép esetén nagyságrendekkel drágább a 10G eth.

Én a Netgear "unmanaged plus" 8 portos 10GBase-T switchet legolcsóbban ~800 USD körül láttam az Amazon-on. Ehhez jönnek még a 3-400 USD árú hálókártyák. Erre még ugye szállítási költség + ÁFA, EU-n belül sem találtam igazán olcsóbban.

Tudsz ennél olcsóbban 10G HW-t (preferáltan EU vagy Magyarországról?)

Ehhez képest 4x DDR 24 port infiniband switch most 240 GBP. Hozzá dual portos HCA kártya 32 GBP. Ebből még lejön az ÁFA, szállítás baráti áron. Gyakorlatilag a 10G switch árából 8 eszközt be tudsz kötni az Infiniband hálóba. Még ha hozzáveszed azt, hogy mivel használt eszközökről van szó, veszel néhány tartalék HCA-t, vagy akár egy tartalék switchet is, akkor is ~2000 USD-vel olcsóbban jössz ki a használt Infiniband-dal, mintha 10G ethernettel csinálnád.

A 10G ethernet előnye, hogy CAT6a / CAT7 kábellel elég messzire el lehet vinni a 10G-t is, addig a 4x DDR infiniband max 8-10 méterre vihető el.

A másik ami gond lehet, az a driverek minősége az Infinibandnál. Ezzel egyelőre nincs tapasztalatom, egyelőre még a tervezésnél tartunk.

Ha az áthidalható távolság nem gond, és a driverek működnek, akkor gazdasági szempontból az Infiniband jobb választásnak tűnik, mint a 10G ethernet. De nagyon érdekelne ellentétes vélemény.

A driver elég nagy probléma, nálunk különböző Mellanox kártyák vannak (SDR, DDR és QDR). Egyrészt van nyílt forrású driver, ami tök jól működik, kivéve ha használni szeretnéd, mert például RDMA-nál vagy natív ib módban MPI-jal is néha kernel panicot dob egy pár gép. A gyári drivert családfa és cipőméret megadása után lehet letölteni, és mi csak RHEL/Centos alatt tudtuk használni (valami olyan rémlik, hogy egy ison adnak egy toolt, ami rpm-eket generál egy isora, de nem ez a legnagyobb baja). Amikor utoljára néztem, úgy tűnt, hogy a gyártói driver fejlesztését abbahagyták, és majd valami lesz (nem tudom, hogy változott a helyzet). Ha IP over IB-t akartok csak, arra nálunk jól működik az Ubuntu kernelben lévő támogatás.

SDR/DDR rendszert jól gondoljátok meg, hozzánk annak idején egy francia szakit küldött a forgalmazó, hogy ő tudja úgy betekerni a rackbe a kábelt, hogy az szabványos legyen (ízlésesen hozzágyorskötözőzte a maradékot a rack kerekéhez). Mindenesetre egy nagyon merev kábelt kell elképzelni, amit nagy ívben szabad csak hajlítani.

10G Ethernettel a késleltetésben versenyképes az SDR rendszer is, a többinek a sávszélessége is nagyobb.

Köszönöm a hozzászólásokat, így már tudunk továbblépni. Egy kérdésre reagálnék: glusterfs alapú storage consolidation a terv, így az alacsony késleltetés komoly előnye az infiniband-nek az ethernet-tel szemben azonos sávszélesség esetén. A glusterfs pedig kimondottan támogatja, nem kell IPoIB-t használni.

( andrej_ v | 2013. 10. 21., h – 07:27 )

Mi azaz igény ami szerint pár gépnél kevés tge? Már vannak egész normális árú rezes gbites switchek is...

( handler | 2013. 10. 21., h – 17:56 )

Nem nagyon fogsz magyar forgalmazot talalni, legfeljebb rebranded termekekhez. Talan a CERN/KFKI egyuttmukodes kapcsan valtozott kicsit a helyzet, de marad a kerdojel.

Par gepes clusterhez esetleg szoba johet, attol fuggoen mit szeretnetek vele megoldani:

QDR/8PORT Mellanox MIS5022Q-1BFR ~1500EUR+TAX
FDR/12PORT Mellanox MSX6005F-1BFR ~3000EUR+TAX
QDR/18PORT INTEL TRUE SCALE FABRIC EDGE SWITCH 1220018 ~3000EUR+TAX

Hasznaltan egesz baratsagos aron beszerezheto 36 portos QDR switch (~$1000), es $100-200 mar talalsz QDR kartyat is...

( kisg v | 2014. 02. 25., k – 03:08 )

Mi is gondolkodunk most azon, hogy Infiniband irányban lépünk tovább, mert a gigabit ethernet kevés a storage felé, a 10gb ethernet meg drága.

Pl most elég kellemes eszközöket látni ebay-en:

24 port 4x DDR HP branded Qlogic switch: 9024-CU24-ST2-DDR
Szintén HP branded dual port 4x DDR HCA kártyák: HP 452372-001

Csak néhány gépet kell összekötnünk, gyakorlatilag 2-3 m -es kábelek elegendők számunkra.

Úgy számoltuk, hogy kb 2 db 10gb ethernet kártya áráért a fenti switch + kártyák és kábelek hozzá nem tűnik rossz üzletnek.

Érdemes megpróbálni? Az eredeti posztoló végül mit választott? Megbánta? Mire figyeljünk (azon kívül, hogy ne törjük meg a kábelt :) )?

( szekelyk | 2014. 02. 25., k – 10:18 )

Az IBM kínálatában is megtalálhatók az IB switchek.