Használ valaki ilyet? - Mellanox ConnectX-2 10Gigabit Ethernet Adapter

Hálózati eszközök

Sziasztok!

Azt szeretném kérdezni, hogy van-e innen valakinek tapasztalata a címben említett hálózati kártyával kapcsolatban.
Állítólag működik kommersz alaplapokkal is, de itt Windowszal használják.
Két Ubuntu Server LTS-es gépet szeretnék összekkötni két ilyennel (sfp+ direct attach kábellel, esetleg később 10gbase-sr modulokkal).
Elsősorban játékra lesz, semmi komolyra, nem akarom használni, csak érdekel, hogy milyen érzés a 10gb Ethernet.

Köszi!

  • 12909 megtekintés

( wpeople v | 2016. 03. 21., h – 11:49 )

Ennyiért én is kipróbálnám! :-)
Ha megy a mikrotik féle SFP+ kábellel akkor extra haszon. kb 100EUR árból összejönne a 10G link...

( nvik | 2016. 03. 21., h – 13:30 )

vegyel picit dragabban hasznalt intel X520-at ha ram hallgatsz. az is van olcson ebay-en, es biztos hogy mukodik.
emulex -szel szivtam mar meg, intellel meg soha. ha izotsra kell menni, intelt javaslom!!!
amire meg figyelj, hogy legyen eleg processzor kfraft a gepben.
egy Xeon E3-1220 egyik magjat kepes megenni a 10gbit atvitel (valojaban 9.8-9.9 intel x520 -szal, de mertem mar 11 gbit-et is iperf -fel...)
regebbi xeon processzorok (ilyen X5460 meg hasonlok) nem biztos hogy ki tudjak tolni a 10 gigabitet ugy, hogy kozben mast is kell csinalni a procinak.
tipp: mikrotik SFP+ kabel olcso es tokeletesen mukodik.

felmerult kerdes: ebayen mitol ilyen olcsok ezek (mellanox 10 ezer ft, intel huszon-x ezer ft), mikozben ezek 120-140 ezer Ft-os kartyak.
nekem kitócsit gyanus. nem hamisak ezek?

Egyrészt elég régi kártyák, másrészt gondolom, hogy bontottak, vagy valahol beragadt raktárkészlet / tartalék volt. Kínai eladónál én is aggódnék, a németekben viszont _még_ bízok, hogy nem hamisítanak.
Egyébként meg tényleg csak játszani kell, a lényeg, hogy működjön. Ha nem az, aminek hirdetik, visszaküldöm.

Elvileg a mellanox kártyákon van valamilyen offload engine, többek között erre is kíváncsi vagyok, hogy hogyan működik, mekkora CPU teljesítménnyel mekkora sebességet lehet elérni, stb...

Gyorsan megnézve az ebay-en, jellemzően DELL OEM kártyák vannak, némelyiknél írják, hogy levetett vasakból van.(Nyilván nem írja le senki, ha hamis, vagy leesett valahonnan.) Az Intel oldalán http://ark.intel.com/products/39776/Intel-Ethernet-Converged-Network-Ad… azt látom, hogy 2009-ben adták ki ezeket a kártyákat. Így akár reális is lehet.

most igy hirtelen nem tudom.
de miert enne kevesebbet.
az ethernetet azert a kartya hardwarebol oldja meg, hogy TCP offloading is van, szoval az, hogy a kartya a TCP streamet mekkora keretekre bontja, nem hinnem, hogy erdekes a processzor szempontjabol. a proci azert porog, mert 10Gbit/sec -kel "etetni" a kartyat. es azert az nem keves.

lehet, viszont annyira nem olyan régi dolog ez, könnyen lehet, hogy hogy nem voltak offloadosak régen a kártyák:

https://en.wikipedia.org/wiki/Large_receive_offload
"As of April 2007, the Linux kernel supports LRO for TCP in software only. FreeBSD 8 supports LRO in hardware on adapters that support it.[4][5][6] [7]"

https://en.wikipedia.org/wiki/Large_segment_offload
"As of 2014 many new NICs on the market support TSO."

Ezt úgy értelmezem, hogy 2014 -től tekinti általánosnak, hogy TSO-sok az új NIC-ek, előtte ritka volt.

( uid_6201 v | 2016. 03. 24., cs – 22:56 )

Mellanox? Nekem az Infiniband jutott eszembe.

Supermicro Twin-ekben van alapból Infiniband, Debian Jessie + Infiniband kábel és összekötöttem párba a node-okat.
IPoIB-ként jól megy, állítólag a SCSIoIB-t is tudja amit nem próbáltam. Viszont érdekes, hogy valamiért csak 6,25 Gbps jött össze (iperf) holott 30 Gbps felett vártam volna a QDR-es IB-től.

( Finder | 2016. 03. 27., v – 17:45 )

Vettem kettot es egy 5m-es Cisco SFP+ kabelt. Majd irok egy bejegyzest rola.

Én is vettem kettőt. Az összekötő kábel még nem jött meg, csak a kártyák, de belepróbáltam őket gépekbe. Boot közben elindul a rajtuk lévő iPXE, Ubuntu 14.04-gyel gyárilag megjelennek az eth interfészek hozzájuk.
Egyébként amiket én kaptam, azok bontatlan csomagolásúnak tűntek, a PCIe csatlakozón sem látszott kopás.
Az első gépben, amiben próbáltam nem működtek, az iPXE első sora után elakad a boot, csak a kurzor villog. Ugyan nem foglalkoztam vele, de ezt BIOS beállítások birizgálásával valószínűleg lehet orvosolni.

En mashonnan rendeltem, a tapasztalatok:
* rendes muanyag tartoban kaptam oket, igy megerkeztek rendben
* egyertelmuen bontott darabok, mert latszik kopas a fem tarton, egyebkent semmi mas nyomat nem lattam rajtuk
* van egy olyan erzesem, hogy amikbol bontottak azokban soha nem volt hasznalva: az SFP+ csatlakozo le volt dugozva.
* CentOS 7 es Windows 10 azonnal felismerte.
* PCIe x1-en is megy, de akkor ~3.2Gb/s a teteje (iperf3). Ezt ExpressCard->PCIe csatlakozoval mertem egy notebook (Fedora 23 Live) es az asztalim kozott.
* Ha a teljes PCIe x8 elerheto, akkor megy a ~9.8Gb/s mind a ket iranyba egyszerre (iperf3, egyszerre ket teszt). Ezt egy ThinkStation S20 (X5650, CentOS 7) es egy ThinkStation E30 (E3-1235, CentOS 7) mertem 9000-es MTU-val. Minden mas default volt. A proci kozel sem jart 100%-hoz. Az S20-on osszesen ~170%/1200% volt a kihasznaltsag, de nehez megmondani, hogy mit jelent ez valojaban mert mellette hasznaltam a gepet, HT engedelyezve volt, es a szalak kihasznaltsaga valtozo volt. Egy szal sem volt 50% felett.

Osszefoglalva: mukodik, es hozza a teljesitmenyt amit vartam tole.

Hm, ez jól hangzik!

"Ha a teljes PCIe x8 elerheto, akkor megy a ~9.8Gb/s mind a ket iranyba egyszerre (iperf3, egyszerre ket teszt). Ezt egy ThinkStation S20 (X5650, CentOS 7) es egy ThinkStation E30 (E3-1235, CentOS 7) mertem 9000-es MTU-val. Minden mas default volt. A proci kozel sem jart 100%-hoz. Az S20-on osszesen ~170%/1200% volt a kihasznaltsag, de nehez megmondani, hogy mit jelent ez valojaban mert mellette hasznaltam a gepet, HT engedelyezve volt, es a szalak kihasznaltsaga valtozo volt. Egy szal sem volt 50% felett."

Ennyi a kulombseg az E3-1325 es az X5650 kozott. Mi is kb. ezt tapasztaltuk par eve, amikor elkeztduk a 10gbit ethernetezest. REgebbi (X sorozatu xeon) eseteben a processzor eroforrasainak lenyeges reszet kepes megenni a 10gbit (esetedben is kb. ez van), mig E3/E5 eseteben lofutty.

Nekunk Emulex OneConnect CNA (IBM cimkes) meg Intel X520 kartyak vannak (van, amelyik Intel-Intel es van IBM cimkes Intel).

En csak az X5650-en neztem a CPU hasznalatot. Azon jott ossze a 170%/1200%. Az X5650 az asztali gepem, az E3-at jelenleg nem nagyon hasznalom. Hetkoznapi hasznalatban nincs nagy kulonbseg a ket gep kozott. Jol parhuzamosithato feladatokban az X5650 nyer.

Az E56xx/X56xx elotti processzorok viszont tenyleg meglepoen gyengek.

Kiprobaltam mit tud Hyper-V alatt. Ez Ubuntu 15.10 Hyper-V 2012-vel:


$ iperf3 -c 10.0.0.1
Connecting to host 10.0.0.1, port 5201
[ 4] local 10.0.0.2 port 51286 connected to 10.0.0.1 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 1.13 GBytes 9.69 Gbits/sec 0 3.06 MBytes
[ 4] 1.00-2.00 sec 1.14 GBytes 9.81 Gbits/sec 0 3.07 MBytes
[ 4] 2.00-3.00 sec 1.14 GBytes 9.76 Gbits/sec 0 3.07 MBytes
[ 4] 3.00-4.00 sec 1.13 GBytes 9.74 Gbits/sec 0 3.07 MBytes
[ 4] 4.00-5.00 sec 1.13 GBytes 9.70 Gbits/sec 0 3.07 MBytes
[ 4] 5.00-6.00 sec 1.13 GBytes 9.69 Gbits/sec 0 3.07 MBytes
[ 4] 6.00-7.00 sec 1.13 GBytes 9.71 Gbits/sec 0 3.07 MBytes
[ 4] 7.00-8.00 sec 1.13 GBytes 9.68 Gbits/sec 0 3.07 MBytes
[ 4] 8.00-9.00 sec 1.13 GBytes 9.74 Gbits/sec 0 3.07 MBytes
[ 4] 9.00-10.00 sec 1.13 GBytes 9.68 Gbits/sec 0 3.07 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 11.3 GBytes 9.72 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 11.3 GBytes 9.72 Gbits/sec receiver

iperf Done.

MTU9000

Közben megérkezett az én összekötő kábelem is: ebay link.

1500-as MTU-val:

root@ubuntua64:~# iperf -c 192.168.10.2 -d
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 192.168.10.2, TCP port 5001
TCP window size: 510 KByte (default)
------------------------------------------------------------
[ 5] local 192.168.10.1 port 57884 connected with 192.168.10.2 port 5001
[ 4] local 192.168.10.1 port 5001 connected with 192.168.10.2 port 44106
[ ID] Interval Transfer Bandwidth
[ 5] 0.0-10.0 sec 10.7 GBytes 9.17 Gbits/sec
[ 4] 0.0-10.0 sec 8.09 GBytes 6.94 Gbits/sec

9000-es MTU-val:

iperf -c 192.168.10.2 -d
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 192.168.10.2, TCP port 5001
TCP window size: 1.84 MByte (default)
------------------------------------------------------------
[ 5] local 192.168.10.1 port 57885 connected with 192.168.10.2 port 5001
[ 4] local 192.168.10.1 port 5001 connected with 192.168.10.2 port 44107
[ ID] Interval Transfer Bandwidth
[ 5] 0.0-10.0 sec 11.5 GBytes 9.88 Gbits/sec
[ 4] 0.0-10.0 sec 9.27 GBytes 7.96 Gbits/sec

192.168.10.2-ben i3-4150 van, ezen a top szerint 77% idle, 192.168.10.1 Athlon X2 255, itt 12,5% idle.
Mindkét gép Ubuntu 14.04.