[megoldva] Intel Blade hálózati probléma

 ( hnsz2002 | 2013. május 14., kedd - 12:34 )

Az ügyfél kérése az volt, hogy legyen egy olyan szerver, amibe minden redundáns...

Adott egy MFSYS25 chassis, benne 3db MFS2600KI compute module, alapból két ethernet + benne mindegyikbe mezzanine card, ami +2 portot jelent, igazából a redundancia miatt lett vásárolva.
A backplane-en a bekötés így néz ki: http://wstaw.org/m/2013/05/14/plasma-desktopBQ1581.png
Tehát két kártya az egyik switch s1.1 és s1.2 portjába, a másik kettő a másik switch s1.1 és s1.2 portjába kötve (attól függően hogy melyik bladeről van szó).

Tehát úgy működne ahogy gondolnád, egy portot letiltasz, annak a kártyának elmegy a hálózata, vagy kihúzom az egyik switchet, akkor az a két kártya ami oda van kötve megáll, a másik kettő megy tovább, stb... Ez windowson így is van. (telepítettem 2008r2 servert és rátettem az inteltől letölthető drivert)

Linuxon a következő történik: olyan mintha mind a négy kártya egyetlen switchporton lenne. A kernel lát ugyanúgy négy interfészt, négy külön mac címet, megy is mind, de olyan mintha mindegyik az sw1 vagy sw2 (Attól függ melyik bladeről van szó) s1.1 portjába lenne bekötve. Tehát ha ezt a portot lekapcsolom (pl. blade3 esetén sw1 s3.1-et), átteszem másik vlanba, vagy az adott switchet kihúzom, akkor mind a négy kártya eltűnik...

Hetek óta megy a levelezés az intel supporttal, a disztribútorral, a googlizás, különböző rendszerek próbálása, semmi eredmény.

A kártyák:
01:00.0 Ethernet controller: Intel Corporation 82575EB Gigabit Network Connection (rev 02)
01:00.1 Ethernet controller: Intel Corporation 82575EB Gigabit Network Connection (rev 02)
02:00.0 Ethernet controller: Intel Corporation I350 Gigabit Fiber Network Connection (rev 01)
02:00.1 Ethernet controller: Intel Corporation I350 Gigabit Fiber Network Connection (rev 01)

A kernelben sima igb driver hajtja.

Próbáltam: centossal (a leírt jelenség jön), fedoraval (telepítéskor felrakott kernellel a leírt jelenség, újabb kernellel be se bootol), opensuseval (a telepítő se indul el, unsupported operation), debian (szintén a leírt jelenség), és redhattel (szintén...)

A redhat és a sles hivatalosan supported. Tegnap töltöttem egy redhatet, felraktam (ne tudjanak belekötni, hogy a centos mégsem redhat...), de ugyanúgy nem megy vele. A support mondott olyan, hogy az intel oldaláról letölthető intel driver fordítsam le (4.1.2-es verzió most), nem fordul se centoson, se redhaten (make-kel és rpmbuild-dal sem). Viszont találtam szintén 4.1.2-es verzióból kmod csomagot redhatre, felraktam, természetesen azzal sem megy.... (centosra is bepróbáltam, persze ott sem)

Ami még érdekes, hogy próbáltam erre a jelenségre rákeresni googleban, és abszolút semmit nem találtam. Tehát vagy senki nem vett még ilyen cuccot, vagy megint csak nálam görbül a tér, és senki nem találkozott még ilyennel...

Az ügyfél linuxot akar (meg persze én is...), nem opció a windows semmi esetre sem. Valakinek valami ötlete esetleg?

Köszi előre is.

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Nekem zavaros a leirasod.
Mit jelent az, h eltunik?

tompos

link down?

Igen, elmegy a link. Legalábbis látszólag. Tehát kívülről pingelve mind a négy interfészt, a kérdéses switchportot lekapcsolva egyik se ping tovább.
--
The Community ENTerprise Operating System

Hogy vannak az interface-ek bekonfiguralva?

Simán van mindegyiken egy IP. Vagy mire gondolsz?
--
The Community ENTerprise Operating System

En meg tovabbra sem ertem a lenyeget. Nem bondingnak kellene lennie a kulonbozo switcheken? Mi ertelme van mindegyikre rakni egy-egy IP-t?

Vagy mit szeretnel ebbol kihozni?

Ne a boot dmesg-et kuldd be, hanem onnantol, h mukodik, odaig hogy kuhozod, majd ujra nem mukodik. Tovabba, ethtool, ip/ifconfig, stb. configokat, beleertve a disztrib specifikus beallitasokat. Maradj egy azonos disztribnel es csak azokat kuldd.

tompos

+
--
#conf t
#int world
#no shut

De a bondingnak csak akkor van értelme, ha ezek a kártyák külön-külön működnek..

Az az értelme, hogy lehet nézni, hogy megy-e az interfész.

A végén a cél a bonding lenne, failolver céljából.

Általános infó: http://paste.fedoraproject.org/12252/68615186/
Ifconfig: http://paste.fedoraproject.org/12253/13686152/

eth0, sw2 kihúzva: http://paste.fedoraproject.org/12254/86152661
eth1, sw2 kihúzva: http://paste.fedoraproject.org/12255/36861528
eth2, sw2 kihúzva: http://paste.fedoraproject.org/12256/15294136
eth3, sw2 kihúzva: http://paste.fedoraproject.org/12257/15309136

eth0, sw2 berakva: http://paste.fedoraproject.org/12258/15327136
eth1, sw2 berakva: http://paste.fedoraproject.org/12259/13686153
eth2, sw2 berakva: http://paste.fedoraproject.org/12260/68615352/
eth3, sw2 berakva: http://paste.fedoraproject.org/12261/13686153

Kártyák:

[root@localhost info]# lspci | grep -i net
01:00.0 Ethernet controller: Intel Corporation 82575EB Gigabit Network Connection (rev 02)
01:00.1 Ethernet controller: Intel Corporation 82575EB Gigabit Network Connection (rev 02)
02:00.0 Ethernet controller: Intel Corporation I350 Gigabit Fiber Network Connection (rev 01)
02:00.1 Ethernet controller: Intel Corporation I350 Gigabit Fiber Network Connection (rev 01)

Röviden tehát: eth2 és eth3 link nem megy le, mégsem érhető el.
--
The Community ENTerprise Operating System

Gyujtogetek par infot, hatha valamelyik hasznalhatonak bizonyul.

Interfaces flap on MFSYS25 hosts - http://communities.intel.com/thread/36414

Ezt a linket kaptam most: https://downloadcenter.intel.com/Detail_Desc.aspx?lang=eng&DwnldID=13663&OSFullname=undefined&DownloadType=undefined&ProdId=undefined
Ez pöccre lefordult rpmbuild-dal, fel is ment, be is töltötte, de a helyzet ugyanaz mint eddig.
--
The Community ENTerprise Operating System

Csak van mar valami modul-opcio...

IRC-n irtam, hogy valami logreszlet erdekes lenne, dmesg vagy syslog pl.

Nekem ez valami routing hibanak tunik elso olvasasra.(Nem tudok pastebint megnyitni itt cegnel hogy meglessem logokat.)

Subneten belül pingelem, semmi routing nincs.
--
The Community ENTerprise Operating System

Annyi van még, ezt már kipróbáltam korábban:
Hogy most pl. blade3, mezzanine kártyával ugye sw2 s3.1 portjába látszik drótozva.
Ha kiveszem a mezzanine-t, akkor a maradék két kártya átmegy az sw1 s3.1 portjába (de ugyanígy együtt marad)

Más:
options igb debug=16 után dmesg | grep igb: http://wklej.org/id/1039780
--
The Community ENTerprise Operating System

Linuxon az /etc/sysctl.conf-ban van egy adag network beallitas. Pl. a te esetedben maga a Linuxnak is egy routernek kene lennie nem hogy szejjeldobja a forgalmat kartyankent ne egykent kezelje szoval en szejjelneznek benne egy kicsit az ipv4es szekcio korul hatha ott valami alapbeallitas miatt kezeli egykent a kettot.

OK, mindjárt megnézem.
De: Most így bonding meg mindenféle extra beállítás nélkül ez ugye az a szituáció elvileg (felejtsük el a chassist), hogy van egy pc-d, van benne 4 mezei realtek kártya, mind a négynek van egy címe egy subnetben, és bedugod mindet egy switchnek a portjaiba. Természetesen egymástól függetlenül működnek, elérhetőek, pingelhetők, stb. Mindenféle extra beállítás nélkül.
--
The Community ENTerprise Operating System

De most neked ez a mezzozoine vagy milyen kartya 2 portos ergo valami virtualizacio van a hatterben hogy 2 kartyanak latsszon, ebbol indultam ki.

> mezzozoine vagy milyen

mar bocsass meg, de ezt a szot (mezzanine) lehetett volna copy+paste-elni, ha mar Massive Attack-et nem hallgatsz :)

Mindig a lenyeges infot hagyod le.

Azt nezd, amikor lehuzod a switchrol es mi tortenik a masikon, amelyiken rajta kellene maradni. Az ethtool-lal szinten.

Egyebkent allitsd be bondingot es nezd meg ugy.

tompos

Melyik kerdesre melyik a valasz? En nem talalom.

tompos

Nos, gondoltam próba szerecse, beállítottam.... És működik....
Nem értem hogy miért nem mentek külön-külön, de a failoveres bonding tökéletesen megy, ahogy kell - centoson is.
--
The Community ENTerprise Operating System