[solved] HP Proliant Gen8 és BCM5720 Gigabit Ethernet csodái

Hálózati eszközök

Sziasztok!

Adott egy HP Proliant Microserver G2020T, a benne lévő csodálatos gigabites hálózati interfacek és friss Debian telepítés. 


root@X:~# lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 7.5 (wheezy)
Release:        7.5
Codename:       wheezy

root@X:~# uname -a
Linux X 3.2.0-4-amd64 #1 SMP Debian 3.2.57-3 x86_64 GNU/Linux

root@X:~# lspci | grep ther
03:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet PCIe
03:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet PCIe

Első körben az tűnt fel a switchben, hogy csak 100 Mbps sebességgel jön létre a link, melyet a dmesg is megerősít: 

[    8.731445] tg3 0000:03:00.0: irq 46 for MSI/MSI-X
[    8.731455] tg3 0000:03:00.0: irq 47 for MSI/MSI-X
[    8.731463] tg3 0000:03:00.0: irq 48 for MSI/MSI-X
[    8.852489] ADDRCONF(NETDEV_UP): eth0: link is not ready
[   29.652132] tg3 0000:03:00.0: eth0: Link is up at 100 Mbps, full duplex
[   29.652136] tg3 0000:03:00.0: eth0: Flow control is off for TX and off for RX
[   29.652139] tg3 0000:03:00.0: eth0: EEE is disabled
[   29.654398] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[   39.866562] eth0: no IPv6 routers present

Gondoltam megjavítom, így feltelepítettem a non-free tárolóból a firmware-linux-nonfree csomagot, mely a hozzá tartozó firmware-t tartalmazza. Nyomát nem látom, hogy használná és a helyzet nem változott.

Reméltem, hogy az ethtool majd segít, de egy jól irányzott "

ethtool -s eth0 speed 1000 duplex full autoneg on

" parancsot követően eltűnt a link, de úgy, hogy az iLO-t sem értem el, melynek külön IP van bekonfigurálva. Mindez addig nem változott, míg a tg3 modult el nem távolítottam és újra be nem töltöttem. Ezután már elértem iLO-n is. Ez az első gépem, mely iLO-val is rendelkezik, így ezen nagyon meglepődtem, mert pont azt vártam volna, hogy az ilyen helyzetekben segít.

Ethool ezt mondja erről a csodáról: 

root@X:~# ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Speed: 100Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        MDI-X: Unknown
        Supports Wake-on: g
        Wake-on: g
        Current message level: 0x000000ff (255)
                               drv probe link timer ifdown ifup rx_err tx_err
        Link detected: yes

Modul info: 

root@X:~# modinfo tg3 | grep -v alias:
filename:       /lib/modules/3.2.0-4-amd64/kernel/drivers/net/ethernet/broadcom/tg3.ko
firmware:       tigon/tg3_tso5.bin
firmware:       tigon/tg3_tso.bin
firmware:       tigon/tg3.bin
version:        3.121
license:        GPL
description:    Broadcom Tigon3 ethernet driver
author:         David S. Miller (davem@redhat.com) and Jeff Garzik (jgarzik@pobox.com)
srcversion:     FD1A0C6ACC7F8491DD125AB
depends:        libphy
intree:         Y
vermagic:       3.2.0-4-amd64 SMP mod_unload modversions 
parm:           tg3_debug:Tigon3 bitmapped debugging message enable value (int)

Tehát ezen a modulon nincs mit paraméterezni nagyon :-(

iLO adatai: 


System ROM 	J06 11/09/2013
License Type 	iLO 4 Standard
iLO Firmware Version 	1.40 Jan 14 2014

Megválaszolandó kérdések, amire várnám a segítő szavakat:
1. Hogyan tudom rávenni ezt a kártyát, hogy gigabites linket húzzon fel?
2. Hogy a fenébe lehet, hogy egy jól irányzott parancs az iLO-t is elérhetetlenné teszi és ezt hogy tudom "megjavítani"? Ez lehet garanciális csere HP-nél vagy az összes G2020T szenvedhet ettől?
3. Az normális dolog, hogy a switch az iLO portra kötött linket nem jelzi, mint csatlakoztatott portot sem a webfelületén, sem a switch jelző ledjein?

Update és a megoldás:
A hiba okára a szisztematikus tesztelgetés során, ahol lépésről lépésre mindig egy dolgot módosítottam fény derült, mely elég banális. A dupla fali csatlakozó melybe a két lengőkábel ment, hibás. Remélem, hogy az és nem a falban lévő kábel van megszakadva valahol. Áthelyeztem a gépet másik fali aljzatok mellé és tökéletesen megy a gigabit, mind az eth, mind az iLO portban. Sőt most már tudok dedikált IP-t rendelni az iLO-nak, valószínűleg a csatlakozási hiba zavarta meg azt is.

  • 6657 megtekintés

( mauzi v | 2014. 05. 08., cs – 21:40 )

Szia,

ezzel az újfajta Microserverrel még nem találkoztam, de a korábbi ProLiant szervereknél is volt olyan, hogy az iLO nem dedikált ethernet interfésszel rendelkezett, hanem osztozott a(z egyik) "rendes" interfésszel. Ennek a működtetéséhez speciális, HP-által patchelt (binary-only) ethernet driver kellett, a kernelben lévő "rendes" Broadcom driver nem volt jó hozzá. Ha az "osztozást" kikapcsoltad, akkor tudtad a kártyát "rendes" driverrel is használni, viszont értelemszerűen nem ment az iLO, ha viszont bekapcsoltad az "osztozást", akkor ment az iLO, viszont az interfész - bár látszott Linux alól, de döglött volt.

Amit írok, az érvényes volt pl. ProLiant ML330 G6 esetében. Azt nem tudom, hogy a G8-as Microserver hogyan viszonyul ehhez, de gondolom valami hasonló móka lehet.

Nálam így néz ki: http://www.hpb.hu/2014.05.08_22.03.23_microserver.jpg

Ha nem shared módban van, akkor nem érem el az iLO-t a manualisan megadott IP-n. Csak shared módban érem el, viszont most kipróbáltam, hogy ebben az esetben nem is kell kábel az iLO portban, hanem a "normális" hálózati portra dugott kábel is elég. Nem értem, akkor minek van az iLO-nak külön port?

( elod v | 2014. 05. 08., cs – 21:46 )

iLO normális szerveren külön hálózati kártyát kap, külön kontroller, itt egy integrált f*s. Amúgy sem ad teljes funckcionalitást (grafikus konzolt, illetve grafikusnak vélt konzolt) csak plussz licenccel.

Bármit teszel a firmware frissítést most ne próbáld, csendesedjenek el a dolgok a "hp nic killer" frissítés körül. Bár G8 elvileg nem érintett.

Első körben boot-olj be egy friss Ubuntut, hátha az új kernellel jól megy.

Letöltöttem egy Ubuntu 14.04 LTS-t, melyben a kernel 3.13.0.

Helyzet változatlan csak 100Mbps-es a link. A fent írt ethtool parancs ugyanúgy lelőtte a hálókártyát, csak a tg3 modul ki/be töltése segített rajta.

FW mindenből a legfrisebb van rajta, a HP honlapján nem látok frissebbeket.

Kössz a figyelmeztetésért, nem hallottam sehol a HP NIC killer update-ről, pedig ezt a hírt nyugodtan felkaphatná a sajtó, tekintettel a károkozás mértékére!

A konteos énem azt súgja, mivel Gen7 és régebbi gépek érintettek, lehet h. a HP így akar kib*szni saját ügyfeleivel akik nem vették meg a tisztelt gyártó tetves CarePack garanciabővítését platina-árban.

( blackluck v | 2014. 05. 08., cs – 21:47 )

1, Nem lehet siman a kabel sz@r? Ugyebar gigabithez kell mind a 8 er, de 100M-hoz eleg a fele is megfelelo kiosztassal.
2-3, Nem lehet hogy bar van dedikalt portja az ilo-nak de shared-re van allitva vagyis nem azt hasznalja hanem a sima ethernetek kozul mondjuk az elsot? Foleg ha switchen se latod hogy lenne linkje mikozben elered, switchrol le tudod kerdezni melyik porton latja az ilo ip-hez tartozo mac-et pl?

1. Kábel biztos jó, mert több kábelt is próbáltam már, illetve másik gép ezen a porton hozza a gigabitet.
2-3, Igen így van shared-re van állítva (ha nem így van,akkor nem érem el az iLO-t) és az első eth portot használja. Megnéztem a switchben is az ilO és az első eth MAC-je is úgyanazon a porton látszódik a switchben.

Ezek után már tényleg nem értem, hogy minek van az iLO-nak külön port a kábelnek és megvezetve érzem magam, mert gondoltam, hogy teljesen független és az iLO-n majd jól elérem a gépet, ha valami gond lenne.

1, Leirasbol pedig az tunik eselyesnek, hogy kabel vagy kontakt hiba, esetleg switch nem tudja a gigat, de azt irod masik gep tudja ezen a switchen, igy az kizarva. Azzal a kabellal nezted amivel masikon ment a giga? Netan valamiert bezavar neki a shared ilo, ha kikapcsolod hogy ne shared legyen akkor is csak 100M?
2-3, Tehat a shared maga jol mukodik, csak neked nem az kellene. Nincs esetleg kulon opcio arra, hogy a dedikalt portot bekapcsolja, hatha azt kulon kell beallitani es nem teszi meg azzal, hogy shared-et kikapcsolod?

Ezek után már tényleg nem értem, hogy minek van az iLO-nak külön port a kábelnek

Hát shared üzemmódban ez nehezen fog menni, lévén ott pont az a lényeg, hogy az ilo meg a host osztozzanak a dróton/csatlakozón...

Talán ha dedikált üzemmódot állítanál inkább be, akkor működne is.

Hiába konfiguráltam be a dedikált iLO-t, nem értem el a megadott IP-n, ahogy fent is írtam. Mivel nem tudtam, hogy a fali aljzat hibás, amibe a lengőkábelek csatlakoztak, ezért gyanakodtam a hálókártyára, driverére és HP-re. Ez az első gépem, amiben van iLO, így annak működésében sem voltam teljesen biztos, azt hittem, hogy félreértettem a leírtakat és a marketing áldozata vagyok, de szerencsére már hozza az elvártakat.

Én is ilyennel szívtam egy XW4400-as desktop géppel amiben szintén egy Broadcom hálózati interface volt.
Míg egy másik gép fos Realtek 8169-es karija vígan ment gigán, a HP nem akart menni csak 100Mbiten.
Kábelcsere után viszont jó lett. Ezek a Broadcomok nagyon válogatósak hálókábel ügyben.

-------------------
http://www.rtvstat.hu/ - A legtöbb magyar rádió és TV egy helyen!