Debian 13 LACP LAG ZyXel XGS1930 switch és Intel X540-AT2 között

Hálózatok egyéb

Tisztelt kollégák!

Egyszerűen nem jövök rá mit rontok el. Adott egy DELL R250 szerver, benne egy X540-AT2 Intel 2x 10GbE hálózati vezérlővel. Debian 13 Trixie alap, Proxmox 9, naprakész csomagok. Ezt szeretném egy ZyXel XGS1930 switch-el LACP-vel összekapcsolni. Az SFP modulok gyári ZyXel-ek, jó drágák, nem utángyártott 3rd-party alkatrész. A konfiguráció a Debian oldalán a következő (teljesen alap, ahogy a nagy könyvben meg van írva):

auto bond0
iface bond0 inet manual
       bond-slaves ens1f0 ens1f1
       bond-miimon 100
       bond-mode 802.3ad
       bond-xmit-hash-policy layer2+3

auto vmbr0
iface vmbr0 inet manual
       bridge-ports bond0
       bridge-stp off
       bridge-fd 0
       bridge-vlan-aware yes
       bridge-vids 5 24 100 711 712 721 722 723 724

auto vmbr0.24
iface vmbr0.24 inet static
       address 192.168.24.111/24
       gateway 192.168.24.254

auto vmbr0.100
iface vmbr0.100 inet static
       address 172.20.72.232/24

A switch oldalán LAG group létrehozva, portok hozzárendelve, az egyes portokon ugyanazok a VLAN-ok engedélyezve. LACP engedélyezve. Itt ezekből lehet választani: src-mac, dst-mac, src-dst-mac, src-ip, dst-ip, src-dst-ip (most src-dst-mac értéken van). Próbáltam a Linux oldalán layer2 és layer3+4 hash policy-val is, de nem jártam sikerrel.

A link nem áll össze. ha magára hagyom legalább 10-15 percet, egyszer csak "féllábon" összeáll. A Debian oldalán azt mondja mindkettő link UP, de a switch az egyik portra azt írja ilyenkor hogy DOWN, és a "Synchronized Ports" is csak a másikat tartalmazza. Ekkor így néznek ki a dolgok:

ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   inet 127.0.0.1/8 scope host lo
      valid_lft forever preferred_lft forever
   inet6 ::1/128 scope host noprefixroute 
      valid_lft forever preferred_lft forever
4: ens1f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000
   link/ether b4:96:91:1a:a2:ec brd ff:ff:ff:ff:ff:ff
   altname enp1s0f0
   altname enxb496911aa2ec
5: ens1f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000
   link/ether b4:96:91:1a:a2:ec brd ff:ff:ff:ff:ff:ff permaddr b4:96:91:1a:a2:ee
   altname enp1s0f1
   altname enxb496911aa2ee
6: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP group default qlen 1000
   link/ether b4:96:91:1a:a2:ec brd ff:ff:ff:ff:ff:ff
7: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
   link/ether b4:96:91:1a:a2:ec brd ff:ff:ff:ff:ff:ff
   inet6 fe80::b696:91ff:fe1a:a2ec/64 scope link proto kernel_ll 
      valid_lft forever preferred_lft forever
8: vmbr0.24@vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
   link/ether b4:96:91:1a:a2:ec brd ff:ff:ff:ff:ff:ff
   inet 192.168.24.111/24 scope global vmbr0.24
      valid_lft forever preferred_lft forever
   inet6 fe80::b696:91ff:fe1a:a2ec/64 scope link proto kernel_ll 
      valid_lft forever preferred_lft forever
9: vmbr0.100@vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
   link/ether b4:96:91:1a:a2:ec brd ff:ff:ff:ff:ff:ff
   inet 172.20.72.232/24 scope global vmbr0.100
      valid_lft forever preferred_lft forever
   inet6 fe80::b696:91ff:fe1a:a2ec/64 scope link proto kernel_ll 
      valid_lft forever preferred_lft forever
11: tap100i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc fq_codel master vmbr0 state UNKNOWN group default qlen 1000
   link/ether b6:d6:be:23:c2:93 brd ff:ff:ff:ff:ff:ff

 

cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v6.14.11-4-pve
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0
802.3ad info
LACP active: on
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: b4:96:91:1a:a2:ec
Active Aggregator Info:
       Aggregator ID: 1
       Number of ports: 1
       Actor Key: 15
       Partner Key: 2
       Partner Mac Address: d8:ec:e5:a0:06:ad
Slave Interface: ens1f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 4
Permanent HW addr: b4:96:91:1a:a2:ec
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 4
details actor lacp pdu:
   system priority: 65535
   system mac address: b4:96:91:1a:a2:ec
   port key: 15
   port priority: 255
   port number: 1
   port state: 61
details partner lacp pdu:
   system priority: 32768
   system mac address: d8:ec:e5:a0:06:ad
   oper key: 2
   port priority: 1
   port number: 27
   port state: 63
Slave Interface: ens1f1
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 22
Permanent HW addr: b4:96:91:1a:a2:ee
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: monitoring
Partner Churn State: monitoring
Actor Churned Count: 22
Partner Churned Count: 22
details actor lacp pdu:
   system priority: 65535
   system mac address: b4:96:91:1a:a2:ec
   port key: 15
   port priority: 255
   port number: 2
   port state: 69
details partner lacp pdu:
   system priority: 65535
   system mac address: 00:00:00:00:00:00
   oper key: 1
   port priority: 255
   port number: 1
   port state: 1

A switch-en a "System Priority" értéke 32768, ezt látom eltérésnek, ez okozhat gondot?

Mit rontok el? Köszönöm az útmutatást előre is!

  • 64 megtekintés

( kovi | 2025. 11. 14., p – 20:47 )

1., Mi 90%-ban Ubi gbic modulokat használunk 1930-akban, 10G, 1G, RJ45. Ezekkel minddel hibátlan. Tök véletlenül jöttünk rá. Kb 25db ilyen switchünk van, azt néggyel szorozva 100db cucc, amiből 90db Ubiquti.

2., A port setupban a helyedben játszanék a sebességi modulusokkal. Ha azt mondja down, akkor ott bizony nem jó valami. A 1930 egyedüli nyűgje a hibás felismerés. Utálatos egy dolog, de miután megszoktuk azonnal fixáltuk és azóta is első lépésben fixáljuk.

3., bocsánat, nem észt osztani akarok, de a megfelelő optikai kábel van a gbic modulokban? Én volt úgy, hogy figyelmetlenségből jól elbaftam. Olyan volt a link, mint a mesében: hol volt, hol nem.

3.b, Ha SFP direkt kábelt teszel be, vagy primitívebb módon 2db RJ45 dbic-et húzol össze CAT6-al, ahhoz mit szól? Nyilván 1000M fix beállítással.

Vortex Rikers NC114-85EKLS

( djtacee | 2025. 11. 14., p – 21:04 )

Bakker. Ezt nem hiszem el. Több órás (fél napos) szívás után feltettem a switch-re ezt a firmware-t: V5.00(ABHT.0)

És tessék, pöccre megy:

cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v6.14.11-4-pve
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0
802.3ad info
LACP active: on
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: b4:96:91:1a:a2:ec
Active Aggregator Info:
       Aggregator ID: 1
       Number of ports: 2
       Actor Key: 15
       Partner Key: 2
       Partner Mac Address: d8:ec:e5:a0:06:ad
Slave Interface: ens1f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: b4:96:91:1a:a2:ec
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: monitoring
Partner Churn State: monitoring
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
   system priority: 65535
   system mac address: b4:96:91:1a:a2:ec
   port key: 15
   port priority: 255
   port number: 1
   port state: 61
details partner lacp pdu:
   system priority: 32768
   system mac address: d8:ec:e5:a0:06:ad
   oper key: 2
   port priority: 1
   port number: 27
   port state: 63
Slave Interface: ens1f1
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: b4:96:91:1a:a2:ee
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: monitoring
Partner Churn State: monitoring
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
   system priority: 65535
   system mac address: b4:96:91:1a:a2:ec
   port key: 15
   port priority: 255
   port number: 2
   port state: 61
details partner lacp pdu:
   system priority: 32768
   system mac address: d8:ec:e5:a0:06:ad
   oper key: 2
   port priority: 1
   port number: 28
   port state: 63

Hogyaza'... Grr...