10Gbps érdekes hiba

Hálózatok általános

Sziasztok!

Van egy rejtélyes hibám, ami nagyon érdekes és ötletem sincs mi lehet a gond, vagy hol találhatnék megoldást, ezért írok ide, hátha valakinek van valami ötlete.

Adott egy Chenbro RM41824 szerver 2db SFP+ porttal, amely egy porton össze van kötve egy Quanta LB4M switchel szintén SFP+ portra összekötő kábellel (mikrotik).
Linkel, sőt tökéletes működik torrenttel tesztelve 2 Gbps is kimegy, itt volt boldogság aztán jött az FTP teszt:
Szervertermen belül másik szervergépre (routeren keresztül másik vlanba) tökéletesen jött 1 Gbps sebességgel a letöltés.
Otthoni telekom optikán ami 1000/1000, már csak 20MB/s volt a max, ott mintha valami korlát lenne és soha nem birta továbblépni, holott másik szerverről 90-100MB/s-el jött.
Ismerős 500 Mbites UPC internetén pedig 4-6MB/s volt a max, holott másik szerverről 50-60MB/s
Emiatt megkértem még egy UPC-s ismerősömet hogy nézze már meg ezt mert ez lehetetlen, és neki is 4-6MB/s volt a max.
Írtam a UPC-nek hogy esetleg korlátoznak-e bármilyen FTP forgalmat, vagy akár az IP címeimet, mert már nem volt más ötletem, ők váálaszoltak is hogy nem. Közben cseréltem kábeleket, megpróbáltam normális SFP+ modulokkal és patch kábellel összekötni, úgy is változatlan volt a helyzet.
Vettem emiatt egy kis mikrotik switchet amin csak sima SFP van, azzal összekötöttem a szervert (így csak 1Gbps), és láss csodát mindenkinek hirtelen tökéletes lett az FTP.
A quanta switch resetelve lett, minden beállítás rendben van rajta és a lehető legfrisebb a firmware is.

Most azon agyalok hogy vegyek-e másfajta switch-et vagy esetleg a szerverrel van gond, de csak akkor ha 10Gbps módban van a port? Mert 1Gbps sfp-vel simán jó. Nem tudom mi tévő legyek..

Valaki tapasztalt már ilyet, vagy van esetleg ötlet erre?

( elod v | 2019. 04. 02., k – 10:25 )

Az MTU beállításokat körbejártad?

( bennyh | 2019. 04. 02., k – 10:26 )

Őőő, gyengus a router vagy valami MTU gond?

A szerver a szerverteremben van mindig.
A letöltés pedig több UPC ügyfél és hozzám otthonra telekom felé is furán lassú, de csak akkor ha 10 Gbps-el van bekötve a szerver a quantába.
Más szerverekről a letöltés max sebességgel jön, sőt erről a szerverről is rendesen jön ha bekötöm a kis teszt sima SFP-s switchbe a szervert, és abból kötöm quantába gigabittel.

Szóval röviden, csak akkor rossz, ha SFP+-al van összekötve.

Milyen sfp+ es sfp illetve hozza kabel Monomodusu vagy multi kabel es abbol melyik, sfp passzol-e hozza (tippre mono kabel es hozza valo pl LX-es sfp, de sfp+-bol meg multi SR-es van vagy forditva.)
ethtool, dmesg stb mit mond milyen sebesseget tud a port es mivel all ossze? 1G, 10G, half/full duplex, esetleg csillapitasi szintek nem-e nagyon rosszak?
A 10G vs 1G bekotes eseten ugyanabba az eszkozbe kotod be csak sfp+-al vagy sfp-vel? Azon a switchen mi latszik port statust-ban, logokban.
Esetleg portokon (szerver, switch) latszik eldobott csomag, adatveszetes vagy logokban barmi hibara utalo jel?

MikroTik SFP/SFP+ direkt kábellel van összekötve, de próbáltam multimódosú SPF+ modullal kábellel is, ugyan az az eredmény. 10gbiten
1 gbiten amivel jól működik az sima sfp monomódosú és egy másik switch, mivel a quanta nem támogatja az SFP-t az SPF+ portján, de a quantába van visszakötve ez a kis switch egy sima rj45 gigabiten

Hiba sehol nincs, nincs packet loss se, torrenttel ha sokfelé kell csatlakozni mint írtam 2-3 gbit is kiment. Logokban sincs semmi. Tehát csak azokkal a kapcsolatokkal van gond ami közvetlen ip>ip, de összességében a sok ip tud róla gyorsan tölteni.
Az az érdekes hogy telekom felé csak kicsit lassú, upc felé nagyon lassú, hálón belül maxon jön...

ethtool enp132s0f0
Settings for enp132s0f0:
Supported ports: [ FIBRE ]
Supported link modes: 10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: No
Advertised link modes: 10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: No
Speed: 10000Mb/s
Duplex: Full
Port: Direct Attach Copper
PHYAD: 0
Transceiver: external
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes

A halozaton belul max mit takar, mi volt a masik pont ami kozott nezted?
ping -el kulonfele csomagmeretekkel + dont fragment-el tudod tesztelni mtu beallitasokat a halozaton.
Amugy ha tudsz tesztelj iperf-el.
Megnezheted mtr-el is hogy melyik esetben merre menne a forgalom es van-e valahol ami utan nagy a latency.
De gondolom attol hogy 1G vagy 10G-vel van rakotve meg nem lesz mas ip/tartomany a szerveren es routingban ugyanarra kellene menni, igy mtu esetleg ttl jatszhatna kozbe.

( dap | 2019. 04. 02., k – 14:50 )

Random packet loss van, ami az RTT növekedésével hatványozottan fejti ki a hatását. Ezért van az, hogy alacsony RTT-vel szinte észrevehetetlen, de UPC-ről látványos a gond.

Az iperf minden bizonnyal kimutatja a LAN-ban is.

Köszönöm az iperf teszt ajánlásotokat, kipróbáltam, eddig nem használtam még.
Itt egy kép az eredményről, de szerintem vagy valami nem jó itt, vagy én értelmezem rosszul, de ez nagyon rossz eredmény és kipróbáltam több szerverrel is, amik teljesen jól működnek és kb ugyan ez jött ki.

https://i.imgur.com/2gcbLb7.png

Hm. Próbáld cserélgetni a szerepeket hogy ki a küldő/fogadó, esetleg a -w paraméterrel járszani vagy lentebbvinni a bandwidth-t (-b). Jól működö kapcsolaton közel 100% meg kéne hogy érkezzen. Próbálgatással el kéne érned egy olyan állapotot ahol jól működik és onnan el lehet indulni hogy mitől van az amikor nem jól működik.

Én nem találkoztam még ezzel, hogy 50Mbps környékén ekkora kamu losst mutatna.

UPDATE: én iperf-et (2.x verzió) használok, az iperf3-mal (3.x verzió) csak a bajom volt

( debtamas88 | 2019. 04. 03., sze – 20:00 )

Szia!

Én is használok egy ilyen switchet, eddig nem volt probléma vele (10gb portját nem használom )
Konfig részletet bemásolhattál volna az eszközről.

"show running-config"

Melyik firmware-t használod?

"routing: v5.13.12.14"
"switching: v1.1.0.8 (ez ajánlott, ez stabil)"

Amivel én használom (v1.1.0.8) konfig:


vlan database
vlan 100,999
vlan name 100 "LAN"
vlan name 999 "MGMT"

# default vlan #
vlan participation all include 1

ip dhcp snooping
ip dhcp snooping vlan 100
port-security

# access port: 100-as vlan - LAN #
interface 0/1
spanning-tree edgeport
spanning-tree bpdufilter
spanning-tree guard-loop
spanning-tree tcnguard
ip dhcp snooping log-invalid
vlan pvid 100
vlan acceptframe admituntaggedonly
vlan ingressfilter
vlan participation exclude 1
vlan participation include 100
exit

# trunk-port/uplink: tagged #
interface 0/48
ip dhcp snooping trust
vlan acceptframe vlanonly
vlan ingressfilter
vlan participation exclude 1
vlan participation include 100,999
vlan tagging 100,999
exit

Annyit próbálj meg, hogy a 10GB interface-n az MTU tedd 1500 -ra (szerintem az alapból 9000 ).

!System Software Version "5.13.12.14" Ezt töltöttem be image2-nek.
Image1-en alapból 1.0.2.17 van, de a fentivel indítottam a switchet.

Images currently available on Flash

--------------------------------------------------------------------
unit image1 image2 current-active next-active
--------------------------------------------------------------------

1 1.0.2.17 5.13.12.14 image2 image2

Egyébként próbáltam 1518-as MTU-val és 9000 körülivel is már mert fent többen írták hogy azt nézegessem.
1500-ra nem engedi rakni, de nálad sem látok MTU-t a port konfigjánál, szóval alap értéken lehet
(Routing) (Interface 0/49)#mtu 1500
^
Value is out of range. The valid range is 1518 to 9216.

Lehet megpróbálom akkor image1-en az általad ajánlott verziót és betöltöm.