100GbE RoCE (RDMA over Converged Ethernet) kesleltetes

 ( NagyZ | 2019. május 16., csütörtök - 14:33 )

mindig is erdekelt mekkora 100GbE RoCE mellett egy adott RPC uzenet kesleltetese? akkor katt :)

tesztgep: 2x Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz, C-state limitalva 1-ig, performance governor, Mellanox Connect-X 4, SN2700-es switch Cumulussal, PFC+ECN mellett


olvasas:
 #bytes #iterations    t_min[usec]    t_max[usec]  t_typical[usec]    t_avg[usec]    t_stdev[usec]   99% percentile[usec]   99.9% percentile[usec]
 2       1000          2.40           2.80         2.45     	       2.46        	0.04   		2.63    		2.80
 4       1000          2.42           3.81         2.45     	       2.46        	0.04   		2.68    		3.81
 8       1000          2.42           2.72         2.46     	       2.46        	0.03   		2.61    		2.72
 16      1000          2.42           3.68         2.46     	       2.46        	0.03   		2.59    		3.68
 32      1000          2.42           3.65         2.46     	       2.46        	0.03   		2.59    		3.65
 64      1000          2.42           2.57         2.46     	       2.46        	0.02   		2.54    		2.57
 128     1000          2.45           3.77         2.49     	       2.50        	0.03   		2.65    		3.77
 256     1000          2.50           2.81         2.54     	       2.60        	0.10   		2.78    		2.81
 512     1000          2.54           3.84         2.59     	       2.60        	0.03   		2.68    		3.84
 1024    1000          2.64           2.97         2.68     	       2.69        	0.04   		2.92    		2.97
 2048    1000          2.88           4.18         2.92     	       2.92        	0.03   		3.03    		4.18
 4096    1000          3.34           3.74         3.39     	       3.40        	0.06   		3.67    		3.74
 8192    1000          3.95           5.60         4.01     	       4.03        	0.07   		4.35    		5.60
 16384   1000          5.08           6.55         5.18     	       5.20        	0.07   		5.43    		6.55
 32768   1000          6.84           9.69         7.06     	       7.13        	0.14   		7.45    		9.69
 65536   1000          9.74           10.88        9.87     	       9.92        	0.12   		10.23   		10.88
 131072  1000          15.07          16.86        15.42    	       15.38       	0.16   		15.66   		16.86
 262144  1000          25.82          27.16        25.94    	       26.00       	0.14   		26.37   		27.16
 524288  1000          47.19          48.38        47.32    	       47.37       	0.12   		47.72   		48.38
 1048576 1000          90.00          90.59        90.11    	       90.17       	0.12   		90.51   		90.59
 2097152 1000          175.68         176.52       176.02   	       176.04      	0.18   		176.45  		176.52
 4194304 1000          346.81         349.89       347.18   	       347.27      	0.17   		347.82  		349.89
 8388608 1000          689.22         700.85       689.55   	       689.63      	0.28   		689.98  		700.85
---------------------------------------------------------------------------------------

iras:

 #bytes #iterations    t_min[usec]    t_max[usec]  t_typical[usec]    t_avg[usec]    t_stdev[usec]   99% percentile[usec]   99.9% percentile[usec]
 2       1000          1.24           1.48         1.26     	       1.26        	0.01   		1.30    		1.48
 4       1000          1.24           3.56         1.25     	       1.26        	0.01   		1.27    		3.56
 8       1000          1.24           1.28         1.25     	       1.26        	0.01   		1.27    		1.28
 16      1000          1.24           3.61         1.26     	       1.26        	0.01   		1.27    		3.61
 32      1000          1.26           3.73         1.28     	       1.28        	0.01   		1.30    		3.73
 64      1000          1.26           1.31         1.28     	       1.28        	0.01   		1.30    		1.31
 128     1000          1.31           2.73         1.33     	       1.33        	0.01   		1.36    		2.73
 256     1000          1.65           4.30         1.67     	       1.68        	0.03   		1.69    		4.30
 512     1000          1.84           2.61         1.86     	       1.87        	0.03   		1.99    		2.61
 1024    1000          1.93           4.09         1.96     	       1.97        	0.08   		2.08    		4.09
 2048    1000          2.18           3.76         2.21     	       2.23        	0.04   		2.34    		3.76
 4096    1000          2.64           3.90         2.66     	       2.68        	0.06   		2.93    		3.90
 8192    1000          3.24           4.35         3.28     	       3.31        	0.07   		3.50    		4.35
 16384   1000          4.49           4.83         4.53     	       4.58        	0.08   		4.75    		4.83
 32768   1000          6.34           7.83         6.46     	       6.46        	0.09   		6.60    		7.83
 65536   1000          9.02           10.39        9.06     	       9.10        	0.08   		9.27    		10.39
 131072  1000          14.37          16.00        14.49    	       14.49       	0.10   		14.65   		16.00
 262144  1000          25.06          26.23        25.12    	       25.16       	0.08   		25.34   		26.23
 524288  1000          46.46          50.23        46.80    	       46.76       	0.13   		46.88   		50.23
 1048576 1000          89.24          89.89        89.64    	       89.60       	0.13   		89.83   		89.89
 2097152 1000          174.83         175.44       175.19   	       175.18      	0.09   		175.35  		175.44
 4194304 1000          346.43         347.50       346.76   	       346.73      	0.10   		346.96  		347.50
 8388608 1000          688.73         689.19       689.02   	       689.02      	0.05   		689.16  		689.19
---------------------------------------------------------------------------------------

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

FC-n ugyanez mennyi? ;)

--

"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."

nem tudom, mennyi?

DPDK-val is mérted?
____________________________________
Az embert 2 éven át arra tanítják hogyan álljon meg a 2 lábán, és hogyan beszéljen... Aztán azt mondják neki: -"Ülj le és kuss legyen!"..

Spekuláció: szerintem DPDK-val nagy teljesítmény növekedés csak a kernelhez képest van, mikor tudsz spórolni pár felesleges másolást, meg nagyobb börsztökben tudsz kiküldeni RPCt. RDMA meg DMA-zik a NIC meg a RAM közt root complexel, a CPU nem is vesz részt feltétlenül a továbbításban. Tippre a DPDK meg az RDMA nagyjából ugyan azt kéne hozza.

nem.

vannak valahol reszletek, hogy hogyan merted? MTU? (persze lehet mindenki masnak trivialis.)

switch nelkul mit kapsz? a meres eleje (<= 8k) erdekel igazan.

sima ib_read_lat/ib_write_lat, resze az OFED-nek. 9k MTU van, de mivel IB-s interfeszen keresztul mukodik a RoCE, igy 4096-ra van limitalva minden IB-s forgalom.

switch nelkul nem mertem, de 300-600 ns korul ad hozza a switch kb.