zfs send remote receive

 ( akoscomp | 2018. július 12., csütörtök - 8:11 )

Eddig szuperül működött a zfs send | ssh remote zfs receive de átállva 10 Gbps-re, már limitál az ssh. Kb. 1 Gbps-nél vágja a forgalmat és a fogadó gépen látszik, hogy az sshd process 100%on fut 1 core-t használva.

Valakinek van ötlete, hogy lehet más módszerrel átküldeni a stream-et másik gépre?

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Szedd szét a zfs-t és akkor tudod párhuzamosítani.
Ssh compression ugye nincs bekapcsolva?

Szét van, de nem jutott eszembe párhuzamosan futtatni. Így már 4-5 Gbps-en megy a küldés 4 párhuzamos zfs send-el.
Sokkal többet már nem vinne a fogadó szerver sem, tehát ez így tökéletes.
A Compression az default (delayed), de ha átküldtem mindent ami fut, kipróbálom kikapcsolva is.

A compression kikapcsolása nem segített.

Hm. Pedig az viszi a cpu használat komoly százalékát, ha csak cpu-ban koppant, javulni kellett volna.

Én is saját szenvedésen jutottam erre, távoli telephelyre egyszálas bármilyen kommunikáció lassú volt az rtt miatt. Miután kollégákkal rájöttünk hogy több szálon viszont kitömhető a vonal, a zfs send is rögtön szárnyalt :)

Ha nincs koztes eszkoz ahol elkaphatjak a forgalmat, tehat a halozatod kvazi secure a 2 gep kozott, akkor probalkozz nc-vel.
Nalam sokat segitett VM ki-be koltozesnel (eloszor dd image-be, majd vissza dd-ztem).

Ennek mintajara kb, csak zfs send/recieve:

on the sending side: tar -c /path/to/data | nc -q 10 12345
on the receiving side: nc -w 10 -l -p 12345 | tar -x

kozben megtalaltam pl. ez (a bzip kevesbe cpu ehes):

nc -l 19000|bzip2 -d|dd bs=16M of=/dev/sdb

dd bs=16M if=/dev/sda|bzip2 -c|nc serverB.example.net 19000

Úgy tűnik megy:
fogadó gép:
nc -l 1234 | zfs receive tank/bknfs1/test
küldő gép:
zfs send tank/test@snap01 | nc backup_host 1234

Evvel a módszerrel 500-600 MB/s (5Gbps) átvitelt sikerült elérni, ami kb a fogadó gép limitje, tehát így ki tudom használni a hálózatot.

[Feliratkozás]

Feliratkozom