NagyZ blogja

az elozo es a jelenlegi generacio egyutt, milyen szepen megvannak 48U-ban:

megeri-e ingatlanba tenni a penzt, ha a torleszto < lakber?

otthon mindenki megszokta, hogy ha venni akar egy hazat, akkor osszeszedi az onerot, kot a bankkal egy 15/20/25/30 eves szerzodest, majd a vegen ove a keco. itt kicsit mashogy van. mostanaban sokat foglalkoztam a temaval, gondoltam osszefoglalom, hatha masnak is hasznos lesz.

odacsapott rendesen az AMD tegnap este plusz megjottek az uj EPYC2 szervereink (meg nem bontottam ki oket, majd lesz hw pr0n). az opcioim is orulnek ;-)

reszletek itt!

ha ismertek valakit, aki epp a masterjet csinalja, es szeretne 3-6 honapot eltolteni Zurich/Nairobi/Johannesburgban es kozben valami igazan kiraly cegnel dolgozni, kuldjetek el neki :) anno en is igy kerultem ki mar lassan 9 eve, szuper lehetoseg szerintem.

ha mar az OpenStackes konfra nem fogadtak el egyik abstractomat se (3bol... szerintem nem ertettek ;)), legalabb a londoni Ceph Day-re megyek eloadni!

a meresi adatokat/slideokat/etc majd lebloggolom ide is, hatha itt is erdekel valakit.

ma volt szerencsem kiprobalni a kisrepulogepes repulest egy Diamond DA42 fedelzeten. hat mit mondjak, eleg fasza dolog :)

meg nem valogattam nagyon kepeket (es nem kaptam meg a tobbiek kepeit se, en csak mobillal fotoztam, de volt DSLR is a fedelzeten), de par kep izelitonek, ha valaki azon gondolkozna, hogy ki kene probalnia a repules kisebb valtozatat is... IGEN! :-)

tegnap megjott 48x PM983 3.84TB SSD, mehet a Cephbe.

a fio szerint (qd=32, 4k, randread/randwrite):

read: IOPS=1872k, BW=7312MiB/s (7667MB/s)(428GiB/60001msec)
write: IOPS=2313k, BW=9034MiB/s (9473MB/s)(529GiB/60001msec); 0 zone resets

ezen mar gyors lesz a $kedvencszoftver? :)

mindig is erdekelt mekkora 100GbE RoCE mellett egy adott RPC uzenet kesleltetese? akkor katt :)

tesztgep: 2x Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz, C-state limitalva 1-ig, performance governor, Mellanox Connect-X 4, SN2700-es switch Cumulussal, PFC+ECN mellett

nem tudom hany ember jatszik ilyennel, de az 5.0-as kerneltol mar elerheto sima TCP felett is az implementacio; en 5.1-rc7en teszteltem; leirom ide hogy konnyebb dolga legyen mindenkinek a jovoben. ha lesz idom nezek majd egy TCP vs RDMA tesztet, de nem igerem.

februar 25-ig kell jelentkezni az idei Great Minds programra, aminek kereteben a jelentkezo megirhatja az MSc diplomamunkajat nalunk, fizetesert (tehat 3-6 honapot tolthet itt Svajcban)

en is ezzel jutottam ki anno ~8 eve. a feltetel az, hogy BSc mar meglegyen, MSc pedig folyamatban. ha ismer barki ilyet, ajanlom a jelentkezest mindenkepp!

ha ezek a kerdesek mindig izgattak akkor kerlek szavazz erre es erre az eloadasra a kovetkezo Open Infrastructure Summit kapcsan, hogy elmondhassuk!

az elso teszthez vettunk 192db 1TB-os Samsung 970 PRO-t ami osszesen 11 (vagy 24) gepbe lesz beszerelve, gepenkent 100 gigabites halozattal, majd 64 kliensrol szenne hajtva.
a masodik pedig egy nagyon meno dolog, levinni a BGP-t a hypervisorig VRFestul, anycast gatewayestol, mindenestul. csakhat szegeny OpenStack meg nem tudja. nade majd ha beszavaznak, megirjuk! :)

ha valaki koveti a DC upgrade sorozatomat, az emlekezhet, hogy az uj hypervisorok 256GB memoriaval erkeztek, ami igen karcsu (az elozoek 768GB-al, ami szinten elfogyni latszik). mit tehet az ember ilyenkor? vesz meg :) de ha mar lud, legyen kover alapon probaljuk ki a 128GB-om modulokat! rogton 24-et, ugy illik.

akik szerint 128/256GB memorianal megall az elet, azok ne kattintsanak! ;)

ki mit vesz ilyen jo arakon? ;-)

mintha vegkiarusitas lenne :D

es nyomatjak nagyon a PCt :(, de azert nem mindenki ugyanazon a velemenyen van

az elozo 44-et teljesen beraktuk, plusz ugy gondoltuk hogy jo lenne egy egyseges rack design - mivel ugysem csak par darab szervert veszunk altalaban hanem legalabb egy fel racknyit, igy egyszerubb egy racket telerakni, bekabelezni, beallitgatni ugy is, ha vannak ures helyek.

az uj rack design:
- 21x Dell FX2s haz (ha a pici, negyed-Us gepeket hasznalnank akkor 168db compute node/rack, igy "csak" 84db)
- 64x Dell FC630 (2xE5-2683v4, 256GB RAM, 2x25GbE)
- 6x Mellanox SN2100 (32x25GbE + 8x100GbE komboban hajtjuk oket, Cumulus Linuxszal)
- 3db Ubiquity switch managementhez

katt, es lesz kep is ;)

42-4 write 122000 MB/sec (29000 msg/sec), cli 2% srv 37%, time 300, buff 4194304
42-4 read 122000 MB/sec (29000 msg/sec), cli 3% srv 20%, time 300, buff 4194304 

sok hetnyi halozati reszeles utan itt tartunk jelenleg - 4 GPFS IO gep (3x100Gbit/gep) illetve 42 kliens gep (gepenkent 2x25Gbit). ez mar eleg jo ahhoz, hogy lehessen a felsobb retegeket reszelni rajta (GPFS).
a teljes boldogsag akkor lesz, ha mind a 4 blokk mukodni fog a mostani ketto helyett (2 IO node / blokk), ha minden jol megy, az hozni fogja a ~244GB/s-et. de ez meg a jovo zeneje, mert fizikai baja van ketto gepnek...

4-5 honap keresgeles utan megtalaltuk az uj lakast. a bonusz? FTTH -> 1gbit/1gbit :)

sibike tippje utan (egy sorre a vendegem vagy) letakaritottam az OFED reszet a Mellanox drivernek, kipucoltam minden infiniband kernel modult amire az mlx5 dependent, felraktam az ethernet-only driver, es lass csodat:

nsdperf> test read
29-2 read 63100 MB/sec (15000 msg/sec), cli 2% srv 31%, time 180, buff 4194304
nsdperf> test write
29-2 write 58600 MB/sec (14000 msg/sec), cli 2% srv 48%, time 180, buff 4194304
nsdperf>

meg mindig van kb 20k tcp retransmit/s, de legalabb a savszel kijon belole - bar kicsit brute-force szagu a dolog. holnap ha lesz ido megnezem >2 szerverrel hogy skalazodunk-e rendesen

tortent vala, hogy megjott az uj storage, es elkezdtuk tesztelni mennyit tudunk kihuzni belole. random write, sok kliensrol, es kb ~70GB/s alatt picivel koppol. (gigabyte, nem gigabit, csak azert, hogy nem eliras). mas orvendezett volna, mert azert parmillio 4k IOps is kijon belole, de en ugy ereztem ez keves - kb 3x ennyinek kene lennie.

Egyelore tesztuzemben van, meg a jovo zeneje a komolyabb meres. Tudom, nem olyan nagy, viszont full flash.

root@dc16n1:~# df -h
Filesystem      Size  Used Avail Use% Mounted on
[...]
test           1013T   71G 1013T   1% /ess/fs
[...]
root@dc16n1:~#

a hutesrol is rakok majd fel kepeket, de jojjon az izgalmas resz (egyelore csupaszon, kabelek nelkul): 16db Dell FX2s chassis, FC630 compute nodeok, Mellanox ConnectX-4 2x25GbE kartyak. holnap raeresztek 100% loadot, megnezzuk mennyit eszik :)

4xSN2100, mindegyiken 8 portbol 4x25GbE kibontas lesz, 8 port pedig megy fel a spineok fele -> osszesen 128x25GbE port / compute rack -> 64 compute node / rack