a fio szerint (qd=32, 4k, randread/randwrite):

read: IOPS=1872k, BW=7312MiB/s (7667MB/s)(428GiB/60001msec)
write: IOPS=2313k, BW=9034MiB/s (9473MB/s)(529GiB/60001msec); 0 zone resets

ezen mar gyors lesz a $kedvencszoftver? :)

mindig is erdekelt mekkora 100GbE RoCE mellett egy adott RPC uzenet kesleltetese? akkor katt :)

tesztgep: 2x Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz, C-state limitalva 1-ig, performance governor, Mellanox Connect-X 4, SN2700-es switch Cumulussal, PFC+ECN mellett

nem tudom hany ember jatszik ilyennel, de az 5.0-as kerneltol mar elerheto sima TCP felett is az implementacio; en 5.1-rc7en teszteltem; leirom ide hogy konnyebb dolga legyen mindenkinek a jovoben. ha lesz idom nezek majd egy TCP vs RDMA tesztet, de nem igerem.

februar 25-ig kell jelentkezni az idei Great Minds programra, aminek kereteben a jelentkezo megirhatja az MSc diplomamunkajat nalunk, fizetesert (tehat 3-6 honapot tolthet itt Svajcban)

en is ezzel jutottam ki anno ~8 eve. a feltetel az, hogy BSc mar meglegyen, MSc pedig folyamatban. ha ismer barki ilyet, ajanlom a jelentkezest mindenkepp!

ha ezek a kerdesek mindig izgattak akkor kerlek szavazz erre es erre az eloadasra a kovetkezo Open Infrastructure Summit kapcsan, hogy elmondhassuk!

az elso teszthez vettunk 192db 1TB-os Samsung 970 PRO-t ami osszesen 11 (vagy 24) gepbe lesz beszerelve, gepenkent 100 gigabites halozattal, majd 64 kliensrol szenne hajtva.
a masodik pedig egy nagyon meno dolog, levinni a BGP-t a hypervisorig VRFestul, anycast gatewayestol, mindenestul. csakhat szegeny OpenStack meg nem tudja. nade majd ha beszavaznak, megirjuk! :)

ha valaki koveti a DC upgrade sorozatomat, az emlekezhet, hogy az uj hypervisorok 256GB memoriaval erkeztek, ami igen karcsu (az elozoek 768GB-al, ami szinten elfogyni latszik). mit tehet az ember ilyenkor? vesz meg :) de ha mar lud, legyen kover alapon probaljuk ki a 128GB-om modulokat! rogton 24-et, ugy illik.

akik szerint 128/256GB memorianal megall az elet, azok ne kattintsanak! ;)

ki mit vesz ilyen jo arakon? ;-)

mintha vegkiarusitas lenne :D

es nyomatjak nagyon a PCt :(, de azert nem mindenki ugyanazon a velemenyen van

az elozo 44-et teljesen beraktuk, plusz ugy gondoltuk hogy jo lenne egy egyseges rack design - mivel ugysem csak par darab szervert veszunk altalaban hanem legalabb egy fel racknyit, igy egyszerubb egy racket telerakni, bekabelezni, beallitgatni ugy is, ha vannak ures helyek.

az uj rack design:
- 21x Dell FX2s haz (ha a pici, negyed-Us gepeket hasznalnank akkor 168db compute node/rack, igy "csak" 84db)
- 64x Dell FC630 (2xE5-2683v4, 256GB RAM, 2x25GbE)
- 6x Mellanox SN2100 (32x25GbE + 8x100GbE komboban hajtjuk oket, Cumulus Linuxszal)
- 3db Ubiquity switch managementhez

katt, es lesz kep is ;)

42-4 write 122000 MB/sec (29000 msg/sec), cli 2% srv 37%, time 300, buff 4194304
42-4 read 122000 MB/sec (29000 msg/sec), cli 3% srv 20%, time 300, buff 4194304 

sok hetnyi halozati reszeles utan itt tartunk jelenleg - 4 GPFS IO gep (3x100Gbit/gep) illetve 42 kliens gep (gepenkent 2x25Gbit). ez mar eleg jo ahhoz, hogy lehessen a felsobb retegeket reszelni rajta (GPFS).

4-5 honap keresgeles utan megtalaltuk az uj lakast. a bonusz? FTTH -> 1gbit/1gbit :)

sibike tippje utan (egy sorre a vendegem vagy) letakaritottam az OFED reszet a Mellanox drivernek, kipucoltam minden infiniband kernel modult amire az mlx5 dependent, felraktam az ethernet-only driver, es lass csodat:

nsdperf> test read
29-2 read 63100 MB/sec (15000 msg/sec), cli 2% srv 31%, time 180, buff 4194304
nsdperf> test write
29-2 write 58600 MB/sec (14000 msg/sec), cli 2% srv 48%, time 180, buff 4194304
nsdperf>

meg mindig van kb 20k tcp retransmit/s, de legalabb a savszel kijon belole - bar kicsit brute-force szagu a dolog. holnap ha lesz ido megnezem >2 szerverrel hogy skalazodunk-e rendesen

tortent vala, hogy megjott az uj storage, es elkezdtuk tesztelni mennyit tudunk kihuzni belole. random write, sok kliensrol, es kb ~70GB/s alatt picivel koppol. (gigabyte, nem gigabit, csak azert, hogy nem eliras). mas orvendezett volna, mert azert parmillio 4k IOps is kijon belole, de en ugy ereztem ez keves - kb 3x ennyinek kene lennie.

Egyelore tesztuzemben van, meg a jovo zeneje a komolyabb meres. Tudom, nem olyan nagy, viszont full flash.

root@dc16n1:~# df -h
Filesystem      Size  Used Avail Use% Mounted on
[...]
test           1013T   71G 1013T   1% /ess/fs
[...]
root@dc16n1:~#

a hutesrol is rakok majd fel kepeket, de jojjon az izgalmas resz (egyelore csupaszon, kabelek nelkul): 16db Dell FX2s chassis, FC630 compute nodeok, Mellanox ConnectX-4 2x25GbE kartyak. holnap raeresztek 100% loadot, megnezzuk mennyit eszik :)

4xSN2100, mindegyiken 8 portbol 4x25GbE kibontas lesz, 8 port pedig megy fel a spineok fele -> osszesen 128x25GbE port / compute rack -> 64 compute node / rack

ma mar be lett jelentve, ugyhogy irhatok rola: a kovetkezo storageunk a belso cloud ala (a Ceph mellett...) egy 4db GS4S-bol allo ESS cluster lesz, full flash, 1524TB :)

az IO interconnectrol data nodeonkent (ebbol 8 van) 6x100GbE gondoskodik de a PCI-e v3 limitacio miatt nagyjabol csak kicsit tobb, mint 300GbE jon ki (szerintem) a dobozokbol, de azert igy is meglesz a 2.4Tbit/s savszel a storage fele \o/

elvileg honap vegere nalam van a pre-release, mar mindenki leapproveolta a koltest (szep csinos osszeg), ha jovahagyjak, postolok kepeket :)

...mukodik, bar nem igy akartam kiprobalni:) sajnos a penteki hegyi bringazas vege mentok, rendorok es korhaz lett, de viszonylag olcson megusztam egy bal orsocsont fejecs tores a konyokomben illete egy jobb csukloban valami toressel. (nem tudom a nevet, majd penteken megyek ortoped szakorvoshoz). annak ellenere hogy nem beszelek folyekonyan nemetul nagyon kedves volt mindenki, eletemen nem "rajongtak" meg ennyien korbe.

mindket kez csatos merevitoben -> csokkeno kommentszam egy darabig, egy kezzel potyogni nem az igazi

YOLOba vettem 0.7-ert 48C most penteki lejarattal, afterhoursban 51.5-nel van ebben a pillanatban a reszveny, szerintem boven 3.5 folott lesz az opcio -> 600% profit

valaki szokott earningeket jatszani meg? MU mindjart itt van, aztan AMD Q2, ...

bevasaroltam 2018 januari call opciokbol ;-)

nem vagyok egy nagy bringas, sot, de felfedeztem, hogy van varosi e-bike sharing program, ahol Stromer ST2 e-bikeok vannak kirakva. 45km/h a vegsebessege, 0.25CHF/perc a berles, es _barhol_ le lehet rakni a "geofencen" belul. elvittem egy korre, eleg allat ekkora sebesseggel hegynek fel "pedalozni" :D

kozuletek ki e-bringazik? tapasztalatok?

20TB-nyi Samsung 960 Prot:

tegnap reggel arra jottem be, hogy ejszaka rebootoltak a Hadoop DataNode-jaink (jo, jo, veletlen otthagytam egy jobot ejszaka (elirtam a nullakat:)), ami kihuzta a teljes 100Gbitet ~17 oran at, tehat max load volt), ami nem tul egeszseges - meg is borult a balance, ugyhogy rebalancolhattunk.

na, elkezdtuk cincalni, hogy mi tortent, es van szep crashlog, benne egy XFS hiba... GhostPunk megtalalta, hogy ebbe futottunk bele.

hivatalos javitas? 7.4-ben. rapillantva a hivatalos release schedulera, azert latom, hogy az nem ma van*. nice.

tegnap este osszeraktam egy pici clustert, hogy megnezzuk hogy is megy ez. 12xSamsung 960 Pro NVMe M.2 SSD van 3 szerverben (egy olyan adapterre mennek ra, ami a 4db x4 M.2-bol csinal egy x16-os PCI-e kartyat). egyaltalan nem volt szivas. 1x-es replikacio van, ahogy irtam a cimben, csak scratch space lesz.

holnap megy melle a tobbi (meg 28x512GB, osszesen 10 node lesz a mostani 3 helyett), es ha ez bevalt, akkor lehet, hogy epitunk 40-60x2TB-bol egyet - az 512-es modulok mar megvoltak egy masik csapatnak, csak kolcson kellett kernem, igy tudtuk ingyen tesztelni.