NagyZ blogja

ma mar be lett jelentve, ugyhogy irhatok rola: a kovetkezo storageunk a belso cloud ala (a Ceph mellett...) egy 4db GS4S-bol allo ESS cluster lesz, full flash, 1524TB :)

az IO interconnectrol data nodeonkent (ebbol 8 van) 6x100GbE gondoskodik de a PCI-e v3 limitacio miatt nagyjabol csak kicsit tobb, mint 300GbE jon ki (szerintem) a dobozokbol, de azert igy is meglesz a 2.4Tbit/s savszel a storage fele \o/

elvileg honap vegere nalam van a pre-release, mar mindenki leapproveolta a koltest (szep csinos osszeg), ha jovahagyjak, postolok kepeket :)

...mukodik, bar nem igy akartam kiprobalni:) sajnos a penteki hegyi bringazas vege mentok, rendorok es korhaz lett, de viszonylag olcson megusztam egy bal orsocsont fejecs tores a konyokomben illete egy jobb csukloban valami toressel. (nem tudom a nevet, majd penteken megyek ortoped szakorvoshoz). annak ellenere hogy nem beszelek folyekonyan nemetul nagyon kedves volt mindenki, eletemen nem "rajongtak" meg ennyien korbe.

mindket kez csatos merevitoben -> csokkeno kommentszam egy darabig, egy kezzel potyogni nem az igazi

YOLOba vettem 0.7-ert 48C most penteki lejarattal, afterhoursban 51.5-nel van ebben a pillanatban a reszveny, szerintem boven 3.5 folott lesz az opcio -> 600% profit

valaki szokott earningeket jatszani meg? MU mindjart itt van, aztan AMD Q2, ...

bevasaroltam 2018 januari call opciokbol ;-)

nem vagyok egy nagy bringas, sot, de felfedeztem, hogy van varosi e-bike sharing program, ahol Stromer ST2 e-bikeok vannak kirakva. 45km/h a vegsebessege, 0.25CHF/perc a berles, es _barhol_ le lehet rakni a "geofencen" belul. elvittem egy korre, eleg allat ekkora sebesseggel hegynek fel "pedalozni" :D

kozuletek ki e-bringazik? tapasztalatok?

20TB-nyi Samsung 960 Prot:

tegnap reggel arra jottem be, hogy ejszaka rebootoltak a Hadoop DataNode-jaink (jo, jo, veletlen otthagytam egy jobot ejszaka (elirtam a nullakat:)), ami kihuzta a teljes 100Gbitet ~17 oran at, tehat max load volt), ami nem tul egeszseges - meg is borult a balance, ugyhogy rebalancolhattunk.

na, elkezdtuk cincalni, hogy mi tortent, es van szep crashlog, benne egy XFS hiba... GhostPunk megtalalta, hogy ebbe futottunk bele.

hivatalos javitas? 7.4-ben. rapillantva a hivatalos release schedulera, azert latom, hogy az nem ma van*. nice.

tegnap este osszeraktam egy pici clustert, hogy megnezzuk hogy is megy ez. 12xSamsung 960 Pro NVMe M.2 SSD van 3 szerverben (egy olyan adapterre mennek ra, ami a 4db x4 M.2-bol csinal egy x16-os PCI-e kartyat). egyaltalan nem volt szivas. 1x-es replikacio van, ahogy irtam a cimben, csak scratch space lesz.

holnap megy melle a tobbi (meg 28x512GB, osszesen 10 node lesz a mostani 3 helyett), es ha ez bevalt, akkor lehet, hogy epitunk 40-60x2TB-bol egyet - az 512-es modulok mar megvoltak egy masik csapatnak, csak kolcson kellett kernem, igy tudtuk ingyen tesztelni.

ha minden jol megy, holnap pont ezt a kettot fogom megrendelni (amint megkapom a teljes konfigot). a kicsi megy a test/dev ala, a nagy meg production ala.
a Ceph meg megy a legolcsobb tiernek, "jatszosnak"... end of an era. :)

svajcban pofatlanul dragak a brokeri koltsegek, igy kis osszegben nem eri meg semmit csinalni. illetve erte. par honapja (november eleje, ha jol emlekszem) elindult a degiro itt (.hu mar regota van), es hihetetlenul olcsoak - a sajat tapasztalataim alapjan (es az o tablazataik alapjan is) 99%-al, mint a tobbi svajci broker.

hasznalja valaki? en kb 1 honapja kezdtem el aktivan kereskedni itt, es magara a kereskedesre eleg jo a platform, minden masra viszont szornyu. keresni, hireket nezni, cegeket elemezni nem jo (ellenben a tobbi svajci nagybank platformjaval), viszont ezeket az adatokat ossze lehet mashonnan is szedni, es itt mar tenyleg csak egy execution only platformot kapunk, ami annak tokeletes.

most, hogy a kollegam bejelentette hivatalosan is (itt a video, 1:20-tol), irhatok rola, juppi.

igerem, mindenfele marketing bullshitet mellozve beszelek rola:

a jovohet penteki, 162.5-es call opcioimat eladtam amikor a reszveny elerte a 162.5-ot, ahelyett, hogy megvartam volna a nap veget (164.79), es eladhattam volna oket legalabb 2.3/darabert. tegnap a call opciok ~0.2 korul kereskedtek -> 1000% profit elmulasztva.

mi a tanulsag? ha mar mersz, merj nagyot! :)

CPUbol es RAM-bol sosem eleg nekik semmi. a TB memoriak csak ugy tunnek el a VM-ek alatt - ha ingyen van, mindenki 8 core 128GB RAM flavoroket fog inditani a belso felhonkon...

ugyhogy ma beraktam az elso 14 magos E5-2680v4 CPU-inkat, igy HT-vel egyutt 56 mag van per doboz. 4U-ban 448 mag es 4TB RAM azert nem olyan rossz :)

mindig azt mondjak, hogy az elso petabyte a legnehezebb, nem?

     osdmap e94622: 232 osds: 232 up, 232 in; 2888 remapped pgs
            flags noout,noscrub,nodeep-scrub
      pgmap v55969252: 25600 pgs, 19 pools, 94355 GB data, 22601 kobjects
            276 TB used, 727 TB / 1003 TB avail

kellett ra egy picit varni (junius 23 a gyartasi datum), de megerkeztek :-)

13022 MB used, 71444 GB / 71456 GB avail

8 gep (2x10 mag, 256GB RAM, 4x10Gbit ethernet), gepenkent 8x1.6TB SAS SSD... eleg jol megy :-) ha lesz idom hetvegen, csinalok rajta par performanciatesztet.

a laborban tobben foglalkoznak machine learning/neuralis halozatokkal, igy szukseges volt beszereznunk par gepet GPU-kkal. az amerikai testverlaborunkban van egy eleg combos cluster (sok szaz gep, gepenkent 4 GPU, infiniband halozat, XIV storage alatta), de gondoltuk jo lenne valami kis helyi is...

hamarosan a cephes gepeinkbe :-)

csak eros idegzetueknek ajanlom majd a kepeket! :D

az uj gepeken MaaS + Jujuval jatszunk, ugy, hogy egy deployer descriptorbol menjen fel minden, eppen most fejezodott be az elso sikeres deploy. 0-arol teljesen HA openstack, a fizikai gepek bootolasaval (3 storage, 3 controller lxc kontenerekkel, 1 compute), imagelesevel egyutt... dobperges...

2016-03-03 23:23:27 [INFO] deployer.cli: Deployment complete in 1476.83 seconds (real 24m37.029s)

a kovetkezo lepes a 15 storage es a 64 compute node behuzasa, de mar csak holnap :-)

na, meg a vegen visszaadjak a penzt tenyleg valamikor 2050 elott... most jott a level:

kenytelen voltam 3 storage gepet berakni az eles storage melle, mert jottek a juzerek, hogy kene hely nekik...

ennek az eredmenye:
osdmap e51242: 132 osds: 132 up, 132 in; 10486 remapped pgs
pgmap v43127125: 16384 pgs, 4 pools, 45280 GB data, 10347 kobjects
107 TB used, 350 TB / 458 TB avail

2016-02-10 01:37:58.552685 mon.0 [INF] pgmap v43126972: 16384 pgs: 4258 active+clean, 1600 active+recovery_wait+degraded, 27 active+recovering+degraded, 3 active+degraded+remapped+backfilling, 1 active+undersized+degraded+remapped+backfilling, 9 active+undersized+degraded+remapped+wait_backfill, 15 active+remapped, 2 active+clean+scrubbing+deep, 8 active+remapped+backfilling, 10448 active+remapped+wait_backfill, 13 active+recovery_wait+degraded+remapped; 45280 GB data, 107 TB used, 350 TB / 458 TB avail; 3997 kB/s rd, 5306 kB/s wr, 986 op/s; 113587/41135041 objects degraded (0.276%); 32201802/41135041 objects misplaced (78.283%); 3206 MB/s, 465 objects/s recovering

mind a ket 9508-at frissitenem kell 7.0(3)I1(2) -> 7.0(3)I2(2a), hogy tudjam hasznalni az uj FEX-einket. minden link redundans (VPC a gepekhez, OSPF az uplinkhez, HSRP a gatewayekhez), elvileg tulel mindent...

19:18: install all nxos bootflash:nxos.7.0.3.I2.2a.bin kiadva, varjuk, kozben par gepre be vagyok lepve, megy a ping, ceph -w, varunk.
19:26: %VPC-2-PEER_KEEP_ALIVE_RECV_FAIL: In domain 1, VPC peer keep-alive receive has failed, de kozben nem halt le semmi, most rebootol az elso.
19:36: az elso felbootolt, VPC/OSPF/HSRP mukodik, meg egy kis ellenorzes, es indul a 2. switch upgrade
19:46: ranyomtam a masodik switchen is az installra...
20:03: hat ez nagyon esemenytelen volt, minden mukodik.... 2527 packets transmitted, 2494 packets received, 1.3% packet loss a teljes upgrade alatt, kivulrol nezve (azaz az OSPF+HSRP kombon at, HSRP cimet pingetve)

A 18 storage gep bekonfizva, arra var, hogy hasznalatba vegyuk. A fizikai gepkezelesre MaaS-t hasznalunk, ami az alap funkciokat ugyan jol teljesiti, de azert van vele nehany problema...

februar 22-ig lehet jelentkezni, itt a reszletes leiras, osszatok, jelentkezzetek, nezzetek meg Zurichet :-)

a temak listaja itt talalhato, van benne a rakkutatastol a mikrokod optimalizalason at a ML-ig minden.

a vasak megerkeztek, berackeltuk. alant kepes beszamolo, illetve a hardware leirasa, ha valaki azon kapna magat, hogy akar epiteni egy 2PB+-os Ceph clustert, es meg teljesitmenyt is szeretne e melle :)