olcso scratch space - Samsung 960 Pro NVMe Spectrum Scale cluster

tegnap este osszeraktam egy pici clustert, hogy megnezzuk hogy is megy ez. 12xSamsung 960 Pro NVMe M.2 SSD van 3 szerverben (egy olyan adapterre mennek ra, ami a 4db x4 M.2-bol csinal egy x16-os PCI-e kartyat). egyaltalan nem volt szivas. 1x-es replikacio van, ahogy irtam a cimben, csak scratch space lesz.

holnap megy melle a tobbi (meg 28x512GB, osszesen 10 node lesz a mostani 3 helyett), es ha ez bevalt, akkor lehet, hogy epitunk 40-60x2TB-bol egyet - az 512-es modulok mar megvoltak egy masik csapatnak, csak kolcson kellett kernem, igy tudtuk ingyen tesztelni.

( Huncraft v | 2017. 01. 29., v – 15:23 )

Na.. Sikerült összedobni GPFS-el?
____________________________________
Az embert 2 éven át arra tanítják hogyan álljon meg a 2 lábán, és hogyan beszéljen... Aztán azt mondják neki: -"Ülj le és kuss legyen!"..

aha, sokat fejlodott nagyon szerintem a Spectrum Scale 4.x mar a GPFS 3.x-hez kepest. es nem csak azert, mert mas a neve :)

a legnagyobb szivas az volt, hogy nem ismerte fel a /dev/nvme* eszkozoket, ehhez egy "user exit" device discovery scriptet kellett irni, es GPFS-noob vagyok, ezt kinyomozni eltartott egy ideig :-)
(mmlsnds -mben a device az "-" volt a konkret eszkoz helyett, es igy fst sem tudott letrehozni a deploy script). de megoldottam.

kivancsi leszek hogy fog 10 gepen menni, az 200Gbit savszelesseg.

holnap betelepitek nem-flash szervereket (8TB HGST diszkek), megnezzuk ott hogy hasit, ha jol, akkor bye-bye Ceph valoszinuleg.

Amíg a diszk I/O bírja addig szerintem a GPFS is, bár erős a gyanúm, hogy a 200 Gbitet (25 Gib/sec) így se biztos hogy ki fogod tudni hajtani (ott már nem csak a vinyó lesz a szűk keresztmetszet, hanem a vezérlő is), de persze ne legyen igazam. Ha publikus lesz, akkor kíváncsi leszek az eredményekre.
____________________________________
Az embert 2 éven át arra tanítják hogyan álljon meg a 2 lábán, és hogyan beszéljen... Aztán azt mondják neki: -"Ülj le és kuss legyen!"..

Emiatt ne törd magad, de egyébként érdekelne. Illetve elég, ha linkeled a kártya weboldalát, ahol látszik.

Nagy diszk alrendszerek helyett ez a jövő? Csak győzze az alaplap PCIe slot-okkal és hozzájuk tartozó megfelelő összeköttetésekkel.

Közben drukkolok, hogy legyen végre vége a spórolásnak nálatok és bedobjatok a kis clusterbe 1-2 oroszlánt is! ;-)

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

( XMI | 2017. 01. 31., k – 01:30 )

Kíváncsi leszek hogy szuperálnak ezek samsungok tartósabb random write terhelés alatt. Azért többé-kevésbé ismert, hogy a samsung 800-as szériájú desktop-orientált SSD-i, "kihívásokkal küzdenek" ha napokon keresztül konstans írási terhelést kapnak. Kérdés, hogy az 900-as szériára is igaz lesz-e.
---
Régóta vágyok én, az androidok mezonkincsére már!

Nem a flash pusztulásra gondolok, hanem arra, hogy belassulnak-e. Főleg trim nélkül jön könnyen elő, de valószínűleg megfelelő terhelésprofillal ki lehet provokálni trim mellett is.

Bár ezek vannak olyan gyorsak, hogy 3 hónap alatt folyamatos írással reális legyen akár kivégezni is őket. :)
---
Régóta vágyok én, az androidok mezonkincsére már!