végigolvasva, fejben valamiféle architektúrát felrajzolva...
egy-két kérdés azért marad:
- hova ment a pbs? amikor a Dell storage-t méritek illetve amikor az R720 mint NFS server-t méritek...
- hol fut a pbs? az egyik cluster node-on? külön node-on?
állítások
- a Dell storage I/O-ban karcsú, a 10 diszk "sustained iops" (ugye igazából 5 diszk) az valahol 400-600 körül lehet
- a storage-ban 2 cpu és cpu-nként 16gb ram van
- ezt a RI SSD íráskor nem tudja eltakarni, az se tud ennél többet
- az R720-as kiajánlás azért tud sokkal jobb lenni mert:
- több RAM van benne mint a storage-ban
- kisebb a chunk size, nincs annyi chunk-waste kis írások esetén
- következtetés: lehet hogy a kisebb chunksize tudna segíteni a storage-on (nem várnék tőle sokat)
- az nfs mint protokoll eltakarja az "atime, mtime" jellegű adminisztratív írásokat, azt elvégzi háttérben míg az iscsi-nél ezeket is "át kell tolni"
- a storage amikor belerakod a diszket akkor a diszken kikapcsolja az összes cache-t, azért hogy az írásban biztos lehessen. az r720-n a linux nem teszi ezt meg alapból. teljesítménye nagyobb, adatbiztonsága kisebb.
következtetések
- ezt a storage-ot ennyi diszkkel megvásárolni drága hiba volt
ajánlás
- vagy vennék bele 4 ssd-t és (diszket kivéve) tennék rá tieringet, úgy talán elég lesz (de akkor rendes ssd-ket bele nem a legalját)
- de leginkábbis megpróbálnám visszaadni és csinálnék local storage-ot a node-okon ssd-vel és zfs sync-el oldanám meg (külön networkon) a migrációt, plusz vennék még memóriát a node-okba
- esetleg meg lehet próbálni felhúzni csak az egyik host mögé és onnan nfs-en kiadni, de a sustained io ettől se fog megjavulni
ui
- én láttam dell emc storage-ot ami 64k iops-t szolgált ki 2ms latencyvel (egy egész bank, sokezer vm). az nem egy doboz volt, nem 10 diszkkel (igaz nem is 5.5M volt)
a storage-ban a nagyon durva növelhetőséget a támogatást és a mindenféle compliance-t fizeted meg, de nem hazudik neked, alá kell tenni a kapacitást. az nagyjából úgy néz ki hogy "veszünk 1 dobozt tele ssd-vel meg 3 dobozt tele diszkkel"