NFS Enterprise Storage

Hálózati eszközök

Sziasztok,

Tervezzük egy redundáns gyári nfs storage megoldás beszerzését. Virtualizációhoz lenne használva Citrix Xenserver 6.5-tel(illetve későbbiekben 7.X-el), körülbelül 20db Windows és 20db debian szerver csücsülne rajta, ebből 6 darab Windows 2012 R2 terminálszerver és 2 Windows 2008 R2 ami az io-t leginkább elviszi, a többi elhanyagolható. A virtualizációt végző szerverek(jelenleg 8 db, későbbiekben ez bővülni fog) 10Gb-es kapcsolaton keresztül érik el a storage-okat redundáns 10Gb/s-es stackelhető switcheken keresztül. A teljes elérhető tárterületnek megközelítőleg 20TB-nak kellene lennie.

Én a Dell EMC irányába indultam el 10k-s sas diszkekkel és slc fast-cache ssd-kkel megtöltve, de minden javaslatot meghallgatok, előre is köszönöm mindenkinek a további javaslatokat!

  • 2495 megtekintés

( Proci85 v | 2017. 08. 24., cs – 12:26 )

NFS az jó, megbízható erre? Én mindig úgy tekintettem rá, mint az MS SMB linux only megfelelője.

( Kayapo | 2017. 08. 24., cs – 12:30 )

A Dell EMC szerintem is jó irány az NFS -t nem annyira értem! Ezt a csatlakozásra érted? Ha igen miért nem Fibre Channel? Ha nem FC miértnem iSCSI? Továbbá a terminál serverekre mennyi usert engedtek rá? Gondolom a 2db Windows 2008R2 file server lesz. Jól gondolom?

----
올드보이

Évekkel ezelőtt NFS-el indultunk el, eddig tökéletesen elégedett vagyok vele. Akkor amikor a Citrix bevezetésre került, voltak gondok az iscsi-val, ezért döntöttem az nfs mellett. A xenserverek egy pool-ba vannak fogva és ebbe a pool-ba vannak felmountolva a jelenlegi nfs storage-ok(2 saját gyártmány debian adaptec raid vezérlővel, 2 synology), a virtuális gépek diszkjei ezeken vannak fizikailag. Egy-egy terminálszerveren 20-25 felhasználó dolgozik, egy kapcsolatszervező dobálja szét őket terhelés illetve az egyes bejelentkezések számától függően. A 2 Windows 2008 nem fájlszerver, egyiken van egy mssql illetve pár speciális szolgáltatás, a másik egy termeléssel kapcsolatos kvázi terminálszerver de maximum 5 konkurens bejelentkezéssel.

Ismert enterprise storage-ban nagy eséllyel többször találkozol iSCSI-vel mint NFS-sel. Elég sok helyen használok/használunk iSCSI-t probléma nélkül. Olyan gyártók támogatják széles körben mint a Microsoft, VMware stb.

Szerintem adj neki még egy esélyt, hacsak a Citrix kifejezetten nem ellenzi (amit nem nagyon hinnék).

--
trey @ gépház

Én kb. 3 éve használtam utoljára a synology-t ssd cache-el. Aztán megszüntettem mert random high load-okat produkált, pedig a syno által megnevezett ssd-ket használtam. Írtam is a supportnak, de kb. annyival lereagálták, hogy frissítsem a dsm-et folyamatosan és valamelyik verzióban javításra kerül a dolog. Aztán megfogadtam, hogy soha többet synology vállalati környezetbe.

Igen a Synology egy nagyon "jo" kis storage.
Nekunk tobb HA cluster is szethullott iSCSI es NFS alatt is es a support soha nem tudott normalis valaszt talalni hogy mi miert tortent. A megoldas mindig a dsm update volt, ami persze nem megoldas.

HP SAN 1040 HP-t javasolnam neked, mert nem kell hozza HP-s disk es "megeszi" az SSD-t is.
Nekunk vigan megy Dell SAS lemezekkel is meg Fujitsu SAS lemezekkel is.
Habar ez iSCSI megoldas, de nincs vele semmi gond.
Mi VMware alatt hasznaljuk multipath-ban es mind a load-share, mind a HA megy megfeleloen.

Alapbol 1G vagy 10G-s modullal jon, ami 2 kontrellert + 2 tapot tartalmaz. 4 NIC, + 2 NIC a menedzsment-hez.
Igy a HA es terhelesmegosztas is adott, minden resze redundans.

Itt van 1-2 link:

1, 10G-s iSCSI
https://www.uk.insight.com/en-gb/searchresults/servers-and-storage/netw…

http://h20565.www2.hpe.com/hpsc/doc/public/display?docLocale=en_US&docI…

8G FC:
http://www.ebuyer.com/735246-hpe-msa-1040-fc-w-4-600gb-sas-sff-hdd-bund…

( asm v | 2017. 08. 24., cs – 13:59 )

Ha redundans network fabrikkal rendelkeztek, akkor olyan protokollt hasznaljatok, ami tud multipath-t (FC, FCoE, iSCSI).
NFS/CIFS eseten az a gond, hogy mountolaskor egy target IP-t tudsz megadni, ergo SPOF keletkezik (mivel a storage oldalon egy NICen megy a forgalom). Arrol nem is beszelve, hogy NFS/CIFS-hez file head+license kell, ami tipikusan plusz koltseggel jar.

Nem lesz SPOF mert, több Network portot LACP-vel összefogsz és akkor védve vagy hálózati hiba ellen. Ha meg az egyik vezélő elszáll akkor a másik átveszi az IP címet és minden megy tovább. Legalábbis EMC Unity esetén ez a helyzet.
https://www.emc.com/collateral/white-papers/h15162-emc-unity-high-avail…

( AiRLAC v | 2017. 08. 24., cs – 14:39 )

Ha NFS akkor szerintem nézd meg a NetApp-okat is. Mondjuk nem tudom NFS hogy muzsikál Xenserver-rel, de a vSphere+NetApp+NFS kombó az nálunk gond nélkül megy, egyszerű beállítani és kényelmes használni (tud pl. datastore shrink-et is, nem csak expand-ot), dedupe is van (mondjuk mi 2db nagy NFS volumeba zsúfoltunk be sok VM-et, itt jó a dedupe arány :) ), snapshot-ok miatt gyorsan vissza tudsz egy VM-et állítani stb..

Itt (annyira) nem SPOF az NFS mert nem egy fizikai kártyához van rendelve hanem többhöz (cDOT és VIF-ek vannak), ha VSC-vel beállítod rendesen az NFS paramétereket (timeout 180 etc) akkor failover esetén se hal le csak megállítja az IO-t arra az időre.
--

"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."

Ezt kifejtened kerlek?: "nem SPOF az NFS mert nem egy fizikai kártyához van rendelve hanem többhöz (cDOT és VIF-ek vannak)"

Eddig olyan storage-dzsal volt dolgom, ahol egy IP-t egy portra lehetett beallitani. Egy portot pedig csak egy switchbe tudsz dugni, tehat hiaba van akarmilyen redundans network mogotte, azon az egy kabelenem megy a forgalom.

Ha egy IP-t tobb fizikai portra (azaz tobb MAC address) lehet beallitani, akkor az ethernet frame kuldoje honnan tudja hogy melyik MAC-re cimezze? (tetelezzuk fel hogy csak L2 a halozat, nincs routing)

Nem csak. A tárolóban két vezérlő van, ennek két portját összefogod LACP-be, így a hálózati kapcsolatod redundáns, mert ha az elmegy az még nem vált ki failovert a másik vezérlőre. Reméljük azért az egyik LACP kapcsolat eltűnését észleli az ügyfél és kijavítja tehát ez elegendő védelem.
Ha pedig a vezérlő borul meg akkor failover a másikra és oda megy a MAC és az IP cím is. Minimális kieséssel azt meg az NFS tolerálja. Így nincs SPOF.
Egy megosztás egyszerre az egyik vezérlőn érhető el, persze ha már kettő van akkor lehetnek külön vezérlőn és mindegyiknek a másik a failover párja.

Valóban nem fogalmaztam pontosan. Akár úgy is lehet, hogy két hálózati kártya, bár nagyon ritkán romlanak el. A fentebb linkelt doksiban nem említenek hálózati hiba esetére failover lehetőséget. Felsorolják benne mikor történik ilyen, gyakorlatilag ha a vezérlő elszáll/elromlik/újraindul/maintenance mód esetén.

A "ritkán" pont elég gyakori ahhoz, hogy felkészüljön rá az ember. Én egyszer megszívtam (úgy, hogy a vezérlő sem érzékelte hibásnak, pusztán beállt a forgalom). Hiába van ritkán, meglehetősen kellemetlen, egy redundáns tároló attól redundáns, hogy nincs spof (tetszőleges hibát felismer valamilyen módon és automatikusan intézkedik arról, hogy a szolgáltatások elérhetők legyenek).

cf.takeover.on_network_interface_failure (default = OFF)

Hát nekünk nincs vele gondunk, mondjuk nekünk 50+ tárolónk van és dedikált TAM.
Kisebb ügyfélnél nem tudom hogy van, de kb. mindenhol a support az olyan mint egy doboz csoki (Forrest Gump).
Én próbálok kora délután ticketet nyitni, az az USA-ban köt ki és nem Indiában ;)

--

"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."

( djsmiley v | 2017. 08. 24., cs – 19:35 )

Nem readonly vagyok és már sokan írták előttem is.
Sztem NFS-t felejtsd el enterprise storage kategóriában, iSCSI még so-so, de az is a szegény ember FC storage megoldása :)
Multipath FC és most tuti megköveznek, de storage-ot a storage gyártóktól, tehát a Dell/EMC (EMC! :)) jó irány, én még megnézném a Hitachit és a NetApp-ot.

Üdv,
Zoli

Nyilván, lehet minden mást is használni, sőt.
Láttam már nagyon jó Fujitsu storage dobozt és nagyon szar Hitachit is. Sőt, az iSCSI is működik.
A legfontosabb kérdések azok h. mire kell, milyen latency, milyen redundancia. Az iSCSI megoldások a mai napig gyengébbek azért mint az FC, de erről nagyon hosszasan lehetne, nagyon sok érvvel vitát folytatni. Alapvetően ha pár VM, meg nem túl nagy io load, akkor persze, iSCSI is nyerő.

Én a saját tapasztalatom alapján leírtam a saját kedvenceimet és így jött ez össze. Ha csak 1 gyártót és egy csatolót kellene megnevezni, akkor FC, Hitachi.

Abban azért szerintem értsünk egyet (már aki látott valódi storage-et), hogy az NFS az kényszer megoldás/B terv kategória, főleg az entry level eszközökben. Igen, NFS-es megoldásból is van jó, de az már nem entry :)

Nem tudom, mit értesz "entry level" NFS eszköz alatt. Érdekelne, mit tartasz jó NFS megoldásnak (pusztán tanulás miatt).

Vannak előnyei az NFS-nek, bár csak speciális esetekről tudok (ahol a "mount" sebesség és céltudatossága előjön az "rescan" ellenében, esetleg macerás/nincs iSCSI target).