milyen hw-t vegyek (blade + adattárolás)?

Notebook, laptop, mobiltelefon ...

Adott egy projekt ahol nagy rendelkezésre állás, terhelés eloszlás stb mellett nagy mennyiségű info tárolására is szükség van.

Feldolgozó szerverek esetén már adott a döntés, miszerint blade rendszer lesz (megfelelő redundancia, terhelés eloszlás, szerver sűrűség, blabla). Gyártó és típus nem eldöntött. Ezekben általában nem lehet végtelenségig felturbózni a háttértárak méretét így szükség lesz egy külső adattároló cuccra is (DAS, NAS, SAN, semmi nem fixált).

konkrét paramétereket (memória, proci, háttértár stb.) nem említenék, ezek gyakorlatilag mind testre szabhatók egy adott termékcsoporton belül.

A tervek szerint debian4.0 alatt mindennek tökéletesen működnie kellene.

A kérdésem tehát az, hogy ki milyen ilyesmi rendszerekkel került már kapcsolatba, milyen tapasztalatok vannak üzemeltetés, megbízhatóságot és a rendelkezésre álló sw-ek használhatóságát illetően (akár debiantól eltérő disztró alatt is)?

Előre is köszi minden infót!

  • 2452 megtekintés

( zwei | 2007. 12. 11., k – 11:29 )

A kérdés az, hogy milyen IO terhelésre kell méretezni, illetve hány blade szervert kell kiszolgálni?

Ha kevésbé fontos a sebesség, akkor NAS.
Ha fontos a sebesség is, akkol valami SCSI csatolású külső diszkalrendszer, viszont itt korlátozó tényező tud lenni a szerverek száma.
Switchelt FC SAN hálózat esetén szinte korlátlan a csatolható hostok száma, illetve a legjobb teljesítményt is ez adja, hátránya a költség.

Linuxok teljesen jól működnek SAN környezetben, bár Debian-t elég ritkán használnak így. Suse-val és RedHat-al már találkoztam SAN környezetben, illetve azt hiszem már egy Debian-t is láttam, de a verziójára nem emlékszem. Elég stabil megoldás, nem szokott vele gond lenni.

Nem tudom, milyen szoftverekre gondolsz, ha semmi extra igény nincs, csak diszkeket akarsz látni a szervereken, akkor az adapter driver az egyetlen szoftver, ami a szerveredre kerül.

SAN tárolóknak általában van valami saját kattintgatós menedzsment felülete, az olcsóbb SCSI cuccoknak is van minimum valami kijelző az elején, amivel konfigurálni lehet.

Redundancia általában szintén pénz kérdés. A legolcsóbb SCSI dobozok nem redundánsak, és a megbízhatóságuk általában a bennük levő diszk tipusától függ.
A jobb SCSI dobozok több interfésszel rendelkeznek, szerver oldali multipath megoldásokkal egész jó redundanciát lehet kialakítani, tudnak több féle RAID-et, egyesek hot-spare-it is.

A NAS előnye, hogy rugalmas, sok hostot lehet hozzá csatolni, illetve IP hálózat miatt olcsóbbak hozzá a hálózati eszközök, mint FC SAN esetén.

A drága SAN eszközökből tetszőleges redundanciájú SAN hálózat építhető, több útvonallal, és terheléselosztással. Sok belső cache-el, sokféle raid-el, hot-spare-el, illetve egyéb szolgáltatásokkal bírnak (pl. két doboz közti távoli tükrözés, image készítés, online szerelhetőség, stb.)

Ha kevés szervered van, akkor lehet direktbe is kötni FC diszkalrendszereket, de akkor megint ott vagy, hogy csak kevés szerver rakható rá.

Egyes FC diszkalrendszerek (és lehet, hogy a SCSI-k is) rendelhetők iSCSI opcióval is, így megspórolható a költséges FC switchek, illetve FC kártyák beszerzése.

előszöris köszönöm a korrekt választ!

"A kérdés az, hogy milyen IO terhelésre kell méretezni, illetve hány blade szervert kell kiszolgálni?"

a szerverek száma erősen függ attól, h az adott blade serverbe milyen belsőség kerül, de várhatóan 10 <= x <= 24 és inkább konvergál a 10hez

"Ha kevésbé fontos a sebesség, akkor NAS.
Ha fontos a sebesség is, akkol valami SCSI csatolású külső diszkalrendszer, viszont itt korlátozó tényező tud lenni a szerverek száma."

A jellemző használat során inkább a blade szerver procik és memóriák izzanak, ettől függetlenül számít a sebesség.

"Switchelt FC SAN hálózat esetén szinte korlátlan a csatolható hostok száma, illetve a legjobb teljesítményt is ez adja, hátránya a költség."

kb 25 max 30mill a beruházható költség... ebbe kellene beleférnie az egész cuccnak, de ennyiből szerintem lehet korrekt konfigot összehozni

"Linuxok teljesen jól működnek SAN környezetben, bár Debian-t elég ritkán használnak így. Suse-val és RedHat-al már találkoztam SAN környezetben, illetve azt hiszem már egy Debian-t is láttam, de a verziójára nem emlékszem. Elég stabil megoldás, nem szokott vele gond lenni."

a debiannal való használhatóságra kifejezetten a host rendszeren is gondoltam, tehát a vas amin fut annak korrekten tudja kezelni a hw-ét (raid vezérlő, nic, rendszer monitorozás etc.)

"Nem tudom, milyen szoftverekre gondolsz, ha semmi extra igény nincs, csak diszkeket akarsz látni a szervereken, akkor az adapter driver az egyetlen szoftver, ami a szerveredre kerül."

igen, csak diszket kell látni és elérni.

ezek után valami konkrét "élményed" idevágó eszközöket illetően (típus, márka, esetleg ár)?

"a szerverek száma erősen függ attól, h az adott blade serverbe milyen belsőség kerül, de várhatóan 10 <= x <= 24 és inkább konvergál a 10hez"

Ez esetben szerintem a direkt csatolású SCSI és FC diszkalrendszer nem játszik. (Bár lehet hogy tévedek. Nem ismerem annyira a blade szervereket, lehet, hogy a pengék tudnak közös külső SCSI kapcsolatot kezelni.)

Marad a NAS, az iSCSI, illetve a switchelt FC SAN.

Mennyi össz adatról lenne szó? Vagyis mekkora diszkkapacitás kell?

"Mennyi össz adatról lenne szó? Vagyis mekkora diszkkapacitás kell?"

úgy néz ki, hogy a ~10TB megfelelő kapacitás.

szerk: (ez a raid-be szedett hasznos és nem raw mennyiség)
szerk2: elsőnek felülről próbálom megközelíteni a leendő végleges konfigot, tehát hogy szükség szerint lehessen "megszorításokat" alkalmazni és visszább venni a paraméteteket

szerk3: update: projetkleírás alapján az első teljesítés során a ~4-5TB is elég, így akár már vmi kissebb 10disk -es rendszer is szóba jöhet...

FC diszkalrendszerek ebben a kategóriában:

HP: Msa1000, vagy Msa1500. Az 1500-as nak van iSCSI opciója is.
EMC: Clariion CX3-10, ő tud iSCSI-t is. vagy Clariion CX300, ennek van iSCSI verziója CX300i néven.
Sun: Sun StorageTek 2540 FC

NAS: pl. Dell-nek van NAS eszköze (MD3000i)
Érdekes lehet még a HP ProLiant DL320s (kb raw 9T -t tud), bár eredetileg windows-al, file szerverként áruljék.
Hasonló kategória a Sun Fire x4500 (min. 12T, max 48T.) (Ez meg Solaris-al ajánlott használni, samba, nfs, vagy iSCSI szerverként.)

Amit diszkalrendszereknél figyelembe kell venni, hogy milyen diszkeket tud elkezelni. Ezek általában SATAII,SAS, FC. Egy SATA diszk kapacitása max. 1T, bár néhány diszkalrendszer csak 750GB-set támogat. SAS diszkből asszem 146GB a max, FC diszkből pedig 300GB.
Ez azért lényeges, mert a legtöbb diszkalrendszer moduláris, és a maximum kapacitást több bővítőmodullal oldják meg.

A kapacitás tervezéséhez érdemes figyelembe venni, hogy milyen RAID megoldást használsz. A diszkalrendszer gyártók mindig a nyers, raid nélküli kapacitást adják meg.
Az EMC-nél pl. érdemes RAID5 ben gondolkodni, mert elég jó a RAID5 implementációja, és jóval helytakarékosabb mint egy RAID1.

az altalanos felfogas, hogy megnezik a tarterulet igenyt, es csinalnak egy olyan alrendszert, ami akkora, es olyan diszkeket, amik az IO (sebesseg) igenyeket kiadjak.

(most kapok a fejemre, de) ez rossz ut.

Az van, hogy a 15k diszk ketszer dragabb, mint a 10k diszk, es csak masfelszer gyorsabb random IO -ban. A 10k diszk ketszer dragabb, mint a 7.2k diszk, de csak masfelszer gyorsabb random io -ban.
Es itt a "diszk" az darab, nem pedig Gbyte, ami azt is jelenti, hogy az alabbiak nagyjabol ugyananyiba kerulnek:

  • 4 darab 7.2K rpm SATA
  • 2 darab 10K rpm sas vagy fc2gbit
  • 1 darab 15k rpm sas vagy fc2gbit

viszont az alabbi random IO/sec, brutto tarterulet ertekekkel rendelkeznek:

  • 570 io/sec, 3000 Gbyte (750 -es diszkek)
  • 400 io/sec, 1000 Gbyte (500-as diszkek)
  • 300 io/sec, 300 Gbyte (300-as diszk)

Most tenyleg, minek kell 15k rpm diszket venni?
A penz a valos metrika, nem a darab.

"A jobb SCSI dobozok több interfésszel rendelkeznek, szerver oldali multipath megoldásokkal egész jó redundanciát lehet kialakítani, tudnak több féle RAID-et, egyesek hot-spare-it is."

FC-ről szinte semmit sem tudok. Azt a feladatot, hogy van 2 "diszk doboz" ezeket kellene RAID1-be kötni (egyik doboz tükre a másiknak), az így nyert RAID1-et 2 szerverrel szeretném elérni pl. FC-vel lehetne jól megoldni?

Coder bocs a belepofázásért...

Ezt általában úgy szokták megoldani, hogy a két dobozból egy ugyanolyan diszket, vagy logikai diszket kiajánlanak a hostnak, és azt host szinten (szoftveresen) tükrözik.
Ez megy SCSI-vel, és FC vel esetleg iSCSI-val is.
A szoftveres tükrözés ellenére nem rossz megoldás, mert íráskor egy IO kéréss megy mindkét dobozra egyszerre, olvasáskor pedig round-robin olvasható a két tükörfél.

A drágább diszkalrendszerek tudnak olyat, hogy az egyik dobozon egy diszket folyamatosan tükrözöl a másikra. Amíg a tükrök szinkronban vannak, addig a csatolt host csak a forrás diszket látja, ha szétesik, vagy szétszedik a tükröt, akkor lehet csatolni a tükör másik felét a szerverhez, vagy egy másik szerverhez.
Üvegszálom (FC) a két doboz akár kilométeres távolságban is lehet egymástól.

( Arbiter | 2007. 12. 11., k – 14:23 )

Szia!

Ebből a lóvéból pl. egy IBM BladeCenter H-t ki lehet hozni, FC-s storage-gal, SAS vinyókkal ami kb. 4-5TB, és van benne hot spare is, 4-6 Blade, egy komolyabb szünetmentes, sőt, akár még egy TSM alrendszer is belefér.

szerver vasakból személyes tapasztalatom csak dell cuccokkal van. ebből viszont 20+ gépet üzemeltetek és csak jókat mondhatok róluk...

ettől függetlenül a dell blade rendszerét (és más blade rendszert sem) közvetlenül nem ismerem, szóval a PowerEdge 1955 idegen...
(euro.dell.com...)

amin gondolkoztam az még a hp blade megoldása, mivel a cég másik részlegénél rengeteg hp dl szerver van, ott avval nagy a tapasztalat... ismerni ezt sem ismerem.
(http://www.hp.hu/blade/filozofia.hp)

most nézelődök Fujitsu Siemens környékén, mert említették, hogy jó áruk van, bár én ezek minőségében annyira nem hiszek (előítélet)

ibm cuccokhoz pedig nem volt szerencsém, így ha kicsit közelebbről is ismered az IBM BladeCenter -t akkor kíváncsi vagyok mindenre amit megoszthatsz!

az fc-s sotrage jól hangzik, de úgy néz ki hogy akár egy normálisabb NAS is elég lenne, nem kell feltétlenül elkölteni minden lóvét :)

szünetmentes nem kell, az adott...

Láttam Dell Blade Centert, bár nem üzemeltettem.
A cég aki megvette valószínűleg elégedett volt vele, mert később rendelt még párat belőle.

Amennyit láttam belőle, az nekem tetszett. Jól átgondolt, és ránézésre jól menedzselhető cuccnak tűnt.

FC esetén, ha jól tudom, blade szerverhez kell venni szerverenként minimum 1 FC switch modult, ami szintén húzós árban van.

ez jó hír, +1 pont a (nekem is) bevállt márka mellett...

"FC esetén, ha jól tudom, blade szerverhez kell venni szerverenként minimum 1 FC switch modult, ami szintén húzós árban van."

én is attól tartok, hogy ez tényleg így van.
NAS esetén eleve nem, de iSCSI SAN esetén sincs ez a veszély, jól gondolom?

iSCSI-t még nem csináltam, vagy legalábbis nem tudok róla. :)

EMC Clariionokkal szoktam dolgozni (install + support), illetve Sun szerverek FC storage illesztését is csináltam már párszor. (Asszem egyszer linuxot is konfiguráltam.) Időnként üzemeltetek SAN környezetben Sun szervereket.
FC switchekkel is elboldogulok alapfokon, ha nagyon muszály, és nincs kéznél profi... :)

iSCSI-val most akarok játszani, a tesztkörnyezet éppen készülőben.

:)

akkor ennek még elég szépen utána kell járni...

ha úgy adódik, az md3000i helyett szóba jöhet még az md3000 is.
azthiszem ma még túráztatom magamat egy picit a szerverek belő lelkivilágán és kb erre a párosításra is kérek holnap egy árajánlatot.

ez persze nem jelenti a végleges konfigurációt, csak tudni akarom mennyinél járunk...

még minden változhat, így bármilyen további infót is szívesen fogadok!

eseleg poweredge 1955 + debian, valaki? :)

szerk:
iSCSI-val most akarok játszani, a tesztkörnyezet éppen készülőben.

ez jó játék :), ne tartsd magadban az eredményeket!

A Dell blade saszit néhanapján 3+ blade-del ki lehet fogni akciós csomagban, érdemes utánaérdeklődni. A sasziba bele lehet (érdemes) rakni négy tápegységet (2+2 vagy 3+1 redundancia, beállítható), két ethernet switchet (vagy ethernet passthrough panelt, de azzal nem vagy előbbre) illetve két másik switchmodult, ami lehet ethernet, FC, illetve Infiniband passthr. modult is.

A blade-ek ennek megfelelően tartalmaznak két ethernet interfészt, és berakható beléjük vagy egy dual gigás ethernet, vagy egy dual Qlogic FC, vagy egy topspin infiniband modul.

Ebben a kategóriában, amiben gondolkodsz, mindenképp a 2 Ethernet switch (Dell, szépen megy natív Cisco-s környezetben is, igaz a vlan-okat kézzel kell beléjük tolni, mert a Cisco-s hirdetést nem "veszi"), két FC switch és blade-enként egy Qlogic FC doughtercard.

Ha iSCSI-t akarsz, akkor meg annak a forgalmát is célszerű nem csak logikailag (vlan) hanem fizikailag (másik interfész) leválasztani a kiszolgáló kliensfelőli forgalmáról, úgyhogy ebben az esetben két switchen menjen a kiszolgálás, a másik kettőn meg (redundancia) az iSCSI, azaz nem Fc-kártya plus switch, hanem Ethernetben ugyanaz.

( egeresz | 2007. 12. 11., k – 19:20 )

nezzunk egy kis ibm rendszert

  • ds4700 + shelf, szumm 32 diszk, 17 misi
  • 10 balde, mindegyikben FC kartya + baldecenter mennyi is? nemtom, ibm-bol mondjuk
    10* 0.8 + 1 = 9 misi

ez mind 26 misi, es csak foeszkozoket szamoltam, mire kijon, 30 felett lesz.

A fenti listaban az ds4700 redundans, de az FC switch es a tobbi nem.
most konfigolok (szinten IBM-bol) egy redundans (gbit eth es fc switch is) cuccot:
webprice

  • USD 4787; IBM BladeCenter E (8677HC1), dual cisco GBE switch, dual brocade FC switch
  • USD 104960; 10 darab blade, mindegyikben: 2 db quad-core intel xeon (8core), 32 gbyte ram
  • USD 85706; ds4700 express modell 72 storage , 16 darab 300 gbyte 15k rpm fc disk

ez mindosszesen USD 195453 cca 39 misi forintban. A tetel jelentos resze a rendkivul sok memoria. node -onkent 32 giga helyett 16 giga az osszessegeben mindjart 8 misivel kevesebb (31 misi). A tetel masik jelentos resze a meregdraga FC diszkek.

Altalaban az a tapasztalat, hogy a konkurencia (HP, dell, FuSi) az IBM arai ala lo be.
A fenti cucc elegge egy kis fickos eszkoz, bar a gepekhez egy kicsit alulskalazotta storage.

Gondolom a DS-en meg a switcheken variálták a firmware-t.
Nemtom, én egyszer szívtam DS4800-al. Clariion-nál nem tapasztaltam, hogy átkapcsolja másik storage-processzorra a lunokat, ha standby FC útvonalon IO-t érzékel. A DS-en öröm volt nézni hogy pattognak ide-oda benne a lunok, amikor az oprendszer végigscannelte az FC utakat. kb 80% IOwaitet okozott ezzel a hoston... (Igaz, azt Solaris-al tudta csak produkálni, de akkor is ...)

az ibm oldalain kintvan minden firmware meg a reszletes leiras, hogyan kell azt betolteni, szerencsere van amit tftp -vel, van amit bongeszos-javaklienses litoltessel, van amit interaktivan bejelentkezve ftp-vel, nem hagyott ellustulni a dog :-)
es bar a 14 blade-be a darabonkenti 3 firmwaret ket kulonbozo uton kellett betlteni, es egyesevel kliekkelve mert nem hagyta automatizalni, viszont a ds4800 -hoz a diszkeket egyben lehetet firmwareupgradelni, nem pedig egyesevel ;-))
szoval kicsit elegem lett abbol, hogy a ideboritott fel tonna vas csak hosszu es szofisztikalt munkaval tudta csak a vele hozott doksi funkcioit (remote management stb)
ez mindegy, mar masfel eve volt.

"A tetel masik jelentos resze a meregdraga FC diszkek."

Van olyan storage ami SAS, vagy SATA diszket használ. FC tényleg dárga játék.
DS4700 erre az esetre overkill. Itt kb 10T storage igény van, ami a belépő kategória teteje szokott lenni, a DS4700 pedig midrange kategória.
Szerintem ide DS3400 bőven elég lenne, ami SAS, vagy SATA diszkekkel olcsóbb is.

"A fenti cucc elegge egy kis fickos eszkoz, bar a gepekhez egy kicsit alulskalazotta storage."

Ne viccelj már.... a konfig amit összeírtál a leggyorsabb FC diszkeket tartalmazza, és 4GB-s FC frontendje van.

"alulskalazott"
osszesen 16 darab diszket irtam oda, mondjuk egy 15k rpm diszknek a random IO read teljesitmenye max 300 io/sec, ha ez szepen raid1+0 -ban van akkor is az elmeleti maximum 4800 io/sec, es ezt a 10 darab brutal eros host olyan konnyen kinyomja, hogy csak na. Egy is.
Varhatoan azonban nem lesz kihasznalva a bladek lehetseges io teljesitmenye, irta is, hogy az io teljesitmeny kevesebb kell. Szoval, az igenyhez tulskalazott, viszont a 10 darab bladehoz alulskalazott ez a 16 diszk:-)
Mellesleg szereny velemenyem szerint a fenti konfig mondjuk egy olyan iwiw szolgaltatast elegge rohogve visz el (kiveve, ha tul sok a negyzetes-kobos algoritmus a lelkeben)

( egeresz | 2007. 12. 12., sze – 14:50 )

ja, hopsz, most eszlelem, hogy a "Notebook, laptop, PDA..." forumban indult a topic ;)