iSCSI SAN, multipath, bonding

Hálózatok egyéb

Következő lenne a történet:
Van egy Dlink iSCSI SAN, 8 db gigabit porttal. Valamint egy xenserver (XS), amiben szintén több gigbit portos hálókártya van.

Jelenleg 1 gép van rákötve amivel, azt szeretném elérni, hogy a SAN felé több legyen a forgalom mint 1gbit.

Fizikai kiépítés:
A XS-ben jelenleg 1db 4 portos intel kártya van, ebből 2 port egy gigabites switchhez csatlakozik. A SAN 4 portja is ugyanebbe az sw-be csatlakozik.

A SAN 4 lábán a következő IP-k vannak:
10.200.201.1 meg 201.2 valamint 10.200.202.1 és 2.
Az XS SAN felőli ethernetjén pedig 201.6 vagy 202.6.

Az XS-nek egy 6 diskes raid0 volume van konfigurálva, hogy ne ez legyen a szűk keresztmetszet. Ezen a volume on van a 4 VPS diskje.

A VPS ekben jelenlegi tesztelésre sima dd-t használok. Ezt találtam a leggyorsabbnak :>

Akárhogy csűrtem csavartam, az össz forgalom sose volt több mint 1gbit.

Jelenlegi felállás szerint az XS-nek 2 IP-je van a 2 gigabit porton, így megy a multipath.

Ha a 4 VPS ben elkezdtek inteziv fájlműveletet (tipikusan dd vel olvasok nagy fájlt a /dev/null -ba) akkor az iostat mutatja mind a 4 sdX működik, iptraf szerint meg, hol az egyik hol a másik kártyán megy a forgalom. Tehát nem egyszerre a két kártyán.

Próbáltam az összes bondingot, LACP-t is de hasonló eredmény mindig csak 1Gbit jött ki.

Egyelőre kifutottam az ötletekből. Nem tudom mit ronthatok el, vagy mit hagytam ki a számításból.

  • 3143 megtekintés

( andrej_ v | 2011. 07. 12., k – 15:08 )

Nagy könnyen lehet, hogy a dlink doboz nem tud gbitnél többet kiadni magából. Az a tippem, hogy a 8gbit port itt inkább a switch kiiktatás miatt került be a dobozba. A VPS-ekkel diszk szinten nagyon nehezen fogod meghajtani a gbitet, mert elég nagy az overheadje ilyen téren a xennek.

Azt még megpróbálhatod hogy az MTU-t az interfészeken 9000-re állítod, mert jó eséllyel szereti a jumbo frame-et a storage is. A storage-et a dom0-ban mountold fel és nyomjál rá egy bonnie-t. Ez jól megtekeri szekvenciális írással a storage-et (8G-16G-s mérettel nézd) és közben nézd a topot, hogy mennyire pörgeti a cpu-t.

( NagyZ v | 2011. 07. 12., k – 17:43 )

nem ismerem a dlink cuccait ilyen teren, de nem lehet, hogy egyaltalan nem oszt el semmi forgalmat, mert IP/MAC bindinget csinal per NIC? lattam mar ilyen csodat...

igaz, irtad, hogy latsz forgalmat a kartyakon kulon-kulon, de attol meg siman lehet per VPS bind.

ha mind a 4rol egyszerre DDzel, akkor mi a linkek terheltsege?

( maszili | 2011. 07. 12., k – 23:24 )

Ez a dolog hasonlít az én kísérletezésemhez http://hup.hu/node/87678
A konklúzió az volt, hogy nem fog többszöröződni a hálózati sebesség.

--
maszili

A multipath alapvetően nem számít annak (a multipathing másik célja a redundancia, Nálad ez nyilván irreleváns). Ha egy Xen-ed van, egy iSCSI LUN-od, akkor van rá esély, hogy csak egy kapcsolat lesz. Próbáld több LUN-nal, hogy akkor mi történik - hátha (ez a targeten is múlhat, hogy a több LUN-t miként prezentálja).

Gyűlölöm ezt a hozzáállást, hogy egyben ajánljunk ki két TB-os LUN-okat.
Az oprendszer szintjén úgyis használsz vmi LVM-et, ha van egy csöpp eszed, hiszen különben ha kinövöd az eredeti méreted, cseszheted.
Ha viszont LVM-ezel, akkor célszerű azonos méretű diszkekből felépítened az egészet, és hagyni az LVM réteget, hogy egyenletesen szétkenje az adatot "mind térben, mind időben".
Az, hogy mekkora LUN-okat érdemes kiajánlani és összefogni, két dologtól függ nagy mértékben: a storage szempontjából mi az optimum, és a jövőbeni növekményeket mekkora inkrementumokban képzeled el célszerűen.

A xenserver a kiosztott LUN-okra teszi az LVM-et. Ezért van 1 nagy LUN. Persze lehet sok kicsi is csak meg kell mondani melyik VPS melyik LUN-ra tegye. Kicsit macerásabb.

Ezért lett volna jobb, ha 1 LUN-on menne a nagy átvitel.
Azt meg majd meglesem, hogy mit szól az XS ha én most kézzel bebuherálgatok neki ezt azt :>

Ubuntu 10.04, Thinkpad x61s

Azért veszed a külső storage-et hogy raid-ezzen neked boldogan és NE kelljen OS szinten ezzel foglalkozni. Kenegesse a storage a cuccokat, azért van. A normálisakon eleve úgy indul a dolog, hogy létrehozol egy tömböt, majd azokra logikai kötetet. Talán még másik vasra átmigrálni is egyszerűbb ha így van konfigolva.

A VPS-ezésnél tény hogy simán 40-50G-s vagy kisebb particiók kellenek és ezt célszerű LVM-el létrehozni akár a XenServer módján vagy a sima Xen-nel.