iscsi over intel 10g ethernet tapasztalatok érdekelnének

Üdv!

Van-e valakinek tapasztalata intel (vagy akármilyen) 10g etherneten keresztül iSCSI-val kapcsolatosan?
Leginkább a sebesség érdekel.

Kicsit bővebben:
Van kettő szerver, az egyik storage, a másik ESXi host. (Különböző HP Proliantok egyébként, új gépek.)

A storage gépben rendes SAS vezérlő van és 4 db 3,5" 15k rpm SAS lemez.
FreeBSD 9-cel hajtjuk, zfs-sel, memória 16GB. (RaidZ konfigurációt használunk egyébként.)
Gyors is mint a k*rvaisten, a szekvenciális és a random műveletek is nagyon gyorsak.

A másik gépben lényegében csak proci van és memória.

Eddig úgy telsztelgettünk, hogy 2 és 3 darab gigabites ethernet kártyával (HP és Intel vegyesen) direktben összekötöttük a két szervert,
s rendesen bekonfigolt multipath iSCSI-vel adtuk az ESXi hostnak a storage-ot.
Az ESXi 5.1-es verzió egyébként, és az esxcli-vel beállítottuk már, hogy 1 IOPS-onként round-robinoljon az iSCSI path-ok között. (Így volt a leggyorsabb, de természetesen többmindent kipróbáltunk.)

A mérések azt mutatták, hogy egy szálon a freebsd-s istgt (erre koncentrálunk főleg, mert FreeBSD kell az éles rendszeren), egyszerűen nem megy 60-65MB/sec fölé átvitelben.
A multipath esetén csak nagyon minimális javulást tapasztaltunk, a 2-3 csatona beállításával nem lett 2-3-szoros a javulás, inkább csak plusz csatornánként kb. +20-30%, s ekkor is inkább az olvasás gyorsult, az írás csak kevésbé, noha szépen látszik, hogy elosztja az interfészek között a forgalmat, de mindegyiket csupán 30-35% körül járatva....

Storage oldalon próbálkoztunk már FreeNAS-sal és Openfiler-rel is, meg Ubuntuval, sőt, NexentaSTOR-ral is, az eredmény nagyjából mindig ugyan ez, tehát a FreeBSD és az istgt hibás működésést kizárnám.
(Margóra, hátha valakinek jól jön: valamivel gyorsabb és reszponzívabb az iscsi, ha a zfs-en egy image fájl van az istgt-nek megadva, mintha egy zvol lenne. Meglepő, de így van. Talán valami el van kefélve a FreeBSD-s zfs-ben a zvol környékén, nem tudom.)

Szóval mivel a multipath tesztek nem hozták a kívánt s elvárt sebességet, az a kérdés merült fel, hogy mi legyen:
- vegyünk-e 2db 4 portos, gigabites intel kártyát a gépekbe és próbálkozzunk a multipath-tal tovább, hátha 4 csatonán már tudja, ami nekünk legalább kell,
- vagy inkább kicsivel drágábban vegyünk 2 db 10g ethernet kártyát, s legalább a multipath-tal nem kell szívni, cserébe talán gyorsabb is lesz, mint 4x1Gbit-en összekötve...

Ezért kérdem, hogy van-e valakinek tapasztalata 10g ethernet kártyákkal, azon belül is esetleg iSCSI-vel, mindezt esetleg FreeBSD istgt és ESXi 5.1 között :) ?
Kicsit félünk, hogy nehogy ez is beakadjon 60-65MB/sec környékére, mert sajnos nincs vele tapasztalatunk.
Viszont gyanús, hogy a tesztkörnyezetben, bármilyen rendszeren, bármilyen konfigurációban sem kerül kihajtásra egyik gigabites interface sem, a multipath esetében sem, félünk, hogy nem leszünk jobban 10gbit kártyákkal, mint 4x1gbit-esekkel multipathban.

Tehát van-e valakinek bármilyen releváns tapasztalata?

Köszi a segítséget előre is!

FRISSÍTVE:
---------

Intel 10ge dual-port NIC-ek lettek, optikai kapcsolattal egymás között, direktbe kötve.
(update: Intel 82599EB 10-Gigabit SFI/SFP+ a kártyák típusa)

Első tapasztalat: b*szott gyors :)

Még semmit sem "tuningoltunk", csak be lettek téve a kártyák, és elindítottuk a rendszert.
iper-fel mérve 6,5-7,3 Gbit/sec között volt a kapcsolat - ezt mondjuk kicsit keveslem, majd utána járunk, de végülis ez is elég, túl sok energiát nem akarunk ezen a ponton az optimalizálásra fordítani.

Ami a fontos: A 400-500 Mb/sec körül tudó raidz tömböt lényegében kb. ezen a sebességen látja a másik oldal is iscsi-n, mindenféle hekkelés és tuning nélkül, default istgt beállításokkal!! A tuning, finomhangolás ennek folytán itt is felesleges jelenleg.

Az esxi-ben futó vm 300 MB/sec körül (250-320 között ingadozik) tud írni/olvasni, ami már bőven megfelel az igényeknek!
Tehát a 10ge stuff bevállt, nem hinném, hogy 1g etherneteket multipatholva könnyen elértük volna ezt.

Ennél tovább azonban sajnos nem jutottunk, mert éppen mielőtt elkezdtük volna az éles storage-t és az éles rendszert összerakni, hogy az éles környezetet is tesztelgessük kicsit, feltűnt, hogy az egyik 15krpm SAS diszk 27 MB/sec-kel ír, viszont szépen olvas 170-180 Mb/sec-kel...
Kicsit gondolkoztunk, hogy mi a hiba, próbálgattuk, rebootoltuk, low-formatot toltunk rá, stb., de semmi, továbbra is maradt a gyors olvasás, s a tetűlassú írás.
Két reboottal később viszont a SAS vezérlő többé már egyáltalán nem látta lemezt, így kijelenthetjük, hogy hosszadalmas haláltusával ugyan, de végül örökre leállította tányérjait, s tette parkolópályára fejeit, hogy végleg az örök bitmezőkre költözhessen...

Cserelemez meg nem lévén kéznél, leálltunk, mert nem maradt elég lemez (4 lemez kéne a raidz tömbünkhöz, nekünk meg csak 3 maradt), s csak a két ünnep között lesz cserelemez... :(

(Apró érdekesség: ezt a projektet - a rengeteg próba- és teszt-igénye miatt, nekünk meg időhiányunk miatt, kb. 3-4 hónapja csináljuk már, persze nem folyamatosan, a vele ténylegesen eltöltött napokat kb. 1 hétre becsülöm. Viszont a hardverek nagy része, ideértve a Hitachi 15krpm SAS lemezeket, 3-4 hónaposak, s csak a tesztek idején kaptak eddig lényegi terhelést, egyébként üresben pörögtek többnyire - ha egyáltalán be volt kapcsolva a tesztkörnyezet, amikor az "IT-munkatársam" nem volt itt.
Ami meglepő, és "érdekes": ez idő alatt ez a második lemez, ami megpukkan! Az első rögtön azon a napon, a kibontás után pár órával megnyekkent, amikor megérkezett, pár kör dd if=/dev/zero of=/dev/daX ... után.
4 db drága, enterspájz SAS lemezből 2 meghal pár hónapon belül - ez is azt erősíti meg bennem, hogy ma már minden szar, és előbb a backup környezet lesz kialakítva, hogy amint az éles rendszer elkészül, már legyen hova backupolnia az első perctől...)

Viszont a 10ge NIC-ek hozták az elvártat, elégedettek vagyunk!
A sebesség több, mint megfelelő, multipath-tal nem kell pöcsölni, s ár/érték-arányban is jók vagyunk. :)