HyperV CSV érthetetlenül lassú sebesség

Microsoft Windows

Sziasztok,

Megörököltem egy ügyfelünknél egy elég régi hardvererkből álló HyperV clustert (2012 R2). HP DL160 G6 szerverek (4db), alatta egy QNAP akármi NAS. A NAS-ban van 8db sima SATA3 SSD, 2x4 lemezes RAID5-be konfigolva. A hostokra ezek a tömbök iSCSI-n vannak felcsatolva. (<-- ez nem hangzik túl jól és nem is az, ha minden jól megy akkor még idén el lesz takarítva és fel lesz újítva a teljes környezet de addigis kéne rúgdalni még)

Kibuokott egy olyan hiba, hogy mentést akartam konfigurálni a clusterre Veeamből és a Veeam jobok sorra elhasaltak VSS timeout miatt. Konkrétan kiírta, hogy valószínűsíthetően túl nagy a load a hostokon és ezért nem tud a VSS snapshotot készíteni (vagy valami ilyesmi, de ez a lényeg)

Kizártnak tartottam, hogy ez lenne a gond mert éjjel futnak a backupok amikor garantáltan nem használja senki a VM-eket (DC, TS szerver, Exchange, File szerver, MSSQL szerver).

DiskSPD-vel elkezdtem a ClusterStorage Volume-okat benchmarkolni és nem akartam hinni a szememnek: 15 és 20MB/s körüli sebességet produkál. Az az érdekes, hogy viszont VM-en belül a DiskSpd tök ugyanazokkal a paraméterekkel lazán hozza a 180-250MB/s tempót. 

A hostok és a NAS egy külön "dedikált" subneten keresztül kommunikálnak egy gigabites switchen keresztül, bondolt interface-eken.

 

Próbából betettem a környezetbe egy ideiglenesen a forgalomból kivont 4 lemezes Synology NAS-t, beleraktam 4x4TB SATA3 HDD-t és "felfűztem" ugyanúgy a cluster alá. És itt jön az igazi csavar:

  • Felcsatoltam ugyanúgy iSCSI-n a hostok alá a teszt NAS-t, a sebesség 80-100MB/s között mozgott ami azt mondom, hogy korrekt.
  • Hozzáadtam ugyanezt a targetet CSV-nek mire ez is ugyanúgy belassult és 8-12MB/s-re esett vissza a sebesség

Szóval akkor történik valami turpisság amikor hozzáadom a Failover Clusterhez a diszket mint CSV. De mi?

 

Hostokat lefrissítettem, elvileg minden driver/firmware a legújabb mindenhol (NAS-on és switchen is). Találkozott már valaki hasonló hibával? Guglival találtam hasonló hibákkal bejegyzéseket de egyik sem bizonyult relevánsnak vagy hasznosnak. 

  • 149 megtekintés

( andrej_ v | 2021. 03. 29., h – 11:34 )

Az iSCSI csatlakozások rendben vannak a Win oldalról? Mi anno egy Fujitsu DX80-nal iSCSI-ztunk szintén G6/G7-es HP-kal és rendben volt a sebesség. Nyilván nem lobogott a hajunk, de a 2x1G-t kihajtotta szépen.

A CSV-ket emlékeim szerint egy spéci NTFS kiterjesztéssel használja, (még az ReFS előtt) , de ennek nem kéne befolyásolnia.

Ha a Failover Cluster menedzserben megnézed a CSV-k állapotát akkor sem mond semmi? Nincsenek Cluster hibák?

Olyan előfordulhat, hogy ha nincs mindegyik CSV minden Cluster memberen felvéve (vagy fel volt, de valamiért nem találja)), akkor Cluster memberen keresztül éri el és ekkor történhet pl. ilyesmi lassulás. A QNAP multipath-t támogat?

Köszönöm!

Most így napközben csak 1 hoston tudtam beállítani az MPIO-t (rebootot kér), azon már mintha segített is volna mert már 40-50 MB/s között van a sebesség ami még mindig nem jó de közben találtam QNAP doksit a témában (How_to_connect_to_your_QNAP_Turbo_NAS_from_Windows_Server_2012_using_MPIO.pdf) ami még ír pár okosságot, azokat este végig is zongorázom + beállítom a többi hostot is. 

 

Egyébként a Cluster Event log teljesen üres, validation report szerint is minden rendben és úgy általánosságban a Windows Event Logokban sem látok semmi kiugró errort/warningot. 

( NagyZ v | 2021. 03. 31., sze – 12:30 )

windowshoz nem ertek, de barmilyen tobb gepes shared iSCSI volume eseten a metadata az bizony direct IO lesz, amit nem cachelhet semmi kozben, es HDD-ket hasznalsz, szerintem nem meglepo ez a sebesseg, foleg egy kvazi kommersz storage megoldassal (qnap).