Sziasztok!
Adott egy infrastruktura, ami tartalmaz 3 Hostot (3xPowerEdgeR730 2 CPU, 12 Mag 256GB memoria/host, ESXi+vSphere)
A kozponti storage egy NetApp, NFS-el kapcsolva a hostokhoz.
Storage-Host kapcsolat (dedikalt halozat) egy Nexus Fiberbridge-el valosul meg, 10Gbit-es optikai linken.
A kerdesem: jelenleg egy random VM-nel durvan 100MB/sec HDD speed-et merunk. (Thin provision minden VM disk)
Ez realis sebesseg egy ilyen konfig alatt? ( A rendszerben kb 60 futo VM van, de leterheltnek nem mondanam)
Az OK, amiert kerdem ezt, mert van egy adatbazis szerverunk (MSSQL) ami a berszamfejtest vegzi es eleg lassu sajnos... a napokban tervezzuk lecserelni az ot futtato VM-et (2008-->2016 OP rendszer+SQL server) de erdekelne az is, hogy "melyebb" szinten tudnank-e esetleg meg nyomni kicsit a teljesitmenyen. gondolok itt kapcsolatra (NFS) storage fajlrendszerre, technologiara (CEPH,Gluster?) stb...
Illetve a masik dolog, hogy az uj VM-et adatbazis eseten hogyan erdemes letrehozni, a merevlemezek vonatkozasaban? olyanra gondolok, hogy van-e ertelme pl az SQL-t egy masik HDD-re tenni a rendszer mellett, ilyesmik.
Hozzászólások
A lényeg lemaradt :>
Az nfs storage alatt mi található? Amennyiben 2db sata disk raid1ben, az jó érték amit mértetek, ha 12db SSD raid0ban már nem annyira jó :D
Fedora 26, Thinkpad x220
Igen tudom, hogy lemaradt... :D sajna "kedves" anyaceg IT-sei telepitettek a NetApp-ot, ezert nem tudom a pontos parametereit... Igyekszem azt is kinyomozni...
Az biztos, hogy nem 2 sata disk...:)
3 se sokkal jobb :D
Fedora 26, Thinkpad x220
A raid beallitasokrol ezt talaltam:
ebből mondjuk én nem lettem okosabb. valaki igen? :-)
igy? :)
Aggregate aggr0 (online, mixed_raid_type, mirrored, hybrid) (block checksums)
Plex /aggr0/plex0 (online, normal, active, pool0)
RAID group /aggr0/plex0/rg0 (normal, block checksums, raid_dp)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks ) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- ------------- - --------------
dparity 3a.125L5 3a 10 4 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
parity 0e.1L32 0e 10 5 FC:B 0 SAS 10000 857000/175513 6000 858483/1758174768
data 0e.1L33 0e 10 6 FC:B 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L8 3a 10 7 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L9 3a 10 8 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L10 3a 10 9 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 0e.1L37 0e 10 10 FC:B 0 SAS 10000 857000/175513 6000 858483/1758174768
data 0e.1L38 0e 10 11 FC:B 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L13 3a 10 12 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L14 3a 10 13 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 0e.1L41 0e 10 14 FC:B 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L16 3a 10 15 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L17 3a 10 16 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L18 3a 10 17 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L19 3a 10 18 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
data 0e.1L46 0e 10 19 FC:B 0 SAS 10000 857000/175513 6000 858483/1758174768
data 0e.1L47 0e 10 20 FC:B 0 SAS 10000 857000/175513 6000 858483/1758174768
data 3a.125L22 3a 10 21 FC:A 0 SAS 10000 857000/175513 6000 858483/1758174768
RAID group /aggr0/plex0/rg1 (normal, block checksums, raid4)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks ) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- ------------- - --------------
parity 0e.1L27 0e 10 0 FC:B 0 SSD N/A 190532/390209 536 190782/390721968
data 0e.1L28 0e 10 1 FC:B 0 SSD N/A 190532/390209 536 190782/390721968
data 3a.125L3 3a 10 2 FC:A 0 SSD N/A 190532/390209 536 190782/390721968
Plex /aggr0/plex2 (online, normal, active, pool1)
RAID group /aggr0/plex2/rg0 (normal, block checksums, raid_dp)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks ) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- ------------- - --------------
dparity 3c.125L12 3c 30 11 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
parity 0f.1L37 0f 30 10 FC:A 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L10 3c 30 9 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L5 3c 30 4 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 0f.1L32 0f 30 5 FC:A 1 SAS 10000 857000/175513 6000 858483/1758174768
data 0f.1L33 0f 30 6 FC:A 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L8 3c 30 7 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L9 3c 30 8 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L13 3c 30 12 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L14 3c 30 13 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 0f.1L41 0f 30 14 FC:A 1 SAS 10000 857000/175513 6000 858483/1758174768
data 0f.1L42 0f 30 15 FC:A 1 SAS 10000 857000/175513 6000 858483/1758174768
data 0f.1L43 0f 30 16 FC:A 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L18 3c 30 17 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L19 3c 30 18 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 0f.1L46 0f 30 19 FC:A 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L21 3c 30 20 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
data 3c.125L22 3c 30 21 FC:B 1 SAS 10000 857000/175513 6000 858483/1758174768
RAID group /aggr0/plex2/rg1 (normal, block checksums, raid4)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks ) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- ------------- - --------------
parity 0f.1L27 0f 30 0 FC:A 1 SSD N/A 190532/390209 536 190782/390721968
data 0f.1L28 0f 30 1 FC:A 1 SSD N/A 190532/390209 536 190782/390721968
data 3c.125L3 3c 30 2 FC:B 1 SSD N/A 190532/390209 536 190782/390721968
Szoval: van 2 db NetApp FAS8040 Network Storage server. (Ezek HA-ban vannak)
van 2 darab shelf (mindket netapp-hoz) es 25 db HDD mindket shelf-ben.
ebbol 8 SSD, a Tobbi SAS (10000 RPM).
A másik kérdés, hogy mekkora a DB és mennyi RAMot kap a kérdéses VM.
Mondanám, hogy kapjon egy dedikált SSD-párt a storage-ban,talán költséghatékonyabb lehet annyi ramot adni neki, hogy az egész DB-t benyalja a motor memóriába...
Az attelepites utan az a terv, h kap a VM 16 GB memoriat, de ebbol az SQL server csak 12-t kap meg.
Innentől csak azt tudom (tudjuk?) mondani, hogy _amikor_ lassú, akkor megnézni, h mire várakozik.
Ha nincs iowait, akkor hiába tuningolod a storage-ot és adatkapcsolatot...
A kerdes inkabb az, hogy a fonti hardverek es konfig fenyeben, ez a 100MB/sec egyaltalan "lassu"-e...
Szerintem a 100mbyte/s az inkább 1G sebességnek megfelelő érték, vélhetően a storage nagyságrendekkel nagyobb IOPS-t biztosít
mint 1 darab lemez.
Egész egyszerűen kiprobálhatnád mondjuk azt, hogy a kérdéses VM-t klónozod egy kb azonos desktop gépre, SATA lemezzel, és ott megnézed mit ad.
Ha utóbbi gyorsabb, akkor elkezdenék nyomozni :-)
100MB/sec ez nem sebesség meghatározás. Blokkméret, read/write ratio, randomness, IOPS etc.
Ezt olvasd el: http://virtualguido.blogspot.co.uk/2016/11/vmware-esxi-io-block-size-in…
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
"Mondanám, hogy kapjon egy dedikált SSD-párt a storage-ban,talán költséghatékonyabb lehet annyi ramot adni neki, hogy az egész DB-t benyalja a motor memóriába..."
Flash pool aggregate van, az SSD-t (is) cachenek használja a HDD-khez. Nem az lesz lassú itt szerintem (ha egyáltalán).
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
NetApp VSC-t használtok? Ott van ajánlott beállítások lehetőség illetve kellene telepítened VAAI plugint is (VSC-vel, de lehet command line-ból is).
Maga a konfig nem rossz, de a VMware még mindig NFS3-at használ sync módban, szóval az lassít rajta valamit.
Hálózat milyen?
Szerk.:
Ja látom 10G hálózat, hány uplink van és hogy van az NFS configolva, VIF-ek?
"Illetve a masik dolog, hogy az uj VM-et adatbazis eseten hogyan erdemes letrehozni, a merevlemezek vonatkozasaban? olyanra gondolok, hogy van-e ertelme pl az SQL-t egy masik HDD-re tenni a rendszer mellett, ilyesmik."
Külön diszkekre rakd az OS-t, DB-t, TempDB-t, Tlog-ot. Aztán hogy azokat hogy helyezed el a storage-en az más kérdés, ha fontos akkor én külön volume-ra tenném (aztán mondjuk Snapmanager for SQL meg ilyenek is jöhetnek).
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
Ez alapjan nem vagyok biztos a 10Gbit-es optikaban...:)
Most mar el kell mennem "fizikailag" a server room-ba :D:D
utana neztem. a shelfek es a ket controller van osszeoptikazva. a hostok fele a kepen lathato 4 ethernet megy, osszetronkolve. A masik tronk elv management.
Nekem a trunk-al a tapasztalatom az, hogy egy kapcsolat esetén, csak 1 kábelt képes kihasználni maximálisan, tehát 1 Gbps az átviteled.
Elvileg ha 4 gépen mérsz sebességet párhuzamosan, csak akkor tud felmenni az össz átvitel 4 Gbps-ig.
Ha ez nálad is így van, akkor teljesen reális a 100 MB/s-es mért sebesség.
Ugyanakkor ha ezt a sebességet úgy mérted, hogy mind a 60 vm futott a storage-on, akkor számomra azt jelenti, hogy még bőven van IO tarték, tehát nem ez kellene legyen a probléma a mysql server esetében.
A lassúságot egy megfelelő monitorizálással eléggé jól körül tudod határolni. Telepíts fel egy netdata-t, és jó eséllyel látszani fog a probléma.
Nem MySQL
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
OK, kozben tovabbmentem es hulyeseg amit irtam...
Szoval:
- van ket darab 10Gbites optika, HA-ban (tronkositve). Ez a Storage network. (tehat ez megy a hostok fele)
- Van 4 darab ethernet, ami szinten tronkositve van, ez szolgalja ki a cifs share-t (mert az is van a storage-en)
Most csinaltunk tesztkent egy olyat, hogy egy hostrol atmigraltunk minden VM-et a masik kettore es csak kettot hagytunk ott. Mindketton futtattunk HD Tune-t es mindketton kb 130Mb/sec jott ki... tehat a storage fele mar 260MB/sec volt, de egy VM kb 130MB/sec-nel tobbel nem birt kommunikalmi a storage-al.
Anno regen , Local storage-ot hasznaltnuk, akkor kb 450MB/sec volt a sebesseg... Ez lenne a cel most is, legalabb a berszamfejtos VM-nel.
Ez az X MB/sec ezt mivel méred? Read/write %? Blokkméret? IOPS?
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
HD Tune
Masik erdekes dolog. Egy VM, ket disc:
Itt is ossszeadodik, de egy disc nem megy jobban kb 130 MB-nal...
Akkor valószínűleg nem a hálózat lesz a szűk keresztmetszet.
egy masik progival, ami talal tobbet mond:
NetApp VSC-t használtok? Ott van ajánlott beállítások lehetőség illetve kellene telepítened VAAI plugint is (VSC-vel, de lehet command line-ból is).
NetApp VSC telepitve van igen. A gond h a client alatt rinyal, h csak web interface-en erheto el, webes feluleten meg nem latom....(lehet jogosultsag para)
Na akkor nézzünk pár verziószámot: ESX, vCenter, VSC client (ez gondolom 6.x vagy 7.x).
Ha még 5.5 vagy az alatti vCenter-t használsz akkor a 4.22 VSC jobb választás lehet (az összes bugja ellenére).
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
ESX: 6.0
vCenter: 6.0
VSC Client: passz, nem erem el a configjat...
Telepíts egy VSC 7.0 appliancet:
https://blog.netapp.com/blogs/bridging-ontap-and-vmware-with-the-new-vs…
Feltéve ha legalább 8.3-on vagytok (9.x javasolt)
Szerk.: azt már csak halkan jegyzem meg hogy VSC nélkül NetApp+VMware az féllábú óriás ;)
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
Esetleg arra van valami tipped, hogy a kulonbozo particiokat milyen block size-ra erdemes particionalni a legnagyobb sebesseg erdekeben?
A WAFL miatt kb. mindegy lesz.
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."