VMWare ESXi 5.5 HP ProLiant ML310e G8 szerver install és tapasztalatok

Virtualizáció

Üdv!

Elég régen néztem utoljára VMWare-t és az ESXi-t nem is próbáltam még.
Most van lehetőségem egyet próbálni. :)
Egy HP ProLiant ML310e G8 szerver lenne a delikvens: 2*1TB WD RED HDD, 16GB RAM.

Raid1-ben lesznek a HDD-k és VMWare ESXi-t teszek fel rá. Egyébként az ESXi szoftveres raid-et támogat? (A szerverben van hw raid, ezért itt nem kell sw raid-ben gondolkodni.)

Egyelőre 3 db VM lenne benne. A 16GB-ból mennyit memóriát lehet adni a gépeknek? A hypervisor-nak mennyi kellene?

Van esetleg tapasztalata valakinek a konfiggal kapcsolatban?

--
G.

  • 10463 megtekintés

( AiRLAC v | 2014. 09. 20., szo – 09:58 )

Nincs benne rendes HW raidkártya ha jól tudom (B320-B120) ezért nem is lesz támogatott a RAID1 ESXi alatt. Sima SATA driveokként fognak látszani AHCI módban.

OS/applikáció függő, nagy általánosságban kb. 1.5x-es memóriát tudsz összesen kiosztani jelentősebb swapping nélkül. Ha több egyforma VM van akkor jobban működik a TPS.

( NagyZ v | 2014. 09. 20., szo – 10:16 )

csak hw raidet tud, nincs sw raid - ezen a szinten miert is lenne?

a memoriat lehet overprovisionolni, de Te tudod, hogy a VMek mennyire hasznaljak azt, amit adsz nekik.

( mauzi v | 2014. 09. 20., szo – 11:04 )

Bár a B120i egy közönséges softraid, de a HP-nak van egy driverrel preparált ESXi telepítő image-e, amivel tudod RAID-ként használni, tehát a logikai diszket fogod látni, nem a két diszk komponenst. Nem próbáltam, de a HP által kiadott doksi szerint támogatott, és működik.

Úgy egyébként pedig felejtsd el a B120i-t.

A másik pedig, hogy ha virtualizálni akarsz, nagyon gyorsan felejtsd el a WD Red-et. Annál fosabb I/O teljesítményű diszket nem csináltak az elmúlt 10 évben. Bár ugyanúgy 5400rpm-es, mint a WD Green, de még annál is lassabb, 4k-s blokkméret mellett 45-55 IOPS-okat tudtunk mérni rajta. Az életedet elunod vele.

A WD Red egy dologra jó: otthon felmásolod rá a kedvenc médiafájljaidat, amiket aztán néha lefekvés előtt megnézel/meghallgatsz. Szekvenciális I/O, fajlagosan nagy fájlméretek, minimális IOPS, alacsony áramfogyasztás.

Kiegészítés:
Az alapján, hogy ESXi alatt megy a raid, nekiálltam és leteszteltem a XenServert és a Proxmoxot is, de egyik sem támogatja a raid-et. Persze mindkettőn utólag buherálással létre lehet hozni, de ha gyorsan akarsz egy stabil rendszert, akkor nagy előny az ESXi-be integrált raid driver.

A doksiban azt olvasom, hogy install után lehet hozzáadni a drivert. Ez pontosan hogyan menne?
Elindul az ESX raid nélkül, gondolom BIOS-ban AHCI és 2 db diszket fog látni (még). Majd install vib file a shell-ben és restart. Ekkor kell a raid-et beállítani a BIOS-ban?

--
G.

Nem tettem fel semmit. Többnyire iLO-n keresztül beállítottam a raid-et és ment. Biosban külön ezért semmit nem állítottam, max a boot sorrendet.
És a másik, hogy talán minden esetben külön USB-re vagy SD kártyára raktam az ESXi-t, de már telepítésnél jól látta a raid-et, tehát tehettem volna direkt a raid-re is a rendszert.

( makgab v | 2014. 09. 20., szo – 14:15 )

Linux alatt van valami vSphere (ESXi) client? Úgy látom csak Windows-hoz tölthető le a Client.

--
G.

1300 euro a standard. Nekem kicsit erősnek tűnik egyetlen hosthoz, hogy tudd böngészőből kezelni. Én pont ezért álltam át az összes helyen hyper-v-re ahol ingyenes ESXi futott, mivel elkezdték kinyirni a windows-os vSphere client-et amivel kezelni lehetett normálisan az ESXi-ket.

Szerintem ne keverjük össze a vCenter Servert az ESXi-vel. Előbbiben van nagyon sok pénzért webes kezelőfelület, utóbbiban nincs. Utóbbi csak a windows-os GUI kliensről kezelhető ingyen, de azzal is csak korlátozottan, sok alapfunkciót sem képes már kezelni, pl. VM hardverének módositásáát sem, ha a VM verziója az utolsó. (nevetséges, de úgy próbálja a vmware a fizetés felé terelni az embereket, hogy az ingyenes ESXi önmagában egyre használhatatlanabb)

Egyébként 60 napos triallal mit kezd az ember egy éles környezetben? 60 nap után nem tudja átállitani a memóriaméretet egy VM-ben? Lesz nagy röhögés :)

Akkor ha jól értem, a kérdező az egy szem, kb. 150 ezer Forintos HP szerverére úgy álljon neki virtualizációs megoldást tenni próbából/tanulásképpen, hogy 3300 EUR-ért mindenképp vesz szoftvert.

Vagy nem jól értettem a kérdést, vagy már nagyon nem a válasznál tart egy hozzászóló sem.
Olyan javaslata mindenkinek akad, hogy "ha a 150 ezer mellé lenne még 6 milliód, akkor remek virtualizációs rendszereket tudnék ajánlani", de ez nem sokat segít...

Az ESXi 5.5 100%-ban használható ingyenesen. A Web felület csak azoknak kell, akik a valami miatt a legújabb virtuális hardware verzióval akarják a gépeket használni.
Fizetni pedig azoknak kell, akiknek extra igényeik vannak (HA, vmotion, stb). De ha egy szál szerverről van szó, nem hinném, hogy bármit lehetne nyeri egy fizetős csomaggal.

Pedig nem kell elképesztő feature-öket igényelni, hogy valaki belefusson az ingyenes korlátaiba és mégcsak több szerver sem kell hozzá.
Ingyenesen pl. nem működik a 3d gyorsitás (ill. win only, nvidia only, inkább bétának nevezhető), nem tudsz 2 TB-nál nagyobb lemezeket kezelni, nem működik az SSD read cache, nincs sata/ahci support, nincs backup stb-stb.

Szóval elég sokat lehet nyerni a fizetős csomaggal, vagy másik megközelitésben egyre használhatatlanabb az ingyenes csomag, főleg a konkurenciához képest.

Az külön vicc, hogy esetleg egy vegyes környezetben kapsz egy, amúgy az 5.5-ös ESXi-vel tökéletesen kompatibilis v10-es VM-et (tesztrendszer, backup cél, akármi) és nem tudod kezelni az ingyenes verzióban, a memóriát nem tudod kisebbre venni pl, semmit.

Egy másfél hete megjelent (nálunk még tesztelés alatt álló) update előtti állapotra vonatkozó kijelentés már fud-nak számit? Ezer bocsánat. Meg fogom nézni mit sikerült összehozni benne.

(azon már a relase notes olvasásakor felröhögtem, hogy a fizetős web client unsupported lett linux alatt, hihetetlen amit össze nem szerencsétlenkednek.)

LOL, neked bármi ami nem illik a világképedbe az FUD... :)

Van egy 10 éve linux alapú virtualizációs szerver amit csak windows-on lehet a mai napig(!) teljeskörűen adminisztrálni. (update manager és társai)
Volt egy egészen pofás .net alapú admin eszköz hozzá, amit amikor már nagyon röhejessé vált a helyzet kidobtak és átálltak flash alapúra, hogy linux alól is lehessen végre adminisztrálni a szervert. Erre két hete rájöttek, hogy az is unsupported, igy a linux alól ismét nem lehet adminisztrálni támogatottan. Ehhez nem nagyon van mit hozzátenni. Lehet következő verzióban ismét továbbfejlesztik a .net-es kliens-t, mert rájönnek, hogy mégiscsak az a nyerő. Egyszerűen zseniális amit csinálnak.

Tehát akkor mi is a FUD abban a kijelentésben amit az ő release notes-ukból idéztem? Hogy kellemetlenül érint téged, vagy mi?

Engem se érdekel, hogy fut-e linuxon, csak a linuxon futás miatt dobták a .net kliens-t, ill. cseszték szét, igy közvetve mégiscsak érdekel. A linux support (ill. a .net kliens leépitése) miatt lett egyre használhatatlanabb az évek alatt az ingyenes ESXi.

Rajtuk kivül álló okok miatt kellett a működő klienst elcseszniük és 1 évig kb. használhatatlanná tegyék, hogy most egy hete a felháborodás hatására mégis kijavitsák, hogy legalább alap dolgokat el lehessen végezni rajta. Miközben dobják a linux kliens supportját. Ez tényleg fud.

Nincs teljesen igazad, lévén ez majd egy évig így volt, most "javították" a "bug"-ot (az 5.5U2 release notesban így van, de előtte bármilyen support documentben az volt hogy "not supported with traditional vSphere Client", gondolom sokan reklamáltak miatta és inkább visszatették)

Ettől függetlenül kézzel is lehet a vmx-et downgradelni, meg most már 5.5U2 is támogatja hivatalosan a hw version 10 VM-ek szerkesztését a thick klienssel is.

Van. SDN ingyen, distributed switch pénzért, de töredékéért mint vsphere-en.
És persze live migration, replication és ezer más is ingyen, ami vsphere-en sokszázezer, milliós költség.

Amiben le van maradva az inkább az orchestrator, de az nagyon kevés embert érint.
Viszont az ingyenes ESXi az gyakorlatilag fényévekre van lemaradva az ingyenes hyper-v-től tudásban. A fizetős vsphere tudását olyan 70%-ban tudja az ingyenes hyper-v, ha fizetős hyper-v meg olyan 90%-ban, bár van amiben többet is tud pl. multilink SMB v3 az ingyenesben is.

Itt igazi storage-n levő területet kellett iSCSI-n kiajánlani, miközben több virtuális gép alkotott egy network RAID-et. Mindegy, a részletekbe nem akarok belemerülni, csak azt tudom, hogy pár nap után nagyon csúnyákat mondott a Hyper-V-ről, én meg hiszek neki, mivel magam nem ismerem ezt a csodát.

Ave, Saabi.

Nyilván van különbség köztük, ez tény, de sok helyen amire kell, arra tökéletesen megfelel, üzembiztos, és ami magyarisztánban talán a legfontosabb sajnos, ingyenes.
Nekem fut normális sas-os storage-al, HA módban, és semmi problémám nincs vele.

---------------------------------------------------
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

és 1 fizikai proci. amúgy én is csak ennyi korlátot találtam
mi most bővítettünk RAM-ot 40 GB-ra. nyilvánvaló volt, hogy le kell cserélni az vmware 5.0-at. ha frissen, totál 0-ról kéne egy új rendszert meg vm-eket felhúzni megfontolnám, hogy citrix xenserver vagy vmware 5.5, de most úgy érzem az 5.5 a jó megoldás

( makgab v | 2014. 09. 20., szo – 22:46 )

Telepítéskor a diszket automatikusan partícionálja az ESXi, ha jól látom.
Ehhez nem is neged hozzányúlni?

Pl. később bekerül mégegy diszk, azzal mit csinál?

--
G.

( AiRLAC v | 2014. 09. 21., v – 09:00 )

Még annyi hogy tedd az ESXi-t egy USB pendrive-ra (valami márkásra azért), elkerülendő a half/fake/raidból adódható problémákat.

( makgab v | 2014. 09. 21., v – 13:17 )

A fake RAID vezérlő meg nem is fog jelezni - mint a HW RAID vezérlő -, ha gáz van.
(A gép még nem jött meg - az online PDF doksiban, nem is látok ilyen lehetőséget - ha jól olvasom.)
ESXi logokból lehet majd megnézni a RAID hibákat?

--
G.

( seferbt v | 2014. 09. 21., v – 14:59 )

Hello,

pontosan a leírt konfigot használom, csak 20GB RAM-mal. A HP által "felpimpelt" Esxi-t ha letöltöd és felteszed, minden gond nélkül működik. Szoftveres RAId-et nem támogat, de az említett gépben lévő RAID vezérlóvel simán működik, ha a HP image-et telepíted.
A VM-eknek odaadható memória mennyiésgét ki lehet számolni, bár egyszerű ökölszabály, hogy a vmware-nek hagysz kb. 1-2GB-ot, a többiből meg lehet osztani. Csak arra kell figyelni, hogy lehetőleg azért 10-15% szabad memória legyen. Ha ez lecsökken, akkor a vmware-ben beindul mindenféle memória variáló mechanizmus (megvan, hogy mennyi foglaltságánál mit csinál, de ezt most fejből nem tudom), először elkezdi swap-elni a gépek memóriáját, ami miatt az egész nagyon belassul. Ez nem egyelő azzal mint amikor a vm-ben futó Os kezd el swap-elni! majd ha ez is kevés elkezd balloon-ozni, megpróbálja elszedni a VM-ektől a RAM-ot a balloon driverrel.
Ha a géped SATA-s verzió, akkor attól io-ban csodákat ne várj. Ha nem túl io intenzív a 3 vm, akkor szerintem 4 diszkre, RAID10-ben rá lehet próbálni, annyit talán elbír, de a hajad nem fog lobogni. Én most azon gondolkozom, hogy a 2 HDD mellé kap 2db SSD-t egy másik datastore-ban.

HP Custom Image for ESXi 5.5.0 GA

Először balloon, utána swap. A balloon önmagában nem rossz, a nem használt OS memóriát pumpálja ki a fizikai ramból. Akkor rossz ha utána elkezd swappelni is.

Nyugodtan lehet a memóriát overprovision-elni ésszerű mértékkel (amire nincs pontos szám, OS és alkalmazásfüggő, de mondjuk 1.5x az egy jó általános érték lehet).

Itt van egy ESXi 4 a két virtuális géppel, ami néha azért belassul:
1
2
3
4
5
6
7

18GB RAM van a rendszerben. 536MB a rendszeré. a többi VM-eké.
A win2k8 VM1-nek mintha 18GB memória lenne adva. Ebből lehet néha ez a probléma, hogy ezt meg is eszi az MSSQL?
A fenti beállítás mennyire jó véleményetek szerint?

--
G.

Hát ez lehet gond, mert ha a 18GB ki van osztva a win2008-nak, akkor sok nem marad a vmware-nek meg az XP-nek. A semmiből a vmware sem tud RAM-ot fakasztani. :) Márpedig 18GB memóriából ha kiosdztasz és felhasznált 18-at, akkor mi marad a vmware-nek meg az XP-nek? Marad a swap, az meg lassú.
Nézd meg a Performace fülön a memória grafikont mindkét gépnél. Ha a balloon görbe nem a nullán fut, akkor érdemes lenne egy kicsit levenni abból a 18GB-ból Én a win2008 memóriáját levenném 16GB-ra és beállítanék mondjuk 6-8GB rezervációt, akkor azt a win2k8 biztosan megkap, a maradékból meg gazdálkodik az esxi.
mérni, mérni, mérni.

Nem piszkálnám, csak kérdezem első körben, hogy engedi állítani, vagy maga kezeli.

Megnéztem a graph-ot és a mssql 2005-t:
memgraph
mssql 2005 mem

Ha jól látom, akkor jelenleg az MSSQL ~12GB memóriát kap, amit gondolom közben meg is eszik néha. A Performance graph-on meg látszódik a balloon-ozás (~3GB?).

Érdemes lenne levenni a memóriaértékeket, ugye?
1. MSSQL 12GB memóriát (MSSQL-t nem ismerem igazán.) 8-10GB-ra?
2. Win2k8 szerver 18GB virtuális memóriáját 16GB (ahogy javasoltátok itt korábban).

--
G.

Az MSSQL-t nem ismerem, nem tudjuk, hogy mit csinál, lehet, hogy a feladat miatt kell neki a 12GB, de az is lehet, hogy nem. Most annyit tudsz, hogy lassú. De azt nem, hogy miért. Ilyenkor marad az, hogy a rendelkezésre álló információk alapján próbálkozol. Változtatsz egy paramétert (pl. leveszed a win2k8 memóriáját 16GB-ra vagy az MSSQL-ét veszed le 8-10GB-ra), aztán megnézed, hogy mi történik. Jobb lett-e vagy rosszabb, esetleg nem változott, és még mindig belassul. Ha jobb lett, akkor lehet tovább menni. Ha nem változott vagy rosszabb, akkor meg rossz az irány, másfelé kell elindulni.
A másik út, hogy elkezdesz mérni (ákár egy Perfmon-nal is), min 2-3 napig, és megnézed, hogy üzletileg releváns időpontokban mit mutatnak a mért értékek. Abból ki tudod következtetni, hogy milyen beállításon érdemes változtatnod.

Az MSSQL default beállítása az, hogy minden létező memóriát felhasznál. Fontos minél előbb beállítani egy fix maximumot neki.

Update: az MSSQL a maximum server memory-nál megadott értéknél szokott néha többet enni. Ha még így is sok, vedd lejjebb, és alkalomadtán service restart.

Most nézem, ez egy másik gép, DL380G5 P400-al. Nem tudom hány diszk van alatta de inkább az számít, meg hogy van-e BBU a kontrolleren.

ESXi 4.1-et is lehet érdemes lenne 5.x-re upgradelni, IO-ban (is) kicsit jobban teljesít.

Szóval számokat szeretnénk, a "néha belassul" nem egzakt :D

( jzola v | 2014. 09. 23., k – 21:50 )

bocss off kérdésért, de nem jött át egyértelműen:

- miért kell erőltetni b110i s raidet?
gyorsaságot nem nyersz vele
megbízhatóság HW raiddel nem összehasonlítható(az most más dolog hogy felrakok egy windowst és ott használom mint kb sw raid, az bizonyos esetekben belefér)

Ezt nem tudom honnan szedted, de ahogy nézem nem így van (bár gyakorlati tapasztalatom nincs, majd mások akik használnak ilyent megerősítenek)

A HP szerint ugyanazt a funkcionalitást kapod mint a P4xx sorozatnál

"Array Configuration Utility (ACU), Systems Insight Manager, and Array Diagnostic Utility (ADU)"

http://www8.hp.com/h20195/v2/GetHTML.aspx?docname=c04168333

Szóval a megfelelő driverrel (ami ugye esetünkben a HP customized ESXi telepítőmédiába van ágyazva) ugyanúgy kapsz smart, hőmérséklet stb. infókat, egyedül teljesítményben lehet különbség (bár 1-6 diszknél ebben sem vagyok biztos, elnézve a modern architektúrákat)