VMotion tervezése

Most, hogy egy hoston már nagyjából kialakult a rend, nekiállok megtervezni a VMotion-t. A VCenter a három host - ESX(i)1, ESX2, ESX3 - megtalálható. Ebből az ESX(i)1-en futnak a virtuális gépek jelenleg. Az ESX(i)1 három datastore-t lát iSCSI-n. A három datastrore-t összesen 6 úton látja, 3 preferált és 3 backup úton. 


         internet
             | 
       ______|______            VMkernel                  ___ Openfiler_____   
      |             |  (preferált út a datastore-okhoz)  |                  |
      |   ESX(i)1   |------------------------------------|--- Openfiler2 ---|---
      |_____________|                                    |                  |   |
             |                                           |___ Openfiler3____|   |
             | VMkernel (backup út a datastore-okhoz)                           |
             |------------------------------------------------------------------ 
             |
             |
         helyi LAN

Az ESX(i)-ben 3 hálókártya van. Egy a helyi hálóra, egy az iSCSI SAN-ra, egy pedig az internet felé van kipatchelve. VMkernel van konfigurálva a helyi háló felé és a iSCSI SAN felé. Az iSCSI SAN felé látó hálókártya felé van a preferált út.

A másik két host - ESX2, ESX3 - hasonlóan van felépítve. A hálókártyáik szintén a helyi hálóra, az iSCSI SAN-ra és az internet felé látnak.

A terv az, hogy az ESX2-re felhúzok két VMkernel-t. Egyiket a local háló felé, másikat az iSCSI SAN felé. Ha ez kész, akkor a megláttatom az ESX2 hosttal is az Openfiler-eken levő datastore-okat. Ha ez megvan, akkor engedélyezem a helyi hálón levő VMkernel-en a VMotion-t.

Nem tudom mennyire ellenjavallt a prod. hálón nyomni a VMotion-t, de egyelőre eszköz hiányában nincs más megoldás. Illetve lenne még a SAN-on keresztüli út, de azt csak végszükség esetén állítanám be, illetve backup-nak állítanám be.

Ami még nem tiszta, hogy az iSCSI SAN-ra ha dobok egy VMkernel-t, akkor annak mit adjak meg default gw-nek. Abban a hálózatban nincs gw, nem is terveztem. Feltételezem gw nélkül nem frankó a frankó. Elég ha ott van valami, amit tud pingelni?

Dunno. Azt hiszem, hogy itt az ideje a doksi olvasásnak.

( pilisig | 2010. 05. 18., k – 11:22 )

Éles hálózat miatt szerintem ne aggódj nagyon, nálunk nem volt panasz, pedig eleinte sokat költöztek a gépek. Amire figyelj, hogy ne vedd túl "érzékenyre" a DRS-t, mert nagy terhelés mellett könnyen előfordulhat, hogy nem állapodik meg sehol sem a VM, folyamatosan költözik. Én láttam ilyet nálunk, szegény spamfilternek nem volt nyugta sehol sem amíg meg nem kegyelmeztem neki. :D

-pilisig-

( elod v | 2010. 05. 18., k – 11:50 )

Azt hiszem nekem is el kell kezdenem valami jo dokumentaciot olvasni, mert kb 50%-at ertem csak annak amit meselsz...

Én azt mondanám, hogy inkább egyszer ki kell próbálni és akkor sokkal könnyebben megérthető, hogy mi micsoda itt. VMware Workstation 6.5 alá kis trükközéssel be lehet éleszteni egy ESXi-t, 7.0 alatt már trükközés sem kell hozzá, csak legyen VT a processzorban. Trial verzió leszedhető kb minden hozzávalóból.
---
Internet Memetikai Tanszék

( XMI | 2010. 05. 18., k – 12:19 )

Tapasztalatom az, hogy a vmkernelnek egyáltalán nem gond, ha nincs default gw. Látszólag minden OK nélküle is, pár éve már így megy nálunk. Talán a VMware HA-nál lehet valami szerepe.

A VMotion prod hálón két okból lehet ellenjavallt, egyrészt biztonsági szempontból, ha a külső háló switch-én van reális esélye, hogy valaki lehallgatja a guest teljes memóriaképét, másrészt pedig teljesítményokokból lehet vele gond. Elvileg. Gyakorlaban azért mindkettőt meg lehet szerintem oldani úgy, hogy ne legyen belőle gond. A biztonságra jó egy menedzselhető switch, ami MAC spoofing támadás ellen jól be van konfigurálva + esetleg VLAN-nal szeparálás. Egy gépen használjuk VLAN-nal a vmkernel interfészt, úgy hogy a fizikai hálókártyán trunk módban jön be a forgalom és a vswitch osztja szét VLAN-ok szerint. Nagyon jól működik, nincs különösebb teljesítményproblémánk vele. ESXi-nél azt hiszem kicsit bűvészkedni kellett a hálózat első beállításánál, hogy a vlan jó legyen.

Általában VMotion miatt teljesítményprobléma pedig csak akkor van, ha a hálózat amúgy folyamatosan erősen ki van hajtva, és emellett gyakoriak a migrálások. Nyilván ilyenkor érdemes lehet spekulálni szétválasztáson, de amúgy nálunk pl az iSCSI SAN-nal megy közös hálón a VMotion és érezhető teljesítményprobléma nincs belőle. Igaz, ritkán mozgatunk gépeket.
---
Internet Memetikai Tanszék

+1
Nem gondolnám, hogy probléma lenne a teljesítménnyel.
A biztonsággal kapcsolatban: én értettem rosszul, hogy csak a local net felé tesz vmkernelt és nem külső irányba?

Igaz mi jobban elvagyunk engedve hálókártya ügyben: külön káryá(k) és vlan a management networknek (a vCenter és kliensek felé, HA stb). A vMotion pedig szintén külön kártyá(k) és vlan, privát ip cím tartománnyal, mondjuk i-nél em kell mindenhova külön GW, egyet elég megadni.
A ESXnél, a vMotion networknél mi sem használtunk def. gw-t, azaz saját ipjüket állítottuk be, ha jól emlékszem.

Trey, ebben 3-ban az alaplapi kártyák is benne vannak?

Csak a local hálózat felé van VMkernel és a SAN felé. Az internet felé nincs.

"Trey, ebben 3-ban az alaplapi kártyák is benne vannak?"

Sajnos alaplapon csak egy hálókártyája van ezeknek a szervereknek. Mindegyikbe tettem még pluszban 2 Intel Pro 1000 kártyát, így szerverenként 3 van jelenleg. Lehetne VLAN-okkal trükközni, de jelenleg nincs olyan switchem amivel ezt meg tudnám csinálni.

--
trey @ gépház

Csak a local hálózat felé van VMkernel és a SAN felé. Az internet felé nincs.
Ok, akkor félreértettem. Ez esetben semmi para. Nyilván akkor kell vigyázni, ha van kilátás az internet fele és/vagy a guest gépek nem trusted-ok. Ha csak sima homokozónak használod a guest-eket vagy saját házon belül menedzselt gépek, akkor nyilván semmi gond nem lesz. Igazából talán még ennyire sem rossz a helyzet, mert ha jól emlékszem alapból le is van tiltva, hogy a guest gépek promisc módba kapcsolják a hálózati interfészeiket.
---
Internet Memetikai Tanszék

( pilisig | 2010. 05. 18., k – 19:20 )

Lehet tudni, hogy mekkorák a datastore-ok?

-pilisig-

Aham. Gyakorlatilag ezek desktop PC-ből összerakott cuccok.

Openfiler:

  • 3 x 300 GB RAID5
  • 1 x 300 GB online spare

Array size / datastore capacity: 596,18GB

Openfiler2:

  • 2 x 500GB RAID1

Array size / datastore capacity: 465,76GB

Openfiler3:

  • 3 x 300 GB RAID5

Array size / datastore capacity: 596,18GB

--
trey @ gépház

( eax | 2010. 05. 18., k – 20:49 )

"Nem tudom mennyire ellenjavallt a prod. hálón nyomni a VMotion-t"

Elegge.

--
Fontos feladatot soha ne bizz olyan gepre, amit egyedul is fel tudsz emelni!