All-in-One box (virtuális homelab)

Virtualizáció

Sziasztok,

nyitnék egy topikot az AIO megoldásoknak, vagyis a "kis" "házi" "homelab" dobozoknak.

Az én leendő környezetem (még konfigurálás előtt):

Cél: ESXi alapú VM-ek futtatása, NAS funkciók (adattárolás, mediastream), tűzfal/AV/tartalomszűrés/adblock, print- és scanszerver, később esetleg mailserver stb.

Hardver
Alaplap: Supermicro X9SCL+-F LGA1055, 4 dimm, 2x PCIe-8x, dual Intel Gigabit, IPMI, mATX. Review

CPU: Intel® Xeon® Processor E3-1220L v2 (3M Cache, 2.30 GHz, 17w TDP)
Cooler: Noctua NH-L12 (passzív)
RAM: 4xDell 8GB DDR3 1333 ECC uDIMM SNP8649GC/8G
Ház: Fractal Design Arc Mini (v1)
Táp: Seasonic S12II-380 Bronze 380 Watt 80 Plus
HBA: Dell Perc H310->LSI SAS-9211-8i IT mode flash
HDD: 4x Seagate 2TB 5900rpm 64MB SATA ST2000DL003
SSD: 2x Samsung PM810 128GB SATA
Tuner:TerraTec Cinergy T PCIe Dual

Szofver
Hypervisor:VMware ESXi 5.5

VM-ek
Storage:
ZFS storage VM#1: OmniOS+Napp-it
A VM megkapja a HBA-t PCI passthrough-val+a 4x2TB diszket->RAID10 (RAID1+0), ezután NFS-en kiajánlom az ESXi-nek, az összes többi VM onnan fut, internal vSwitchen keresztül, lásd az AIO leírást...
AIO leírás
ZFS storage VM#2: Nexenta Community Edition 3.1.5
http://www.nexenta.com/corp/downloads/download-community-edition
ZFS storage VM#3: FreeNas 9.1.1
http://www.freenas.org/download-releases.html
ZFS storage VM#4: Nas4Free 9.1.0.1
http://www.nas4free.org/downloads.html

vCenter Appliance: vCenter Appliance 5.5.0a

Multimédia/NAS VM: XPEnology 4.2 (Synology DSM 4.2)

pFsense VM: PfSense 2 on VMware ESXi 5

Mikrotik x86 VM: Bridging ESX Virtual Switch Networks using MikroTik and EoIP/Vlan/VPLS
+ bármi más, a lista még bővül :)

TV felvevő VM: Ubuntu 13.x A VM megkapja a tunert PCI passthrough-val, a tvheadend végzi a felvételeket egy network sharre, időzítés browserből.

Network printer+scanner sharing VM, vmi linux (egy Canon IP4000 nyomtató és egy Canon Lide50 scanner, mindkettő USB-n a gépre kötve majd kiajánlva egy VM-nek

Hasznos linkek

HW
What hardware would I need (approx) to run ESXi server?

So you want some hardware suggestions.

LSI SAS 2008 RAID Controller/ HBA Information

SAS HBA crossflashing or flashing to IT mode, Dell Perc H200 and H310

M1015 / X9SCM-F USB Firmware Tools

Confused about that LSI card? Join the crowd ...

WTB: Supermicro X9SCM-F or X9SCM-iiF, E3-1260L or E3-1256L, 32GB ECC UDIMM

ZFS

ZFS memory requirements

ZFS Raidz Performance, Capacity and Integrity - comparing speed, space and safety per raidz type

ZFS Administration series AT pthree.org by Aaron Toponce (Part I-XVII)

( AiRLAC v | 2013. 11. 03., v – 14:41 )

2x2TB vinyóval és 1 SSDvel a (pillanatnyi)fogyasztás (olcsó digitális fogyasztásmérővel mérve):
Kikapcsolva, csak az IPMI fogyaszt: 5W
Bekapcsoláskor, diszkek felpörögnek: peak 80W 1-2 másodpercig
ESXi boot közben: 45W
vCenter és Napp-it VM fut: 50-52W (nincs különösebb load)

Következő teszt ha 4 vinyó és 2 SSD lesz, illetve ha hálózati forgalom is van.

( elod v | 2013. 11. 03., v – 16:48 )

subs (van itt egy pár kipróbálnivaló :) ). Ha nagy leszek én is ilyet építek! :D

( AiRLAC v | 2013. 11. 08., p – 12:12 )

Hozzáadtam pár ZFS linket, kategorizáltam a linkeket.
+
Pár variáció Storage VM-ekre (mind ZFS de az OS változó)

( elod v | 2013. 11. 30., szo – 11:54 )

Felénk promózzák a Dell PowerEdge T20-át Xeon 1225-el. Nézted?

Mondjuk tárgytalan, de már megépítetted, de hátha másnak jól jön.

( Sanya v | 2013. 11. 30., szo – 14:08 )

Sub, valami hasonlót akarok, csak energiatakarékosabbat

Már minél energiatakarékosabbat? HP Microserverben gondolkoztam eredetileg de kevés a cpu a normális virtualizáláshoz (még ha lehet is bele 16GB ramot rakni).
Ez az E3as megeszi reggelire (+van ECC és VT-D/PCI passthrough), úgy hogy a fenti gép üzemi fogyasztása ~60W max és a CPU passzív hűtésű (az egész gép nagyon halk, két lassú fordulatú 12cmes venti hűti a hddket és egy nagy 14cm szintén lassú a ház tetején a többit.

a tiednél, csak nem találok rendes alkatrészeket, de most jó ötletet adtál.
először egy arm rendszerben gondolkoztam, de a fórumokat bújva rájöttem, hogy nincs rendes linux támogatása az armos lapoknak (rpi számomra kevés lesz). Első körben egy http://www.inforcecomputing.com/product/moreinfo/ifc6410.html -t néztem ki, alacsony fogyasztás, 4 rendes arm mag, 4gbbelső tárhely, sata képes (oda menne egy 1 vagy 2 terás 2,5"-os merevlemez, és slussz-pass. ha 15 wattban megállna, jó lenne.

De nincs linux támogatása, csak majd jövőre.. No akkor elkezdtem tovább nézelődni.

Kinéztem magamnak az amd Temash processzorát, a E4-1450-es prociját, amiben 4db 1ghz-es jaguár mag van, 1,3ghz-es turbóval, mindössze 9W-os maximális TDP. no erre jöhet még az egyéb chipek rajta, memória, merevlemezek, de még mindig megállhatok 20W alatt. gányolás nélkül elérhető rá a legtöbb linux oprendszer.

De az amd temash procit nem árulják kicsi (mini, micro, pico, nano, etc) alaplapon, csak tabletbe és notebookba, de az meg úgy drága szerver lenne, hogy eleve jár hozzá egy kijelző, meg egy windows 8 adó is :) No meg hol marad a bios buhera?

elvetett ötlet

Akkor megláttam, amit te linkeltél. Én kisebb fogyasztású, emellett lehet lassabb is, de 2,5"-os merevlemezekkel, ssd nélkül elgondolkodtató a te rendszered is, max 4gb rammal, dce túl sokat eszik. ha ki tudnám váltani ezzel a routeremet (1043nd tplink), és attól megszabadulnék, akkor talán beruházok rá. szóval még mindig gondolkodom.

Az én elvárásom: legalább 1tb háttértár, amin a mentéseim lennnének, fotóimmal, könyvekkel. saját cloud és (s)ftp szerverrel.

( mr shadow v | 2013. 11. 30., szo – 19:56 )

sub
--
>'The time has come,' the Walrus said<

( AiRLAC v | 2013. 12. 01., v – 08:11 )

Hozzáadtam egy tunert és egy VMet ami használni fogja.

( monolit | 2013. 12. 01., v – 12:15 )

Érdekel a dolog.
Kérdezném, hogy direkt 2 magos prociba gondolkoztál?
A Compulab Microsvr -t nézted? ha igen esetleg vélemény róla? (technikai)
üdv

Márhogy a 2 magos sok vagy kevés? 2 mag+HT szóval ESXi szempontból négy vCore. Normál használatnál nem okoz gondot akár 4x-es CPU oversubscription sem, szóval 8-10 vCPU-t simán elvisz. A VM-ek nagy részének 1 vCPU-t terveztem adni egyébként.

Fogyasztás/hőtermelés is szempont volt (ez ugye 17W TDP),
a következő lépcsők már vagy túl sokat fogyasztottak (45W+) vagy még drágábbak is voltak.
Ha ugye a Microserver AMD CPU-khoz viszonyítunk akkor az E3 1220L egy szörnyeteg.

lehet én gondolkoztam rosszul csak arra gondoltam, hogy a 4 magot még kezel az esxi és esetleg erőforrás szempontjából jobban allokálható a 4 magos. A fogyasztás és a hőtermelést értem. A kérdés azért volt, mert a teljesítmény dolgokkal nem igazán vagyok tisztában.
Tehát te teljesítmény/ár(+hő) szempontjából ill. okán 2 magosban gondolkodtál. OK.

Igen, a passzív hűtés, a 8-35W fogyasztás miatt szimpatikus. Végül is ez olyan darab, hogy ha megveszed akkor bekapcsolod és onnantól többet nem kapcsolod ki. És a 4+2 GbE is szimpatikus (virtuális gépenként külön kártya ha kell). Ami elgondolkoztatott a proci volt (dual-core ez is). Vmware-t lehet rá tolni és igen részben Realtek RTL8111f és Intel 82579 hálókártyák vannak benne.
(én vmware mellett esetleg proxmox-ban is gondolkodtam).
A kis méret sem rossz de ha 3x ekkor lenne az sem zavarna :) /végül is most SOHO szervernek pláne ha passzív hűtésű nem mindegy hogy 10 vagy 30 cm-es?/

szemezgetek a supermicro alaplapokkal is meg ezzel a házzal: HFX PowerNAS

Nem rossz ez a HFX PowerNAS ház, csak ITX-es, nekem meg mATX kellett: a Supermicro alaplaphoz ragaszkodtam, egyrészt mert bizonyítottan támogatott/működik a XeonE3+ECC+VT-D ESXi-n, meg az IPMI miatt is, nekik meg nincs ITX (csak Core procikhoz).
Plusz az ITX-es lapokon csak 1 kártyabővítőhely van, nekem meg egyből kellett egy HBA bele és akkor a későbbi bővítésnek csengettek.

( AiRLAC v | 2013. 12. 12., cs – 15:28 )

Ubuntu VM + tvheadend kipróbálva, remekül vezérelhető browserből a felvétel, akár az adást is lehet nézni. Relatíve semmi CPU felhasználás felvételkor (lévén csak a DVB-C/T streamet írja diszkre).

( deep | 2013. 12. 15., v – 19:26 )

sub (hasonló konfigot rendeltem én is, remélem még idén megjön)

( zrubi v | 2013. 12. 18., sze – 08:19 )

"ZFS storage VM#1: OmniOS+Napp-it
A VM megkapja a HBA-t PCI passthrough-val+a 4x2TB diszket->RAID10 (RAID1+0), ezután NFS-en kiajánlom az ESXi-nek, az összes többi VM onnan fut"

Ez szerintem nem túl jó ötelt - a VMware-nek is van ehhez hasonló storage megoldása, de még ők is úgy javasolják, hogy egy dedikált gép legyen a külön a "storage" VM.

--
zrubi.hu

Ez igaz (a VSAN-ról beszélünk), ha nem homelab-ot építesz :) Itt pont az a lényeg hogy boxon belül megy a hálózati kommunikáció, azaz egy internal vSwitch-re van kötve minden olyan VM aminek storage szolgáltatás kell. Szerk: ez ugye kvázi független a külső Ethernet hálózattól, majd mérek internal-external sebességet is. Kifelé 2x1Gbit LACP-t tervezek egy Cisco 8 portos switchen keresztül, mert kell a sávszél a médialejátszáshoz :)

A ZFS és HBA passthrough meg azért jó mert megdögölhet a storage VM vagy bármilyen HW, akár a HBA is, ha a négy SATA diszk életben marad (vagy legalább 3, szerencsés esetben 2) akkor (szinte)bármilyen SATA portra kötve őket egy másik gépben a ZFS tömb életre kelthető (ugye ZFS-nél a diszk sorrend se számít, mint pl. egy HW raidnél).

Ha nagyobb környezetben gondolkoznék akkor természetesen 4 ilyen gép lenne, 2 ESXi és 2 Storage célokra. Ez alatt nem érdemes bonyolítani mert nem lesz hibatűrő amúgy se :)

Értelek.

Viszont ha tényleg "home lab" akkor én csak egy szingli diskete tennék alájuk, (eseti mentéssel) és akkor még egyszerűbb :) Ha egy diszknyi hely kevés (akokr több is lehet), de akkor az már biztosan nem "home lab" lesz, hanem inkább valami SAN szerűség...

Az általad vázolt helyzetben ugyanis nagy valószínűséggel egyszerre fog szétesni és használhatatlanná válni az egész cucc szinte bármilyen esetleges hiba esetén.

De szigorúan csak szerintem.

--
zrubi.hu

Adatot védünk, minden más pótolható, de azért jó lenne, ha lenne némi rendelkezésreállás is.
Egy diszk nem redudáns, szerintem az első védelmi vonal hogy két diszk van legalább és tükör.
Egy diszknyi IO nem feltétlen elég ha több virtuális gépet teszel egy gépre.
Természetesen van egy off-site backup a pincében, UPS-sel, mint utolsó védelmi vonal.

Értem a nézőpontodat de itt több igény/nézőpontnak szeretném a best-of metszetét, úgymint:

- Viszonylag nagy tárolóhely (2-4TB hasznos terület)
- Viszonylag jó teljesítmény (több VM, jó hálózati sebesség)
- Viszonylag alacsony fogyasztás (~50-60W)
- Viszonylag halk működés, kis (nem rack) méretben (otthoni környezet)
- Viszonylag jó rendelkezésre állás (ide nem akartam redudáns tápot tenni, de pl. van két hálókártya, ECC ram, minőségi hardver)

( AiRLAC v | 2014. 01. 15., sze – 15:40 )

Időközben a dolgozószobából átkerült a nappali sarkába a gép (egy Cisco SG200-08-ra kötve), már tesztelem az átviteli sebességeket a különböző storage VM-ekkel (Freenas, OmniOS, Nexenta volt eddig). Van még gond mert nem egyenletes az átvitel, játszom még az MTU/Flow control/window size/protokollok sokismeretlenes egyenlettel, csak eléggé időigényes.

A gép egyébként kvázi hangtalan, a kétlemezes Synology 209-em hangosabb :)

Lehet (majd :) ). Egyelőre a két Intel 320 SSD-re meg mégegy 2TB Seagate-re várok, a 4x2.5"->5.25" helyre rack meg mégegy SFF8087-4xSATA kábel már megjött hozzá. Akkor lesz 5x2TB meg 2x40GB SSD egy RAIDZ2 tömbben végre és (ha addig ki nem jön a 4.0 NexentaStor CE) Nappit VM kapja meg mert eddig az volt a legstabilabb.

SMB-vel 70/110MB/s közötti eredmény volt (írás általában kicsit gyorsabb) úgy nyersen mindenféle VM-el vegyesen. Gyanítom itt az SMB megvalósítások egyszálúsága meg az SMB 2.0 korlátai is szerepet játszanak (NFS-sel is tervezem majd tesztelni).

:)

VM-to-VM hálózati sebesség :)

------------------------------------------------------------
Client connecting to 192.168.1.107, TCP port 5001
TCP window size: 50.3 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.1.108 port 40417 connected with 192.168.1.107 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 4.02 GBytes 3.45 Gbits/sec