All-in-One box (virtuális homelab)

 ( AiRLAC | 2013. november 1., péntek - 23:15 )

Sziasztok,

nyitnék egy topikot az AIO megoldásoknak, vagyis a "kis" "házi" "homelab" dobozoknak.

Az én leendő környezetem (még konfigurálás előtt):

Cél: ESXi alapú VM-ek futtatása, NAS funkciók (adattárolás, mediastream), tűzfal/AV/tartalomszűrés/adblock, print- és scanszerver, később esetleg mailserver stb.

Hardver
Alaplap: Supermicro X9SCL+-F LGA1055, 4 dimm, 2x PCIe-8x, dual Intel Gigabit, IPMI, mATX. Review

CPU: Intel® Xeon® Processor E3-1220L v2 (3M Cache, 2.30 GHz, 17w TDP)
Cooler: Noctua NH-L12 (passzív)
RAM: 4xDell 8GB DDR3 1333 ECC uDIMM SNP8649GC/8G
Ház: Fractal Design Arc Mini (v1)
Táp: Seasonic S12II-380 Bronze 380 Watt 80 Plus
HBA: Dell Perc H310->LSI SAS-9211-8i IT mode flash
HDD: 4x Seagate 2TB 5900rpm 64MB SATA ST2000DL003
SSD: 2x Samsung PM810 128GB SATA
Tuner:TerraTec Cinergy T PCIe Dual

Szofver
Hypervisor:VMware ESXi 5.5

VM-ek
Storage:
ZFS storage VM#1: OmniOS+Napp-it
A VM megkapja a HBA-t PCI passthrough-val+a 4x2TB diszket->RAID10 (RAID1+0), ezután NFS-en kiajánlom az ESXi-nek, az összes többi VM onnan fut, internal vSwitchen keresztül, lásd az AIO leírást...
AIO leírás
ZFS storage VM#2: Nexenta Community Edition 3.1.5
http://www.nexenta.com/corp/downloads/download-community-edition
ZFS storage VM#3: FreeNas 9.1.1
http://www.freenas.org/download-releases.html
ZFS storage VM#4: Nas4Free 9.1.0.1
http://www.nas4free.org/downloads.html

vCenter Appliance: vCenter Appliance 5.5.0a

Multimédia/NAS VM: XPEnology 4.2 (Synology DSM 4.2)

pFsense VM: PfSense 2 on VMware ESXi 5

Mikrotik x86 VM: Bridging ESX Virtual Switch Networks using MikroTik and EoIP/Vlan/VPLS
+ bármi más, a lista még bővül :)

TV felvevő VM: Ubuntu 13.x A VM megkapja a tunert PCI passthrough-val, a tvheadend végzi a felvételeket egy network sharre, időzítés browserből.

Network printer+scanner sharing VM, vmi linux (egy Canon IP4000 nyomtató és egy Canon Lide50 scanner, mindkettő USB-n a gépre kötve majd kiajánlva egy VM-nek

Hasznos linkek

HW
What hardware would I need (approx) to run ESXi server?

So you want some hardware suggestions.

LSI SAS 2008 RAID Controller/ HBA Information

SAS HBA crossflashing or flashing to IT mode, Dell Perc H200 and H310

M1015 / X9SCM-F USB Firmware Tools

Confused about that LSI card? Join the crowd ...

WTB: Supermicro X9SCM-F or X9SCM-iiF, E3-1260L or E3-1256L, 32GB ECC UDIMM

ZFS

ZFS memory requirements

ZFS Raidz Performance, Capacity and Integrity - comparing speed, space and safety per raidz type

ZFS Administration series AT pthree.org by Aaron Toponce (Part I-XVII)

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

2x2TB vinyóval és 1 SSDvel a (pillanatnyi)fogyasztás (olcsó digitális fogyasztásmérővel mérve):
Kikapcsolva, csak az IPMI fogyaszt: 5W
Bekapcsoláskor, diszkek felpörögnek: peak 80W 1-2 másodpercig
ESXi boot közben: 45W
vCenter és Napp-it VM fut: 50-52W (nincs különösebb load)

Következő teszt ha 4 vinyó és 2 SSD lesz, illetve ha hálózati forgalom is van.

subs (van itt egy pár kipróbálnivaló :) ). Ha nagy leszek én is ilyet építek! :D

Hozzáadtam pár ZFS linket, kategorizáltam a linkeket.
+
Pár variáció Storage VM-ekre (mind ZFS de az OS változó)

sub

sub

sub

Miért a ZFS-t választottad?

Nincs:
RAID vezérlő/firmware függés
write hole
silent data corruption

Van:
copy-on-write
self healing
snapshot
compression
dedup
ZIL/ARC

Felénk promózzák a Dell PowerEdge T20-át Xeon 1225-el. Nézted?

Mondjuk tárgytalan, de már megépítetted, de hátha másnak jól jön.

Néztem anno a T20-T110 szériát, de pl. a fenti az 84W TDP (vs 17)+csak négy 3.5" belső hely (vs 6)+árban sem olyan vonzó mire normális mennyiségű (ECC?) memóriát teszel bele.

Sub, valami hasonlót akarok, csak energiatakarékosabbat

Már minél energiatakarékosabbat? HP Microserverben gondolkoztam eredetileg de kevés a cpu a normális virtualizáláshoz (még ha lehet is bele 16GB ramot rakni).
Ez az E3as megeszi reggelire (+van ECC és VT-D/PCI passthrough), úgy hogy a fenti gép üzemi fogyasztása ~60W max és a CPU passzív hűtésű (az egész gép nagyon halk, két lassú fordulatú 12cmes venti hűti a hddket és egy nagy 14cm szintén lassú a ház tetején a többit.

a tiednél, csak nem találok rendes alkatrészeket, de most jó ötletet adtál.
először egy arm rendszerben gondolkoztam, de a fórumokat bújva rájöttem, hogy nincs rendes linux támogatása az armos lapoknak (rpi számomra kevés lesz). Első körben egy http://www.inforcecomputing.com/product/moreinfo/ifc6410.html -t néztem ki, alacsony fogyasztás, 4 rendes arm mag, 4gbbelső tárhely, sata képes (oda menne egy 1 vagy 2 terás 2,5"-os merevlemez, és slussz-pass. ha 15 wattban megállna, jó lenne.

De nincs linux támogatása, csak majd jövőre.. No akkor elkezdtem tovább nézelődni.

Kinéztem magamnak az amd Temash processzorát, a E4-1450-es prociját, amiben 4db 1ghz-es jaguár mag van, 1,3ghz-es turbóval, mindössze 9W-os maximális TDP. no erre jöhet még az egyéb chipek rajta, memória, merevlemezek, de még mindig megállhatok 20W alatt. gányolás nélkül elérhető rá a legtöbb linux oprendszer.

De az amd temash procit nem árulják kicsi (mini, micro, pico, nano, etc) alaplapon, csak tabletbe és notebookba, de az meg úgy drága szerver lenne, hogy eleve jár hozzá egy kijelző, meg egy windows 8 adó is :) No meg hol marad a bios buhera?

elvetett ötlet

Akkor megláttam, amit te linkeltél. Én kisebb fogyasztású, emellett lehet lassabb is, de 2,5"-os merevlemezekkel, ssd nélkül elgondolkodtató a te rendszered is, max 4gb rammal, dce túl sokat eszik. ha ki tudnám váltani ezzel a routeremet (1043nd tplink), és attól megszabadulnék, akkor talán beruházok rá. szóval még mindig gondolkodom.

Az én elvárásom: legalább 1tb háttértár, amin a mentéseim lennnének, fotóimmal, könyvekkel. saját cloud és (s)ftp szerverrel.

Nálam feltétel volt az ECC ram és a VT-D támogatás (a HBA passthrough miatt). Ezt így egyben (alacsony fogyasztással) csak az E3-asok tudják.

Igen, ha azokat nézzük, akkor ennél kevesebbet fogyasztó gépet nem tudnál összeállítani.

Homelab... de régen is volt :-P

+1

szintén zenész
--
üdv: virtualm

sub
--
>'The time has come,' the Walrus said<

:)

sub

Hozzáadtam egy tunert és egy VMet ami használni fogja.

Érdekel a dolog.
Kérdezném, hogy direkt 2 magos prociba gondolkoztál?
A Compulab Microsvr -t nézted? ha igen esetleg vélemény róla? (technikai)
üdv

Márhogy a 2 magos sok vagy kevés? 2 mag+HT szóval ESXi szempontból négy vCore. Normál használatnál nem okoz gondot akár 4x-es CPU oversubscription sem, szóval 8-10 vCPU-t simán elvisz. A VM-ek nagy részének 1 vCPU-t terveztem adni egyébként.

Fogyasztás/hőtermelés is szempont volt (ez ugye 17W TDP),
a következő lépcsők már vagy túl sokat fogyasztottak (45W+) vagy még drágábbak is voltak.
Ha ugye a Microserver AMD CPU-khoz viszonyítunk akkor az E3 1220L egy szörnyeteg.

lehet én gondolkoztam rosszul csak arra gondoltam, hogy a 4 magot még kezel az esxi és esetleg erőforrás szempontjából jobban allokálható a 4 magos. A fogyasztás és a hőtermelést értem. A kérdés azért volt, mert a teljesítmény dolgokkal nem igazán vagyok tisztában.
Tehát te teljesítmény/ár(+hő) szempontjából ill. okán 2 magosban gondolkodtál. OK.

Compulab Microsvr az 10K DKK=~1500€ ha jól nézem, memória és diszkek nélkül? Ha tényleg ennyi kicsit sokallom :)

Nem kicsit sok :) ezért nézem ezt a topic-ot :) 1200 fontért (https://store.tinygreenpc.com/tiny-green-pcs/microsvr.html) már benne van a memória, de csak 16GB, úgyhogy helyette 32GB RAM már ott van az 1500 euronál. sőt. és akkor még kell a diszk, igen.

Technikailag: ha ESXi-t akarsz egyelőre nincs információ hogy mivel kompatibilis, milyen hálókártyák (remélem nem Realtek) megy-e rajta VT-D stb.
Supermicro alaplapok ilyen szempontból elég jól támogatottak.
A passzív hűtés vagy a kis méret miatt tetszik?

Igen, a passzív hűtés, a 8-35W fogyasztás miatt szimpatikus. Végül is ez olyan darab, hogy ha megveszed akkor bekapcsolod és onnantól többet nem kapcsolod ki. És a 4+2 GbE is szimpatikus (virtuális gépenként külön kártya ha kell). Ami elgondolkoztatott a proci volt (dual-core ez is). Vmware-t lehet rá tolni és igen részben Realtek RTL8111f és Intel 82579 hálókártyák vannak benne.
(én vmware mellett esetleg proxmox-ban is gondolkodtam).
A kis méret sem rossz de ha 3x ekkor lenne az sem zavarna :) /végül is most SOHO szervernek pláne ha passzív hűtésű nem mindegy hogy 10 vagy 30 cm-es?/

szemezgetek a supermicro alaplapokkal is meg ezzel a házzal: HFX PowerNAS

Nem rossz ez a HFX PowerNAS ház, csak ITX-es, nekem meg mATX kellett: a Supermicro alaplaphoz ragaszkodtam, egyrészt mert bizonyítottan támogatott/működik a XeonE3+ECC+VT-D ESXi-n, meg az IPMI miatt is, nekik meg nincs ITX (csak Core procikhoz).
Plusz az ITX-es lapokon csak 1 kártyabővítőhely van, nekem meg egyből kellett egy HBA bele és akkor a későbbi bővítésnek csengettek.

Ubuntu VM + tvheadend kipróbálva, remekül vezérelhető browserből a felvétel, akár az adást is lehet nézni. Relatíve semmi CPU felhasználás felvételkor (lévén csak a DVB-C/T streamet írja diszkre).

sub (hasonló konfigot rendeltem én is, remélem még idén megjön)

Link pls

Jaja, jöhetnek a konfigok :-)

HP ML310e Gen8:
- Samsung 840 EVO 120 GB, kesobb veszek meg egyet
- 2x1 TB HP backup-ra
- WD RED 4 TB datastore-nak, kesobb meg 3 db lesz belole
- 16 GB ECC, 1600 MHz
- E3-1220v2
- TP-Link WNDR4800 + 3x8 dBi antenna wifi routernek beuzemelve

Jé ez ismerős konfig :)

Supermicro X9SCM-IIF-O
E3-1230V2
16GB ECC RAM (2xKVR16E11/8)
2x Samsung 128GB SSD
4x1TB WD RED HDD
IBM ServeRaid M1015 (flashelve LSI SAS9220-8i re)
INTEL PRO/1000 VT NIC 4-PORT
Noctua cpu hűtő, passzív Seasonic táp, fractal design r4

OS/Hypervisor mi lesz? Mire fogod használni?

ESXi 5.5

VMek:
FreeNAS (ZFS)(persze idővel bővítem az induló storage méretet)
pfSense
Ubuntu+plex
CentOS
VCenter
WinXP, Win7, Win8 kliensek

később 2012-es MS cuccok (2012r2, DC, Exchange, IIS, MSSQL, Sharepoint)

Kevés lesz a ram szerintem. A négyportos kártyát mire kötöd?

Az MS VM-ek majd csak bővítés (+16GB) után tervezem.
HP 1810-24g

Supermicro X9SCM helyett nem gondolkoztál X9SCL+F-ben? Kicsit olcsóbb (legalább is itt felénk) és két egyforma Intel kártya van rajta, amikhez nem kell külön driver 5.5 alá. IPMI van a lapon?

mar kerdezni akartam hogy honnan szerzitek a hw-t, mert ezek nincsenek egyszerű szamtech. boltban.

Csak nincsenek feltöltve, sima számtech bolt is be tudja szerezni.
raid, nic pedig ebay.

X9SCM-iiF-en is két (82574L) chip van, ahogy én láttam. A 4 pci miatt esett rá döntés, illetve erről találtam a legtöbb user reviewot. Van IPMI igen.

Jogos, ugyanaz a két lap, kivéve a +1 PCi-e 4x slotot meg a 2xSATA 3.0 portot, plusz van még ~35€ árkülönbség.

Nem volt valami hosszú életű a lap, 2 hét után halott :(

shit happens :) nekem még megy, fórumokon se panaszkodnak sokan (ez téged mint az adott döglött lap tulaját vajmi kevéssé vigasztalja).

Most jelent meg a fent linkelt Aaaron Toponce "ZFS adminisztráció" sorozat legújabb cikke az ECC ramokról, érdemes elolvasni!

ZFS Administration, Appendix C- Why You Should Use ECC RAM
https://pthree.org/2013/12/10/zfs-administration-appendix-c-why-you-should-use-ecc-ram/

Jó szokás egy-egy iso-n checksum-ot futtatni időnként. Egyszer így vettem észre a rossz memóriát, másodszor pedig a backup hasalt el ok nélkül (backupninja+rdiff).

Az a baj hogy mire megtalálod az iso checksummal a memóriahibát (ECC nélkül ugye) addigra lehet hogy futott egy scrub task->hibás rammal szépen korruptá tette az adataidat+a backup is az jó eséllyel.

"ZFS storage VM#1: OmniOS+Napp-it
A VM megkapja a HBA-t PCI passthrough-val+a 4x2TB diszket->RAID10 (RAID1+0), ezután NFS-en kiajánlom az ESXi-nek, az összes többi VM onnan fut"

Ez szerintem nem túl jó ötelt - a VMware-nek is van ehhez hasonló storage megoldása, de még ők is úgy javasolják, hogy egy dedikált gép legyen a külön a "storage" VM.

--
zrubi.hu

Ez igaz (a VSAN-ról beszélünk), ha nem homelab-ot építesz :) Itt pont az a lényeg hogy boxon belül megy a hálózati kommunikáció, azaz egy internal vSwitch-re van kötve minden olyan VM aminek storage szolgáltatás kell. Szerk: ez ugye kvázi független a külső Ethernet hálózattól, majd mérek internal-external sebességet is. Kifelé 2x1Gbit LACP-t tervezek egy Cisco 8 portos switchen keresztül, mert kell a sávszél a médialejátszáshoz :)

A ZFS és HBA passthrough meg azért jó mert megdögölhet a storage VM vagy bármilyen HW, akár a HBA is, ha a négy SATA diszk életben marad (vagy legalább 3, szerencsés esetben 2) akkor (szinte)bármilyen SATA portra kötve őket egy másik gépben a ZFS tömb életre kelthető (ugye ZFS-nél a diszk sorrend se számít, mint pl. egy HW raidnél).

Ha nagyobb környezetben gondolkoznék akkor természetesen 4 ilyen gép lenne, 2 ESXi és 2 Storage célokra. Ez alatt nem érdemes bonyolítani mert nem lesz hibatűrő amúgy se :)

Értelek.

Viszont ha tényleg "home lab" akkor én csak egy szingli diskete tennék alájuk, (eseti mentéssel) és akkor még egyszerűbb :) Ha egy diszknyi hely kevés (akokr több is lehet), de akkor az már biztosan nem "home lab" lesz, hanem inkább valami SAN szerűség...

Az általad vázolt helyzetben ugyanis nagy valószínűséggel egyszerre fog szétesni és használhatatlanná válni az egész cucc szinte bármilyen esetleges hiba esetén.

De szigorúan csak szerintem.

--
zrubi.hu

Adatot védünk, minden más pótolható, de azért jó lenne, ha lenne némi rendelkezésreállás is.
Egy diszk nem redudáns, szerintem az első védelmi vonal hogy két diszk van legalább és tükör.
Egy diszknyi IO nem feltétlen elég ha több virtuális gépet teszel egy gépre.
Természetesen van egy off-site backup a pincében, UPS-sel, mint utolsó védelmi vonal.

Értem a nézőpontodat de itt több igény/nézőpontnak szeretném a best-of metszetét, úgymint:

- Viszonylag nagy tárolóhely (2-4TB hasznos terület)
- Viszonylag jó teljesítmény (több VM, jó hálózati sebesség)
- Viszonylag alacsony fogyasztás (~50-60W)
- Viszonylag halk működés, kis (nem rack) méretben (otthoni környezet)
- Viszonylag jó rendelkezésre állás (ide nem akartam redudáns tápot tenni, de pl. van két hálókártya, ECC ram, minőségi hardver)

Időközben a dolgozószobából átkerült a nappali sarkába a gép (egy Cisco SG200-08-ra kötve), már tesztelem az átviteli sebességeket a különböző storage VM-ekkel (Freenas, OmniOS, Nexenta volt eddig). Van még gond mert nem egyenletes az átvitel, játszom még az MTU/Flow control/window size/protokollok sokismeretlenes egyenlettel, csak eléggé időigényes.

A gép egyébként kvázi hangtalan, a kétlemezes Synology 209-em hangosabb :)

Lehet kerni teljesitmeny adatokat?

Lehet (majd :) ). Egyelőre a két Intel 320 SSD-re meg mégegy 2TB Seagate-re várok, a 4x2.5"->5.25" helyre rack meg mégegy SFF8087-4xSATA kábel már megjött hozzá. Akkor lesz 5x2TB meg 2x40GB SSD egy RAIDZ2 tömbben végre és (ha addig ki nem jön a 4.0 NexentaStor CE) Nappit VM kapja meg mert eddig az volt a legstabilabb.

SMB-vel 70/110MB/s közötti eredmény volt (írás általában kicsit gyorsabb) úgy nyersen mindenféle VM-el vegyesen. Gyanítom itt az SMB megvalósítások egyszálúsága meg az SMB 2.0 korlátai is szerepet játszanak (NFS-sel is tervezem majd tesztelni).

Némi gyorsteszt
napp-it 1.4 VM, 2 vCPU/16GB ram, 4x2TB Seagate + 2x32GB Intel SSD ZIL mirror.

https://www.dropbox.com/sh/8d5l1ovjshp263l/7X0kkb63U5

De jó neked.. Nekem csak UAZ-tükröm van valahol :-D

:)

VM-to-VM hálózati sebesség :)

------------------------------------------------------------
Client connecting to 192.168.1.107, TCP port 5001
TCP window size: 50.3 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.1.108 port 40417 connected with 192.168.1.107 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 4.02 GBytes 3.45 Gbits/sec

sub