ziasztok!
Adott egy otthoni, nevezzük homelab-nak felallas. Nem nagy dolgok: opnsense-vm, nextcloud-vm, immich-vm, homeassistant-vm, truenas scale-vm, debian-vm(docker konténereknek), 2-3 tesztelős vm + 2db lxc konténer
Ezek jelenleg Proxmox-on futnak, az alábbi vassal:
Lap: ASUS Z10PA-D8 + iKVM modul
CPU: e5-2696v3 gyári, nem piszkált (van valami féle fajta heck a v3-as cpu-ra, amivel "all core" turbót lehet kicsikarni belőle, nem tudom, nem érdekelt)
RAM: 128GB ECC
TÁP: evga 1000W-os full moduláris
Ház: valami krisztus előtti 5U-s rack ház
Storage:
- rendszer: 2x128GB SSD alaplapra csatlakoztatva, szoftveres raid1 ext4 fajlrendszer
- pool_1: 2x 1024SSD szintén alaplapra csatlakoztatva, zfs mirror
- pool_2: 2x 1024SSD szintén alaplapra csatlakoztatva, zfs mirror
- pool_2: 1x 1024GB Nvme ssd alaplapi foglalatban, zfs stripe
- van egy HBA kártya a gépben, 8 lemezt tud kezelni, ezen van 4db 2TB-os HDD, ezt egy truenas scale vm kapja meg pci passthrough-val (erről majd később)
PCI-e bővítők:
- 1db 4 portos hálókártya --> opnsense vm-nek (passthrough-val)
- 1db 1 portos mellanox SFP+ hálókártya truenas-nak (passthrough-val) - külön vason van még egy truenas(lga1150-es platform, supermicro + e3-as xeon), arra megy napi külön mentés
- 1db 1 portos halókártya egy debian vm-nek, amin futnak a docker konténerek (passthrough-val)
- 1db HBA kártya
A proxmox-on vannak még "linux bridge" halókártyák de azok most a történet szempontjából nem fontosak.
Szóval ezt a konfigot gondoltam egy kicsit modernizálni.
Ez ugye egy lga2011-v3 --> kb 2014-ből
Ha maradnék az intel platformnál, akkor lga 3647-re tudnék ugrani --> ez egy 2016-os technika, tehát "nyernék 2 évet", viszont baromi drága...
Lehetne menni a következő kiadásokra, lga 4189 vagy lga 4677 ezek 2020 és 2023-as technikák, a kettő között árban én nem latok nagy különbséget, mind a kettő drágább, mint a 3647-es...
Az árakat itt úgy értsd, hogy 150.000ft-tól felfele vannak mondjuk az alaplapok, ehhez még a processzor, RAM...
Itt jött az ötlet, hogy tennék egy próbát az AMD "asztali" platformjával.
Az epyc-ek és a threadripper-k nem nyerték el a tetszésem, bár ebay-en Kínából Supermicro lap + epyc cpu(első, vagy második gen) + RAM egészen emberi áron lenne is: link
Ezt még ha 1,6-al meg is szorzom, mire ideér akkor is 1.000EUR durván. Legyen mondjuk 400.000Ft
Nade, hogy visszakanyarodjak az AMD asztalihoz:
LAP: AM5 ASUS PRIME B840-as --> kb 65.000Ft
RAM: Kingston 2x16GB DDR5 ECC-s (egyelőre elég lenne, majd menne fel 64GB-ra)--> 75.000Ft
CPU: Ryzen 9 9900x --> 170.000Ft
Vennék Nvme meghajtókat is, de az összehasonlítás miatt most azt nem részletezem, csak a 3 fő egységet.
Nyilván a táp is maradna.
Ez így elviekben 310.000 jó magyar forint, ÉS elviekben tamogatja az ECC-t is, ez nagy szó!
Hasonló "asztali" platformra az intelnél lga1851-ből lenne, de ott a "W-s" alaplapok nagyon ritkák (ezekben van csak ECC tamogatás), ezért ennek megfelelően az áruk is ehhez igazodik.
Itt szeretném a segítségeteket kérni, Proxmox "szakik".
Mennyire vállalható az AMD proxmox-al? Vannak pár vps-em, külföldön is, és itthon is. Vannak szolgáltatók, akik pl AMD ryzen 9-el a 7000-es szériával szolgáltatnak VPS-t.
Itthon is illetve külföldön is, így gondolom hogy van ez annyira jó, hogy ha nekik megfelel akkor nekem is. DE, ez 7000-es széria, én 9000-et tervezek venni.
Amitől félek a pci passthrough, hogy ez hogyan vagy hogyan nem fog menni.
Amiben nagyon hajlok az AMD-re, az a magasabb órajel, illetve bízván az újabb gyártástechnológiákban a kisebb fogyasztás.
Nyilván 0-24-be menne, most is abban megy, és van pénz banánra is(még...), de azért ha van rá lehetőség, akkor adjuk meg a lehetőséget a kisebb fogyasztásnak (jön a tél asszony virágai jönnek befele, azoknak is kell világítani... xD).
Visszakanyarodva a témához, olyan 70-80%-ra már eldöntöttem, hogy AMD-re váltanék, mert vannak rá példák, hogy működik, de jó lenne ha itt is kapnék megerősítést.
Kimondottan a pci passthrough és az ECC témájában.
ECC kell a ZFS miatt, a passthrough meg kell a jelenlegi felállás miatt. Nekem alapvetően tetszik, működik, meg vagyok elégedve vele, meg igazából most nem is a Proxmox lelki világáról akarok diskurálni, hanem hogy AMD vagy intel, egyelőre. Ha megvan a platform, akkor egy újabb topicban azért kikérném a véleményeket.
Legjobb lenne, ha esetleg lenne olyan aki AMD-n proxmox-ol, ne adj isten a 9000-as szérián már. Nem epyc-en, és nem threadripper-en...
Proxmox fórumok szintén nem írnak különösebben semmi egetrengető dolgot.
Köszi előre is!
- 107 megtekintés
Hozzászólások
nem teljesen proxmox, debian:
"ECC kell a ZFS miatt"
128GB ECC memoria van egy AM5-ben, BIOS-ban be van kapcsolva, dmidecode irja hogy be van kapcsolva, hibat meg nem jelzett.
neked aztan fura humorod van...
- A hozzászóláshoz be kell jelentkezni
PCI passthrough-t nem próbáltam még AMD platformon, de a Proxmox-ot ismerve szerintem nem lesz vele semmi gond.
Én inkább ott látom a szűk keresztmetszetet, hogy a szerver platformról desktopra váltasz, akkor töredéke PCIe sávod lesz, és azt kell végig gondolni, hogy a felsorolt bővítmények az elvárt sebességet tudják-e majd nyújtani az új helyükön. Az, hogy az új MB újabb PCIe szabányt támogat semmit sem számít, ha a káryák PCE 2 vagy 3 kompatibilisek csupán (tehát kevesebb de gyorsabb csatornával nem oldódik meg a kérdés azonos kártyák esetén).
Azt is érdemes megvizsgálni, hogy ha minden alaplapi foglalatot elhasználsz, akkor valóban fog-e mind működni egyszerre (egyáltalán), és az adott káryták mennyire tolerálják, ha kevesebb PCIe vonalat kapnak az elvárthoz képest (elvileg működni kellene lassabban, de a gyakorlat és az elmélet nincs mindig összhangban).
A másik, ettől teljesen független dolog, hogy érdemes elmélkedni a router fizikai eszközre költöztetéséről. Nekem is ilyen felállás van otthon, és épp most teszem ki ezt a funkciót (OPNsense-ről szintén), mert túl nagy érvágás az internetet és a helyi hálózatot is elveszíteni a szerver (direkt vagy nem szándékos, mindegy) megállása miatt.
Ezen felül én a magam részéről inkább használok ilyen célra lassabb server-grade gépet, mint gyorsabb desktop-ot... A Ryzen 9 erős, jó, de nem szerver proci, ahogyan ez az Asus alaplap sem erre van. Nyilván működni fog ha ezt veszed, de én inkább maradok az általam még kifizethető igazi szerver platformnál.
- A hozzászóláshoz be kell jelentkezni