Proxmox ötletelés - Intel lga2011-v3-ról, AMD AM5-re?

Fórumok

ziasztok!
Adott egy otthoni, nevezzük homelab-nak felallas. Nem nagy dolgok: opnsense-vm, nextcloud-vm, immich-vm, homeassistant-vm, truenas scale-vm, debian-vm(docker konténereknek), 2-3 tesztelős vm + 2db lxc konténer

Ezek jelenleg Proxmox-on futnak, az alábbi vassal:

Lap: ASUS Z10PA-D8 + iKVM modul
CPU: e5-2696v3 gyári, nem piszkált (van valami féle fajta heck a v3-as cpu-ra, amivel "all core" turbót lehet kicsikarni belőle, nem tudom, nem érdekelt)
RAM: 128GB ECC
TÁP: evga 1000W-os full moduláris
Ház: valami krisztus előtti 5U-s rack ház
Storage:
  - rendszer: 2x128GB SSD alaplapra csatlakoztatva, szoftveres raid1 ext4 fajlrendszer
  - pool_1: 2x 1024SSD szintén alaplapra csatlakoztatva, zfs mirror
  - pool_2: 2x 1024SSD szintén alaplapra csatlakoztatva, zfs mirror
  - pool_2: 1x 1024GB Nvme ssd alaplapi foglalatban, zfs stripe
  - van egy HBA kártya a gépben, 8 lemezt tud kezelni, ezen van 4db 2TB-os HDD, ezt egy truenas scale vm kapja meg pci passthrough-val (erről majd később)
  
PCI-e bővítők:

  - 1db 4 portos hálókártya --> opnsense vm-nek (passthrough-val)
  - 1db 1 portos mellanox SFP+ hálókártya truenas-nak (passthrough-val) - külön vason van még egy truenas(lga1150-es platform, supermicro + e3-as xeon), arra megy napi külön mentés
  - 1db 1 portos halókártya egy debian vm-nek, amin futnak a docker konténerek (passthrough-val)
  - 1db HBA kártya
  
A proxmox-on vannak még "linux bridge" halókártyák de azok most a történet szempontjából nem fontosak.

Szóval ezt a konfigot gondoltam egy kicsit modernizálni.

Ez ugye egy lga2011-v3 --> kb 2014-ből
Ha maradnék az intel platformnál, akkor lga 3647-re tudnék ugrani --> ez egy 2016-os technika, tehát "nyernék 2 évet", viszont baromi drága...
Lehetne menni a következő kiadásokra, lga 4189 vagy lga 4677 ezek 2020 és 2023-as technikák, a kettő között árban én nem latok nagy különbséget, mind a kettő drágább, mint a 3647-es...

Az árakat itt úgy értsd, hogy 150.000ft-tól felfele vannak mondjuk az alaplapok, ehhez még a processzor, RAM...

Itt jött az ötlet, hogy tennék egy próbát az AMD "asztali" platformjával.
Az epyc-ek és a threadripper-k nem nyerték el a tetszésem, bár ebay-en Kínából Supermicro lap + epyc cpu(első, vagy második gen) + RAM egészen emberi áron lenne is: link

Ezt még ha 1,6-al meg is szorzom, mire ideér akkor is 1.000EUR durván. Legyen mondjuk 400.000Ft

Nade, hogy visszakanyarodjak az AMD asztalihoz:

LAP: AM5 ASUS PRIME B840-as --> kb 65.000Ft
RAM: Kingston 2x16GB DDR5 ECC-s (egyelőre elég lenne, majd menne fel 64GB-ra)--> 75.000Ft
CPU: Ryzen 9 9900x --> 170.000Ft
Vennék Nvme meghajtókat is, de az összehasonlítás miatt most azt nem részletezem, csak a 3 fő egységet. 
Nyilván a táp is maradna.

Ez így elviekben 310.000 jó magyar forint, ÉS elviekben tamogatja az ECC-t is, ez nagy szó!

Hasonló "asztali" platformra az intelnél lga1851-ből lenne, de ott a "W-s" alaplapok nagyon ritkák (ezekben van csak ECC tamogatás), ezért ennek megfelelően az áruk is ehhez igazodik.

Itt szeretném a segítségeteket kérni, Proxmox "szakik". 
Mennyire vállalható az AMD proxmox-al? Vannak pár vps-em, külföldön is, és itthon is. Vannak szolgáltatók, akik pl AMD ryzen 9-el a 7000-es szériával szolgáltatnak VPS-t.
Itthon is illetve külföldön is, így gondolom hogy van ez annyira jó, hogy ha nekik megfelel akkor nekem is. DE, ez 7000-es széria, én 9000-et tervezek venni.
Amitől félek a pci passthrough, hogy ez hogyan vagy hogyan nem fog menni. 

Amiben nagyon hajlok az AMD-re, az a magasabb órajel, illetve bízván az újabb gyártástechnológiákban a kisebb fogyasztás. 
Nyilván 0-24-be menne, most is abban megy, és van pénz banánra is(még...), de azért ha van rá lehetőség, akkor adjuk meg a lehetőséget a kisebb fogyasztásnak (jön a tél asszony virágai jönnek befele, azoknak is kell világítani... xD).

Visszakanyarodva a témához, olyan 70-80%-ra már eldöntöttem, hogy AMD-re váltanék, mert vannak rá példák, hogy működik, de jó lenne ha itt is kapnék megerősítést.
Kimondottan a pci passthrough és az ECC témájában.

ECC kell a ZFS miatt, a passthrough meg kell a jelenlegi felállás miatt. Nekem alapvetően tetszik, működik, meg vagyok elégedve vele, meg igazából most nem is a Proxmox lelki világáról akarok diskurálni, hanem hogy AMD vagy intel, egyelőre. Ha megvan a platform, akkor egy újabb topicban azért kikérném a véleményeket. 

Legjobb lenne, ha esetleg lenne olyan aki AMD-n proxmox-ol, ne adj isten a 9000-as szérián már. Nem epyc-en, és nem threadripper-en...

Proxmox fórumok szintén nem írnak különösebben semmi egetrengető dolgot.

Köszi előre is!

Hozzászólások

nem teljesen proxmox, debian:

"ECC kell a ZFS miatt"

128GB ECC memoria van egy AM5-ben, BIOS-ban be van kapcsolva, dmidecode irja hogy be van kapcsolva, hibat meg nem jelzett.

neked aztan fura humorod van...

PCI passthrough-t nem próbáltam még AMD platformon, de a Proxmox-ot ismerve szerintem nem lesz vele semmi gond.

Én inkább ott látom a szűk keresztmetszetet, hogy a szerver platformról desktopra váltasz, akkor töredéke PCIe sávod lesz, és azt kell végig gondolni, hogy a felsorolt bővítmények az elvárt sebességet tudják-e majd nyújtani az új helyükön. Az, hogy az új MB újabb PCIe szabányt támogat semmit sem számít, ha a káryák PCE 2 vagy 3 kompatibilisek csupán (tehát kevesebb de gyorsabb csatornával nem oldódik meg a kérdés azonos kártyák esetén).

Azt is érdemes megvizsgálni, hogy ha minden alaplapi foglalatot elhasználsz, akkor valóban fog-e mind működni egyszerre (egyáltalán), és az adott káryták mennyire tolerálják, ha kevesebb PCIe vonalat kapnak az elvárthoz képest (elvileg működni kellene lassabban, de a gyakorlat és az elmélet nincs mindig összhangban).

A másik, ettől teljesen független dolog, hogy érdemes elmélkedni a router fizikai eszközre költöztetéséről. Nekem is ilyen felállás van otthon, és épp most teszem ki ezt a funkciót (OPNsense-ről szintén), mert túl nagy érvágás az internetet és a helyi hálózatot is elveszíteni a szerver (direkt vagy nem szándékos, mindegy) megállása miatt.

Ezen felül én a magam részéről inkább használok ilyen célra lassabb server-grade gépet, mint gyorsabb desktop-ot... A Ryzen 9 erős, jó, de nem szerver proci, ahogyan ez az Asus alaplap sem erre van. Nyilván működni fog ha ezt veszed, de én inkább maradok az általam még kifizethető igazi szerver platformnál.