Szépen halad a homeserver projektem. Megvan a Proxmox, sikerült konfigurálni a dual stack működést, elérem a mikrotik routeren keresztül a webről (Nem, nem felejtettem el, hogy VPN mögé tegyem, meglesz az is, de ahhoz még olvasnom, tanulnom kell. Tényleg, L2TP-IPsec jó lesz?) most szeretném feltölteni fájlokkal.
240GB SSD és megy mellé egy 1TB winchester. Az SSD-n van alapértelmezett LVM telepítéssel a Proxmox, rajta a sok VM és konténer. A winyón lennének az adatok (képek, zenék, doksik, videó), ezt egy sima fstab-bal gondoltam UUID alapján mountolni, mivel a Proxmox egy mezei Debian és ott így csinálnám. Ezt a tárolót ext4-re gondoltam formázni. Helyes az elgondolásom? Más fájlrendszer esetleg?
Van valamilyen ajánlott könyvtárszerkezet/naming convention a fájlok tárolására?
És még valami. A Proxmox ugye alapból a root felhasználóval dolgozik. Létre kellene hoznom egy új felhasználót a hoston és annak adni full jogosultságot? A winchesteren lévő könyvtárak és fájlok milyen jogosultsággal rendelkezzenek (chmod) és főként melyik felhasználóé legyen (chown)?
Tudom elég láma kérdések, de szeretném jól megtervezni mielőtt feltöltöm tartalommal, mert látom, hogy később pl ha egy unprivilegized LXD container szeretné elérni a fájlokat akkor abból hatalmas szívások lehetnek. (Vö.: https://www.reddit.com/r/Proxmox/comments/mfr9us/new_to_proxmox_getting…)
Ti hogyan csináljátok, hogyan csinálnátok?
Köszönöm a válaszokat!
- 602 megtekintés
Hozzászólások
Szia!
Nekem is hasonlo config van itthon, igaz nincs sok VM (3 KVM).
Amit en javaslok. NE modositsd a Proxmoxot! Maradjon amilyen "tiszta" csak lehet. Gondolj ugy ra, mint egy ESXi -re, vagy Xen-re. Amit lehet VM-el csinalj meg. Az SSD-n tartott KVM/LXC jo gondolat. Az adat vinyot viszont en ugy csinalnam meg, hogy raknek valamilyen NAS VM-et (OMV, TrueNAS, etc...) annak odaadnam az egesz HDD-t, aztan azzal ki-share-elnem a tobbi VM-nek (ha kell) vagy a klienseknek CIFS/NFS-el. Formazni en mar btrfs-re formaznam.
VPN-nek Wireguard-ot raknek (uj mikrotik fw-k mar tudjak)
ha videot(filmet), zenet, kepeket tarolsz majd a HDD-n, akkor valami "celszoftverrel" manageld sztm. (Sonarr, Radarr, Lidarr, etc...) az megoldja a naming convention-t is :)
Fajlok (pl filmek, sorozatok, zenek) szamara en csinaltam egy "media" nevu group-ot, ahol az adott szoftvereknek (Plex, Radarr, Sonarr, Lidarr, Qbittorrent...) a useret beletettem (irasi, olvasasi joggal). A tulaj user mindig az adott progi. Pl "qbittorrent:media" vagy radarr:media. Jogosultsagnak 664-et szoktam allitani.
- A hozzászóláshoz be kell jelentkezni
NE modositsd a Proxmoxot! Maradjon amilyen "tiszta" csak lehet. Gondolj ugy ra, mint egy ESXi -re, vagy Xen-re.
Én is hasonlóan éreztem, de jó, hogy megerősítettél benne. Ez azt jelenti, hogy ne is csatoljam a host-ra a winyót fstab-ban, hanem adjam csak a virtuális gépnek? (Ez OMV lesz praktikusan, mert az debian alapú, jobban ismerem és a TrueNas esetében fázok a ZFS-től.) Van számottevő előnye a brtfs-nek az ext4-hez képest? Mármint egyszerű otthoni felhasználás során.
A wireguard-dal szemeztem, de 6.x a firmware és nem tudom lehetséges-e jogilag a dist-upgrade (nem ismerem a MT licensz dolgait).
Köszönöm a hasznosságokat usermod témában!
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
ha van a hardveredre fordított ROS akkor igen, ha nincs akkor meg úgysem tudod telepíteni. Hint: System -> Packages, Check for Update
a 6-os se egy mai darab, mi a mostani verzió ?
Szerk: Wiki
- A hozzászóláshoz be kell jelentkezni
6.x és 7.x-et is tolják. 7.x-ben új dolgok jöttek be, pl. WG, de cserébe többek szerint instabilabb, jobban terhel. Ez nem mindig érhető tetten ma már.
Ha kiforrott rendszert akarsz: 6.x, ha kell a WG, akkor 7.x. Én használom mindet, jól mennek.
- A hozzászóláshoz be kell jelentkezni
Azt sejtettem hogy a 7.x-et csak akkor ha tudod hogy az kell, de itt arról volt szó hogy 6.x-re kellene frissíteni, tehát 6 alatt verzió van fenn, ami akár egy régi hw-t is feltételezhet, ezért kérdeztem hogy melyik verzió van most fenn amiröl 6.x-re kellene menni, vagy 7.x-re, mert lehet hogy nem fog menni.
Szerk: el kell mennem szövegértelmezési tanfolyamra, az olvastam hogy 6-ra kellene frissíteni, nem pedig azt hogy 6-ról.
- A hozzászóláshoz be kell jelentkezni
Stable 6.49.7
Az upgrade alatt látom a 7.7-et tehát tudnék lépni, de fontosabb a stabilitás számomra, mint az újdonságok. Szerintem maradok még egy darabig a 6 vonalon.
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
6.x szerintem jó, wg-t tehetsz fel egy virtuális gépre, a MT-n meg portforward.
- A hozzászóláshoz be kell jelentkezni
Ennyire azért én nem bonyolítanám a dolgot. Alapvetően egy Debianról van szó, egy samba csomagtól nem fog felborulni a gyomra. Otthoni játszós gépen nálam eleve fel sem merült a proxmox direkt telepítés, mert két lemezt én nem áldozok be ilyesmire. Két frissítést már megcsináltam rajta minden gond nélkül.
- A hozzászóláshoz be kell jelentkezni
Én inkább most raknám fel a 7-es proxmoxot amíg nincs agyonkonfigolva és minden is belekötve.
Minél később upgradelsz annál több potenciális problémád lesz.
Nekem is 7-esek vannak (2 install) nincs velük különösebb gond (oké, az unprivileged lxc-k és a docker viszonya "most alakul" de más baja tényleg nincs)
vpn-nek abszolút wireguard-ot ajánlom.
lehet megismerkednék a pfsense-el és akkor a bármiféle vpn-ek bekötését is abba csinálnám -> ahogy javasolták tiszta marad a proxmox
A diszket mint zfs volume adnám hozzá akkor később is úgy szabdalod ahogy akarod, illetve tudod kezelni guiról is meg commandline is.
zfs alól triviális kiajánlani volume-okat nfs-en.
zfs-en egy baj van: a docker vfs kezelése baromi lassú (kb csak xfs-en és ext4-en jó) , de ha nem buildelsz hanem csak futtatsz akkor nem lényeges.
Gábriel Ákos
- A hozzászóláshoz be kell jelentkezni
Én inkább most raknám fel a 7-es proxmoxot
A proxmox a 7-es verzió, a MikroTik van 6-on. Lehet, hogy félreérthető voltam.
# pveversion -v
proxmox-ve: 7.3-1 (running kernel: 5.15.85-1-pve)
pve-manager: 7.3-6 (running version: 7.3-6/723bb6ec)Köszönöm a jótanácsokat, azt hiszem megint több hónapnyi tanulnivalót kaptam. :)
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
Az 1TB-s winyót biztos érdemes megformázni? Nem jobb, ha az egész LVM? Az LVM thin kapcsán ugyan vannak fenntartásaim, de azzal egész sok varázslatra képes a ProxMox.
Az mint ötlet miért jó, hogy az 1TB-t egy VM kapja és NAS-ként a többi VM erről kap tárterületet? Nagyobb az overhead és ha bármiért beáll a NAS VM, magával rántja a többit.
- A hozzászóláshoz be kell jelentkezni
Az mint ötlet miért jó, hogy az 1TB-t egy VM kapja és NAS-ként a többi VM erről kap tárterületet? Nagyobb az overhead és ha bármiért beáll a NAS VM, magával rántja a többit.
Tök jogos kérdés.
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
Mert elkepzelheto, hogy a storage-et hozza akarja adni tobb gephez is, pl egy VM-hez a letoltes miatt, meg egy klienshez a lejatszas miatt. Nyilvan megteheted, hogy a proxmoxal share-eled ki CIFS/NFS el, csak akkor megdol az "erintetlen" Proxmox elv :)
- A hozzászóláshoz be kell jelentkezni
Igen, de a gyakorlat számomra fontosabb, mint az elvek.
Lehet,hogy mégis ZFS lesz a vége. Vagy felcseszem LVM-be a winyót és a hostra fstab-bal csatolom.
De az omv kezelte megosztás jó irány lehet.
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
proxmox-nak odaadnám zfs-sel az egész diszket.
Aztán hogy ebből valamennyire csinálsz egy volume-ot, azt odaadod valami VM-nek amire teszel egy NAS szoftvert és azzal továbbosztod, hajrá.
Gábriel Ákos
- A hozzászóláshoz be kell jelentkezni
Lehet gondolkodni szinte csak lxc konténerekben, ugye marad a retegzodes, viszont minimális az overhead.
- A hozzászóláshoz be kell jelentkezni
Ha valóban kell olyan kötet, amelyet több VM is használ, akkor tényleg jó ötlet egy NAS VM. De hogy csak onnan kaphasson a többi VM mindent, tehát rendszerlemezt is, na az ellen berzenkedtem.
De nyilván ilyen esetben egy arany középút megoldás lehet.
- A hozzászóláshoz be kell jelentkezni
En ugy ertelmeztem , hogy van neki egy SSD, amin a rendszerlemezeket tarolja es egy HDD amin meg filmeket, zenet, etc... nyilvan az SSD LVM legyen, a HDD-t meg oda kene adni direktbe egy NAS VM-nek, ami csinal belole egy share-t, amit eler aki akar.
- A hozzászóláshoz be kell jelentkezni
Így.
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
SSD -t valami jobbat érdemes PROXMOX-hoz, nálam 10 MB/perc -et ír üresjáratban is ,
de ez felmegy 70 -80 ra is 3 VM-mel. Ez már havi pár TeraBájt.
root@as9:~# iostat -hy /dev/sda 60
Linux 5.15.74-1-pve (as9) 02/14/2023 _x86_64_ (4 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.3% 0.0% 0.3% 0.1% 0.0% 99.3%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
17.47 4.8k 184.9k 0.0k 288.0k 10.8M 0.0k sda
avg-cpu: %user %nice %system %iowait %steal %idle
20.3% 0.0% 11.1% 0.4% 0.0% 68.3%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
951.12 7.5M 653.4k 0.0k 448.2M 38.3M 0.0k sda
avg-cpu: %user %nice %system %iowait %steal %idle
60.8% 0.0% 4.3% 0.4% 0.0% 34.5%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
738.40 7.6M 1.1M 0.0k 455.1M 68.7M 0.0k sda
- A hozzászóláshoz be kell jelentkezni
az lehet hogy a trim (discard) nincs nálad bekapcsolva?
Gábriel Ákos
- A hozzászóláshoz be kell jelentkezni
Írnak erről, ekem vadiúj proxmox (ZFS) is sokat ír már üresen is. Ezzel mérem:
iostat -hy /dev/sda 60
Ha valaki leméri , kiváncsi lennék rá, nekem mindig 5-10 üresen is, több gépen is, persze lehet hogy valamit nagyon benézek.
https://forum.proxmox.com/threads/proxmox-writing-my-ssds-with-about-40gb-h-for-no-reason.87139/
- A hozzászóláshoz be kell jelentkezni
ha regi mt-d van, akkor openvpn. (igaz csak tcp modot tud meg lassu, de baj eseten adminolni az is jo). ha el akarod erni tavolrol tartosan a cuccokat, akkor az mar mehet VM-be valami vpnt tudo cucc (akar mt chr, pfsense, vagy kedvenc linux). en az 1T-t ugyanugy lvm-re raknam, es kiosztanam mindenkinek amennyi kell.
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!
- A hozzászóláshoz be kell jelentkezni
Köszönöm mindenkinek a válaszokat!
Ez alapján LVM lesz a nyerő (ezt ismerem rendesen, a ZFS-t még nem használtam).
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
Az itt leírtak alapján sokkal hasznosabb lett volna egy TrueNAS SCALE a Proxmox helyett...
Ahogy nézem, itt a fő feladat állomány megosztás, meg mellette menne ez+az VM-ben/konténerben. Nem a virtualizáció a projekt fő mogzatórugója, hanem a konszolidáció asszem.
Namost a TrueNAS SCALE meg pont egy jó kis bare metal NAS, és tud KVM-et meg Docker-t futtatni e mellett. Debian/Linux alapú a SCALE, és KVM/Qemu van benne virtualizására, Docker/Kubernetes konténerezésre. Nem keverendő a TrueNAS Core-ral, ami FreeBSD alapú és BHYVE a virtualizáció és BSD jail a konténerezési lehetőség.
Attól, hogy a Proxmox-ra van mount-olva adattartalmú diszk, és az varázsolódik ki a hálózatra a Proxmox által a hajam az égnek áll. Ennél az sem jobb (sőt), hogy az adat diszk be van fűzve egy VM-be vagy konténerbe. Ez durva hekkelés és csak a baj lesz vele.
Egyébként egy SSD-vel meg egy HDD-vel én nem csinálnám meg ezt az egyszerű rendszert sem. Ha az SSD megáll, akkor bukta a host és minden VM, ha a HDD megáll, akkor meg bukta az összes adat. Ez még otthonra is amatőr. Legyen két SSD, két HDD. Ezekre TrueNAS SCALE, és az csinálhatja a megosztásokat natívan, meg futtathatja a VM-eket. Arra kell figyelni, hogy a TrueNAS-ok (minden verzió) a boot meghajtót/meghajtókat semmi másra nem engedik használni (kikényszeríti a rendszer és az adat szeparációját - nagyon helyesen), így abba valójában kell kettő pici SSD a rendszernek (16 GB kell neki, annál bármi nagyobb megfelel), plusz kettő SSD a VM-eknek és kettő HDD az adatoknak. Persze minden tükrözve, azért kettő minden. Ez amit felsoroltam manapság bőven 100e Ft alatt megvan, ez még otthonra is vállalható, ha szervert akar az ember építeni.
Lehet persze Proxmox is, de akkor plusz egy réteg lesz a megosztások esetén, mert egy NAS VM kap virtuális diszket a Proxmox-tól (ha rendesen van a virtualizálás használva), és az ajánl ki megosztásokat. A TrueNAS használatával ez az egy (itt teljesen felesleges) réteg kihagyható.
Szóval összefoglalva: a Proxmox rendeltetésszerű használat esetén nem kezel adatot, nem oszt meg semmit, csak az adminisztrációs felülete érhető el a hálózatról. Minden funkciót VM-ek és konténerek látnak el. Ezek kapnak a Proxmox-tól virtuális diszk formájában tárterületet, amit a feladatuk ellátására használnak. A Proxmox szintjén kerelt állományok/adatok kizárólag a virtuális diszkek. A Proxmox-on használt fájlrendszer nagyjából bármi lehet. A rendelkezésre álló eszközöktől és igényektől függ, melyik legyen. A legegyszerűbb, ha csak 1-1 fizikai meghajtó van az LVM vagy az LVM thin. LVM Thin esetén lesz snapshot a virtuális diszkekre (ez azért nem olyan, mint a ZFS/BTRFS snapshot, de legalább van...). ZFS-t csak akkor használnék, ha valami mirror/RAID megoldás is lesz, 1-1 diszkre nem tennék ZFS-t (mert minek?). BTRFS támogatott, de pont mint a ZFS - 1-1 diszre minek?
Ha maradnia kell az 1 SSD, 1 HDD felállásnak, akkor akár mehetne fel sima Debian, arra Virt Manager a VM-eknek meg Samba, NFS, akármi a többi funkciónak. Akkor nem kell sem Proxmox, sem TrueNAS, mert csak az élet bonyolítása ezeket erőforrások nélkül desktop-on használni.
- A hozzászóláshoz be kell jelentkezni
Nos igen. Amit írsz azzal nem szeretnék, nem is tudok vitatkozni. Igazad van.
De alapvetően a virtualizáció és a hálózatos ismeretek tanulása volt a célom. És, hogy minden egyes szolgáltatást magam építsek fel, ezzel is tanulva. A TrueNas Scale egy kész megoldás. Profi és tökéletes, de számomra fontos az új ismeretek megszerzése is. Ezért választottam a virtualizácós utat. És miközben néha idejövök a béna kérdéseimmel a beszélgetésitekből összeszedem a tudást és ami fontosabb: a szemléletet. Ezért lennék itt a hup-on. :)
Szerk.: a redundancia nem volt szempont már a kezdetektől sem. Ezért nem választottam RAID,ZFS irányt.
Most például egy darabig nem nagyon leszek, mert annyi tanulni- és olvasnivalóm van amivel azt hiszem, jó darabig elleszek. :)
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
Ennél az sem jobb (sőt), hogy az adat diszk be van fűzve egy VM-be vagy konténerbe. Ez durva hekkelés és csak a baj lesz vele.
Így ugyan nem használtam még proxmoxot, de miért baj ez: (ha ugyanarról beszélünk)> qm set 101 -scsi1 /dev/disk/by-id/xxxxx-lemez1TB ( a vm a 101-es)
Nem ezt hivják pci passthrough-nak ?
Igy mehetne rá ,( ha már tanulás), egy virtuális trueNAS SCALE, (az 1 terrát megkapná a truenas, passthrough-n keresztül, vagyis közvetlenül a hardveren lenne) +32 GB a Scalanak az ssd-ből.
Ha nincs raid, hát nincs. SSD meg marad a VM-eknek.
De lehet hogy ez egy rossz elgondolás, csak olvastam erről, mostanában gondolkodtam rajta mint lehetőség.
- A hozzászóláshoz be kell jelentkezni
Ez szerintem egy jó elgondolás.
“The basic tool for the manipulation of reality is the manipulation of words. If you can control the meaning of words, you can control the people who must use them.”
― Philip K. Dick
- A hozzászóláshoz be kell jelentkezni
+1
Vmware nel RDM-el hozza tudok adni fizikai lemezt a VM-hez, ez egy teljesen bevallt/hasznalt modszer, messze nem "hack". Zomeben amugy iSCSI-t hasznal ra az ember, de "normal" fizikai lemezt is hozza tudsz adni CLI-bol, ha a lemez es a kontroller megfelel a szukseges kovetelmenyeknek.
- A hozzászóláshoz be kell jelentkezni
Én használok 3 diszkből álló RAID5 tömböt, amit így adok fel a VM-nek. Évek óta ZFS backup megy rajta (nem a VM-ek mentése). Mellette meg a virtuális gépek futnak gond nélkül.
- A hozzászóláshoz be kell jelentkezni
-
- A hozzászóláshoz be kell jelentkezni
LE TUDNÁ MÉRNI VALAKI AKINEK zfs-sel ssd-n megy a proxmox, a proxmoxba (nem a VM-eken)belépve ez mit mutat:
iostat -hy /dev/sda 60
(percenkénti írás érdekelne)
- A hozzászóláshoz be kell jelentkezni
avg-cpu: %user %nice %system %iowait %steal %idle
8.8% 0.0% 3.4% 0.5% 0.0% 87.3%
tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd Device
71.15 1.5k 1.2M 1.1M 92.0k 69.7M 66.4M sda
Gábriel Ákos
- A hozzászóláshoz be kell jelentkezni
Köszönöm a segítséget !
Igen , nálam is ilyesmi (sajnos), kicsit soknak tartom, 69,7 MB /perc, az kb 3 Terabájt/hónap, 36 TB/év.
Kis asztali ssd-t ledarál viszonylag gyorsan. Fórumokon arra jutottak, hogy ez van, vegyél DC ssd-t.
ZFS íráserősitésre gyanakodnak, lehet.
- A hozzászóláshoz be kell jelentkezni
DC SSD-m van :)
Amúgy ha a kubernetes elkezd rajta darálni akkor másodpercenként van "ennyi gondja" és ez csak egy kis itthoni dev env.
Gábriel Ákos
- A hozzászóláshoz be kell jelentkezni
Igen , ez a "nyugalmi". Próbálkoztam Samsung Pro asztaliakkal, egyszerűbb rögtön kukázni szegényeket.
- A hozzászóláshoz be kell jelentkezni