Dell T340 - Proxmox (kérdések)

Fórumok

Sziasztok!

Adott egy DELL PowerEdge T340 szerver:

  • Intel Xeon E-2226G CPU @ 3.40GHz
  • 32GB RAM (2 x 16GB)
  • PERC H730P
    • 1 x SSD 480GB (SSDSC2KB480G8R, Intel SSD D3-S4510 Series)
    • 4 x HDD 2TB (SAS 12 Gbps, Model: Dell MG04SCA20ENY /"Toshiba"/)

A szerverre Proxmox lesz telepítve (99%). A Proxmoxon néhány virtuális gép fog futni (főként Debian). A VM-eket fokozatosan tervezem rajta "beüzemelni", ameddig észerűen terhelhető.

1. terv:

Az első terv az volt, hogy a Proxmoxot a 480GB-os SSD-re telepítem, a VM-eket pedig a 4 db HDD-re (2-2 HDD HW RAID1-ben /esetleg mdadm RAID-1/). De ezt a verziót elvetettem, mert nem akarom magamat megszívatni azzal, hogy ha tönkremegy az SSD, akkor nem indul a rendszer.

Kérdés (naiv) 0.: Szerintetek is rossz ötlet ezen terv szerint a Proxmoxot az SSD-re telepíteni?

2. terv:

Az újabb terv szerint: SSD Non-RAID, 2-2 HDD HW RAID-1. A létrehozott egyik RAID-1 tömbre telepítem a Proxmoxot, és a Non-RAID SSD-t illetve a 2. RAID-1 tömböt beállítom a Proxmoxon újabb Storage-ként.

Amit már megcsináltam: Az SSD-t Non-RAID-re állítottam, és 2-2 HDD-re bekonfiguráltam HW RAID1-et (de a Proxmoxot még nem telepítettem).

Kérdések a RAID-el kapcsolatban:

1. HW RAID1 estén megfelelőek / optimálisak a következő beállítások a Virtual Disk létrehozásakor?

  • Stripe Size: 64KB
  • Read Policy: Read Ahead
  • Write Policy: Write Back
  • Force WB with no battery: <nincs bepipálva>
  • Configure Hot Spare: <nincs bepipálva>

(Ha ezek a beállítások nem optimálisak, akkor még tudom törölni és újra létre tudom hozni a RAID-1 Virtual Disk-eket.)

További kérdések:

2. A Proxmox telepítő fogja látni a 0. VD-t (RAID-1 tömböt)? (Igaz ez holnap kiderül, ha megpróbálom telepíteni a Proxmoxot :-) Megválaszolva: Igen, látja.

3. Jól tudom, hogy a Proxmox telepítő - alap telepítés esetén - max 100GB-os root partíciót hoz létre? A többi fennmaradó hely pedig a data (LVM-Thin) része lesz? Megválaszolva: Igen a root partíció ~100GB.

4. A telepített Proxmox fogja látni az (Non-RAID) SSD-t? (Igaz ez holnap kiderül, ha sikerült telepíteni a Proxmoxot :-) Megválaszolva: Igen, látja.

 

Bármilyen építő jellegű javaslatot, ötlete szívesen fogadok.

A telepítendő VM-ekkel kapcsolatban is van egy-két kérdésem, de azokat egy következő bejegyzésben teszem fel.

Hozzászólások

Miért nem SAS SSD és főleg egy darab? Miért nem legalább kettő és az tükörben? Miért nem RAID 1+0 (10), hanem két darab RAID 1 tömb? Ezen a RAID vezérlőn egyáltalán van még akksi, nem kondenzátorokkal dolgozik? A szoftveres RAID egyáltalán hogy merült fel?

A szerver eredetileg csak a 4 HDD-vel érkezett (volna), az SSD-t "pluszba kaptuk" ;-) Talán majd a következő újratelepítés idejére, sikerül beszereztetni 2 új SSD-t és +1 SSD kertet.

A RAID-1 mellet felmerült a RAID-5, RAID-6 és a RAID-10 is lehetőségként (másik régi szerveren RAID-5 van), végül úgy döntöttem, hogy két RAID-1 lesz (de ez még nincs kőbe vésve).

Igen, ebben a RAID vezérlőben van aksi (és 2GB RAM-mal gazdálkodik).

Az SW RAID úgy merült fel, hogy egyes fórumokon inkább azt javasolják, mert mi van ha megpusztul a RAID vezérlő és már nem lehet olyat beszerezni?! Másik javaslat szokott még lenni (amit olvasgattam), hogy Proxmox alatt inkább ne is használjunk HW RAID-et, hanem ZFS-st (viszont ZFS-t egyelőre nem akarok, mert nem ismerem, nincs vele tapasztalatom, továbbá nagyobb CPU és RAM igénye van).

Pedig a kondenzátor pakk biztosabb. Nem olyan szar ez a vezérlő, mindenképp HW RAID-et javasolnék és csakis RAID10. A RAID 50 vagy 6, 60 ilyen kevés lemezzel kivitelezhetetlen, pedig ideális az lenne. Az sw RAID felejtős, és ahhoz sem árt kis tudás ha máshol akarod feléleszteni. Ezeket a vezérlők pedig felismerik már akár más gyártó tömbjeit is, tehát semmi esélye annak, hogy ne működne.

Az SSD-t tedd el, mert ilyen rendszerbe belerakni pazarlás illetve ha megdöglik eléggé komoly gond is. A tömbbe sem tudod beilleszteni mert olyan kicsi. Ha licence van SSD cache, smart path vagy ahogy épp a DELL hívja, arra jó lehet - gyorsítani a rendszert. ZFS? Szerintem arról is gyorsan tegyél le ilyen szerény konfiggal - teljesen felesleges plusz ahhoz memória sem ártana.

Remélem később nem fogom megbánni, de maradtam a két HW RAID1-es elképzelésnél.

RAID6-ot javasolt a fenntartó intézményünk rendszergazdája is, ők azt használják storage-ok esetén, de ők nem 4 HDD-vel, hanem sokkal többel.

Az SSD egyelőre benne maradt; a terv az, hogy azon lesznek a teszt VM-ek (kis erőforrás igényű Debian-ok). ZFS-t még nem használtam, minimális ismereteim vannak róla, többek között ezért nem használom.

az az egyszem ssd eleg orosz rulett :) en azt max cachere hasznalnam. ha baratsagban van a zfs-el akkor abba tuszkold be.

amit en csinalnek: 2-2 disk kulon raid1-ben, egyik elejere a proxmox (32G boven eleg ha nincs minden szar felrakva a hostra), a maradek LVM PV, masik teljes disk LVM PV, ebbol egy kozos VG, a vg-be cache poolnak az ssd-t, es a vg-t meg hozzaadva a proxmox storagenak. elsore alap debian felrakva, lvmek osszerakva (howtok alapjan), es utana ratelepitve a proxmox.

A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

Köszönöm a megerősítést az SSD-re való telepítés mellőzésével kapcsolatban, én is hamar elvetettem az ötletet.

Érdekes konfig amit javasolsz, alapvetően nem is jelentene problémát mindezt egy alap Debian 11 telepítés után összerakni; ezek közül csak LVM cache-t nem használtam korábban, de gondolom 3-4 parancs kiadása lenne a konfigurálása. De ha működi a Proxmox telepítője ezen a szerveren (márpedig működik :), akkor nem feltétlenül akarok egyedi konfigot.

Szóval telepítettem is a Proxmox-ot az első RAID-1 tömbre (a telepítő mindkét RAID tömböt látta, és a Non-RAID SSD-t is).

  • A System Setup-ban UEFI-re állítottam a szükséges beállításokat (miért is ne), és indítottam a Proxmox telepítését.
  • A Proxmox telepítő kezdőoldala be is töltődött, az Install Proxmox VE menüpont kiválasztása után el is indult a folyamat, de a 17"-os (max 1280x1024) monitoron az Input Not Supported szöveg jelent meg. A fekete képernyő mögött a telepítő 99%, hogy futott, mert az Alt+A (Abort) billentyűkombinációval meg tudtam szakítani a telepítési folyamatot. Vagy egy órám ráment a kísérletezésre, amíg megtaláltam a megoldást: elővettem egy régi CRT monitort, azzal nem jelentkezett a probléma, majd utána már "működött" a LCD/TFT monitorral is a telepítési folyamat (fórumokon utánaolvasva más is találkozott ezzel a hibával, az egyik hozzászólás alapján a megoldáshoz lehet, hogy elég lett volna egy "Enter").
  • A telepítés sikeresen lefutott.
  • Újraindítás után a Grub kezdőképernyője megjelent, de a rendszer indulása közben / után a monitoron újra az Input Not Supported szöveg jelent meg, de a Proxmox webes felülete elérhető volt:
    • letiltottam a pve-enterprise "csomagtárolót",
    • engedélyeztem a pve-no-subscription "tárolót",
    • frissítettem a csomagokat, majd újraindítottam a szervert; meglepetésemre az újraindítás után a monitorral nincs semmi probléma.
  • Dokumentáltam az eddig elvégzetteket.

Egyelőre itt tartok. Hamarosan jön a teszt VM telepítés (LXC lesz).

További kérdéseim a telepítendő virtuális gépekkel kapcsolatosak.

Első körben két Debian 11 virtuális gép lesz telepítve (a korábbi Debian 9 alapú /all-in-one/ Samba AD DC-t kell átraknom virtualizált környezetbe.

  1. Az egyik Debian 11 fő szerepköre(i): Samba AD DC, DNS (esetleg még DHCP szerver). Terveim szerint ezen a szerveren csak a sysvol és a netlogon hálózati megosztás lesz.
  2. A másik Debian 11 szerepköre: Fájlmegosztás Samba-val. (Terveim szerint ezt beléptetem a létrehozott új Samba alapú tartományba és ezen lesznek a hálózati megosztások; kezdetben kb. 1,3 GB adat).

Kérdések:

5. Okoz-e valamilyen problémát, ha az átállás ideje alatt két Samba AD DC lenne a hálózatban; a régi Debian 9-en (suliOLD.lan domain) az új pedig Debian 11-en (suliNEW.lan domain)? (Jelenleg egy PC van csak beléptetve a meglévő Debian 9 alapon futó Samba tartományba, a többi újratelepítve várja a sorsát.)

6. Amennyiben valaki mostanában állított be Debian 11-en Samba AD DC-t, akkor mire érdemes figyelni? (Samba Release History-kat elkezdtem olvasgatni, elég sok változás történ a Debian 11-es Samba-ban a Debian 9-ben lévőhöz képest.)

7. A Samba AD DC szerepkörű Debian 11-et hogyan telepítenétek: KVM vagy LXC?

8. Jó választás-e a fájlmegosztást végző Debian 11-et LXC-ként telepíteni?

9. Hogyan ajánlott a 2. RAID-1 tömböt "elérhetővé tenni" a hálózati fájlmegosztást végző VM számára? Ehhez kapcsolódóan, a Proxmox alatt milyen Storage-ként érdemes létrehozni a 2. RAID-1 tömböt (Directory, LVM, LVM-Thin)? (Tervem szerint a hálózati megosztások a 2. RAID-1 tömbön lennének, ami kb. 1,8GB-os.)

Mindenképpen tele van a rendszer SPOF-fal. 

A Linux-ok nálunk LXC-ben futnak, jobbak a tapasztalatok. Storage software alapú (Ceph).

De még így sem elég HA a rendszerünk, gondolkozunk áttérni OKD-ra, vagy egyéb k8s alapú okosságra.

Az első mondatoddal nem tudok vitatkozni, nem is akarok ;-) igazad van. Az adatokról lesz mentés, a szerverek telepítését dokumentálom.

Középiskoláról van szó, annak is örülök, hogy ilyen szervert sikerült beszerezni :) Szervert korábban 2008-ban vásároltunk.

Akkor megpróbálkozom én is LXC-vel.

Mivel valószínű fogalmad sincs miért írta az LXC-t, és azt sem tudod, hogy mi a különbség a privilegizált és a nem privilegizált LXC konténer között, így inkább maradj a virtuális gépnél. Majd idővel utána olvasol és megérted ezeket, és akkor lehet variálni. Csak így nulla ismerettel nem kell olyasmibe vágni, ami nem 1x1.

Korábban is használtam már Proxmox-ot (2.0, 2.1 verziókat, talán még 3.0-át is), épp most kerestem elő a régi dokumentációimat, de akkor még OpenVZ volt benne. És talán volt már akkor SystemD, de a Proxmox-ban biztosan nem. Utána nem volt alkalmas gépünk a Proxmox futtatására, ezért felhagytam a használatával, és nem követtem a Proxmox fejlődését.

A Proxmox dokumentációkat olvasgatva új dolog volt a privilegizált és a nem privilegizált LXC konténer fogalma, tehát igazad van, nem tudtam mi az (most is csak nagy vonalakban), és még van más is, amit nem tudok, hogy mire való, de igyekszem utánaolvasni a dolgoknak. Most kb. annyit már tudok a privilegizált és a nem privilegizált LXC konténerekről, hogy a nem privilegizált újabb systemd verziót igényel, cgroupv2-re épül, míg a privilegizált a Proxmox 7 előtt használt "legacy" hibrid mód. És a nem privilegizált LXC az ajánlott.

De azt már tudom, hogy pl. nem privilegizált LXC esetén nincs quota, nekem pedig arra szükségem lenne Samba fájlszerver esetén. Ezért tettem fel a primitív kérdéseimet.

Én azt javaslom, hogy az egy szem SSD-t tedd félre (ha nem tudtok mellé másikat venni), mert így csak a bajod lesz belőle. A 4 HDD-ből konfigurálj egy RAID10 tömböt a HW RAID vezérlőn. Virtualizáció alá csapnivaló a HDD, de RAID10-zel legalább meg tudod duplázni az IOPS-t (a rettentő kevésből rettentő kevés szor kettő lesz), némi redundancia mellett, és az sokat jelent ebben a helyzetben.

Mi egyébként így állítunk össze egygépes virtualizációs host-ot: 2x 250-500 GB SSD RAID1-ben a host OS-nek (ami nálunk is jellemzően Proxmox VE), 2x vagy 4x 2 TB SSD a VM-ek rendszer (virtuális) lemezeinek RAID1 vagy RAID10 konfigurációban és igény szerint 2x-6x HDD a nagy mennyiségű adattárolásra (file megosztás, levelező szerver, stb.), amit tárolási igény szerint RAID1-RAID10-RAID6 módon konfigurálunk. E mellé természetesen még minimum egy NAS kerül a mentéseknek, és erről vagy egy másik NAS-ra, vagy felhős tárolóba megy még mentés példány (a mentés nagyon fontos!). Ennél egyszerűbb rendszert - felelősséggel - nem lehet szerintem összerakni.

Az SSD egyelőre marad benne, de még nincs Storage-ként hozzáadva a Proxmoxhoz. De az is lehet, hogy megy a polcra a javaslatotok szerint; ezért kérdezem, hogy nem fog problémát okozni a Proxmoxnak ha egyszer csak eltűnik alóla a még nem konfigurált SSD (?).

Végül maradtam a két HW RAID1-nél. Mentés van / lesz.

A 9. kérdésemre tudnál valamilyen jó javaslatot adni, hogyan csináljam? A rendelkezésre álló második ~1.8TB RAID-1 tömbön szeretném tárolni a Samba hálózati megosztásokat (jelenleg: 1,3TB)

https://hup.hu/comment/2814797#comment-2814797

Ez egy szakmai fórum, szakembereknek. E szerint válaszolok. Ugyanis két lehetőség van: vagy érted amiről beszélünk, vagy megtanulod. Senki sem születik a tudással, de lyan opció nincs, hogy nem érted, megtanulni sem akarod, de segítséget vársz a szűkös tudás alapján kitalált rendszerhez. Én a magam részéről már unom az ilyen posztokat, amikor a "laikus" kérdező kitalál valamit, és a teljes topic-on keresztül azt bizonygatja szakembereknek, hogy az lesz a legjobb verzió, és következetesen figyelmen kívül hagyja a kérdésére adott válaszokat. Az nem baj, ha valamit nem értesz, akkor kérdezz vissza, hogy ez vagy az miért, hogyan. Az a baj, mikor elvetsz valamit azért, mert nem érted, és tovább lépsz az addit is rossz megoládssal.

Szóval miért maradt "végül is" a két RAID1 tömb? Valószínű azért, mert az úgy egyszerűbb, és különben is, nem vártad meg a válaszokat, hanem cselekedtél, és nem akarod elölről kezdeni. Így születnek a szar rendszerek, ami jelen esetben - ezek szerint - veletek lesz vagy újabb 14 évig.

A két RAID1 tömbbel azt nyered, hogy 1-1 tömb sebessége (IOPS, mert VM alatt az a fontosabb, nem a maximális átviteli sebesség) egyetlen HDD sebességével fog egyezni (100-200 IOPS), míg tárkapacitásban 2x ~1.7 TB-tal gazdálkodhatsz, és ha pont nem jól jön ki a VM diszk konfig, akkor mindkét tömbön marad néhány száz GB, ami nem lesz jó semmire. Redundancia terén mindkét tömb elveszíthet 1-1 diszket.

Egy RAID10 többel azt nyered, hogy a teljes tömb sebessége két HDD összesített sebességének fog megfelelni (200-400 IOPS), és ~3.4 TB tárterületet tudsz szétosztani tetszőlegesen, mindenféle veszteség nélkül. A redundancia a teljes tömbre vetítve: 2 lemez veszhet el, de természetesen a RAID10 tömb két RAID1 altömbjéből 1-1, tehát egyidőben nem veszhet el az egyik tükör mindkét eleme.

Ergo azonos redundancia mellett nagyobb sebességet és nagyobb tárkapacitás kiosztási flexibilitást érsz el a RAID10 tömbbel.

Akkor most várom a magyarázatot, miért marad az egyébként a feladathoz rosszul választott hardveren a rosszabbik konfiguráció mégis?

Köszönöm a részletes szakmai magyarázatot RAID1 - RAID10 vonatkozásában. A kapott tanácsokat igyekszem figyelembe venni, és alkalmazni, az ismeretlen dolgoknak pedig utánaolvasni.

Igen, lehet, hogy rossz döntést hoztam a RAID1-el, a következő újratelepítés alkalmával újraépítem RAID10-re.

A raid10 két raid1 stripe-ba rakva. Amennyi tömb lesz a stripe-ban, kb akkora a szorzó, de persze ez egyszerűsítés.

https://docs.freebsd.org/doc/6.0-RELEASE/usr/share/doc/handbook/geom-st…

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

hat ez elmeletben igaz is. meg bizonyos workload eseten: chunksize*2 blokkok eseten telleg tud parhuzamosan irni, igy ugy tunhet hogy dupla speed van. de ha csak random helyekre irogatsz/olvasol 1-1 bajtot (illetve chunksize-nal kisebbet) akkor nincs lehetoseg parhuzamositani (kiveve persze ha a "random" mindig masik diskre irogat) . az iops meg ugyanannyi lesz mint egy disknel.

A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

Ez pontosan így van! Hasonlatos a bond interfészekhez, ahol néhány speciális esetet kivéve nem tudja egyetlen kapcsolat kihasználni a bond összesített sávszélességét.

De jelen esetben az a feltételezés, hogy virtualizációs szerverben lesz ez a RAID10 kötet, ami egyszerre több virtuális gépet futtat, így nagyobb esélye lesz a RAID10-ből jobb teljesítmányt kihozni, mint egy sima RAID1-ből..

... hát pont, hogy kisebb az esélye.
Raid10 leginkább szekvenciális IO pattern esetén "gyors", a sok VM pedig kb. garantálja a tökéletesen random IO-t.

4 diszkből én nem raid10-et, hanem 1db raid5-öt csinálnék. Ez egyrészt gyorsabb, másrészt a helykihasználása is jobb.

Egyébként meg ha sebesség fontos, akkor meg nem 4db tányérossal kel szórakozni, hanem venni pár SSD-t.

Ezeket a (már elnézést) butaságokat hol olvastad? Mert a RAID10-nek pont az a lényege, hogy az IOPS legyen magasabb, és az IOPS a véletlenszerű műveletek mérőszáma, nem a szekvenciális átvitelé... A sebességet rendeli a hasznos tárkapacitás alá.

A fellelhető összes doksi, ami RAID-ről szól különböző mélységekben, ezt írja, az összes doksi, ami virtuális gépek alá szánt tárolókról szól, ezt írja, és a gyakorlat is ezt mutatja. Nem, nem fórumokban olvastam, hogy melyik a jobb. Intel, LSI, Adaptec, VMware, stb. doksikból vettem az információkat.

A RAID5-tel pedig ne vicceljünk már, hogy az gyorsabb lenne... Pontosan a RAID5-6 tömbök jók szekvenciális olvasási sebességben és az alacsonyabb overhead-ben, de bármilyen random műveletre, meg bármilyen írásra csapnivalóak (úgy általában).
A RAID5 tömb írási sebessége kb. egy HDD sebességének felel meg (kellően gyors RAID vezérlő esetén), az írási IOPS is egy HDD értékének felel meg legjobb esetben. Ellenben a RAID10 tömb egyszerre két diszkre ír hasznos adatot (és két másikra a "paritást"), ami kapásból nagyjából dupla sebesség minden tekintetben. Olvasásnál meg pont ugyan úgy párhuzamos a művelet, mint RAID10 esetén...

Arról nem is beszélve, hogy újraépítés RAID5 tömbön kb. csigalassú egy RAID10 tömb újraépítési sebességéhez képest. Ráadásul újraépítés közben a RAID10 tömb nem veszít a sebességéből (érdemben), ellenben a RAID5 tömb durván kisebb teljestményt ad, amíg nem készül el a helyreállítással (az összes jó diszket folyamatosan olvassa, az újat meg folyamatosan írja, amíg el nem készül).

Szóval a RAID5 közepes méretű diszkekkel (max. 2-3 TB-ig biztonságos), max. backup vagy archiválási feladatokra való (bármire, aminél szekvenciális olvasás a fő terhelés, és nem számít az írás sebessége), semmiképen sem virtualizálás alá. Régen, amikor a (vállalati kategóriájú) diszkek aranyárban voltak, akkor kényszerűségből használtak RAID5-öt, hogy kevesebb diszkből meglegyen a kívánt kapacitás, és együtt éltek a lassúságával. Manapság meg nem is tudom, vállalati környezetben használ-e valaki RAID5-öt bármire. Én nagyon rég nem találkoztam ilyen tömbbel sehol, még backup/archiválás feladat alá is RAID6 vagy RAID60 kerül (lemezek számától függően).

Az meg, hogy SSD-t kellett volna venni, tény. De ha végig olvasod a topic-ot, akkor 1) ez már rég tisztázódott, 2) egy iskoláról beszélünk, ahol gondolom ennek is örülnek, hogy sikerült beszerezni.
Más oldalról addig is volt magas IOPS igény, meg virtualizáció, amíg nem volt SSD, és akkor is meg lehetett oldani (csak sokkal több darab diszkkel, mint manapság)...

"s az IOPS a véletlenszerű műveletek mérőszáma, nem a szekvenciális átvitelé."

Na, itt kellet volna abbahagynom az olvasást. Tanulj még kicsit, és vegyél vissz az arcodból. (Az IOPS egy teljesítmény mutató, a szekvenciális/random  pedig karakterisztika)

 

Oké, valóban hülyeséget írtam, nem gyorsabb a raid5, valójában azt akartam írni, hogy erre a célra elég gyors lesz, és jobb  teljesítmény/helykihasználás értéke. Ha csak nem akarunk minden IO-t kipréselni a rendszerből, akkor általában a raid5 jobb választás. A fenti 4 diszkes iskolai rendszenek szerintem bőven jó.

 

"A RAID5 tömb írási sebessége kb. egy HDD sebességének felel meg ...  Ellenben a RAID10 tömb egyszerre két diszkre ír hasznos adatot (és két másikra a "paritást"), ami kapásból nagyjából dupla sebesség minden tekintetben. "

Egészen pontosan egy darab IO műveletet egyszerre két diszkre ír ki. Attól nem lesz több az IOPS, ha duplán írsz mindent.  Két tükrözött diszk írási sebessége megegyezik a lassabbik diszk írási sebességével. Fentebb is írták, hogy chunk-size nál kisebb, random io esetén simán lehet, hogy nem egyenletesen oszlik el az írási IO a tükörpárok közt, és a raid10 írási teljesítménye romlik.
Ez egy 12 diszkes raid10 esetén nem mérvadó, de egy 4 diszkesnél már előfordulhat, főleg, ha nincs cache előtte.

 

Egyébként Raid 5 full stipe write esetén, ami szekvenciális IO esetén gyakori, gyakorlatilag egyszerre írja az összes diszket. Enterprise storage-ok, nagy cache-el (16GB+) pont ezzel operálnak, és ott a raid5 is gyors, írásra is.

 

"Szóval a RAID5 közepes méretű diszkekkel (max. 2-3 TB-ig biztonságos), max. backup vagy archiválási feladatokra való"

A gyakorlatban viszont  vidáman rakunk enterprise storage-ekbe 12 diszkből álló raid tömbökből 100TB nagyságú területet, OLTP és DW adatbázisok alá is.

 

"Manapság meg nem is tudom, vállalati környezetben használ-e valaki RAID5-öt bármire"

Igen, kb mindenki. Mert a jó storage storage még most is nagyon sok pénzbe kerül és a raid5 nem az a raid5 aminek te gondolod. Az uitóbbi 22 évben rendszeresen dolgozom vállalati adattárolókkal (A legelső storage-om egy EMC  Symmetrix 3930-as volt), sőt egy ideig hivatalos EMC supporton is voltam, és midrange vállalati  storage-eket (clariion széria)  telepítettem, sőt, benchmarkoltam is raid tipusokat különféle nagy storage-ek esetén. Raid10-et spec. helyzetben rakunk csak enterprise storage-ba, mert baromira pazarol, és egy ebbe való 10-15krpm SAS diszk 1GB-re vetített ára egy nagyságrenddel több mint a PC-kuckóban megvehető 5400rpm-es satáé.

A saját storage-om pl. egy IBM Storwizve V5000,  és raid6-al használom több tucat VM kiszolgálására.
 

Bocsánat, ha megbántottalak, nem az volt a szándékom. Igyekszem tanulni folyamatosan. Jelen esetben is sajnálom, hogy nem szántam néhány sort pluszban annak, hogy az IOPS miért _fontosabb_ random IO esetén és a throughput miért _fontosabb_ szekvenciális IO esetén. Pongyonlán fogalmaztam.

De ahogy sokan sok helyen írják, akinek nem tetszik, görgessen tovább. Vagy: szóljon be, magyarázza el, mutassa meg, és akkor tanulok újra valamit, amit eddig nem, vagy rosszul tudtam. A vita építi a jellemet és a tudást (amennyiben nem parttalan).
Te odavetettél egy alapjában véve hamis állítást, nem indokoltad semmivel, nem hivatkoztál semmi referenciára. Aztán most jössz a válaszodban azzal, hogy az valóban nem úgy van, de a sokmilliós vagy sok tízmilliós vállalati tároló eszközök ezt másképp csinálják, és ezért tanuljam újra a dolgokat. És én vegyek vissza az arcomból.

Ennek az iskolai rendszernek pont az a lényege, hogy olyan kicsi teljesítményű a tároló alrendszere a sima HDD-k használata miatt (ráadásul kevés van belőlük), hogy minden IO-t ki kell belőle préselni, amit csak lehet. Ráadásul RAID5 esetén egy diszk kiesésével teljesen elveszíti a tömb a redundanciáját a helyreállítás végéig, míg RAID10 tömbbel még van esély rá, hogy egy második meghibásodó lemez a másik tükör része, így a tömb életben marad. Ez nagyon nem utolsó szempont ott, ahol a gépet várhatóan jóval tovább tartják használatban, mint amennyit a garancia lefed, és garanciaidő után napokat-heteket kell kilincselni, hogy adjanak pénzt egy nyomorult csere HDD-re.

Amit leírtál, mind szép és jó, de ebben a topic-ban hol került elő az enterprise storage, mint lehetőség? Te egy olyan felállásról beszélsz, ahol külön kontroller (jellemzően valami szerver alapú vagy célhardver) szolgál arra, hogy a tömb olvasását/írását a végletekig optimalizálja, így hozza ki a legnagyobb teljesítményt az adott felállásból. Ráadásul mindez valamilyen HA módon, teljesen egyedi szoftver-hardver eszközön, csilliárdért.

Itt meg szó van egy összesen kb. 800 ezer Ft-os szerverről, benne 4 db 7200 rpm-es HDD-vel, és egy "integrált" RAID vezérlővel...

Ezt külön kiemelem, hogy erre reagálok: "Egészen pontosan egy darab IO műveletet egyszerre két diszkre ír ki. Attól nem lesz több az IOPS, ha duplán írsz mindent." Egy RAID10 tömb esetében egyészen pontosan (minimum) 4 diszkre ír a rendszer egyszerre, ebből kettő az írandó (új) adat fele-fele (stripe kapcsolat), a másik kettő ezek másolata (mirror kapcsolatok). Ergo valóban dupla olyan tempóval ír a RAID10 tömb, mint a RAID1. Amit leírtál, az a RAID1 tömb működése (1 eredeti írása és mellé egy másolat írása), és ott valóban 1 diszknyi az IOPS.

A RAID5-re mint jelenségre reagálva:

Ha egy random informatikus az egy szem szerverébe berak 4 db 10 TB-os HDD-t, aztán csinál belőle egy RAID5 tömböt (mert azt írták a HUPon, hogy az enterprise storage-ba is jó az, akkor nekem pláne jó lesz), és egy diszk meghal, majd az újraépítés során egy másik diszken lesz egy bit olvasási hiba, és összeomlik miatta a tömb, akkor utólag elmagyarázod majd neki, hogy valójában mégiscsak figyelembe kell venni a RAID5 sajátosságait méretezéskor, és ilyen kis méretben számolni kell olyasmikkel, amikkel az enterprise storage tervezői számoltak anno, hogy aztán majd az üzemeltetőnek ne kelljen? Vagy egyszerűen csak beírod majd, hogy "ugye van biztonsági mentés, nem voltál olyan amatőr, hogy nem csináltál, amiből most visszaállhatnál"?

Újabb pongyola fogalmazás volt részemről, a "vállalati környezetben". "Kisvállalati" környezetet kellett volna írnom, de ezek topic tartalma alapján nem gondoltam, hogy ennyire pontosításre szorul a dolog. (nagy)vállalati környezetben elhiszem, hogy az van amit írsz. Azt persze - mivel nem dolgozom olyan helyeken - nem tudom, hogy megszokásból vagy tudományos/műszaki alapon van úgy, ahogy. Tippre az előbbi. Az utóbbi 15 év ilyen irányú írásaiban soha, senki semmilyen méretű rendszerben nem javasol egy diszkes redundanciát. Meg olyanra sem sikerült bukkannom - pedig most újra nekifutottam a Google-nek - hogy bármi gyártó sima RAID5-6 tömböt javasolna virtualizáció alá bármilyen méretezésű eszközön RAID1, RAID10 helyett.

Az, hogy milyen tárolót, milyen konfigurációval minek a kiszolgálására használsz Te magad, még nem feltétlen jelent igazolást az állításaidra. Megnéztem ezt az eszközt, és az IBM oldala szerinti adatok alapján olyan óriási nagy teljesítményt nem tud leadni, csak ha ki van tömve diszkekkel. (Itt ugye négy elérhető lemezről beszélünk.) Az, hogy több tucat VM fut róla, megintcsak nem jelent igazából sokat, mert az a több tucat VM mit csinál? IO intenzív dolgot, vagy CPU intenzívet? Ha azt írnád, hogy átlagosan X IOPS írási és Y IOPS olvasási teljesítményt ad le a VM-ek felé, ezzel párhuzamosan az átlagos blokkméret Z, és W átviteli sebességet tud elérni ilyen felállás mellett, az mutatna valamit a tárolóról számunkra. De az, hogy RAID6 konfigban (diszkszám, méret és típus nélkül) több tucsat VM-et kiszolgál (a VM-ek jellemzése nélkül) a majdnem semm információ.

Az én itthoni játszós szerveremben ZFS alapú tárolás van, 8 lemezes RAID6 (jellegű) konfigurációban, és nagyon meg vagyok vele elégedve, majdnem 10 TB-nyi adat kiszolgálására használom, javaslom bárkinek, kisebb szerverbe!

(Ja, a VM-ek egy SSD tükörről futnak, az alap rendszer egy másik SSD tükrön van, csak a TrueNAS VM-nek 16 GB memóriája van a 8 HDD-hez, és a 10 TB adat csak film és sorozat, ami egyetlen TV-n szoktunk nézni; de ezek teljesen mellékes paraméterek, elég lett volna csak az első mondatot beírnom, az alapján tuti mindenkinek jó a RAID6 szerverbe, mindenre is).

Kíváncsi lennék a számításra ami mögötte van, de nem hinném, hogy hasra ütéssel történt:

https://expedient.com/knowledgebase/tools-and-calculators/disk-raid-and…

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

nekem a 2x raid1 lvm-el osszefogva nagyobb szabadsagot at: kesobb ha bovites/csere(ssdre) van, akkor nemkell(het) az egeszet szetrombolni, hanem lehet csak az egyiket cserelni: pl kesobb kap/szerez az op egy ssd part, azt konnyu belerakni, es az vm os-ek atkoltoztethetok az ssdre, a samba adatok meg maradnak hdd-n.

A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

A 9-es kérdésre a válasz az, hogy tesztelj! Amúgy is illik éles üzem előtt tesztelni. Én jártam úgy LVM-Thin-el, hogy katasztrofálisan lassú volt a teljesítménye, a qcow2 a sokszorosát hozta. Support ticket lett belőle, de a gyártó nem tudta megmondani miért csinálja ezt a kontroller. Marad a sima LVM qcow2-vel, így jártunk.

Teszt, kockás papírra felír, az nagy segítség lesz a választásnál.

A SMBA LXC kombó nálam régóta és jól működik. Pár dolgot itt is tesztelni kell, pl. a fuse mount alapból nem megy, hozzá kell nyúlni a konfighoz és mindenképp meg kell érteni a privileged-unprivilged konténer különbséget, mert bele lehet szaladni szívásba később.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Lehetőségeimhez és időmhöz mérten - az éles üzem előtt - igyekszem tesztelni az alkalmazott megoldásokat.

Iskolai környezetről van szó, a tanév 1-én kezdődik, de a tanárok már 23-án jönnek. Tesztelhetem én most egyedül a rendszert, de az igazi terheléses teszt szeptember 1-e után lesz, amikor mindenki itt lesz. Végső esetben, ha nem sikerül számomra is elfogadható állapotot elérni augusztus 23-ig, akkor még egy évig marad a régi rendszer, és a jelenlegi tartományba léptetem be a PC-ket. Év közben nem lehet megcsinálni egy váltást, de akkor a következő tanévre ki tudom építeni az új környezetet.

A Samba-t AD DC-ként használod? A Samba-n használsz-e quota-t az LCX alatt? Ha igen, akkor mire kell figyeljek a privileged LXC esetén? A fájlmegosztásra egyedi LXC konténert használsz, vagy a fájlmegosztás is a Samba AD DC-n van?

Ó, hát a 9-es kérdésre csak részben válaszoltam.

Én nem javaslom ebben a felállásban az AD és a file szerver funkciók szétválasztását, mert csak a sok plusz munka lesz vele telepítéskor és ment közben is, ellenben semmi előnye nem lesz egyetlen fizikai szerverrel. A két VM csak versenyezni fog a diszk alrendszerért, tök feleslegesen, mert valószínű nem lesz másik szerver a mostani mellé, így nem fogod egyik VM-et sem áthelyezni idővel máshová. Akkor meg mindek szétbontani?

Egy VM-be Zentyal-t kell telepíteni, abban teljesen jóra össze van reszelve a Samba AD és a file megosztás, szuperul lehet kezelni a nagy részét a Windows-ban lévő AD tool-okkal (azokon a határokon belül amit a Samba szab). A megosztások alá 500 GB-onként vagy 1 TB-onként csatolnék be virtuális diszkeket, amiket (a virtuális gépen belül) LVM-mel kezelnék. Elsőre négy 500 GB-os vagy két 1 TB-os virtuális diszk lenne a VG-ben, így a mostani adatmennyiséggel 66%-os foglaltság mellett lenne ~33% szabad, amit majd aztán bővítesz az adamennyiség növekedésének ütemében. Talán az 500 GB-os virtuális diszkek praktikusabbak ilyen szűkös tárkapacitás mellett.

A host-on sima LVM-et használnék, a qcow2 formátum nagyon jól ki van találva a VM-ek alá, és a snapshot is jól működik vele. Akár thin- akár thick provisioning-et támogat. A szűk keresztmetszet teljesítményben itt úgy is a HDD-s diszk alrendszer lesz, bármit varázsolsz a felette lévő rétegekben. Nyilván a HW RAID vezérlő gyorstára segít majd valamennyit, de az sem csodaszer a lassú HDD-k esetén.

A jelenlegi Samba AD DC most nem virtualizálva fut, egy régi, 2008-ban vásárolt Dell szerveren, és nincs különválasztva a fájlmegosztás. Parancssorból és RSAT-tal is használgatom, van minimális csoportházirend is.

Azért gondoltam, hogy különszedem a fájlszerver részt, mert a Samba dokumentációja is így javasolja, de az észrevételed alapján újragondolom.

Zentyal-t is használok (átjáró, tűzfal, NAT, stb.), talán a 2.1-es verzió óta. Alapvetően nincs vele problémám, de nem akarom azt használni AD-nek, mert szerintem indokolatlanul "nagy" az erőforrás igénye.

Ha jól olvastam, akkor Proxmox alatt sima LVM esetén nem működik a snapshot, csak LVM-Thin esetén: https://pve.proxmox.com/wiki/Storage

Köszönöm a részletes szakmai indoklásokat.

Hát, a Zentyal erőforrás igénye annyi, amennyit az alapjául szolgáló Ubuntu 20.04 és Samba 4.x kér. Ez (szerintem) érdemben Debian 11-re költöztetve sem lesz jelentősen kevesebb. Ráadásul van ehhez egy indokolatlanul erős szervered (CPU szinten). Így ezen nem aggódnék. Ha nekem kellene feltelepíteni valamit az adott hardverre - a legkisebb munkát választanám azonos eredményen belül maradva.

Az tény, hogy a webes felülete valami parádésan lassú az alatta szolgáló hardvertől és OS-től függetlenül, de alapjában véve nem kell olyan sűrűn és olyan sokat használni az átlagos célközönségénél, hogy ez komoly gondot okozzon.

Ha külön választanád, akkor akár két Zentyal telepítés is lehet, mert lehet member server az egyik, tudja a telepítője ezt a felállást. De olyant is olvastam már többször, hogy Zentyal-t használnak AD DC-nek, mert abban az nagyon jól működik (Samba szinten, nem Windows 2022-hez mérten), és Nethserver-t file szervernek, mert abban valamiért szar az AD megvalósítás, ellenben jobban kezelhető a file megosztás része, ha member server. Egy megnézést/próbát lehet megérhet, de én még sose jutottam oda, hogy kipróbáljam a Nethserver-t, mindehol elég volt egy szem Zentyal (ahol annyi volt az igény, amit a Samba is tud, nem kell Windows szerver).

Mondjuk én azt gondolom, hogy ahová a Zentyal (vagy bármilyen Samba alapú AD) tudása, képessége elég, ott nincs olyan komoly feladat, hogy érdemes lenne emiatt több szervert (fizikait vagy virtuálisat, mindegy) telepíteni, üzemeltetni, karbantartani.

Proxmox alá tárolónak úgy is tehetsz bármit, hogy nem LVM-ként adod oda a Proxmox-nak, hanem az LVM-re teszel egy, mondjuk ext4 vagy xfs LV-t, és azt adod oda Directory-ként, és azon qcow2-t használsz annak minden előnyével. Az LVM azért lehet jó választás az egész alá, mert nagyon könnyű plusz tárkapacitást hozzáadni úgy, hogy a host OS-en és a Proxmox-on semmit nem kell variálni, csak használni kell a plusz helyet. Az LVM-es snapshot úgy sem ugyan az, mint a qcow2 vagy ZFS vagy btrfs (vagy bármi, copy-on-write alapú) snapshot, hanem egy fokkal használhatatlanabb (szerinem, én nem is használok sem LVM, sem LVM-Thin tárolót PVE alatt sehol).

Én a legtöbb esetben ZFS-t használok, ARC méret limitálással, a RAID vezérlőt HBA módban használva (vagy egyenesen csak HBA-t kérek a szerverbe), és ZFS-nél minden van alapból, ami kelleni szokott. Azt sem tartom kizártnak, hogy valós terhelés alatt jobb teljesítményt adna ez a hardver ZFS-sel, mint a HW RAID vezérlővel, a HDD-k miatt. De ehhez tesztelni-mérni kellene egy keveset. Az biztos, hogy a ZFS használatához meg kell érteni a működését és az igényeit, nem lehet csak úgy felcsapni, mint egy ext4-et, és lesz ami lesz (éles rendszerre, új belépőként - teszt rendszerre persze nyugodtan, és már mehet is a tanulás, próbálgatás). De szerintem megéri beletanulni.

Sajnos az 1. kérdésemre nem érkezett válasz, de mivel már telepítettem a Proxmoxot, ezért talán már lényegtelen is; leginkább a Stripe Size: 64KB kérdéses számomra (a létrehozott RAID1 tömbök esetén), őszintén megvallva nem tudom, hogy milyen Stripe Size értéket kellett volna beállítani az optimális teljesítmény érdekében.

A 2., 3. és a 4. kérdések megválaszolva.

Ez olyan kérdés, mint a milyen motor legyen az autóban? Attól függ mire használod. Keveset fogyasszon, nagy legyen a végsebessége, vagy a nyomatéka legyen inkább nagy. Azért lehet választani, mert felhasználás függő mi az optimális. Tesztelj!

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.