HDD és SSD RAID-ben?

Merevlemezek, vezérlők

Jelenleg az otthoni szerveremben 2 db 8 TB HDD pörög RAID1-ben (mdadm).

4 partíció van mindkét lemezen:

sda                              sdb

1M     BIOS boot                 1M     BIOS boot
512M   EFI system                512M   EFI system
1G     /boot       ---RAID1---   1G     /boot
7.3T   LVM vg      ---RAID1---   7.3T   LVM vg

A rendszer és az adatok nagy része az LVM köteteken van. A /boot azért van külön, mert a GRUB nem volt hajlandó bootolni LVM over RAID-ről (pedig tudnia kellene), nekem meg nem volt kedvem vele szívni, így meg működött. A BIOS boot meg az EFI system meg nyilván nem tehető RAID-be, LVM-be végképp nem.

A kérdésem a következő: arra gondoltam, hogy tennék bele egy SSD-t, hogy a rendszert felgyorsítsam, de a redundanciáról nem szeretnék lemondani. Nyilván nem vennék 8 TB SSD-t, még 256 giga is sok ide, de számoljunk annyival.

Szétszedném az LVM volume group-ot két részre: maradna egy nagy része ahogy most van, de kiemelnék belőle 256 gigát, és azt a részt 3 lemezes RAID1-be tenném a két HDD és a leendő SSD között. Arra kerülne a rendszer.

Hoz ez így előnyt? Az világos, hogy az írás nem lesz gyorsabb, de az olvasás gyorsabb lesz? Mintha azt olvastam volna, hogy olvasni tud a RAID1 függetlenül a két (vagy több) lemezről is. A linux implementációja ezt kezeli? Megfelelően kezeli azt is, hogy az egyik lemez nagyságrendekkel gyorsabb a másik kettőnél, mind sebességre, mind elérési időre?

Ha ebbe érdemes belevágni, akkor NVMe-t vegyek, vagy SATA SSD-t? Már hogy lehet buktató az NVMe-ben? A SATA-val nyilván működnie kell.

Bónusz kérdés 1: az linux LVM kezelése tök jó abban az esetben, ha egy köteten egy fájlrendszer van. Lehet kicsit unortodox, de én használom úgy is, hogy van rajta partíciós tábla is, mert virtuális gépek alá teszem be így. Van erre jobb megoldás?

Bónusz kérdés 2 (totál unrelated): mi a halál egyes laptopokban az NVMe RAID mód? Mitől RAID? Nyilván nincs benne kettő, de arra nagyon jó szokott lenni, hogy legalább általában windows only ez a megoldás.

  • 1047 megtekintés

( lavian v | 2022. 02. 03., cs – 09:40 )

Nezz ra erre - https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/… New tudom, hogy a root-on ez mukodik-e boot szempontjabol.  Modellezd le a felallast egy virtualis gepben, mielott labon lovod magad.

Mindig erdemes szetszedni particiokra funkcio szerint a filerendszert, akkor egyszerubb kezelni. Nem tudom, mi a "felgyorsitsam" jelentese nalad. Virtualizalsz? Cache kell. Torrent? Felejtos. Boot ido zavar? Rakd a root-ot tisztan akarmilyen SSD-re. (Redundancia kell, akkor 2-re.) A lassu egy gyors lemezek egyforma tier-ben egy RAID kotetben csak szivast jelentenek. 

Mindegy, hogy SATA vagy NVMe, ha tisztessegest veszel. Elsodlegesen az IOPs szamit cache device-nal velemenyem szerint. En a 20/80-as szabalyt hasznalnam itt: Adataid 20%-a adja az elert/hasznalt dolgaid 80%-at. Erre meretezd a cache-t. (Lehetne 30/70-is.)

#1 Minek? A /dev/kotet/particio útvonal ugyan ugy hasznalhato, mint a /dev/sda1.

#2 Passz.

2. https://www.dell.com/community/Laptops-General-Read-Only/Dell-M-2-FAQ-r…

Középen ott a különbséget magyarázó ábra a rétegekkel, felette meg egy szöveges magyarázat.

Itt https://www.dell.com/community/Inspiron/Can-t-boot-to-RAID-on-with-NVMe…

meg tényleg azt írják, hogy bár a RAID a default de csak Win esetén mert arra van csak Intel RST driver. Linux esetén AHCI. A beállítást meg még OS install előtt kell megtenni. Egyébként van olyan notebook amiben több M.2 slot található SSD meghajtónak ott lehet értelme RAID-nak.

Még egy kis info az RST-ről itt.

https://www.reddit.com/r/linuxquestions/comments/no4m0f/is_there_any_li…

Röviden elvileg van kód, de nem fogadták a kernelbe mert proprietary ergo bad.

( gabrielakos v | 2022. 02. 03., cs – 10:00 )

Két utat látok:

- cache-ként használd az SSD-t, ekkor nem jók a consumer SSD-k, hanem pl. intel mempek-et kell venned, a consumer SSD egy éven belül elpusztul ugyanis
- csinálj teljesen külön RAID-et 2 consumer SSD-ből és arra tegyél LVM-et (és mountold be ahova akarod)

Szerintem pont nem a rendszer alá kell SSD amúgy.

zászló, zászló, szív

( zrubi v | 2022. 02. 03., cs – 10:07 )

Én azt csinálnám (és csináltam is a saját itthoni NAS-ban) hogy SSD-n van a 'rendszer' + egy-két sebesség kritikus - de nem túl nagy - adatbázis, a lassú pörgős  diszkeken meg a 'megosztott'  területek.

 

Én biztosn nem tenném egy raid tömbe az SSD-t és a sima HDD-t, mert nem látom értelmét. Ha a rendszerre is kell a redundancia, akkor vegyél két SSD-t ;)

 

Ez a felállás kiválóan működik egy viszaonylag gyenge (32 bites ARM) vason is, és ha nagyobbra cserélném a pörgős diszkeket az is várhatóan könnyen fog menni, nem kell az egészet 0-ról újratelepíteni. 

 

 

NVME RAID módot én csak olyan laptopban láttam amiben lehet több (2 db) NVME ssd-t tenni.

És igen ez win only software RAID-et jelent.

 

szerintem.

zrubi.hu

( Caro | 2022. 02. 03., cs – 10:41 )

A leírtakból akkor azt veszem ki, hogy nem lenne gyorsabb a HDD+SSD RAID?

Próbálok egyben válaszolni: ezzel a vegyek két SSD-t dologgal megmozgattátok az agyamat, bár vannak ellenérzéseim is.

Egyrészt akkor ugrik az M.2, mert az alaplapon csak egy slot van. Igaz, hogy PCIe-re tudnék tenni még egyet, konverterrel. Második ellenérzésem az ára lesz, akkor már két SSD-t veszek. Jelenleg úgy néztem, hogy 1 TB körül van a legjobb GB/ár mutató, ettől mindkét irányba elmozdulva csak romlik.

A harmadik, pedig az SSD-k hibái: nem-e egyszerre fog mindkettő "elfáradni"? Akkor minek a RAID?

Hogy mi menne rá? A rendszer elsősorban, azt szeretném gyorsítani. Az adatbázisokat is tenni valóban jó ötlet, ott szintén szempont a gyorsabb elérés. A HDD fájl szervernek van, arra tökéletesen elég is.

A rendszer sosem lesz gyorsabb nálunk. :) - viccet félretéve, még akkor sem tapasztaltam gyorsabb működést RAM bővítéstől, amikor 2 Mb-os, újonnan megvásárolt gépünk központi memóriáját kényszerűen 4 Mb-ra bővítettük.

Bár 20 ezerbe került az a plusz 2 Mb, és annak igencsak volt értelme, mert abban már legalább hajlandó volt elindulni-működni a Windows 3.1. - De, hogy gyorsabb lett volna tőle? (Lassú volt, és piszkosul...!)

:)

Az mdadm RAID1 ugy mukodik, hogy egyszerre ir es felvaltva olvas. Ha hozzáadnál egy SSD-t, akkor az iras nem valtozna, az olvasasnal 33%-a az olvasott blokkoknak (3 lemez eseten) jonne onnan. Vagyis semmit sem nyernel, csak elvben. Er neked ennyit?

Vegyél egy rendes SATA(/RAID) vezerlot es koss meg ra +2 lemezt.

Vegyel 2 kulonbozo gyarto lemezet es nagyjabol meg is van oldva. Nekem van olyan SATA SSD-m, ami 8 eves es semmi baja. Napi hasznalatban. Nem kell annyira felni toluk.   

Ha állítható lenne, hogy olvasás esetén preferálja az SSD-t.

Készült rá patch btrfs raid-1 esetén, de nem egyértelmű, hogy tényleg benne van-e a kernelben.

https://stackoverflow.com/questions/55408256/btrfs-raid-1-which-device-…

Találtam erről még anyagot:

https://www.admin-magazine.com/HPC/Articles/Rethinking-RAID-on-Linux

Valóban működik, úgy ahogy gondoltam, csak kell a write-mostly opció. Ebben az esetben az írások nem, de az olvasások jelentősen gyorsultak: a 800-as IOPS felment neki 174 EZER-re. Tán MB/s-ben nem hozza az NVMe full képességeit, de az valóban nem érdekes annyira.

Ami mégszebb, hogy utána ezt eljátszotta ramdisk-el is: HDD+ramdisk RAID1-ben, a HDD-re write mostly opcióval. Ennek csak egy baja van, hogy annyi RAM-ot nem fogok venni a gépbe :) De az SSD megoldás ígéretesnek tűnik.

Inkább  2 ssd. 8 Tb mellett 2x256 GB SATA is elég lehet, inkább számold ki kell e otthoniba 1TB ssd. 

Egyrészt akkor ugrik az M.2, mert az alaplapon csak egy slot van.

Ha NVMe ssd miatt irtad, nincs akkora különbség SATA és NVMeközött a  napi használatban. Jóval nagyobb a szekvenciális sebessége, de ez ide oda másolgatásnál jön jól , videos dolgoknál. 

Virtuálizálsz irod, az iops a fontosabb,  gazdagép általában azonnali irást használ a VM-ekhez. Nincs nagy különbség , kisblokkos 4K-s szinkron random írás asztali sata , és aszatli NVMe közöt , kb ugyanannyi.

(5-6 MB/sec) .

DC "szerver" ssd , satás is tud  60-80 Mb/sec -et, de otthoni szerverbe ez is  fölösleges. (optane a csúcstartó -árban is- az 200-250 MB/sec fökött van a 4k1Q random szinkron irás) .

Ha meg netán ZFS-t kipróbálsz, az 1db  M.2 pont elég ZIL -nek, oda  nem kell kettő.

https://blog.claryel.hu

( Caro | 2022. 06. 18., szo – 16:09 )

Na, végül megcsináltam a dolgot, ezért megosztanám a tapasztalatokat.

Végül nem az lvm-cache módszert használtam, mert bonyolultabbnak tűnik beállítani, hanem a következőket csináltam:

  • Lecsökkentettem a pv méretét. Mivel a végén is volt adat, először át kellett mozgatni, amivel el is ment egy jó fél nap, de sikerült :) (pvmove, pvresize).
  • Aztán lecsökkentettem a RAID partíciók méretét.
  • Létrehoztam egy-egy új 256 GB partíciót mindkét HDD-n és az SSD-n.
  • Ezekből csináltam egy új három lemezes RAID 1 tömböt, amiben a két HDD write-mostly opciót kapott.
  • Létrehoztam ezen egy új vg-t. Szándékosan nem akartam összevonni a másik vg-al, lévén ez a gyorsított, a másik nem. Extents alapján ugyan lehetne mozgatni köztük adatot, de ez így jobban kontrollált, mint hogy éppen hova allokál.
  • És aztán a megfelelő lv-ket átmásolgattam az új vg-ba.

Eredmény: lineáris olvasás sebességben hozza az SSD értékeit, és az elérés is baromi gyors lett, úgyhogy a write-mostly tényleg jól működik!

Köszi a részletes magyarázatot.

Akkor úgy lett, hogy a 2x8tb hdd 256 gb méretű részén 1-1 másolat raid 1 üzemmódban, és hozzáadtál mint 3. lemez 256 gb ssd lemezt, ami ugyanannak a raid 1 tömbnek a része? A write-mosty miatt pedig főként az ssdről olvas a gép de mindháromra ír (ssd+hdd+hdd), jól értem?

Érezhetően gyorsult? Van amikor lassult?

Igen, a nagy partíció, ami főleg fájl szerver, az maradt HDD+HDD, és egy-egy új partíció lett HDD+HDD+SSD.

A virtuális gépek boot ideje érezhetően gyorsult. Mivel otthoni szerver, ezért nincsen széthajtva, azt most nem mondom megy hogy egy adatbázis lekérdezés mennyivel lett gyorsabb, de hdparm-al mérve hozza az SSD sebességét.