Úgy tűnik, hogy az Ubuntu dobja a desktop telepítőjéből a ZFS-re való telepíthetőséget

2019 őszén mutatkozott be a ZFS-re való telepíthetőség támogatás az Ubuntu desktop telepítőjében. Úgy fest, hogy a (Open)ZFS rajongás alábbhagyott az Ubuntunál, mert az Ubuntu 23.04 desktop telepítőjében (a napi snaphotokban) már hiába keresnénk, nem találnánk. Ez pedig arra mutat, hogy a végleges Ubuntu 23.04 desktop telepítőjében már nem lesz benne. Ellentétben a btrfs-sel ...

Hozzászólások

Szerkesztve: 2023. 04. 17., h – 15:06

És ez most baj? Ok, szerveren még jól is jöhet a ZFS, de desktopra? A BTRFS meg elég jó mindenes(nek tűnik)...

FreeBSD-n oké, mert ott hivatalosan natív fájlrendszer, bár rendszerre szerintem ott is overkill, de végül is miért ne. Linuxon viszont a jogi licencproblémák miatt csak egy nem hivatalos kernelmodul.

FreeBSD-n annyi előnye a root ZFS-nek mindenképp van, hogy pl. egy elcseszett rendszerfrissítés után vissza tudod hozni a működőképes rendszert snapshotból. Linuxon ehhez nem kell feltétlen ZFS, ott tudja a hivatalosan támogatott btrfs is. Sőt, ahogy olvasom, a 13.2 óta FreeBSD-n is támogatott a snapshot journaled UFS-szel.

A computer is like air conditioning – it becomes useless when you open Windows.” (Linus Torvalds)

Az ECC a bit rot (bit decay, data rot, data decay and silent corruption) ellen nem véd semmit, a ZFS viszont igen. Ha jól rémlik ez volt ez egyik szempont a fejlesztésénél, ennek a megakadályozása, ezért minden blokkra checksum-ot is tárol. A RAID pedig jó dolog, de a ZFS sokkal több mit egy RAID rendszer.

Hab a tortán, hogy egy hibás disk controller esetén sem véd semmit az ECC ram, mert nincs köze hozzá, hogy mi kerül a lemezre, mert nem ő írja oda.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Igen, meg az APFS és ReFS is. Csak annyit mondtam, hogy az ECC memóriának nincs köze a fájlrendszer fizikai korrupciós problémákhoz.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

De, lehetnek, de a desktop nem feltétlen egyenlő a rendszerrel. Nálam is külön van a kettő, a rendszerpartíció teljesen külön a home-partíciótól. Fontos adatok csak az utóbbin vannak, a rendszeren semmi kritkus nincs, mentés azért van róla, de csak kényelmi szempontból.

A computer is like air conditioning – it becomes useless when you open Windows.” (Linus Torvalds)

Szerkesztve: 2023. 04. 17., h – 16:21

Van itt valaki BTRFS-t használ a következő módon? RAID mirror + native encryption + zfs send/recv szerű backupolás automatikusan (nem tudom mi a megfelelője a BTRFS-nél). Kiváncsi lennék ez a kombináció milyen módon és mértékben támogatott, főleg ha ezt mint az Ubuntu root fájlrendszerét használod.

Gondolom van, és sejthetően van ennek a megoldásnak párja btrfs-nél is. Viszont desktopon, rendszerpartícióra ez minek? Adatokra, meg NAS-ra, stb. oké. Ne feledd, hogy nem a ZFS támogatást szedték ki összességében, csak a telepítőből azt a lehetőséget, hogy maga a rendszer települjön ZFS-re. Attól még a többi partíciód továbbra is tarthatod ZFS-en.

Én nem bonyolítom a rendszert, hardveres öntitkosítás (NVMe SSD + sedutil) + sima ext4, néha kézi rsync backup, hardverigénye verdesi a 0-át, legalábbis az egyedi Arch telepítésemen, az is igaz, hogy nincs tele szeméttel a rendszer, ahogy az Ubuntu, se Gnome, se Snap, se OOM, se egyéb sallang, csak egy X-es WM.

A computer is like air conditioning – it becomes useless when you open Windows.” (Linus Torvalds)

Hasznalok btrfs-t sokfelekeppen, raid1 meg single, tobbnyire luks-on, transparent compressionnel, deduplication duperemove-val meg bees-el, meg snapshotokkal. Btrfs send/receive-t mondjuk pont nem annyira (borg van helyette, az inkabb mukodik halozaton meg egyszerubb tobb helyre duplikalni, btrfs send/receive az leginkabb csak btrfs-ek kozott mukodik).

Bar ha sok disk imaget/adatbazist akarsz tarolni, akkor azert elojonnek a gyenge pontjai.

I hate myself, because I'm not open-source.

Én nagyon szeretem a ZFS-t és használom is egy csomó helyen, de ebben egyetértek az Ubuntu-val, mert desktop-on a ZFS-nek semmi keresnivalója sincs. A legnagyobb "problémája", hogy érteni kell hozzá, mert különben csúnya vége lehet a használatának. Desktop-on semmi olyan előnye nincs ami indokolná a használatát.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

:D

Tesztelni ott van akármilyen virtualizáló megoldás és lehet 100x lemezzel nyomatni :D

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Biztos vagyok benne, hogy az lehet. Meg, hogy meg is tudjátok magyarázni. Már 10+ éve is meg tudták magyarázni, hogy mi a retkesért érdemes egy memóriazabáló ZFS-t egy szem laptop diszken, laptopon használni, de valahogy a meggyőzőerő elmaradt, igény meg továbbra sem mutatkozott rá részemről.

További jó használatot ;)

trey @ gépház

persze: akkor neked bejott az elet! majd a kovetkezoben bepotolhatod! :)

mese: update/csinalt a kedves user valamit > szar az a szar.
ezek utan:
nem mindenki workflow-jaba fer bele az X ora restore/reinstall (foleg ha mondjuk nem is o fogja ezt csinalni). meg - oszinten szolva - nem is akar ilyennel baszakodni ha valami felrement az 1 parancs+enter(+ esetleg reboot) helyett. \o/
az adatokrol elozo verzio se kellett soha a budos eletben senkinek :D (nem, nem akarja backupbol visszalapatolni valahonnan, megvan localban. sot, sok esetben ez +penzbe is kerul)

Köszi, hogy elmesélted, hogy mire való a snapshot, valójában, szerintem már akkor snapshotoltam, amikor a btrfs még nem is létezett, a ZFS-ről meg sokan onnan hallottak róla, hogy írtam róla a HUP-on és olvasták.

De, thx azért! 🤣

trey @ gépház

Nekem speciel a ZFS-es FreeBSD-s laptopban is 2 diszk (illetve SSD) van ;-) Szerencsére ha játszani / tanulni akarok, arra egy is elég elég sok funkcióhoz, amúgy meg FreeBSD-n is van losetup, igaz itt mdconfig-nak híjják.

Zfs send-recieve desktop-on? Cserébe 2-es szorzó legalább a memóriában és még egy gép amin zfs van. Nem ez nálam nem ok.

Egy rstic simán verziózik B2-e bármilyen fs-ről, nem kell ehhez zfs.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

es a rollback egy parancs, ami 1 sec alatt kesz van? mert pl zfs ezt (is) adja, az exta ficsor meg extra eroforras. so life.

a mentes nem raid es nem is snapshot. :) kinek mi fer bele, tudod :) b2-re van penz, plusz par giga ram meg faj? :o hatjo :D

amugy nem nagyon ertem mi a diff szerveren vagy desktopon kiadott zfs send kozott, de majd felvilagosulok :)

A ZFS snapshoot nagyon király, irtó gyors és ha van 500 belőle akkor se lassul, de az nem mentés. Mentést ugye másik eszközre szokás tenni :)

A send-el akarsz menteni kell egy másik gép. Annak az ára kb 100 év B2 előfizetésre elég egy átlagos felhasználónál ha mondjuk restic-el ment ami blokk alapon verziózik és igen helytakarékos. Ezzel egyből megvan az off-site mentésed is.

A send-receive legnagyobb értéke (szerintem) a mentés egy másik gépre. Desktop oldalon, egy lemezen, nem jellemző a dataset-ek összevissza mozgatása helyben, ott kb semmi értelme nincs.

Összességében a desktop oldalon a ZFS hátrányai miatt (nagy erőforrás és hozzáértés igény) nem látom értelmét a használatának. De ez én vagyok, tőlem aki akarja használja, nekem az nem fáj :D de a ubuntu döntését megértem.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

azt akarod mondani, hogy atlag jozsinak nincs penze egy (true)NAS-ra 1+G rammal (It’s perfectly possible to run with 2GB or less (and people do), but you’ll need more if using deduplication.), ami lehet akar a kodija/pihole-ja/akarmije is ahova zfs sendelhetne? de 100 ev B2-re van? :D nem kell az eroforras igenyeket tulmisztifikalni, nem egy PetaByte storage-bol kell kiindulni deduppal :D

de ha mar itt tartunk egy _atlagos_ user nem fog restic-kel baszkodni, mert windowsra vannak annal sokkal egyszerubb/olcsobb megoldasok is. ha mar B2, pl. https://www.backblaze.com/cloud-backup.html ? :)

azt is akarod mondani, hogy _atlagos_ user gepen ne legyen mv, mkfs, [insert any *disk*/*FS* tool], mert ahhoz erteni kell ha nem akarja legyalulni a gepet? :D csak a zfs parancsok baromi veszelyesek :)

A send-receive legnagyobb értéke (szerintem) a mentés egy másik gépre. Desktop oldalon, egy lemezen, nem jellemző a dataset-ek összevissza mozgatása helyben, ott az az ertelme, hogy ugy allsz vissza, hogy par parancsbol megvan _az osszes snapshotoddal egyutt_. de ehhez fatalis katasztofanak kell tortenni, minden masra ott a copy-on-write/rollback es hozza sem kellett nyulnod a felhos menteshedhez.

osszessegeben worstation oldalon a zfs elonyei miatt latom ertelmet a hasznalatanak, de ez en vagyok, tolem az nem hasznalja aki nem akarja, nekem az nem faj :D

de az ubuntu dontese tipikus: upstart, mir, unity... sorolhatjuk az elkaszalt balfaszsagokat toluk, amikbe belefogtak es aztan zaros hataridon belul kukaztak.

nem kell az eroforras igenyeket tulmisztifikalni,

Hát nekem van tapasztalatom nagy io igénynél a memóriából kifutó ZFS-ről :D

mert windowsra vannak annal sokkal egyszerubb/olcsobb

Például ZFS :D

azt is akarod mondani, hogy _atlagos_ user gepen ne legyen mv, mkfs, [insert any *disk*/*FS* tool], mert ahhoz erteni kell ha nem akarja legyalulni a gepet? :D csak a zfs parancsok baromi veszelyesek :)

Egyáltalán nem. Ha megnézed a ZFS properties listáját, nem egy pálya pl az ext4-el :)

_az osszes snapshotoddal egyutt_. de ehhez fatalis katasztofanak

Pl elromlik a lemez :) Az ugye megvan, hogy a helyben tárolt másolat nem mentés...

de az ubuntu dontese tipikus: upstart, mir, unity... sorolhatjuk az elkaszalt balfaszsagokat toluk, amikbe belefogtak es aztan zaros hataridon belul kukaztak.

Akkor a ZFS is balfaszság, azért kukázták? :D

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Hát nekem van tapasztalatom nagy io igénynél a memóriából kifutó ZFS-ről :D < sounds like a You problem... erteni kellett volna hozza vagy nem olcsojanoskodni rammal? :)
Például ZFS :D < pl amit leirtam, olvasni luxus? :D
Egyáltalán nem. Ha megnézed a ZFS properties listáját, nem egy pálya pl az ext4-el :) < es nem is egy palya funkcionalitasban sem, mit szeretnel ezzel mondani? ugyanugy tudsz elpusztitani egy rendszert egy mkfs.ext4-gyel is...
Pl elromlik a lemez :) Az ugye megvan, hogy a helyben tárolt másolat nem mentés... < es ezt ki allitotta? viszont a tavol levo mentes meg nem helyben levo snapshot amirol 1 sec visszaallni, ez ugye megvan? :D
Akkor a ZFS is balfaszság, azért kukázták? :D < a zfs koszoni jol van, ha szeretned meg installer is van hozza (pl. proxmox, aztan apt install desktop csomagok, tadaaa, debian desktop on zfs root :D)

A proxmox nagyon jól kezeli, van vagy 30 host a kezem alatt és majdnem mind ZFS. Viszont árulkodó a proxmox-boot-tool :) Ha elbassza egy frissítés a boot-ot akkor lehet gépészkedni még a reboot előtt, biztos ami biztos :) pedig a proxmox saját módosított kernelt rak alá.

És itt jön a legnagyobb gondja a ZFS-nek, a buzi licenc, ami miatt sosem lesz a linux kernel része. Innentől kezdve, ha root is ZFS minden update orosz-rulett :D

Szerintem ezt is unta meg az ubuntu.

De ismétlem én nagyon szeretem a ZFS-t, szerveren olyanokat tud helyből, amit rajta kívül minden más csak nekifutásból, ilyen-olyan 3party cuccal.

Aki akarja használja nyugodtan desktop-on is de én nem fogom. Még, később meg majd meglátjuk...

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

a buzi licenc, ami miatt sosem lesz a linux kernel része > kifogas, nyafogas. popOS is megoldotta, hogy van a telepitoben nvidia driver ha kell, proxmox is megoldotta. nem kell messzire utazni, debian non-free installer megvan? 0 android eszkoz letezne, ha ez kellene hozza... nem kell, hogy a kernel resze legyen, csak egy koszos modul :)

Ja, aztán egy kernel update és nem boot-ol többet a gép, mert a koszos modul függősége változott egy picit :)

A proxmox módosítja a kernelt és ennek ellenére van boot-tool-juk a ZFS miatt...

Szóval szerintem ez annyira nem lényegtelen, hogy a linux alapból támogatja-e, vagy hozzá kell "tákolni"...

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

> Zfs send-receive ... és még egy gép amin zfs van.

Bocs, ez most tűnt fel. A másik gépen nem elég ha telepítve tartalmazza a zfsutils-t? Nem kell, hogy ő is ZFS-en tároljon akár csak egy bitet is. (Akár teljesen más OS / architektúra is lehet, ha van neki ZFS util-ja. Nyilván baromság, de egy RPi0w is lehet FreeBSD-vel.)

Ezt írja a man zfs-send:

zfs send [-DLPRbcehnpvw] [[-I|-i] snapshot] snapshot
       Creates a stream representation of the second snapshot, which is written to standard output.
       The output can be redirected to a file or to a different system (for example, using ssh(1)).  By
       default, a full stream is generated.

Szóval zfs send-del csinálom a backupot, amit pl. a szokásos módon (netcat, ssh) áttolok egy távoli gépen egy fájlba. Majd amikor vissze kell lökni, akkor szintén nc-vel/ssh-val át a hálón, és mehet a zfs receive.

Igen ez egy kiváló sufnituning megoldás. Aztán ha egyszer nem jön össze restore és megáll tőle egy cég, az nagyon vicces lesz...

Ennyi erővel egy igazi mentésre szolgáló dolgot is használhatnál, mert a zfs send-receive nem az.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

$ man zfs-send # kiemelés tőlem

NAME
     zfs-send — generate backup stream of ZFS dataset

SYNOPSIS
     zfs send [-DLPRbcehnpsvw] [[-I|-i] snapshot] snapshot
     zfs send [-DLPcensvw] [-i snapshot|bookmark] filesystem|volume|snapshot
     zfs send --redact redaction_bookmark [-DLPcenpv] [-i snapshot|bookmark] snapshot
     zfs send [-Penv] -t receive_resume_token
     zfs send [-Pnv] -S filesystem
     zfs redact snapshot redaction_bookmark redaction_snapshot…

DESCRIPTION
     zfs send [-DLPRbcehnpvw] [[-I|-i] snapshot] snapshot
       Creates a stream representation of the second snapshot, which is written to standard output.  The output can be redirected to a file or to
       a different system (for example, using ssh(1)).
 By default, a full stream is generated.
 

???

Remélem nem hiszed, hogy én írtam a manualt. Értem, hogy szerinted van ennél jobb, de mit csináljak, ezt írja a gyártó.

Láttál már igazi mentő szoftvert? :)

Idézek neked a cp man-ból:

-a, --archive                         ugyanaz, mint a -dR --preserve=all
     --attributes-only              nem másol fájladatokat, csak az attribútumokat
     --backup[=CONTROL]    minden létező célfájlról mentést készít

Hát lehet vele menteni, le is van írva, de nem igazán az a célja...

Itt összefoglalják a send-recive használatát: https://docs.oracle.com/cd/E18752_01/html/819-5461/gbchx.html

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Én soha.

De hogy jön ez ide abban a szálban, ami onnan indult, hogy szerinted a a ZFS send/receive -hez kell egy második ZFS-t (adattárolásra) használó számítógép, - én meg szóltam, hogy szerintem bármilyen FS-t használhat az a gép, max tudnia kell fogadni a streamet. Ezt azóta elegánsan kikerülted,  és azzal próbálsz meggyőzni az igazadról, hogy te már használtál valami mentő szoftvert - ami az igazi. Én meg azt mondtam, hogy a stream mehet másik gépre, és hogy mindezt adott szavakkal leírja valaki, aki a man-t csinálta. Röviden: ha te olvasol valamit a "gyártó" doksijaiban, az OK, ha én olvasok valamit, az nem OK.

Mutass léci egy command példát, ahol a fogadó oldalon nem adod ki a ZFS utasítást, tehát nincs ZFS.

A man nem a gyártói ajánlás, hanem egy konkrét utasítás leírása.

Attól hogy a ZFS képes pool-ba tenni egy akármilyen fs-en tárolt fájlt is, az egy dolog. Az meg egy másik, hogy mire használod és az mennyire üzembiztos.

De most már érdekel, írd le léci konkrétan mit mentesz send-receive-el, hogyan (saját scritp?, valamilyen tool, backup software), volt-e már éles restore és mik a tapasztalataid.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Szerencsére linkeltél egy olyan doksit (az Oracle ZFS send/receive általad linkelt példánya), amit hitelesnek elfogadsz. Az ott látható példát átírtam a kedvedért:

localmachineWithZFS# zfs send pool/fs@snap | ssh remotemachineWithOutZFS "gzip > backupfile-$(date '+%F_%T').gz"
localmachineWithZFS# ssh remotemachineWithOutZFS "gzip -dc < backupfile-YYYY-MM-DD_HH:MM:SS.gz" | zfs receive pool/fs

Fenti példa visszatöltés részében a YYYY...SS sztringet helyettesítsd be azzal a zfs-send-kori dátummal, amikori bithalmazt vissza akarod tölteni. A remotemachineWithOutZFS-en mindegy a fájlrendszer tuipusa, csak elég szabad hely legyen rajta, és legyen képes esetlegesen elég nagy fájl ( a tömörített adatok) tárolására, és a megoldás ezen a távoli gépen egyetlen egy ZFS-parancsot se használ. Ellenben eltárolja a tömörített bájtkupacot a későbbi visszatöltés számára.

Amúgy készséggel elhiszem, hogy ez nem backup, és annak is sufnituning ami 10 esetből 11-szer hibás (akár el is gépelhettem a parancsot).

És Te elismered végre, hogy van olyan, hogy leírsz valamit mint az egyetlen igazság, de sajnos hibás?

Én annyit állítok: Ha gyártó azt mondja ne csináljam nem csinálom.

Te: Nem érdekel a gyártó mit mond, tudok jobbat, leszarom az ajánlást.

Nálam ez sufnituning tákolás. Éles környezetben ez szvsz életveszélyes. Az IT-ben nincs szent igaz út semmire, de úgy használni egy eszközt, hogy nem ismerem és szétbarmolom az egészet, na az nem én utam és nem is értem az ilyet. Tudod, okos ember más kárán tanul...

A fenti példádnál maradva, most őszintén ennek mi a fene értelme van??? Működik? Én biztos nem fogom kipróbálni. Minek használsz egyáltalán ZFS-t ha az összes ajánlást a sutba dobod és csak a lényegét heréled ki?

Arra el felejtettél válaszolni, hogy mit mentesz a send-receive-el és mik a tapasztalataid. Sejtem a választ...

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Nem.

Te ezt állítottad:

"Zfs send-recieve desktop-on? Cserébe 2-es szorzó legalább a memóriában és még egy gép amin zfs van."

Én ezt állítottam:

"A másik gépen nem elég ha telepítve tartalmazza a zfsutils-t? Nem kell, hogy ő is ZFS-en tároljon akár csak egy bitet is."

(azt hozzátenném, hogy mint fenti példa mutatja, még túl is gondoltam, ugyanis az sem kell)

..... Orakel doksi linkelése, hogy tanuljak, majd amikor ebből a doksiból összerakom ami az én felvetésemet támasztja alá, akkor rögtön kiderül, hogy ja mégse. (Azért furcsa: fenti doksiban van példa a lokális zfs send | gzip -re, meg arra, hogy zfs send | ssh, de ezt a kettőt összrakom, akkor úgy már ellene megyek az ajánlásnak. Értem.)

Kérdésedre válaszolva:

nem, soha nem mentettem semmit ZFS-sel, igazából eddig bodzázásból éltem, de állítólag az informatika jobban fizet, dolgozni se kell, csak gyártói ajánlásokat olvasgatni, a többit megcsinálja a gép.

Az, hogy valamit meg lehet csinálni, nem jelenti azt, hogy az a megoldás jó és használható. Mit támaszt alá amit állítasz? Hogy lehet szarul csinálni valamit? Persze, hogy lehet, küldheted még dd-be is, meg ahová csak akarod, de értenél a ZFS-hez, a ZFS send gzip-be küldése fel sem merülne. Mutass már egy példát erre production környezetben. Te vállalnál erre a megoldásra felelősséget bárhol?

Minek bohóckodjunk zfs send-el még jobb ha dd-vel küldöd :D

nem, soha nem mentettem semmit ZFS-sel

Így már értem a "jó" tanácsaidat és az okosságod. A nagyérdemű majd eldönti kire hallgat...

Még valami, szerinted a gzip-ben levő adatokat lehet ZFS-nek nevezni? :D

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Örülök, hogy elolvastad amit írtam, csak épp nem értetted meg. a zfs send | gzip és a zfs send | ssh pontosan az általad ajánlott Oracle doksiban szerepelt.

"Mit támaszt alá amit állítasz?"

Hogy valamit hibásan mondtál - én pedig csak ennyit mondtam.

Az eddigiek összefoglalva:

- a gyártó által adott man értelmetlen és rossz példákat tartalmaz (én hivatkoztam a man-ra)

- a gyártó oldalán a leírás jó (te hivatkoztál rá)

- ugyanazon gyártó ugyanazon oldalán ugyanazon leírás értelmetlen és rossz példákat tartalmaz (én hivatkoztam rá)

Értem

Most viszont én kérdezek: hogy kell érteni ezt a tolladból származó kitételt zfs send / receive kapcsán, hogy:

"és még egy gép amin zfs van"

Ugyanis valószínűleg ezt értem teljesen másként, mint ahogy te gondolod.

Így talán érthető lesz:

- Te Józsi itt egy ext4-en egy bazi nagy gzip, mi bánat az?

- Ja, az egy ZFS pool, hagyd békén!

:D

https://www.truenas.com/community/threads/zfs-send-gzip-potentially-uns…

Lassan nem értem miért használsz ZFS-t egyáltalán? :)

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Nem, nem érthető, de iszonyatosan humoros volt, eddig röhögtem a példádon. Mondjuk szar lehet neked olyan helyen dolgozni, ahol Józsi és Béla ennyire nincs képben arról, hogy adott helyen mi van. Te melyik voltál, a kérdező vagy a válaszoló?

A Truenas-os linkedet se értem: valaki teleírja a rootfs-t. Ennek mi köze van ahhoz, hogy az Oracle általad adott doksija alapján mutattam valamit, ő meg betűhűen azt csinálta, ami benne van. Ezek szerint a gyári doksi amire pozitív példaként hivatkoztál az mégse jó? Vagy a zfs send gzip error keresőkifejezésre adott találatot már el se olvastad? Vagy mást jelent?

Ja, azért használok ZFS-t, mert érdekelt, hogy milyen állapotban van. Nem tudtam, hogy gyuri23 engedélye kellene hozzá, ugyanis ZFS-t csak az használhat, aki akkora büfé benne, hogy elmondhatja ugyanarról a doksiról, hogy az a tuti, hisz a gyártóé, utána meg sületlenségnek minősíti azt ami benne van - és ez bizonyítja azt, hogy bármi amit ír vagy mond az mind csak ígaz lehet. Viszont amikor kiderül, hogy marhaságot állít, akkor csak terel.

Viszont mivel az eddigiekben neked feltett kérdésekre válasz helyett csak kérdeztél valamit, asszem nem kérdezek többet. Elég lenne neked az eddigieket megválaszolni.

Ne húzd fel magad, tőlem aztán azt csinálsz amit csak akarsz :)

Bocs, hogy szerintem a gzip, nem zfs, meg egy file copy nem nem mentés, úgy érzem én sosem leszek a barkács szakkör tagja, de hát ez van, addig mentegess szorgalmasan a sufniba :)

Viszont a kérdések megválaszolásában te sem szorgoskodsz.

Mire használod production környezetben a ZFS gzip tárolást?

Vállalsz / vállalnál felelősséget ilyen mentésért?

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Bocs, hogy szerintem a gzip, nem zfs, meg egy file copy nem nem mentés, úgy érzem én sosem leszek a barkács szakkör tagja,

Végignézve a történetet úgy nyilatkozol a ZFS-ről és a mentési rendszerekről, vagy igényekről, hogy látszólag nincs meg a teljes kép, szóval "barkács szakkört" kiáltani ez esetben mókás :)

Tévedsz ebben is, még használok is sajnos robot ultrium vackot, de már csak szerencsére csak archiválásra, mert a mentésnél már egy picit meghaladta a tudomány a szalagot :)

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Vissza is kanyarodhatunk. Szerinted invalid a zfs send datastream, szalagra nem(sem/is) lehet menteni, mert azon nincs egy zfs pool?
Merthogy onnan indultunk, hogy szerinted kell egy gep zfs-sel...

Alapveto baromsagokat hordasz ossze, interneten felreolvasgatott/ertelmezett infokbol krealsz a threadbe altudomanyos konteo facteket, mikozben hasznalsz is elvileg pl. tape archive-ot. Csak latszolag halvany lila gozod nincs mi az a datastream (pl. egy zfs send/recieve) :D
Aztan amikor szembesitenek vele, terelsz es azzal jossz "nemisugygondoltamahogyirtam a'gyarto'szerinteztnemlehet", legyen az eppen a linux kernel, ubuntu, *NAS, oracle... Ertelmetlen a kommunikacio.

Menteni lehet bármit bárhová, csak éppen az már nem ZFS.

A  közömről meg annyit, hogy 30 éve húzom az igát, 20 éve saját cég, számtalan teljes IT infra tervezése, rahedli audit, tanácsadás, jelenleg 10+ cég 100+ szerver üzemeltetése, a tervezett rendszereimen 8 disaster (amiből egy villámcsapás ami kiütötte a helyi infát) ezen felül 6 cryptolcker esemény, ezekből 0, zéró adatvesztés, 24 órán belüli teljes működés (1 kivételével, ahol 48 óra volt de a létfontosságú dolgok 24-en belül mentek).

Számolatlan lemez hiba, raid összefosás, online lemez csere.

Na ennyi közöm van csak a dologhoz, innen van a mellény. A mostani gépeimen legalább 60% ZFS. Amit a ZFS-nek köszönhetek, többek között, a meghibásodás előtti lemez cserék. A checksum szépen bejelez, ha már vacakol a lemez és meg is a picsába a tömbből. Összesen ZFS alatt 1 db lemez eldurranásom volt, ahol szívatott az a szar.

Ezek alapján simán kijelentem, amivel vagy egyetért valaki vagy nem, leszarom, hogy:

Aki hw raid-ra teszi az nem érti miről szól a ZFS és szemenköpi az ajánlásokat, és barkácsol. Ezen kívül a ZFS integritását nem lehet produkálni nem ZFS-en. ZFS-ről nem ZFS-re menteni szvsz szintén barkács. Ismétlem menteni lehet bármire, de az már nem ZFS. ZFS-t nem lehet nem ZFS-re küldeni! Az tárolt adatokat lehet, de bukod a ZFS tudását.

A ZFS send arra van, hogy ZFS poolt/dataset-et küldj egy másik ZFS-re. Aki nem erre használja barkácsol.

A kernelről meg annyit, hogy volt ZFS root-os gépem ami update után nem tudta beolvasni a ZFS-t és nem boot-olt. Jó szórakozást a barkácsoláshoz.

És igen, ha a gyártó nem ajánl valamit az nálam a tilos kategória és nem azon rugózok, hogyan fogalmazta meg, mert ha csak azt írta nem ajánlott, akkor azt lehet. Ez a hozzáállás nekem értelmezhetetlen, még otthon tesztelgetni a sufniban sem.

Nekem innen van az arcom, hát neked?

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

A ZFS send arra van, hogy ZFS poolt/dataset-et küldj egy másik ZFS-re. Aki nem erre használja barkácsol. > nem, barmikor barmilyen blokkeszkozre/fs-re elmentheted es visszatoltheted. semmi barkacs nincs ebben, igy mukodik. kulonben sosem tudnad pl. tape archive-ra menteni, de ezt mar kitargyaltuk.

csak azt írta nem ajánlott, akkor azt lehet. > nem, szoval megegyszer. lassuk ez esetben megy-e a mondatok ertelmezese:

altalad emlitett doksibol megegyszer kerdem:
"You can use a hardware RAID card"
"If your RAID card does not have this mode, you can configure a RAID0 for every disk in your system. While not the ideal setup, it works in a pinch."
oszt' szerinted ez mi a pek faszat jelet? :D

ha nem sikerul mar ezt sem ertelmezni (meg ugy egyebkent is), hagyd abba az arcoskodast :) please, ty!

nekem? nekem nem arcom van, csak tapasztalatom (ha ez volna a kerdes joparszaz VM fut altalam osszerakott zfs poolokrol, olyan is ahol a diszkek zvol-ok, olyan is, ahol a zfs csak backend es, kepzeld, nem a SAN oldalon van particionalva, hanem a hypervisor oldalon /ami szerinted nem szokas khee!?/ de mindez irrelevans).
cserebe nem irogatok valotlansagokat es ferditeseket es ha valaki kijavit, elismerem, hogy valamit nem jol tudok.
velemenyt es prekoncepriokat tenykent kozolni. ez az amit be kellene fejezni. :) az, hogy valamihez nem ertesz, ezert barkacssufnituningnak titulalsz, az bocs, de a sajat szegenysegi bizonyitvanyod :)
Számolatlan lemez hiba, raid összefosás > erre nem lennek buszke, ott vagy a setuppal vagy a monitoringgal, de nagyon nagy a baj :D
30 ev alatt eljuthattal volna addig, hogy a legveszelyesebb dolog ha valaki nincs kepben, ellenben rohadtul magabiztos. FYI. (lasd pl. raid osszefosasos, boot elszabasos, OOM miatti data loss reszek) szakmai forum helyett ezt meghagyhatod az r=1 ugyfelek szorakoztatasara...

it works in a pinch."
oszt' szerinted ez mi a pek faszat jelet? :D

"Something that you can do in a pinch can be done if it is really necessary, but it will be difficult, not perfect, or not what you would really like"

Ez pont úgy hangzik, mint amit nem szeretek csinálni prodban. :)

imagine a perfect world... :)

nezzuk, mirol is beszel a leiras?
az eletben sokszor fordul elo, hogy valami nem tokeletes. ettol raid0-ba rakott diszkekbol zfs-t csinalni vagy egy hwraid tombon, iscsi block deviceon zfst hasznalni es bukni a bitrot selfhealt vagy a kozvetlen smart elerest nem ordogtol valo ha a semmi es ez kozt kell valasztanod. van optimalis megoldas? van. van suboptimalis? van. mukodni fog? igen. ha van valasztasod akkor a szarabb fele kell menni? perszehogynem :)

Én annyit mondok csak, hogy ha gyártó nem ajánlja akkor én nem használom, te meg azt csinálsz amit akarsz.

Számolatlan lemez hiba, raid összefosás > erre nem lennek buszke,

Gondolom te valami isten vagy, hogy befolyásolni tudod a hardware-t :) Ha alattad nem romlott el lemez, akkor vagy csikó vagy, vagy nem használsz nagy számú gépet :)

Ha nem láttál még hw raid firmware hiba miatt bedőlő gépet akkor vagy csikó vagy, vagy nem használsz nagy számú gépet :) (de szép is volt egy 2x250 lemezes EVA HA storage cluster teljes adatmegsemmisülése egy firmware hiba miatt, pedig a gyártó ideküldte az USA-ból a csúcsmérnökét)

Tovább a is azt mondom, hogy kb minden ZFS-el komolyan foglalkozó csapat azt mondja ne használd RAID-en, mert az barkács. RAID a RIAD felett, logikus nem? :D

A mondat elemzést rád hagyom, győzködd csak magad, hogy jó a RAID a ZFS alá, mer nem azt mondja a gyártó, hogy tilos, csak azt, hogy nem ajánlott :D

És igen, 30 év alatt eljutottam oda, hogy nem vagyok képben, ezért tanulok más hibáiból :D

És ha már a pék fasza szóba került, ezután (lásd lent):

It is best to use a HBA instead of a RAID controller, for both performance and reliability.

leszakad a kezed ha átkapcsoldod HBA-ba a RAID kontrollert?  :D

u.i.

Hardware RAID controllers

Hardware RAID controllers should not be used with ZFS. While ZFS will likely be more reliable than other filesystems on Hardware RAID, it will not be as reliable as it would be on its own.

  • Hardware RAID will limit opportunities for ZFS to perform self healing on checksum failures. When ZFS does RAID-Z or mirroring, a checksum failure on one disk can be corrected by treating the disk containing the sector as bad for the purpose of reconstructing the original information. This cannot be done when a RAID controller handles the redundancy unless a duplicate copy is stored by ZFS in the case that the corruption involving as metadata, the copies flag is set or the RAID array is part of a mirror/raid-z vdev within ZFS.

  • Sector size information is not necessarily passed correctly by hardware RAID on RAID 1. Sector size information cannot be passed correctly on RAID 5/6. Hardware RAID 1 is more likely to experience read-modify-write overhead from partial sector writes while Hardware RAID 5/6 will almost certainty suffer from partial stripe writes (i.e. the RAID write hole). ZFS using the disks natively allows it to obtain the sector size information reported by the disks to avoid read-modify-write on sectors, while ZFS avoids partial stripe writes on RAID-Z by design from using copy-on-write.

    • There can be sector alignment problems on ZFS when a drive misreports its sector size. Such drives are typically NAND-flash based solid state drives and older SATA drives from the advanced format (4K sector size) transition before Windows XP EoL occurred. This can be manually corrected at vdev creation.

    • It is possible for the RAID header to cause misalignment of sector writes on RAID 1 by starting the array within a sector on an actual drive, such that manual correction of sector alignment at vdev creation does not solve the problem.

  • RAID controller failures can require that the controller be replaced with the same model, or in less extreme cases, a model from the same manufacturer. Using ZFS by itself allows any controller to be used.

  • If a hardware RAID controller’s write cache is used, an additional failure point is introduced that can only be partially mitigated by additional complexity from adding flash to save data in power loss events. The data can still be lost if the battery fails when it is required to survive a power loss event or there is no flash and power is not restored in a timely manner. The loss of the data in the write cache can severely damage anything stored on a RAID array when many outstanding writes are cached. In addition, all writes are stored in the cache rather than just synchronous writes that require a write cache, which is inefficient, and the write cache is relatively small. ZFS allows synchronous writes to be written directly to flash, which should provide similar acceleration to hardware RAID and the ability to accelerate many more in-flight operations.

  • Behavior during RAID reconstruction when silent corruption damages data is undefined. There are reports of RAID 5 and 6 arrays being lost during reconstruction when the controller encounters silent corruption. ZFS’ checksums allow it to avoid this situation by determining whether enough information exists to reconstruct data. If not, the file is listed as damaged in zpool status and the system administrator has the opportunity to restore it from a backup.

  • IO response times will be reduced whenever the OS blocks on IO operations because the system CPU blocks on a much weaker embedded CPU used in the RAID controller. This lowers IOPS relative to what ZFS could have achieved.

  • The controller’s firmware is an additional layer of complexity that cannot be inspected by arbitrary third parties. The ZFS source code is open source and can be inspected by anyone.

  • If multiple RAID arrays are formed by the same controller and one fails, the identifiers provided by the arrays exposed to the OS might become inconsistent. Giving the drives directly to the OS allows this to be avoided via naming that maps to a unique port or unique drive identifier.

    • e.g. If you have arrays A, B, C and D; array B dies, the interaction between the hardware RAID controller and the OS might rename arrays C and D to look like arrays B and C respectively. This can fault pools verbatim imported from the cachefile.

    • Not all RAID controllers behave this way. This issue has been observed on both Linux and FreeBSD when system administrators used single drive RAID 0 arrays, however. It has also been observed with controllers from different vendors.

One might be inclined to try using single-drive RAID 0 arrays to try to use a RAID controller like a HBA, but this is not recommended for many of the reasons listed for other hardware RAID types. It is best to use a HBA instead of a RAID controller, for both performance and reliability.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

en annyit mondok csak, ha a "gyarto" (barmit is jelentsen ez nalad zfs eseten) azt mondja, hogy mukodik, en elhiszem neki.
Gondolom te valami isten vagy, hogy befolyásolni tudod a valosagot es valami masban hiszel.

Ha alattad nem romlott el lemez, akkor vagy csikó vagy, vagy nem használsz nagy számú gépet :) < ha rendesen konfigolod fel es van ertelmes monitoringod kidogolhet lemez a raidbol, abbol adatvesztes nem lesz. kicsereled, orulsz. persze ehhez erteni is kellene hozza... :)

a fenti addig erdekes, amig nem csinalsz raid0-as lemezekbol raidz tombot. onnantol megy a zfs checksum/selfheal is. FYI.

ha harminc ev alatt nem talalkoztal olyan raid adapterrel amit nem lehet hba modba kapcsolni, nem tul sok tapasztalatod lehet. :)
ha harminc ev alatt nem talalkoztal olyannal, hogy a retkeskedves linux osszekeveri a diszkek neveit, szinten nem tul sok tapasztalatod lehet :)

ertelmetlen a beszelgetes, Te jossz az ajanlasokkal, bestpractice-ekkel, elmultharmincevvel, mendemondakkal. adatmeggemisules? tuti jott a Zamcsi fomernok ur es kitorolte a menteseket ;-D
mi azt mondjuk, hogy valotlansagokat allitasz, mikor azt mondod valamire, hogy nem mukodik, mikozben igen vagy nem ugy mukodik ahogy gondoltad, mert nem ertesz hozza vagy nem megy a dokumentacio olvasas. :) utana pedig nem ismered el. csak annyit kellene mondani, hogy "igen, tevedtem, hulyesegeket irtam, bocs."

Mint például? Tényleg érdekel, mert én használtam a gépemen ZFS-t egy darabig de nem találtam olyan feature-t ami indokolná a brutál erőforrásigényét.

Egy dolog volt ami tényleg jó, a snapshoot-al verziózás, de mivel menteni is kell én nextcloud-ot használok erre, az is verziózik. Van egy csomó virtuál gépem tesztelni, ott is király a pár pillanat alatti visszaállás, de azt is tudja a qemu és ráadásul ott hátrány az hogy lineáris a snapshoot. Na azt pl a BTRFS jobban csinálja.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Nem tapasztaltam brutal erőforrás igényt.

 

Nekem a konkrét selling point amúgy kézenfekvő módon az volt. h a lokális gepen tudtam zfs-sel fejleszteni, tesztelni, vmint lxd-vel összerakva is adja nekem.

 

Kellett amúgy kompromisszumot kötni, vmelyik snap szarul ment.

Ez azért elég rétegigény a ZFS-el fejlesztés szvsz.

Használat függő, hogy mennyivel lassabb egy "sima" fs-nél. Én egyszerre több virtuál gépet és konténert is használok a notimon, na az már sok volt neki, pedig adtam esélyt :)
ZFS nélkül simán megy minden, több memória meg nem fér a gépembe.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

> Ez azért elég rétegigény a ZFS-el fejlesztés szvsz.

A kérdés viszont nem az volt, hanem hogyan működik.

Amúgy az egész linuxos desktop baszom rétegigény. Ahogy látom, akár még linux üzemeltetők és azokra a rendszerek fejlesztők között is.

Szóval szerintem ezen kár vacilálni.

 

> több virtuál gépet és konténert is használok a notimon

Én is, sőt szerveren is. Mint írtam, nekem OK. És kapom azt a feature-t, h a virtuális géppel, ct-vel tudok bűvészkedni.

 

+persze jönnek még az extra nyalánkságok, mint a tömörítés, checksum.

 

Úgy általában azt élvezem, hogy megkapom úgyanazt, mint amihez hozzászoktam és ami jól működik a szerveres környezetben.

Ismétlem, rootfs-en nem használom a zfs-t.

Ha nem rootfs akkor nincs annyi gond, de a notikban ritkán van több lemez és a ZFS akkor mutatja meg igazán az erejét ha "telibe" használhatja a lemezeket.

Nem lebeszélni akarlak, mert nagyon jó cucc a ZFS :), csak éppenséggel beszédes, hogy az ubuntu nem akarja, hogy telepítsd ZFS-re.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Semmi, mint ahogy abban sem gátol semmi, hogy vegyek egy teherautót, flex-el levágjam a platót és üléseket hegesszek rá és személyautónak használjam, mert király v8-as 10.000 ccm motor van benne. Mégsem teszem :D

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

szar analogia. ugyanaz a koszos debian, csak egy tarolobol jon par csomag ami elintezi ezt neked.
mint ahogy kvm/qemu is ugyanugy benne van ugyanabban a teherauto debian repoban amit a desktop installerrel tudsz telepiteni.
ha az amugy 0 eroforrast hasznalo pve* service-ok zavarnak, letiltod oket es orulsz. semmivel nem fog tobbet enni, mint barmely masik desktop debian. \o/

> a ZFS akkor mutatja meg igazán az erejét ha "telibe" használhatja a lemezeket.

Semmi jelentősége nincs, h megkapja az egészet v. nem a gyakorlatban.

Néhány paramétert esetleg át lehet állítani, én a gyakorlatban azoktól sem láttam semmi igazán jelentős változást. Szerveren sem.

 

> éppenséggel beszédes, hogy az ubuntu nem akarja, hogy telepítsd ZFS-re.

Annyit mond nekem, h nem akarnak vacakolni vele, h megoldják a rootfs-hez szükséges speckó egyedi dolgokat. Tökre egyet értek vele, nem éri meg. Valószínűleg nem is nagyon használta így senki.

Semmi jelentősége nincs, h megkapja az egészet v. nem a gyakorlatban.

De, óriási a jelentősége. A ZFS lényege, hogy a fizikai lemezkezelést, a raid-et, a partíciókezelést és fájlrendszert összevonja és egyben kezeli. Ha jól használod nem kell más hozzá, hogy ezeket a rétegeket használd.

Az egy dolog, hogy még például egy hw raid-en, ext4 fájlrendszeren allokált fájlból is használhatsz ZFS-t csak éppen értelme nincs. Viszont úgy látod, hogy megy, csak éppen kiherélve használod. Még hardware raid sem szabad használni alatta, kifejezetten ellenjavallt. Kell neki közvetlen eléréssel,  az egész lemez.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Ebből egyetlen apróságot szerintem rosszul tudsz. A partíciókezelés nem annyira tartozik ide. Egyetlen érdemi része van:

azt ne tedd meg, hogy fizikai diszkeket partícionálsz, és *ugyanarról* a diszkről több partíciót odaadsz ZFS használatára. Általában az a mondás, hogy veszel egy diszket, arra raksz a géptől függően MBR vagy GPT-tipusú partíciós táblát, létrehozol rajta *egyetlen*, az összes szabad helyet lefedő partíciót, ennek a használattól függő típust állítasz be (gondolom emlékszel: klasszikus Linux-FS 0x81, swap 0x82, LVM: 0x8e, MD-device 0xfd , és í. t. - ezek itt az MBR-es értékek, és megvan a megfelelőjük GPT esetén is.) - és aztán ezt a partíciót használod. Ezt a bootoláshoz szükséges diszken kb. így kell használni, az "adat" diszkeken kb. mindegy. Van az az iskola amelyik még a partíciós tábla elfoglalt helyét is meg akarja spórolni, és a másik, amelyik hagyománytiszteletből, "kompatibilitásból", "ennyit nekem ér, hogy ránézésre lehessen tudni hogy ott mi van" okokból minden diszket partícionál - persze egy db. partícióra.

Ez persze a fizikailag egy egységnek látszó diszk particionálása, az LVM-mel létrehozott virtuális diszk (a VG, kötetcsoport) "partticionálása" valóban az LVM feladata - ezért csinálunk LV-ket (logikai köteteket).

Én is olvastam anno arról, hogy HW-RAID-et ne tegyünk ZFS alá, azért halkan megkérdezem, hogy akkor mégis hol a bánatos lóf*ban van a ZFS célterülete, hisz egy kicsit is komolyabb storage környezetben használt SAN eszköz úgy intéz neked RAID-et, hogy rosszabb esetben nem is tudsz róla, hogy a háttérben stripe-oll diszkterületek sokaságából összerakott RAID6 kötet van, és te azt kapod meg egy db LUN-ként. (Jobb esetben a RAID6-ról tudsz, mert ez a megállapodás része a sysadm és a SANadm között.) És máris a kezedben van közvetlen eléréssel az "egész lemez".

Szigorúan elméleti alapon, semmi akadálya - és persze semmi értelme - nincs annak, hogy sok-sok, SANról (multipath-szal :-) ) kiajánlott LUNt, mdadm-mel sok md-eszközzé összefogjak, pár ilyen mdX-et alátoljak egy-egy LVM kötetcsoportnak (*), ezeken a VG-ken sok LV-t csináljak, a létrehozott logikai köteteket ZSF-poolokba szervezzem, ezen poolokban ZVOL-okat hozzak létre, és ezen ZVOL-okra BTRFS fájlrendszert rakjak (**). És kivétel nélkül mindegyik szinten bekapcsoljak ilyen-olyan RAID-szinteket a lineáristól a strie-on és mirroron keresztül a RAID53-ig. Értelemszerűen a világ összes diszkje kevés hozzá, teljesítményben sem valószínű hogy bajnok lesz, de ha *jól* konfigurálod, akkor rohadt sok diszkhez / diszkkontrollerhez kötődő hardverhibát ki tud védeni. Értelme persze nincs, de perverzió kiélésének egyik legkevésbé fájdalmas módja. Viszont menni fog (mert mennie kell). Ha ez valahol megakad, az vagy az adott diszkkezelő hibája (inkább hiányossága), vagy a használt terjesztés összeállítóinak korlátoltsága.

Ha higgadtan végiggondolod, a nem-egygépes-két diszkfiókos, hanem komolyabb környezetben fentiekból általában kettő ilyet összekombinálva használnak - egyszer van valami "hardveres RAID", utána valami "szoftveres RAID" - ahol az előző a SAN, vagy a lokális HWRAID-vezérlő, utóbbi meg az md, a ZFS vagy BTRFS (vagy más, ami nem jutott most eszembe).

 

(*) Esetleg lehetne még az mdX-eket partícionálni - és ezekből a partíciókból csinálni az LVM VG-ket.

(**) ha a BTRFS a storage pooljából tud blokk-eszköznek látszó tárgyat kiajánlani (a'la ZFS-ZVOL), akkor csinálj ilyen BTRFS_BD alapú blokkos eszközt (ha pedig nem tud, akkor legyen a BTRFS-volume-on losetuppal létrehozott loopY-device) és erre rakjál XFS-t.

Ui: ha lesz hozzá türelmem, akkor megcsinálom otthon. Minden adott hozzá, az egyik FreeBSD-s gép lesz ctld-vel a SAN (jó, szegény ember vízzel főz, nem FC, hanem ISCSI), és a netbookon egy VM-ben már meg lehet csinálni a többit. Az igazi perverzió persze az lenne, ha ez *mind* a netbookon belül lenne létrehozva (1 VM a SAN, egy másik a Linux).

/AGYBAJ

A ZFS három kulcsfontosságú tárolási réteget (RAID, logikai kötetkezelés és fájlrendszer) egyetlen entitásba csomagol, ezért nem lehet egyszerű fájlrendszerként tekinteni rá. Ennek számos előnye van, a nagyobb integritástól, az egyszerűbb kezelésig. Sajnos egy pár dogot újra kell tanulni miatta, de cserébe itt egy lista, hogy egymaga miket cserél le, ha elkezded használni: hw raid szoftverek, md, lvm, fájlrendszerek (ext3, ext4, xfs, stb.), mkfs, fsck, fstab, dd...

A ZFS nem  támogatja a hardver RAID használatát. A ZFS egy teljes önálló rendszer a lemezre írástól a RAID és kötetkezelésen át a fájlrendszerig, nincs szükség alá semmilyen egyéb rendszerre, hardver RAID-re meg pláne. Gondolom nem használsz egy szerverben egymás alatt két RAID kontrollert, a ZFS alá se tegyél, használj HBA kontrollert. Az újabb RAID kontrollereket át lehet kapcsolni HBA módra, az természetesen jól használható. A gyártóknak vannak kifejezetten HBA kártyái szoftver raid megoldásokhoz és szerver kontrollerek is pl. HP Smart Array vagy Dell Perc átkapcsolhatóak HBA módra egy kattintással.

A ZFS-be nincs partíció mint foglom, mint szervezési egység. Van pool és dataset. A pool szervezi a lemezeket amin vannak a dataset-ek az adatoknak, ami lehet logikai, vagy fizikai.

A ZFS nem csak fájlrendszer!

Hogy hol érdemes használni? Sok helyen, a Proxmox (mint itt is sokszor előkerült) elsődlegesen azt ajánlja, annyira hogy kernet farag hozzá.

Pár előnye a ZFS-nek:

    • COW (Copy-On-Write) azt írja a lemezre amit oda írni akartál, garantált adat integritás  (ez egy nagyon érdekes olvasmány https://indico.cern.ch/event/518392/contributions/2195790/attachments/1…)
    • az fsck-t el lehet felejteni
    • három kulcsfontosságú tárolási réteg (RAID, logikai kötetkezelés és fájlrendszer) egyetlen entitásba csomagolása, amelyet így könnyebben lehet kezelni, egyszerű az adminisztráció
    • gyors és hatékony tömörítés
    • korrekt pillanatkép, mivel a ZFS ismeri a fájlokat, és ő csinálja a pillanatképet ezért  a pillanatkép nem „vág ész nélkül ketté semmit” egy LVM például semmit sem tud a rajta levő fájlrendszerről ezért a pillanatkép a visszaállításnál okozhat problémát
    • a pillanatkép nem lassítja a rendszert
    • hordozhatóság (nem kell ugyan olyan RAID kontroller ha hordozni kell)
    • natív titkosítás
    • scrub, nincs „silent corruption” vagy más néven "bit rot"

A ZFS legnagyobb hátránya a hozzá nem értés. Rengeteg tévhit van róla, ebből fakad rengeteg problémája. Tanulni kell a kezelését, ezért sem alkalmas desktop os alá szerintem.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Biztos túl sok mindent írtam le, így elveszett ez a kérdés:

Világos, hogy mondtad korábban, hogy ne tegyél ZFS alá HW-RAID-et. Én ezt kiegészíteném azzal: akkor, ha a gépben "belső" diszkeket használsz ZFS-sel. De akkor mit kezdesz azzal a helyzettel, ahova szerinted a ZFS-t szánják: nagy, komoly rendszerek esetén, ahol nem HW-RAID diszkvezérlőket használnak, mert nincs is (vagy éppencsakhogy) belső diszk, ugyanis mindent a SAN-ról kap a számítógép? Egy rendes storage a kiajánlott LUN-t kb 99% valószínűséggel RAID módban fogja neked összerakni. RAID0: striping - márpedig ezt kb minden tárolóeszközgyártó használja, ugyanis így lehet komolyabb teljesítményt elérni. Nyilván lehet azt mondani, hogy nincs alatta HWRAID-kontroller - mert az nincs, hisz helyette FC van vagy Eth. De azért mégiscsak RAIDbe szervezett diszkeket kezel ilyen esetben is.

SAN esetén nem játszik a ZFS. A RAID0 sem jó a ZFS alá csak kizárólag a HBA mód. Ökölszabály, hogy a ZFS-nek el kell érnie közvetlenül a lemezt. Ahol ez nem teljesül akkor oda nem jó. Ilyen az összes hálózatos (FC, iSCSI) lemez megosztás.

A komoly rendszereket nem igazán tudom értelmezni. Jelenleg a legkomolyabb storage technológia szerintem(!) a CEPH. Az alá sem kell hw raid, se giga számítógép, "egyszerű" pc-kel is összeraksz olyat ami jobb mit a böszme, csillagászati árú megoldások. Ha neves gyártók drága storage gépeiről beszélsz, oda nem jó a ZFS. Akkor kell ha storage szervert akarsz készíteni vendor lock-in nélkül. Pont a storage szerver legyen ZFS például TrueNAS.

Van amire jó a ZFS és van amire nem. Ismerni kell, hogy el tudd dönteni megéri-e, vagy szívatni fogod magad vele. Ahova jó, ott viszont egészen elképesztő a tudása. Ilyen például a Proxmox PBS szerver bekapcsolt ZFS deduplákicóval. Van olyan mentő szerverem ami 20x dedup faktort ért el. 1 db 6TB-os ZFS pool-ra 10 vm host szerver összesen 30TB mentése megy és még csak 60%-nál jár a mentő szerver foglaltsága, úgy hogy összesen 32 VM legkevesebb 40 példányig van mentve.

Ja és ez egy olcsó DL360 G9 ZFS RAID-Z2-vel. Eleinte archiválásra volt, de annyira jól működik, hogy elsődleges backup szerver lett belőle.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

> Ökölszabály, hogy a ZFS-nek el kell érnie közvetlenül a lemezt. Ahol ez nem teljesül akkor oda nem jó. Ilyen az összes hálózatos (FC, iSCSI) lemez megosztás.

Lehet, hogy ökölszabály, de nem az egyetlen örök igazság. Nem nagyon lehet értelmes okot adni arra, hogy miért akarnál OS-en belül egymás fölött 2 rétegben RAID-et csinálni (ezért ne rakj mdRAID-re vagy LVM-re ZFS-t), de ha a hardver olyan, hogy (pl. a stripe-ot) egyszerűen nem éri meg / nem lehet kikapcsolni a RAID-funkciók egyikét-másikát, akkor használd nyugodtan úgy. Ha valaki minden környeztben ZFS-t használ, SAN környezetben se kezdjen már másikat megtanulnia azért, mert "ez az ökölszabály".

 Jellemzően a fordítottját mutatja a Google, ezért kell egy kicsit keresgélni (vagy annál összetettebb keresőkifejezéseket használni, mint "ZFS ISCSI" vagy "ZFS Fibre Channel"), de van a neten (még gyártói is) leírás, amely ennek a  felállásnak a konfigurálását írja le. (Kicsit meredeknek érzem azt a felvetést, hogy Paralel SCSI, vagy Serial attached SCSI lehet a csatolófelület - lokális diszk, de Internet SCSI már nem OK.) Ráadásul már rég nem éri el az OS direktben a diszket, hanem a firmware által nyújtott felületet látja, valamilyen parancskészlet segítségével szólítja meg - pl. SCSI.

Ha nem lehet kikapcsolni a RAID-et és nincs HBA a kontrolleren ne használj ZFS-t. Az egy dolog, hogy működik csak nem jó. Van egy csomó sufnituning megoldás ami működik, csak éppen utána nem kell csodálkozni ha mindenféle rejtélyes dolog történik.

Viszont a abban igazad van, hogy van olyan iSCSI implementálás ami támogatja a HBA-t ott valóban van ZFS over iSCSI, de itt nem erről volt szó és jellemzően nem szokás a puccos neves NAS-t így használni, hanem RAIDx és abból adunk allokált lemezt iSCSI-n.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

"De akkor mit kezdesz azzal a helyzettel, ahova szerinted a ZFS-t szánják: nagy, komoly rendszerek esetén, ahol nem HW-RAID diszkvezérlőket használnak, mert nincs is (vagy éppencsakhogy) belső diszk, ugyanis mindent a SAN-ról kap a számítógép? "

Mi lenne? Ráteszed a ZFS-t és örülsz. Pl. Solaris 11 alatt már nagyon erősen legacy az UFS támogatás (bootolni már nem is tud róla), igazából nagyon más ésszerű válaztásod nincs is mint ZFS-t használni.

Hardware RAID controllers should not be used with ZFS.

https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Hardw…

Butaságot te írsz, már bocsi.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Olvasd el az alatta levő részt is a linken, hogy miért nem és dönts el magad, hogy használod-e. Ha okosabb vagy náluk, hát hajrá.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

ZFS dokumentáció :) Én nem tartom magam okosabbnak, mint a gyártók :D

Egyébként meg 25 év tapasztalat, jelenleg 10+ cég 100+ szerver üzemeltetése. Az hogy valami működik nem jelenti azt, hogy jó is.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Először a "támogatott" fogalmát kell ehhez tisztázni. Az OpenZFS-től tudtommal nem lehet közvetlenül támogatást venni, ott marad a doksi. Igazi, vagy valós támogatás viszont már van olyan gyártóknál akik ZFS-el forgalmaznak valamit. Ezen túl meg van a hozzáállás, mint "támogatás", amiben én talán túl maximalista vagyok.

Ha szőrszálat hasogatunk a ZFS az egész lemezen is partíción fut, ha a ZFS-re bízod BF01 Solaris type partíciót hoz létre magának, úgyhogy van egy EFI és egy BF01 partíció a lemezen.

Én arra gondolok jelen esetben, hogy egy lemezen több fizikai partíció használatának csak nagyon indokolt esetben van értelme. A ZFS leírások engedik de nem javasolják, mert a ZFS erőforrás igényes és nem szerencsés, hogy vetélkednie kell valaki mással is a lemezen. Nálam ez már a nem támogatott kategória, műszakilag működik ugyan, de nem javasolt. A hw raid más tészta, az de facto nem használható.

Rengeteg rendszer tervezésén vagyok túl, és a nem javasolt nálam tabu. Cserébe, ha a "nagykönyv" szerint építesz rendszert nem lesznek rejtélyes hibáid és érthetetlen jelenségek. A konkrétan példánál maradva, vizsgáltam másnak olyan gépet, ahol a ZFS érthetetlen lassulásokat okozott. Minden ment de néha kicsit belassult. Partíción osztozott, kapott saját lemezt és megszűnt a jelenség. Igazából nem okozott problémát, csak kicsit zavaró volt. Na az ilyen dogokat lehet elkerülni, ha ragaszkodsz a legjobb felépítéshez, ami a ZFS-nél többek között a saját lemez HBA eléréssel. Működik az még fájlból létrehozott "konténerben" is, meg hw raid-en csak éppen nem normális aki úgy használja. Persze előfordul, hogy lehet értelme, pl, ideiglenesen restore miatt, vagy tesztelni, de production környezetben öngyilkosság, hiába működik.

Szóval nálam a működik nem jelenti azt, hogy jó is. Így remélem érthető, de nem ez a szent igaz út, mindenki úgy csinálja ahogy akarja.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

> Igazi, vagy valós támogatás viszont már van olyan gyártóknál akik ZFS-el forgalmaznak valamit. Ezen túl meg van a hozzáállás, mint "támogatás", amiben én talán túl maximalista vagyok.

Nem tudom értelmezni a hozzáállást, mint támogatás. Két, egymástól teljesen, totálisan eltérő jelentésű fogalom, fogalom.

 

> Ha szőrszálat hasogatunk a ZFS az egész lemezen is partíción fut, ha a ZFS-re bízod BF01 Solaris type partíciót hoz létre magának, úgyhogy van egy EFI és egy BF01 partíció a lemezen.

Sőt, ha nem szőrszálat hasogatunk, akkor is vmi hasonló szokott lenni a felallás teljes drive esetén. Nem teljesen pont ez, de ettől tekintsünk el, mert nem lényeges a különbség.

 

> nem javasolják, mert a ZFS erőforrás igényes és nem szerencsés, hogy vetélkednie kell valaki mással is a lemezen. Nálam ez már a nem támogatott kategória, műszakilag működik ugyan, de nem javasolt.

Először is reagálok a gyakorlati részére. Ennek nyílván akkor van jelentősége, ha vetélkednie kell a zfs-nek vmi mással OS partíciók esetén erről tipikusan nincs szó. Egy `apt upgrade` nem fogja hazavágni az IO schedulert.

Másrészt a megfogalmazásra is reaáglok. Most először (végre helyesen) magad írod, hogy "engedik* és hogy *nem javasolják". Azt is írod, hogy *nálad* nem supportált. Eddig viszont úgy kommunikáltál, hogy nem te, hanem maga a ZFS tiltja a ezt a felállást.

 

> A hw raid más tészta, az de facto nem használható

Ez sem igaz így ebben a formában. Gyakorlatilag értelmetlen. Megköszönöm, ha raksz mellé indoklást is. Az általabb fentebb linkelt oldal nem arról szól, hogy miért tilos rakni HW raid-re rakni ZFS-t, hanem hogy mivel kap többet az ember, ha kihagyja annak a használatát.

 

> Cserébe, ha a "nagykönyv" szerint építesz rendszert nem lesznek rejtélyes hibáid és érthetetlen jelenségek.

ZFS bugs like this:)

Mondjuk azt nyered, hogy nem bukod a lényegét. Például:

Hardware RAID will limit opportunities for ZFS to perform self healing on checksum failures. When ZFS does RAID-Z or mirroring, a checksum failure on one disk can be corrected by treating the disk containing the sector as bad for the purpose of reconstructing the original information. This cannot be done when a RAID controller handles the redundancy unless a duplicate copy is stored by ZFS in the case that the corruption involving as metadata, the copies flag is set or the RAID array is part of a mirror/raid-z vdev within ZFS.

De használd ahogy akarod és lovagolhatsz a fogalmakon ahogy akarsz. Én ha a gyártó azt mondja ne használjam, nem használom és nem azon filózok, hogyan fogalmazta ezt meg, de tudom, hogy mindig vannak okosabbak.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Ha ettől jobban érzed magad legyen. :)

Én, ha a gyártó azt mondja ne csináljam, nem csinálom, habár nem írta le konkrétan a tilos szót. :D

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Mit tetézek? Hogy vállalati környezetben nem tákolunk és a support nem dísznek van? Mi ezen az elfogadhatatlan? Mi ebben a kivagyiság?

Hogyan fájhat az, hogy a másik olyat tud, amit te nem?

Milyen tudás? Hogy össze tudtál barkácsolni egy valag diszket egy Supermicro házba, dobtál rá egy FreeBSD-t és elolvastál két oldalnyi howto-t? Ez lenne, amit irigyelnem kéne? Csináltam ilyet én is eleget az elmúlt 25 évben, de mindig tudtam, hogy hol van ezeknek a helye, mit várhatok tőle, milyen felelősséggel tudom ezt biztosítani. 

Szomorú és szegény vagy.

A szomorú biztosan nem stimmel, a szegény lehet. Bár, viszonylagos az is. 

trey @ gépház

> Mit tetézek? Hogy vállalati környezetben nem tákolunk és a support nem dísznek van? Mi ezen az elfogadhatatlan? Mi ebben a kivagyiság?

Azt tetézed, hogy fogalmad nincs, miről van szó (te magad írtad, h soha egy bitet nem tároltál zfs-en), azért mégis belebeszélsz. Egy kókler vagy.

Azt tetézed, hogy fogalmad nincs, miről van szó (te magad írtad, h soha egy bitet nem tároltál zfs-en), azért mégis belebeszélsz.

Én itt a tákolás vs. gyári megoldásokról beszéltem általában. Meg barkácsszakkörről.  🤷‍♂️

Egy kókler vagy.

Az is voltam, az is vagyok, az is maradok!

trey @ gépház

Kell némi tapasztalat, hogy rájöjjön az ember, az ajánlott dolgokkal is lehet eleget szívni, nem kell bonyolítani az életünk azzal, hogy megkeressük, mi működik még rosszabbul.

:D

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Rád nézve tényleg :D

Szuper, eljutottunk a személyeskedésig :D

Hogy egy kis szakma is legyen idézek két ZFS guru cég (proxmox, truenas) doksijából. Olvasd el és válaszolj igen-nemmel, hogy jó ötlet-e a hw raid a ZFS alá, mivel neked maga az OpenZFS leírása nem elég (költői kérés, nem kell válaszolnod):

Important
Do not use ZFS on top of a hardware RAID controller which has its own cache management. ZFS
needs to communicate directly with the disks. An HBA adapter or something like an LSI controller
flashed in “IT” mode is more appropriate.

There are countless warnings against using hardware RAID cards with TrueNAS. ZFS and TrueNAS provide a built-in RAID that protects your data better than any hardware RAID card. You can use a hardware RAID card if it is all you have, but there are limitations. First and most importantly, do not use their RAID facility if your hardware RAID card supports HBA mode, also known as passthrough or JBOD mode (there is one caveat in the bullets below). When used, it allows it to perform indistinguishably from a standard HBA. If your RAID card does not have this mode, you can configure a RAID0 for every disk in your system. While not the ideal setup, it works in a pinch. If repurposing hardware RAID cards with TrueNAS, be aware that some hardware RAID cards:

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Sejtettem, hogy nem fogod megtenni, sajnálom.

Én egyébként elsősorban a drive vs. partició témában írtam. Zahy írt a HW raid-ről, én csak futólag érintettem azt, habár ott is írtál sületlenségeket.

Ami anúgy önmagában nem lenne baj, ha vagy elismernéd, ha érveket hoznak fel ellene, vagy meg tudod cáfolni szakmailag.

 

Bár úgy sem fogadod meg, kérlek a jövőben válaszd külön a saját véleményed (meggyőződésedet) és a száraz tényeket, ne add úgy elő, minthogy amit te gondolsz, az az egyetemes igazság.

 

ps.: Reméltem, hogy szakmai, gyakorlati tapasztalatot, esetleg konzekvens elméleti levezetést hozol, amiből lehet tanulni, mivel személy szerint nem gondolom, hogy amit én tapasztaltam eddig, az feltétlenül mindig úgy van. Eddig csak nem találtam benne hibát. Ha van, azzal én csak nyernék. Így viszont csak üres szószaporítás lett.

Ebben aztán sok szakmai érv volt. Eddig is csak fogalmakon rugóztál nulla szakmával és még annál is kevesebb hivatkozással.

Tessék adok esélyt, cáfold meg azt az állításom, hogy lemezen a mixelt partícióhasználat (pl ext4, zfs) teljesítményvesztés okoz.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

Épp erről beszélek. Ha állítasz vmit, vhogy alá kellene támasztani. Méréssel, elméleti levezetéssel, akármivel.

Én csupán a saját tapasztalatomat tudom leírni, miszerint nem csökken érdemben a teljesítmény ömagában attól, ha a ZFS-nek partíció volt adva. Mértem és a hosszú távú tapasztalat is ezt mutatja/mutatta. Ezen kívűl a logika is ezt adja.

 

Az üres vagdalkozásod egyelőre nem győzött meg az ellenkezőjéről:)

Köszi a személyeskedést, az mindig meggyőző érv.

Ezen kívűl a logika is ezt adja

Tehát a logika azt diktálja, hogy egy lemezen több partíción többféle fs-t használva egyszerre, az ugyan olyan mint ha csak egy lenne rajta. Értem. Tudod mit igazad van :D

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

oszt' szerinted ez mi a pek faszat jelet? :D

"You can use a hardware RAID card"
"If your RAID card does not have this mode, you can configure a RAID0 for every disk in your system. While not the ideal setup, it works in a pinch."

esetleg bukod a zfs-es selfhealt, na bumm.
diszkbol is csak olyat "illik" hasznalni amiben powerloss protection van vagy 0 volatile cache (ami minden lesz csak gyors nem). ettol meg nem kotelezo. cserebe ha van egy BBU backed caching raid controllered kozte, azzal megoldottad ezt a reszt. valamit valamiert.
nem kotelezo a zfs osszes feature-jet hasznalni ha nem szeretned. nem rocket science ez.

esetleg bukod a zfs-es selfhealt, na bumm.

LOL

Hajrá, tőlem csináld.

És még el sem jutottunk az SMR kontra CMR lemezekig, annyira nem mindegy még a HBA sem...

Sebaj, az ilyen "esetleg bukod" szakértők miatt van sok munkám, amikor tényleg bukják  :D

u.i.

OpenZFS doksi:

 It is best to use a HBA instead of a RAID controller, for both performance and reliability.

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.

> És még el sem jutottunk az SMR kontra CMR lemezekig, annyira nem mindegy még a HBA sem...

Olyan dolgot hozol fel, amilyet senki sem állított. Vajon miért?

 

Na, én ki is szálltam is. Megnéztem a fórumon, kivel próbáltam érdemi beszélgetést folytatni. Én kérek elnézést.

Nagyon vacakolós a root-ot rátenni.  Lehet, hogy ezt unták meg Ubuntuék.

Nemrég nekiálltam Debiannal.  Az lett a vége, hogy fogtam egy rendes Debian-telepítőt, a root-ot fölhúztam ext4-re, és csak az adatok számára csináltam zfs-t, így hirtelen sokkal egyszerűbb lett.

A lehetőség root zfs-re pedig mindenképp megvan, ha a telepítő nem támogat, akkor is.  Csak macerás.

Mintha pontatlan lenne kicsit itt-ott, de nem baj, akármilyen precíz is a lépéssor, ésszel kell csinálni, nem árt megérteni, hogy melyik lépés mire való.  Nem bántam meg, de a végleges megoldás tehát az lett, hogy a root-ot nem teszem rá.  Leginkább azért, mert tartok tőle, hogy jöhet olyan frissítés, ami miatt újra faragni kell.

Ha már ZFS ma ezzel szórakoztatott egy egyik gépem:

# zpool status
  pool: rpool
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
  scan: scrub repaired 3.61M in 03:27:06 with 0 errors on Sun Jan  8 03:51:07 2023
config:

        NAME                              STATE     READ WRITE CKSUM
        rpool                             DEGRADED     0     0     0
          raidz1-0                        DEGRADED     0     0     0
            scsi-35000cca02d35bfc0-part3  FAULTED    158     0     0  too many errors
            scsi-35000cca02d36bdb0-part3  ONLINE       0     0     0
            scsi-35000cca02d42f620-part3  ONLINE       0     0     0
            scsi-35000cca02d2962d8-part3  ONLINE       0     0     0

errors: No known data errors

Megkértem szépen, hogy nézze meg mekkora gáz:

scan: resilver in progress since Thu Apr 27 09:16:59 2023
        29.2G scanned at 3.65G/s, 3.14G issued at 402M/s, 352G total
        0B resilvered, 0.89% done, 00:14:47 to go

Megoldotta, de ez a lemez egy hónapja is csinált egy ilyet, ez volt az utolsó dobása, 3-ik "viccelődésnél" elbúcsúzunk és megy a kukába.

# zpool status
  pool: rpool
 state: ONLINE
  scan: resilvered 12.8G in 00:08:57 with 0 errors on Thu Apr 27 09:25:56 2023
config:

        NAME                              STATE     READ WRITE CKSUM
        rpool                             ONLINE       0     0     0
          raidz1-0                        ONLINE       0     0     0
            scsi-35000cca02d35bfc0-part3  ONLINE       0     0     0
            scsi-35000cca02d36bdb0-part3  ONLINE       0     0     0
            scsi-35000cca02d42f620-part3  ONLINE       0     0     0
            scsi-35000cca02d2962d8-part3  ONLINE       0     0     0

errors: No known data errors

Senkinek nincs köze világod belsejéhez, neked sincs közöd mások életéhez, csak az Irgalom útján van közöd, Istenektől rendelt kötelességed.