Beolvasztották a perzisztens L2ARC támogatást az OpenZFS master ágába

Ahogy arról korábban szó volt, megérkezett a perzisztens L2ARC támogatás az OpenZFS master ágába. Mi az L2ARC?

L2ARC

In a ZFS system a caching technique called ARC caches as much of your dataset in RAM as possible. This allows frequently data to accessed very quickly, much faster than having to go the backing HDD array. It follows that more RAM means more ARC space which in turn means more data can be cached. The maximum space ARC will occupy can be changed but typically it uses up to 7/8 of your RAM, however will release memory back to system as other applications require it. So if you had 128GB of RAM in your system and your total dataset size was 1TB, 11.2% of all your data will reside in the ARC resulting in significantly faster access times.

The ARC has a very intelligent algorithm to manage the cache to ensure that data present is data you actually want cached. You don't want data you never actually use in your cache as it would be a waste of resources.

Although this algorithm is very effective, as your data-set increases the % of your data that can be stored in the cache gets less and less, and the cache becomes less effective.

This is where the L2ARC comes in, it is an extension of the ARC cache hence the name Level 2 ARC. Using fast disks such as SSDs the cache size can increase dramatically when the option of adding more RAM becomes either physically or economically impossible.

Now unlike the ARC cache, the L2ARC does not populate itself with data as soon as you set it up, its loads itself with data as it gets ejected out of the ARC. Therefore it can take some time to fully populate your L2ARC and see the added performance benefit.

A fentiek értelmében a perzisztens L2ARC támogatás azt hivatott biztosítani, hogy reboot során ne vesszen el az L2ARC tartalma. 

Hozzászólások

Jó lesz ez a ZFS úgy 10 év múlva. :)

Addigra talán a hardver is felfejlődik hozzá.

Tudom, Treynek is minden mindig működik az Ubuntuban, de attól még, hogy te pont azon a sárgaköves úton jársz, aminél nincsenek gondok még el tudod fogadni, hogy bőven van még vele probléma?

Az meg ha az általad említett másokba te is beletartozol fel kellett tűnjön, hogy kétségtelenül több az erőforrásigénye (CPU, memória, de akár diszk IO is), mint más FS-eknek.

Nem mondom, hogy szar, sőt, szerintem jó :), csak azt, hogy bőven bele lehet futni vele olyan hibákba, amikbe egy kiforrottabb FS-sel már nem futsz bele, mert már a legtöbb corner case-t lekezelték benne, és van már olyan image, ami 20+ éve megy.

Mákod van, hogy a PB-od, amin te használod épp jó konstellációban van, nem töredezett agyon a hosszú(?) évek használata során, ami miatt mondjuk több száz GB memória kéne csak ahhoz, hogy importálni tudd. Másokhoz (innen a HUP-ról is, talán valami cikk is volt róla, szóval azért nem egy nagyon ritka jelenség ez) hasonlóan én pld. belefutottam ebbe. Te mit gondolnál, ha ilyet tapasztalnál, és a PB-nyi adatodhoz csak 1 TB RAM beszerzése árán juthatnál hozzá (és még az sem lenne elég, mert az csak arra jó, hogy essen-keljen a géped)?

Szerkesztve: 2020. 04. 29., sze – 10:14

Amúgy YAY, nem is tudom hány éve húzzák már ezt. Könnyen lehet, hogy a legtovább tartó szülés volt ez a feature...

Jöhet akkor most már az, hogy egy L2ARC-ot több zpool is tudjon használni, meg a tiering és a társai. Bár mire ezekkel elkészülnek, lehet, hogy már senkinek nem lesz rá szüksége. Tíz éve még nagyot ütött volna.

Én ezt úgy szoktam, hogy jobb klikk a virtuális gépen -> Snapshot -> Take snapshot. A támogatott storage esetén a VAAI-n keresztül a snapshot műveletek offload -> storage. Ilyenek például:

  • Native Snapshot Support – Allows creation of virtual machine snapshots to be offloaded to the array.

Ez a ZFS nekem sok sebből vérző valami. Desktopra overkill. Olcsó/játszós storage-nak a memóriazabálása miatt szintén nem jó. Akinek meg van pénze, azt meg vesz komolyabb cejget, gyári supporttal és nyugodtan alszik az éjjel.

trey @ gépház

Profin hangzik, de egy fájlrendszer szintű snapshothoz képest azért ez számtalanszor egy sok sebből vérző valami. :)

Nyugodtan zavarj részletekkel. Esetleg majd térj ki az ilyen dolgokra is: https://jira.ixsystems.com/browse/NAS-105782

neked elég

LOL @ neked :D

trey @ gépház

Te enterprise környezetben dolgozol, nyilván az ahhoz passzoló eszközöket/feladatokat látod, más meg mást.
Az enterprise-nál fontos, hogy az előző évezredbeli architektúra alatt legyen egy megbízható storage, meg a döntéshozóknak az érzés, hogy eltapsoltak párszázmilliót jól integrált branded izékre, amiken képesek a gombnyomkodásra szakosított szakmunkások nyomogatni a gombokat, meg cserélgetni a diszkeket.

A storage-oddal vsz. nehezebben oldod meg, hogy diffet kérj a snapshotok között, vagy hogy nagyon sok adatterületen gyorsan mozogj ezeken (pld. nem volt jó az elmúlt két nap termése ebben a könyvtárban, álljunk vissza), esetleg klónozd ezeket úgy, hogy egy új folyamat tudja folytatni a munkát azon az adatterületen egy adott ponttól. Ez is egy igény, amit a fájlrendszer jobban meg tud oldani.
Ettől még nem ez lesz az univerzális megoldás, a te Windows/Linux virtualizált környezetednek nem ez kell.

Lehet, hogy újdonság, de az általad használt storage-okon is szoftver fut, amiben szintén vannak bugok. Néha elég csúnyák is. :)
Azt mondjuk nem értem, hogy egy FreeNAS bug milyen relevanciával bír ebben a témában, illetve mire kéne kitérnem vele kapcsolatban...

Persze, hogy megvan a ZFS-nek is a helye. Csak én még nem találtam meg. Van nekem is épített, játszós storage-om a gyáriak mellett, csak nem 128GB RAM-ot kértek, hanem mondjuk 2GB-ot.

Az enterprise-nál fontos, hogy az előző évezredbeli architektúra alatt legyen egy megbízható storage, meg a döntéshozóknak az érzés, hogy eltapsoltak párszázmilliót jól integrált branded izékre, amiken képesek a gombnyomkodásra szakosított szakmunkások nyomogatni a gombokat, meg cserélgetni a diszkeket.

Jaj, dehogy kell erre pár száz millió! Ha te csak ezt látod, akkor átbasztak!

"(pld. nem volt jó az elmúlt két nap termése ebben a könyvtárban, álljunk vissza),"

Ja, Shadow copy of Shared Folders, aztán az user maga is vissza tudja tenni. Maga válogathat a verziók közt Ne szédíts már!

Azt mondjuk nem értem, hogy egy FreeNAS bug

Úgy, hogy a mögötte álló cég az, amelyik ZFS alapon kereskedelmi storage-ot kínál több, kevesebb sikerrel. 

Még mindig kimaradt az a rész, hogy ki alszik nyugodtabban: az, aki egy gyári megoldást toszogat supporttal a háta mögött, vagy az, aki összetákolt egy szervert maga, rá egy ZFS-alapú megoldást. Majd kérek egy képet az arcodról, amikor a szőnyeg szélén állsz és magyarázol.

trey @ gépház

Jaj, dehogy kell erre pár száz millió! Ha te csak ezt látod, akkor átbasztak!

Nem tehetek arról, hogy eddig nem sikerült garázscégeknél dolgoznom, csak olyan helyeken, ahol mindig nagyobb cuccokra volt szükség.

Ja, Shadow copy of Shared Folders, aztán az user maga is vissza tudja tenni. Maga válogathat a verziók közt Ne szédíts már!

Egyre kevésbé értem, hogy jutottunk el attól, hogy a ZFS snapshotjai helyett mit kellene használni a virtuális gépekről kiadott, blokkos eszközön létrejövő snapshotokon át egy Windows feature-ig.

Úgy, hogy a mögötte álló cég az, amelyik ZFS alapon kereskedelmi storage-ot kínál több, kevesebb sikerrel. 

A ZFS messze nem hibátlan, fent épp ezt írom. De egy ilyen hibát idehozni szerintem masszív trollkodás, főleg, hogy leginkább semmi köze a ZFS-hez.

Még mindig kimaradt az a rész, hogy ki alszik nyugodtabban: az, aki egy gyári megoldást toszogat supporttal a háta mögött, vagy az, aki összetákolt egy szervert maga, rá egy ZFS-alapú megoldást. Majd kérek egy képet az arcodról, amikor a szőnyeg szélén állsz és magyarázol.

Toszogattam gyári megoldást eleget. Ha nem lennének személyiségi jogok, küldhetnék is akár képet a gyári support kiküldött szerencsétlenjeiről, akik éjszaka ott izzadtak, hogy össze tudjanak tákolni valamit abból a cuccból, aminek ők sem értik a működését, mert nem csak hogy forráskódhoz nem juthatnak hozzá (sokszor felesleges is lenne, mert úgysem értenék), de azt is tilos érteniük, hogy működik az általuk támogatott szarkupac. Vagy hónapokig tartó post mortem levelezéseket amerikai gigacégek menedzsereivel és műszaki embereivel, akik először próbálták a userre kenni a szart, aztán hogy-hogynem kiderült, hogy szép csendben javították a hibát egy későbbi FW-ben, aminek a létezését is tagadták.

Szerintem te alszol nyugodtabban, mert a tradícionális enterprise üzemeltető mentalitásod van, azaz a főnökeid kicsengették a pénzt a supportra, neked csak annyi a dolgod, hogy a fények villódzását nézegesd, meg a diszkeket cserélgesd, meg ne nyúlkálj túl sokat a gombokhoz :) Ha valami beszarik, majd jön a support és megoldja jó pénzért, nem a te dolgod.

Hosszú mondatok a semmiről.

Szerintem te alszol nyugodtabban, mert a tradícionális enterprise üzemeltető mentalitásod van, azaz a főnökeid kicsengették a pénzt a supportra, neked csak annyi a dolgod, hogy a fények villódzását nézegesd, meg a diszkeket cserélgesd, meg ne nyúlkálj túl sokat a gombokhoz :) Ha valami beszarik, majd jön a support és megoldja jó pénzért, nem a te dolgod.

 Nincs egy hete, hogy éppen tákolt storage-ot raktam rendbe. Úgy látszik, szelektív a szövegértésed. Nekem van tákolt, értek is hozzá és brand is. Mindegyiknek tudom a helyét és szerepét. A ZFS-alapú, memóriazabálónak nem látom a szereplét.

Zárjuk rövidre: ha lenne lehetőséged gyári, supporttal rendelkező storage üzemeltetésére illetve ott lenne a mezítlábas tákolt megoldás egy business critical workload mellett, melyiket választanád?

trey @ gépház

Asszem te szoktál ilyenkor így válaszolni:

thread nyitó:
https://hup.hu/comment/2474492#comment-2474492

BTRFS? Vagy szenvedés az LVM snapshottal?

Erre keresi a választ az OP, erre jöttél a virtuális gépeiddel, meg a Windowszal. A szövegértéssel szerintem neked vannak problémáid.

Te terelsz mindenfelé.

De szívesen válaszolok:

Ha enterprise/kisvállalati környezetben dolgoznék, mint te, akkor megmondanám a főninek, hogy vegyen ilyen-olyan storage-ot, ami a legjobban integrálódik a használt környezethez.

Ha olyan helyen dolgoznék, ahol kapacitás is kell, és a vállalati integráció már egyáltalán nem számít, hanem inkább az, hogy a kezünkben legyen a képesség arra, hogy megoldjuk a problémákat, úgyis valamilyen elosztott megoldás jönne képbe, mivel enterprise storage-re ebben a szegmensben már senki sem költ, nekem sem jutna eszembe.

Akkor neked eszedbe jut a ZFS ami "Jó lesz ez a ZFS úgy 10 év múlva. :) Addigra talán a hardver is felfejlődik hozzá.". Ügyes gyerek vagy. Vagy ez a kommented kuka, vagy a másik.

De azért köszi, hogy aláírtad, számomra a ZFS+tákoltnál a gyári jobb választás. Hiszen az eleje óta erről beszéltem.

trey @ gépház